1、!有人預(yù)言說(shuō)未來(lái)將會(huì)是三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。! 大數(shù)據(jù)，是當(dāng)今公眾津津樂道的一個(gè)熱詞，人們紛紛在探討大數(shù)據(jù)所帶來(lái)的科技進(jìn)步及所蘊(yùn)含的巨大價(jià)值，甚至有人把大數(shù)據(jù)形容為未來(lái)世界的石油，更有人夸張的宣稱掌握了大數(shù)據(jù)的人，就可以像上帝一樣來(lái)俯瞰整個(gè)世界。Big Data, its more than what you think 大數(shù)據(jù)，又稱巨量資料，指的是所涉及的數(shù)據(jù)資料量規(guī)模巨大到無(wú)法通過(guò)人腦甚至主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。近幾年，被熱炒的大數(shù)據(jù)，不只是指資料，也指這些用來(lái)分析、處理巨量資料的新興科技。 2013年馬云卸

2、任阿里集團(tuán)CEO的職位時(shí)曾說(shuō)，大家還沒搞清PC時(shí)代的時(shí)候，移動(dòng)互聯(lián)網(wǎng)來(lái)了，還沒搞清移動(dòng)互聯(lián)網(wǎng)的時(shí)候，大數(shù)據(jù)時(shí)代來(lái)了。你想像不到。到底有多少 這個(gè)世界的數(shù)據(jù) 近年來(lái)，全球數(shù)據(jù)存儲(chǔ)量呈現(xiàn)爆炸式增長(zhǎng)，美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心指出,互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長(zhǎng)50%,每?jī)赡瓯銓⒎环?目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。據(jù)中為咨詢預(yù)測(cè)，到2020年，全球數(shù)據(jù)量將達(dá)到35ZB（相當(dāng)約90億塊4TB硬盤容量）。 根據(jù)國(guó)際數(shù)據(jù)公司（IDC）的測(cè)算，似乎沒有足夠的磁盤空間存儲(chǔ)。 就傳統(tǒng)IT 企業(yè)來(lái)看，其結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)增長(zhǎng)也是驚人的。2005年企業(yè)存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)為4EB，到2015年將增至29EB，年

3、復(fù)合增長(zhǎng)率逾20%。非結(jié)構(gòu)化數(shù)據(jù)發(fā)展更猛。2005年為22EB，2015年將增至1600EB，年復(fù)合增長(zhǎng)率約60%，遠(yuǎn)遠(yuǎn)快于摩爾定律。 據(jù)統(tǒng)計(jì)，國(guó)家圖書館的藏書量有2600萬(wàn)冊(cè)，如果從數(shù)據(jù)來(lái)看的話，一個(gè)家庭一年產(chǎn)生的數(shù)據(jù)相當(dāng)于半個(gè)國(guó)家圖書館的數(shù)據(jù)總量。 而大數(shù)據(jù)并非現(xiàn)在才出現(xiàn)，比如在古代的人口普查，中國(guó)在東漢時(shí)期就有幾千萬(wàn)人，這顯然也是龐大數(shù)據(jù)。大數(shù)據(jù)并不是什么嶄新的概念，好幾十年前 CERN 的科學(xué)家就在處理每秒上看 PB (Peta Bytes)巨量資料。那為什么一直到近幾年大數(shù)據(jù)這顆塬子彈才爆發(fā)呢。 現(xiàn)今要處理的資料量更龐大、資料產(chǎn)生跟處理速度更驚人、資料來(lái)源更多樣，于是處理、儲(chǔ)存大量資

4、料的新技術(shù)跟工具快速發(fā)展，像是開源軟體 Hadoop 跟 NoSQL 資料庫(kù)。新科技誕生后，開發(fā)者跟使用者需要一個(gè)專業(yè)名詞來(lái)與之前的科技作出區(qū)別，于是大數(shù)據(jù)一詞因應(yīng)而生。 大數(shù)據(jù)的特點(diǎn) Volume(大量)Velocity(高速)Variety(多樣)veracity(真實(shí)性) 數(shù)據(jù)量大、數(shù)據(jù)種類多、 要求實(shí)時(shí)性強(qiáng)、數(shù)據(jù)所蘊(yùn)藏的價(jià)值大。在各行各業(yè)均存在大數(shù)據(jù)，但是眾多的信息和咨詢是紛繁復(fù)雜的，我們需要搜索、處理、分析、歸納、總結(jié)其深層次的規(guī)律。最后是價(jià)值，從大量的低質(zhì)量、低價(jià)值的數(shù)據(jù)中獲取知識(shí)，猶如從大海中撈針，獲取數(shù)據(jù)成本很高，但有待挖掘價(jià)值大。 大數(shù)據(jù)的挖掘和處理。 從技術(shù)上看，大數(shù)據(jù)與云

5、計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘（SaaS），但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)（PaaS）和云存儲(chǔ)、虛擬化技術(shù)（IaaS）。大數(shù)據(jù)的挖掘和處理必須用到云技術(shù)。 科學(xué)技術(shù)及互聯(lián)網(wǎng)的發(fā)展，推動(dòng)著大數(shù)據(jù)時(shí)代的來(lái)臨，各行各業(yè)每天都在產(chǎn)生數(shù)量巨大的數(shù)據(jù)碎片，數(shù)據(jù)計(jì)量單位已從從Byte、KB、MB、GB、TB發(fā)展到PB、EB、ZB、YB甚至BB、NB、DB來(lái)衡量。微博留言產(chǎn)生數(shù)據(jù)，視頻產(chǎn)生數(shù)據(jù)，手機(jī)通話產(chǎn)生數(shù)據(jù)，商品標(biāo)簽產(chǎn)生數(shù)據(jù)，快遞包裹、物品流通產(chǎn)生數(shù)據(jù)，移動(dòng)終端和互聯(lián)網(wǎng)的普及更

6、是加快產(chǎn)生數(shù)據(jù)。越來(lái)越多配備了連續(xù)測(cè)量、報(bào)告運(yùn)行情況的傳感器的設(shè)備的出現(xiàn)。幾年前，跟蹤遙測(cè)發(fā)動(dòng)機(jī)運(yùn)行僅限于價(jià)值數(shù)百萬(wàn)美元的航天飛機(jī)。計(jì)算機(jī)產(chǎn)生的數(shù)據(jù)可能包含著關(guān)于因特網(wǎng)和其他使用者行動(dòng)和行為的數(shù)據(jù)，從而提供了對(duì)他們的愿望和潛在需求的有用信息。使用者自身產(chǎn)生的數(shù)據(jù)信息。人們通過(guò)電郵、短信、微博、QQ等產(chǎn)生的文本信息。至今最大的數(shù)據(jù)是音頻、視頻和符號(hào)數(shù)據(jù)。這些數(shù)據(jù)結(jié)構(gòu)松散，數(shù)量巨大，很難從中挖掘有意義的結(jié)論和有用的信息。 大數(shù)據(jù)的采集 數(shù)據(jù)采集：ETL工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù),如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后,進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分

7、析處理、數(shù)據(jù)挖掘的基礎(chǔ)。數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫(kù)、NOSQL、SQL等?；A(chǔ)架構(gòu)：云存儲(chǔ)、分布式文件存儲(chǔ)等。數(shù)據(jù)處理：自然語(yǔ)言處理(NLP，NaturalLanguageProcessing)是研究人與計(jì)算機(jī)交互的語(yǔ)言問(wèn)題的一門學(xué)科。處理自然語(yǔ)言的關(guān)鍵是要讓計(jì)算機(jī)理解自然語(yǔ)言，所以自然語(yǔ)言處理又叫做自然語(yǔ)言理解(NLU，NaturalLanguage Understanding)，也稱為計(jì)算語(yǔ)言學(xué)(Computational Linguistics。一方面它是語(yǔ)言信息處理的一個(gè)分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。統(tǒng)計(jì)分析：假設(shè)檢驗(yàn)、顯

8、著性檢驗(yàn)、差異分析、相關(guān)分析、T檢驗(yàn)、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡(jiǎn)單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測(cè)與殘差分析、嶺回歸、logistic回歸分析、曲線估計(jì)、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對(duì)應(yīng)分析、多元對(duì)應(yīng)分析（最優(yōu)尺度分析）、bootstrap技術(shù)等等。數(shù)據(jù)挖掘：分類 （Classification）、估計(jì)（Estimation）、預(yù)測(cè)（Prediction）、相關(guān)性分組或關(guān)聯(lián)規(guī)則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Descri

9、ption and Visualization）、復(fù)雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)模型預(yù)測(cè)：預(yù)測(cè)模型、機(jī)器學(xué)習(xí)、建模仿真。結(jié)果呈現(xiàn)：云計(jì)算、標(biāo)簽云、關(guān)系圖等。大數(shù)據(jù)的主流技術(shù)大數(shù)據(jù)處理之一：采集 利用數(shù)個(gè)數(shù)據(jù)庫(kù)來(lái)接收發(fā)自客戶端的數(shù)據(jù)，并且用戶可以通過(guò)這些數(shù)據(jù)庫(kù)來(lái)進(jìn)行簡(jiǎn)單的查詢和處理工作。大數(shù)據(jù)處理之二：導(dǎo)入/預(yù)處理 統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)或分布式計(jì)算集群來(lái)對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求。大數(shù)據(jù)處理之三：統(tǒng)計(jì)/分析 統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。

10、大數(shù)據(jù)處理之四：挖掘 與前面統(tǒng)計(jì)和分析過(guò)程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)（Predict）的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。 大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無(wú)論是在學(xué)術(shù)研究還是在商業(yè)應(yīng)用領(lǐng)域，都能夠保證分析結(jié)果的真實(shí)和有價(jià)值。 大數(shù)據(jù)分析的基礎(chǔ)就是以上五個(gè)方面，當(dāng)然更加深入大數(shù)據(jù)分析的話，還有很多很多更加有特點(diǎn)的、更加深入的、更加專業(yè)的大數(shù)據(jù)分析方法。 大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時(shí)還有普通用戶，但是他們二者對(duì)于大數(shù)據(jù)分析最基本的要求就是可視化分析，因?yàn)榭梢暬治瞿軌?/p>

11、直觀的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被讀者所接受，就如同看圖說(shuō)話一樣簡(jiǎn)單明了。 大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式才能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，也正是因?yàn)檫@些被全世界統(tǒng)計(jì)學(xué)家所公認(rèn)的各種統(tǒng)計(jì)方法（可以稱之為真理）才能深入數(shù)據(jù)內(nèi)部，挖掘出公認(rèn)的價(jià)值。另外一個(gè)方面也是因?yàn)橛羞@些數(shù)據(jù)挖掘的算法才能更快速的處理大數(shù)據(jù)，如果一個(gè)算法得花上好幾年才能得出結(jié)論，那大數(shù)據(jù)的價(jià)值也就無(wú)從說(shuō)起了。 大數(shù)據(jù)分析最終要的應(yīng)用領(lǐng)域之一就是預(yù)測(cè)性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過(guò)科學(xué)的建立模型，之后便可以通過(guò)模型帶入新的數(shù)據(jù)，從而預(yù)測(cè)未來(lái)的數(shù)據(jù)。 大數(shù)據(jù)分析廣泛應(yīng)用

12、于網(wǎng)絡(luò)數(shù)據(jù)挖掘，可從用戶的搜索關(guān)鍵詞、標(biāo)簽關(guān)鍵詞、或其他輸入語(yǔ)義，分析，判斷用戶需求，從而實(shí)現(xiàn)更好的用戶體驗(yàn)和廣告匹配。1.Analytic Visualization（可視化分析）2.Data Mining Algotiyhms（數(shù)據(jù)挖掘算法）3.Predictive Analytic Capabilities（預(yù)測(cè)性分析能力）4.Semantic Engines（語(yǔ)義引擎）5.Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）數(shù)據(jù)分析的五個(gè)基本方面 大數(shù)據(jù)與物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、云計(jì)算等主流技術(shù)結(jié)合，缺一不可，相輔相成，才能越走越遠(yuǎn)

13、、 2014年的春運(yùn)，央視首次推出了“據(jù)說(shuō)春運(yùn)”特別節(jié)目，基于“百度遷徙”提供的可視化大數(shù)據(jù)服務(wù)，實(shí)時(shí)播報(bào)國(guó)內(nèi)春節(jié)人口的遷徙情況，例如最熱門的遷出城市，最熱門的遷入城市等等。 有趣的“大數(shù)據(jù)”經(jīng)典數(shù)據(jù)案例 啤酒與尿布 沃爾瑪在對(duì)消費(fèi)者購(gòu)物行為分析時(shí)發(fā)現(xiàn)，男性顧客在購(gòu)買嬰兒尿片時(shí)，常常會(huì)順便搭配幾瓶啤酒來(lái)犒勞自己。如今，“啤酒尿布”的數(shù)據(jù)分析成果早已成了大數(shù)據(jù)技術(shù)應(yīng)用的經(jīng)典案例，被人津津樂道。QQ圈子把前女友推薦給未婚妻 2012年3月騰訊推出QQ圈子，按共同好友的連鎖反應(yīng)攤開用戶的人際關(guān)系網(wǎng)，把用戶的前女友推薦給未婚妻，把同學(xué)同事朋友圈子分門別類，利用大數(shù)據(jù)處理能力給人帶來(lái)“震撼”。網(wǎng)站根據(jù)你

14、的購(gòu)物搜索進(jìn)行商品廣告推送 我們上淘寶買了東西之后，阿里巴巴能夠輕而易舉地得到我們的購(gòu)物行為、和瀏覽數(shù)據(jù)，通過(guò)云計(jì)算分析后，進(jìn)行精準(zhǔn)的行為預(yù)測(cè)，然后進(jìn)行商品信息推送。國(guó)內(nèi)最大的婚戀交友網(wǎng)站 作為一家婚戀網(wǎng)站，百合網(wǎng)不僅需要經(jīng)常做一些研究報(bào)告，分析注冊(cè)用戶的年齡、地域、學(xué)歷、經(jīng)濟(jì)收入等數(shù)據(jù)，即便是每名注冊(cè)用戶小小的頭像照片，背后也大有挖掘的價(jià)值。關(guān)于大數(shù)據(jù)的一設(shè)想數(shù)據(jù)安全目前大數(shù)據(jù)的發(fā)展是數(shù)據(jù)量的暴增、大數(shù)據(jù)技術(shù)及應(yīng)用的更新。但是，大數(shù)據(jù)涉及的相關(guān)技術(shù)還不太成熟，軟件及硬件漏洞時(shí)有發(fā)生。同時(shí)，大數(shù)據(jù)外在所處的網(wǎng)絡(luò)環(huán)境高度開放，使用人員多且雜。同時(shí)，已有的針對(duì)網(wǎng)絡(luò)安全建立的相關(guān)法律法規(guī)相對(duì)缺乏，全

15、社會(huì)對(duì)于網(wǎng)絡(luò)安全確保也缺乏足夠重視。內(nèi)在及外在的多重因素造成大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)環(huán)境比以往任何時(shí)候都要復(fù)雜，大數(shù)據(jù)安全問(wèn)題也應(yīng)運(yùn)而生，數(shù)據(jù)安全問(wèn)題及隱私泄露問(wèn)題體現(xiàn)的尤為明顯。比如，許多智能手機(jī)應(yīng)用程序是免費(fèi)的，如果想要免費(fèi)服務(wù)，那么你將不可避免的成為大數(shù)據(jù)流里的?？?。大數(shù)據(jù)時(shí)代竊取及販賣數(shù)據(jù)的黑色產(chǎn)業(yè)鏈不斷加速升級(jí)。由于大量數(shù)據(jù)的匯集，數(shù)據(jù)間相互關(guān)聯(lián)，給黑客更多可乘之機(jī)，一旦其成功將獲得數(shù)據(jù)量更多并且類型更豐富的數(shù)據(jù)，販賣的途徑擴(kuò)大，將帶來(lái)更大范圍的數(shù)據(jù)安全問(wèn)題及隱私泄露。 為解決此類問(wèn)題的發(fā)生，應(yīng)從問(wèn)題發(fā)生的源頭即數(shù)據(jù)存儲(chǔ)的安全防護(hù)上解決。實(shí)現(xiàn)大數(shù)據(jù)安全，從技術(shù)的角度出發(fā)，有以下幾個(gè)方向：1、 研究、制定及實(shí)施大數(shù)據(jù)安全標(biāo)準(zhǔn)2、研究大數(shù)據(jù)安全關(guān)鍵技術(shù)3、基于大數(shù)據(jù)研究網(wǎng)絡(luò)安全分析技術(shù) 大數(shù)據(jù)的機(jī)會(huì)與挑戰(zhàn) 大數(shù)據(jù)的讀寫常常都是瓶頸，過(guò)去都是用更多的磁碟、更多的交換器來(lái)解決，但也導(dǎo)致耗電等問(wèn)題。如果能把數(shù)據(jù)放在記憶件，不但性價(jià)比要比放到磁碟上省很多，而且可以省不少時(shí)間，尤其是數(shù)據(jù)如果是在TB等級(jí)，放在記憶件會(huì)比放在磁碟上，來(lái)得更有意義。此外，異質(zhì)運(yùn)算值得重視，甚至連GPU也可拿來(lái)做大數(shù)據(jù)分析。 其實(shí)目前仍有許多大數(shù)據(jù)分析的需求，如醫(yī)學(xué)影像分析、異質(zhì)運(yùn)算系統(tǒng)軟件與效能工具、建構(gòu)臺(tái)大計(jì)