大數(shù)據(jù)處理技術(shù)發(fā)展現(xiàn)狀及其應(yīng)用展望一、定義著名的管理咨詢(xún)公司麥肯錫曾預(yù)測(cè)到：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)?！边@是大數(shù)據(jù)的最早定義。業(yè)界（于2021年，高德納修改了對(duì)大數(shù)據(jù)的定義）將大數(shù)據(jù)的特征歸納為4個(gè)“V”（量Volume，多樣Variety，價(jià)值Value，速Velocity），或者說(shuō)特點(diǎn)有四個(gè)層面：第一，海量數(shù)據(jù)量。大數(shù)據(jù)計(jì)量單位至少是PB級(jí)別；第二，數(shù)據(jù)類(lèi)型繁多。比如，網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等都是囊括進(jìn)來(lái)。第三，商業(yè)價(jià)值高。第四，處理速度快。在大數(shù)據(jù)時(shí)代，三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。在大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)的時(shí)候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價(jià)值。Google利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價(jià)值，比如預(yù)測(cè)某地流感爆發(fā)的趨勢(shì)；Amazon利用用戶(hù)的購(gòu)買(mǎi)和瀏覽歷史數(shù)據(jù)進(jìn)行有針對(duì)性的書(shū)籍購(gòu)買(mǎi)推薦，以此有效提升銷(xiāo)售量；Farecast利用過(guò)去十年所有的航線(xiàn)機(jī)票價(jià)格打折數(shù)據(jù)，來(lái)預(yù)測(cè)用戶(hù)購(gòu)買(mǎi)機(jī)票的時(shí)機(jī)是否合適。大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，具有數(shù)據(jù)量大、查詢(xún)分析復(fù)雜等特點(diǎn)。對(duì)于“大數(shù)據(jù)”（Bigdata）研究機(jī)構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。二、大數(shù)據(jù)的技術(shù)技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。我將分別從云計(jì)算、分布式處理技術(shù)、存儲(chǔ)技術(shù)和感知技術(shù)的發(fā)展來(lái)說(shuō)明大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果的整個(gè)過(guò)程。2.1、云技術(shù)大數(shù)據(jù)常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要分布式處理框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)萬(wàn)的電腦分配工作?？梢哉f(shuō)，云計(jì)算充當(dāng)了工業(yè)革命時(shí)期的發(fā)動(dòng)機(jī)的角色，而大數(shù)據(jù)則是電。云計(jì)算思想的起源是麥卡錫在上世紀(jì)60年代提出的：把計(jì)算能力作為一種像水和電一樣的公用事業(yè)提供給用戶(hù)。如今，在Google、Amazon、等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，一種行之有效的模式出現(xiàn)了：云計(jì)算提供基礎(chǔ)架構(gòu)平臺(tái)，大數(shù)據(jù)應(yīng)用運(yùn)行在這個(gè)平臺(tái)上。業(yè)內(nèi)是這么形容兩者的關(guān)系：沒(méi)有大數(shù)據(jù)的信息積淀，則云計(jì)算的計(jì)算能力再?gòu)?qiáng)大，也難以找到用武之地；沒(méi)有云計(jì)算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。那么大數(shù)據(jù)到底需要哪些云計(jì)算技術(shù)呢？這里暫且列舉一些，比如虛擬化技術(shù)，分布式處理技術(shù)，海量數(shù)據(jù)的存儲(chǔ)和管理技術(shù)，NoSQL、實(shí)時(shí)流數(shù)據(jù)處理、智能分析技術(shù)（類(lèi)似模式識(shí)別以及自然語(yǔ)言理解）等。2.2、分布式處理技術(shù)分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來(lái)，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)一這就是分布式處理系統(tǒng)的定義。以Hadoop（Yahoo）為例進(jìn)行說(shuō)明，Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。而MapReduce是Google提出的一種云計(jì)算的核心計(jì)算模式，是一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，MapReduce模式的主要思想是將自動(dòng)分割要執(zhí)行的問(wèn)題（例如程序）拆解成map（映射）和reduce（化簡(jiǎn)）的方式，在數(shù)據(jù)被分割后通過(guò)Map函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計(jì)算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果，在通過(guò)Reduce函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開(kāi)發(fā)者需要的結(jié)果。再來(lái)看看Hadoop的特性，第一，它是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。其次，Hadoop是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過(guò)并行處理加快處理速度。Hadoop還是可伸縮的，能夠處理PB級(jí)數(shù)據(jù)。此外，Hadoop依賴(lài)于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。你也可以這么理解Hadoop的構(gòu)成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存儲(chǔ)技術(shù)相關(guān)）+HBase（數(shù)據(jù)庫(kù)）+MapReduce（數(shù)據(jù)處理）2.3、存儲(chǔ)技術(shù)大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析，這兩者的關(guān)系是：大數(shù)據(jù)存儲(chǔ)的目的是支撐大數(shù)據(jù)分析。到目前為止，還是兩種截然不同的計(jì)算機(jī)技術(shù)領(lǐng)域：大數(shù)據(jù)存儲(chǔ)致力于研發(fā)可以擴(kuò)展至PB甚至EB級(jí)別的數(shù)據(jù)存儲(chǔ)平臺(tái)；大數(shù)據(jù)分析關(guān)注在最短時(shí)間內(nèi)處理大量不同類(lèi)型的數(shù)據(jù)集。提到存儲(chǔ)，有一個(gè)著名的摩爾定律相信大家都聽(tīng)過(guò)：18個(gè)月集成電路的復(fù)雜性就增加一倍。所以，存儲(chǔ)器的成本大約每18-24個(gè)月就下降一半。成本的不斷下降也造就了大數(shù)據(jù)的可存儲(chǔ)性。比如，Google大約管理著超過(guò)50萬(wàn)臺(tái)服務(wù)器和100萬(wàn)塊硬盤(pán)，而且Google還在不斷的擴(kuò)大計(jì)算能力和存儲(chǔ)能力，其中很多的擴(kuò)展都是基于在廉價(jià)服務(wù)器和普通存儲(chǔ)硬盤(pán)的基礎(chǔ)上進(jìn)行的，這大大降低了其服務(wù)成本，因此可以將更多的資金投入到技術(shù)的研發(fā)當(dāng)中。以Amazon舉例，AmazonS3是一種面向Inter的存儲(chǔ)服務(wù)。該服務(wù)旨在讓開(kāi)發(fā)人員能更輕松的進(jìn)行網(wǎng)絡(luò)規(guī)模計(jì)算。AmazonS3提供一個(gè)簡(jiǎn)明的Web服務(wù)界面，用戶(hù)可通過(guò)它隨時(shí)在Web上的任何位置存儲(chǔ)和檢索的任意大小的數(shù)據(jù)。此服務(wù)讓所有開(kāi)發(fā)人員都能訪問(wèn)同一個(gè)具備高擴(kuò)展性、可靠性、安全性和快速價(jià)廉的基礎(chǔ)設(shè)施，Amazon用它來(lái)運(yùn)行其全球的網(wǎng)站網(wǎng)絡(luò)。再看看S3的設(shè)計(jì)指標(biāo)：在特定年度內(nèi)為數(shù)據(jù)元提供99.999999999%的耐久性和99.99%的可用性，并能夠承受兩個(gè)設(shè)施中的數(shù)據(jù)同時(shí)丟失。S3很成功也確實(shí)卓有成效，S3云的存儲(chǔ)對(duì)象已達(dá)到萬(wàn)億級(jí)別，而且性能表現(xiàn)相當(dāng)良好。S3云已經(jīng)擁萬(wàn)億跨地域存儲(chǔ)對(duì)象，同時(shí)AWS的對(duì)象執(zhí)行請(qǐng)求也達(dá)到百萬(wàn)的峰值數(shù)量。目前全球范圍內(nèi)已經(jīng)有數(shù)以十萬(wàn)計(jì)的企業(yè)在通過(guò)AWS運(yùn)行自己的全部或者部分日常業(yè)務(wù)。這些企業(yè)用戶(hù)遍布190多個(gè)國(guó)家，幾乎世界上的每個(gè)角落都有Amazon用戶(hù)的身影。2.4、預(yù)測(cè)技術(shù)大數(shù)據(jù)的核心、在于“預(yù)測(cè)”，而云計(jì)算使數(shù)據(jù)從“小樣本”轉(zhuǎn)變成有機(jī)會(huì)對(duì)所有可能的數(shù)據(jù)進(jìn)行分析，預(yù)測(cè)將基于“數(shù)據(jù)之間的關(guān)聯(lián)性”而非“為什么是這樣的因果性”，我們只需要按照預(yù)測(cè)出來(lái)的趨勢(shì)去響應(yīng)，使用這些結(jié)果。比如預(yù)測(cè)機(jī)票價(jià)格的走勢(shì)，并給出可信度，幫助用戶(hù)來(lái)決定什么時(shí)間購(gòu)買(mǎi)機(jī)票最省錢(qián)。它不用關(guān)心為什么機(jī)票會(huì)有差異，是因?yàn)榧竟?jié)性還是因?yàn)槠渌裁丛颍鼉H僅是預(yù)測(cè)當(dāng)前的機(jī)票未來(lái)一段時(shí)間會(huì)上漲還是下降。如果機(jī)票價(jià)格有上漲的趨勢(shì)，系統(tǒng)就系統(tǒng)用戶(hù)立即購(gòu)買(mǎi)機(jī)票。而原始的數(shù)據(jù)可以從機(jī)票預(yù)訂數(shù)據(jù)庫(kù)或者行業(yè)網(wǎng)站上扒下來(lái)。這項(xiàng)預(yù)測(cè)技術(shù)可以用在類(lèi)似的相關(guān)領(lǐng)域。比如賓館預(yù)訂，商品購(gòu)買(mǎi)等。比如通過(guò)汽車(chē)引擎的散熱和振動(dòng)來(lái)預(yù)測(cè)引擎是否會(huì)出現(xiàn)故障。亞馬遜的推薦系統(tǒng)是很好的例子：亞馬遜從每一個(gè)客戶(hù)身上捕獲了大量的數(shù)據(jù)，歷史購(gòu)買(mǎi)了什么，哪些商品只是瀏覽卻沒(méi)有購(gòu)買(mǎi)，瀏覽停留的時(shí)間，哪些商品是合并購(gòu)買(mǎi)的，它要做的是找到產(chǎn)品之間的關(guān)聯(lián)性。在零售行業(yè)，銷(xiāo)售數(shù)據(jù)的統(tǒng)計(jì)分析，可以讓供應(yīng)商監(jiān)控銷(xiāo)售速率、數(shù)量、以及存貨情況，可以知道什么貨物和什么貨物擺在一起，放在什么位置銷(xiāo)量最好，特定的季節(jié)，什么產(chǎn)品銷(xiāo)量最高。公共設(shè)施領(lǐng)域，不再是隨機(jī)的巡檢，而是針對(duì)設(shè)施上報(bào)的數(shù)據(jù)以及故障發(fā)生的歷史數(shù)據(jù)、環(huán)境數(shù)據(jù)進(jìn)行分析和預(yù)測(cè)，集中人力和物力優(yōu)先檢查最有可能出現(xiàn)問(wèn)題的那些設(shè)施，減少整體平均的故障發(fā)生率。最近的”棱鏡計(jì)劃“，從音視頻、圖片、郵件、文檔以及連接信息中分析個(gè)人可能對(duì)國(guó)家安全造成威脅的行動(dòng)。三、大數(shù)據(jù)處理技術(shù)的展望3.1、對(duì)于企業(yè)對(duì)于企業(yè)的大數(shù)據(jù)，隨著數(shù)據(jù)逐漸成為企業(yè)的一種資產(chǎn)，數(shù)據(jù)產(chǎn)業(yè)會(huì)向傳統(tǒng)企業(yè)的供應(yīng)鏈模式發(fā)展，最終形成“數(shù)據(jù)供應(yīng)鏈”。這里尤其有兩個(gè)明顯的現(xiàn)象：外部數(shù)據(jù)的重要性日益超過(guò)內(nèi)部數(shù)據(jù)。在互聯(lián)互通的互聯(lián)網(wǎng)時(shí)代，單一企業(yè)的內(nèi)部數(shù)據(jù)與整個(gè)互聯(lián)網(wǎng)數(shù)據(jù)比較起來(lái)只是滄海一粟；能提供包括數(shù)據(jù)供應(yīng)、數(shù)據(jù)整合與加工、數(shù)據(jù)應(yīng)用等多環(huán)節(jié)服務(wù)的公司會(huì)有明顯的綜合競(jìng)爭(zhēng)優(yōu)勢(shì)。以IBM舉例，上一個(gè)十年，他們拋棄了PC，成功轉(zhuǎn)向了軟件和服務(wù)，而這次將遠(yuǎn)離服務(wù)與咨詢(xún)，更多地專(zhuān)注于因大數(shù)據(jù)分析軟件而帶來(lái)的全新業(yè)務(wù)增長(zhǎng)點(diǎn)。IBM執(zhí)行總裁羅睿蘭認(rèn)為，“數(shù)據(jù)將成為一切行業(yè)當(dāng)中決定勝負(fù)的根本因素，最終數(shù)據(jù)將成為人類(lèi)至關(guān)重要的自然資源?！盜BM積極的提出了“大數(shù)據(jù)平臺(tái)”架構(gòu)。該平臺(tái)的四大核心能力包括Hadoop系統(tǒng)、流計(jì)算(Streuting)、數(shù)據(jù)倉(cāng)庫(kù)(DataWarehouse)和信息整合與治理(InformationIntegrationandGovernance)3.2、對(duì)于個(gè)人個(gè)人的大數(shù)據(jù)，與個(gè)人相關(guān)聯(lián)的各種有價(jià)值數(shù)據(jù)信息被有效采集后，可由本人授權(quán)提供第三方進(jìn)行處理和使用，并獲得第三方提供的數(shù)據(jù)服務(wù)。未來(lái)，每個(gè)用戶(hù)可以在互聯(lián)網(wǎng)上注冊(cè)個(gè)人的數(shù)據(jù)中心，以存儲(chǔ)個(gè)人的大數(shù)據(jù)信息。用戶(hù)可確定哪些個(gè)人數(shù)據(jù)可被采集，并通過(guò)可穿戴設(shè)備或植入芯片等感知技術(shù)來(lái)采集捕獲個(gè)人的大數(shù)據(jù)，比如，牙齒監(jiān)控?cái)?shù)據(jù)，心率數(shù)據(jù)，體溫?cái)?shù)據(jù)，視力數(shù)據(jù)，記憶能力，地理位置信息，社會(huì)關(guān)系數(shù)據(jù)，運(yùn)動(dòng)數(shù)據(jù)，飲食數(shù)據(jù)，購(gòu)物數(shù)據(jù)等等。用戶(hù)可以將其中的牙齒監(jiān)測(cè)數(shù)據(jù)授權(quán)給XX牙科診所使用，由他們監(jiān)控和使用這些數(shù)據(jù)，進(jìn)而為用戶(hù)制定有效的牙齒防治和維護(hù)計(jì)劃；也可以將個(gè)人的運(yùn)動(dòng)數(shù)據(jù)授權(quán)提供給某運(yùn)動(dòng)健身機(jī)構(gòu)，由他們監(jiān)測(cè)自己的身體運(yùn)動(dòng)機(jī)能，并有針對(duì)的制定和調(diào)整個(gè)人的運(yùn)動(dòng)計(jì)劃；還可以將個(gè)人的消費(fèi)數(shù)據(jù)授權(quán)給金融理財(cái)機(jī)構(gòu)，由他們幫你制定合理的理財(cái)計(jì)劃并對(duì)收益進(jìn)行預(yù)測(cè)。當(dāng)然，其中有一部分個(gè)人數(shù)據(jù)是無(wú)需個(gè)人授權(quán)即可提供給國(guó)家相關(guān)部門(mén)進(jìn)行實(shí)時(shí)監(jiān)控的，比如罪案預(yù)防監(jiān)控中心可以實(shí)時(shí)的監(jiān)控本地區(qū)每個(gè)人的情緒和心理狀態(tài)，以預(yù)防自殺和犯罪的發(fā)生。3.3、對(duì)于政府近期，奧巴馬政府宣布投資2億美元拉動(dòng)大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國(guó)家意志。奧巴馬政府將數(shù)據(jù)定義為“未來(lái)的新石油”，并表示一個(gè)國(guó)家擁有數(shù)據(jù)的規(guī)模、活性及解釋運(yùn)用的能力將成為綜合國(guó)力的重要組成部分，未來(lái)，對(duì)數(shù)據(jù)的占有和控制甚至將成為陸權(quán)、海權(quán)、空權(quán)之外的另一種國(guó)家核心資產(chǎn)。在國(guó)內(nèi)，政府各個(gè)部門(mén)都握有構(gòu)成社會(huì)基礎(chǔ)的原始數(shù)據(jù)，比如，氣象數(shù)據(jù)，金融數(shù)據(jù)，信用數(shù)據(jù)，電力數(shù)據(jù)，煤氣數(shù)據(jù)，自來(lái)水?dāng)?shù)據(jù)，道路交通數(shù)據(jù)，客運(yùn)數(shù)據(jù)，安全刑事案件數(shù)據(jù)，住房數(shù)據(jù)，海關(guān)數(shù)據(jù)，出入境數(shù)據(jù)，旅游數(shù)據(jù)，醫(yī)療數(shù)據(jù)，教育數(shù)據(jù)，環(huán)保數(shù)據(jù)等等。這些數(shù)據(jù)在每個(gè)政府部門(mén)里面看起來(lái)是單一的，靜態(tài)的。但是，如果政府可以將這些數(shù)據(jù)關(guān)聯(lián)起來(lái)，并對(duì)這些數(shù)據(jù)進(jìn)行有效的關(guān)聯(lián)分析和統(tǒng)一管理，這些數(shù)據(jù)必定將獲得新生，其價(jià)值是無(wú)法估量的。具體來(lái)說(shuō)，現(xiàn)在城市都在走向智能和智慧，比如，智能電網(wǎng)、智慧交通、智慧醫(yī)療、智慧環(huán)保、智慧城市，這些都依托于大數(shù)據(jù)，可以說(shuō)大數(shù)據(jù)是智慧的核心能源。從國(guó)內(nèi)整體投資規(guī)模來(lái)看，到2021年底全國(guó)開(kāi)建智慧城市的城市數(shù)超過(guò)180個(gè)，通信網(wǎng)絡(luò)和數(shù)據(jù)平臺(tái)等基礎(chǔ)設(shè)施建設(shè)投資規(guī)模接近5000億元?！笆濉逼陂g智慧城市建設(shè)拉動(dòng)的設(shè)備投資規(guī)模將達(dá)1萬(wàn)億元人民幣。大數(shù)據(jù)為智慧城市的各個(gè)領(lǐng)域提供決策支持。在城市規(guī)劃方面，通過(guò)對(duì)城市地理、氣象等自然信息和經(jīng)濟(jì)、社會(huì)、文