大數(shù)據(jù)數(shù)量龐大，格式多樣化。大量數(shù)據(jù)由家庭、制造工廠和辦公場所的各種設(shè)備、互聯(lián)網(wǎng)事務(wù)交易、社交網(wǎng)絡(luò)的活動、自動化傳感器、移動設(shè)備以及科研儀器等生成。它的爆炸式增長已超出了傳統(tǒng)IT基礎(chǔ)架構(gòu)的處理能力，給企業(yè)和社會帶來嚴峻的數(shù)據(jù)管理問題。因此必須開發(fā)新的數(shù)據(jù)架構(gòu)，圍繞"數(shù)據(jù)收集、數(shù)據(jù)管理、數(shù)據(jù)分析、知識形成、智慧行動”的全過程，開發(fā)使用這些數(shù)據(jù)，釋放出更多數(shù)據(jù)的隱藏價值。一、大數(shù)據(jù)建設(shè)思路1）數(shù)據(jù)的獲得oi-iirt oi-iirt 數(shù)據(jù)來源樞架次大數(shù)據(jù)產(chǎn)生的根本原因在于感知式系統(tǒng)的廣泛使用。隨著技術(shù)的發(fā)展，人們已經(jīng)有能力制造極其微小的帶有處理功能的傳感器，并開始將這些設(shè)備廣泛的布置于社會的各個角落，通過這些設(shè)備來對整個社會的運轉(zhuǎn)進行監(jiān)控。這些設(shè)備會源源不斷的產(chǎn)生新數(shù)據(jù)，這種數(shù)據(jù)的產(chǎn)生方式是自動的。因此在數(shù)據(jù)收集方面，要對來自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)和機構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時空標志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時還可與歷史數(shù)據(jù)對照，多角度驗證數(shù)據(jù)的全面性和可信性。2）數(shù)據(jù)的匯集和存儲數(shù)據(jù)中心變革旅程1數(shù)據(jù)只有不斷流動和充分共享，才有生命力。應(yīng)在各專用數(shù)據(jù)庫建設(shè)的基礎(chǔ)上，通過數(shù)據(jù)集成，實現(xiàn)各級各類信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。數(shù)據(jù)存儲要達到低成本、低能耗、高可靠性目標，通常要用到冗余配置、分布化和云計算技術(shù)，在存儲時要按照一定規(guī)則對數(shù)據(jù)進行分類，通過過濾和去重，減少存儲量，同時加入便于日后檢索的標簽。3）數(shù)據(jù)的管理

1 1_偵擴廈無涇仙1 1_偵擴廈無涇仙慕檀伸瓦耄略大數(shù)據(jù)管理的技術(shù)也層出不窮。在眾多技術(shù)中，有6種數(shù)據(jù)管理技術(shù)普遍被關(guān)注，即分布式存儲與計算、內(nèi)存數(shù)據(jù)庫技術(shù)、列式數(shù)據(jù)庫技術(shù)、云數(shù)據(jù)庫、非關(guān)系型的數(shù)據(jù)庫、移動數(shù)據(jù)庫技術(shù)。其中分布式存儲與計算受關(guān)注度最高。上圖是一個圖書數(shù)據(jù)管理系統(tǒng)。4）數(shù)據(jù)的分析

數(shù)據(jù)分析處理：有些行業(yè)的數(shù)據(jù)涉及上百個參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實體和多空間之間的交互動態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進行語義分析，從大量動態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。大數(shù)據(jù)的處理類型很多，主要的處理模式可以分為流處理和批處理兩種。批處理是先存儲后處理，而流處理則是直接處理數(shù)據(jù)。挖掘的任務(wù)主要是關(guān)聯(lián)分析、聚類分析、分類、預(yù)測、時序模式和偏差分析等。5）大數(shù)據(jù)的價值：決策支持系統(tǒng)

分析iffl撇第社會資本共享性分析iffl撇第社會資本共享性備依智慧大數(shù)據(jù)的神奇之處就是通過對過去和現(xiàn)在的數(shù)據(jù)進行分析，它能夠精確預(yù)測未來；通過對組織內(nèi)部的和外部的數(shù)據(jù)整合，它能夠洞察事物之間的相關(guān)關(guān)系;通過對海量數(shù)據(jù)的挖掘，它能夠代替人腦,承擔起企業(yè)和社會管理的職責。原七水時芾與■濯也激#祛itJt位裁障窗大世簡可鼻里蛇St6）數(shù)據(jù)的使用H南叔胃司治濮-農(nóng)ittA^t.57.41始巨愁藥1原七水時芾與■濯也激#祛itJt位裁障窗大世簡可鼻里蛇St6）數(shù)據(jù)的使用H南叔胃司治濮-農(nóng)ittA^t.57.41始巨愁藥1f謎H就*■場中?！鋈绾跻酪?史姓土還務(wù)醐W此缺倍骨覆大數(shù)據(jù)有三層內(nèi)涵：一是數(shù)據(jù)量巨大、來源多樣和類型多樣的數(shù)據(jù)集;二是新型的數(shù)據(jù)處理和分析技術(shù);三是運用數(shù)據(jù)分析形成價值。大數(shù)據(jù)對科學(xué)研究、經(jīng)濟建設(shè)、社會發(fā)展和文化生活等各個領(lǐng)域正在產(chǎn)生革命性的影響。大數(shù)據(jù)應(yīng)用的關(guān)鍵，也是其必要條件，就在于'IT"與”經(jīng)營”的融合，當然,這里的經(jīng)營的內(nèi)涵可以非常廣泛，小至一個零售門店的經(jīng)營，大至一個城市的經(jīng)營。二、大數(shù)據(jù)基本架構(gòu)基于上述大數(shù)據(jù)的特征，通過傳統(tǒng)IT技術(shù)存儲和處理大數(shù)據(jù)成本高昂。一個企業(yè)要大力發(fā)展大數(shù)據(jù)應(yīng)用首先需要解決兩個問題：一是低成本、快速地對海量、多類別的數(shù)據(jù)進行抽取和存儲；二是使用新的技術(shù)對數(shù)據(jù)進行分析和挖掘，為企業(yè)創(chuàng)造價值。因此，大數(shù)據(jù)的存儲和處理與云計算技術(shù)密不可分，在當前的技術(shù)條件下，基于廉價硬件的分布式系統(tǒng)伽Hadoop等）被認為是最適合處理大數(shù)據(jù)的技術(shù)平臺。Hadoop是一個分布式的基礎(chǔ)架構(gòu)，能夠讓用戶方便高效地利用運算資源和處理海量數(shù)據(jù)，目前已在很多大型互聯(lián)網(wǎng)企業(yè)得到了廣泛應(yīng)用，如亞馬遜、Facebook和Yahoo等。其是一個開放式的架構(gòu)，架構(gòu)成員也在不斷擴充完善中，通常架構(gòu)如圖2所示：Hadoop體系架構(gòu)（1）Hadoop最底層是一個HDFS（HadoopDistributedFileSystem，分布式文件系統(tǒng)），存儲在HDFS中的文件先被分成塊，然后再將這些塊復(fù)制到多個主機中（DataNode，數(shù)據(jù)節(jié)點）。⑵Hadoop的核心是MapReduce（映射和化簡編程模型）引擎，Map意為將單個任務(wù)分解為多個，而Reduce貝臆為將分解后的多任務(wù)結(jié)果匯總，該引擎由JobTrackers（T作追蹤，對應(yīng)命名節(jié)點）和TaskTrackers（任務(wù)追蹤，對應(yīng)數(shù)據(jù)節(jié)點）組成。當處理大數(shù)據(jù)查詢時，MapReduce會將任務(wù)分解在多個節(jié)點處理，從而提高了數(shù)據(jù)處理的效率，避免了單機性能瓶頸限制。（3） Hive是Hadoop架構(gòu)中的數(shù)據(jù)倉庫，主要用于靜態(tài)的結(jié)構(gòu)以及需要經(jīng)常分析的工作。Hbase主要作為面向列的數(shù)據(jù)庫運行在HDFS上，可存儲PB級的數(shù)據(jù)。Hbase利用MapReduce來處理內(nèi)部的海量數(shù)據(jù)，并能在海量數(shù)據(jù)中定位所需的數(shù)據(jù)且訪問它。（4） Sqoop是為數(shù)據(jù)的互操作性而設(shè)計，可以從關(guān)系數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)到Hadoop，并能直接導(dǎo)入到HDFS或Hive。⑸Zookeeper在Hadoop架構(gòu)中負責應(yīng)用程序的協(xié)調(diào)工作，以保持Hadoop集群內(nèi)的同步工作。（6）Thrift是一個軟件框架，用來進行可擴展且跨語言的服務(wù)的開發(fā)，最初由Facebook開發(fā)，是構(gòu)建在各種編程語言間無縫結(jié)合的、高效的服務(wù)。Hadoop核心設(shè)計?Map：任務(wù)舸分解?Reduce:皓里的匯忠MapReduceHDFS?Map：任務(wù)舸分解?Reduce:皓里的匯忠MapReduceHDFS?Ma出由hJ己呂已：管理文件*DataNed$:存俺物建文件?Client:荻取文樣的答種A叫Hbase—布式數(shù)據(jù)存儲系統(tǒng)knSttMtJSeinSiwtSwt融DFSQim內(nèi)口口DatdRukCataNXeDduNiwkwors堂口回口E)dtaNcdeknSttMtJSeinSiwtSwt融DFSQim內(nèi)口口DatdRukCataNXeDduNiwkwors堂口回口E)dtaNcde□□□OatalfodeClient:使用HBaseRPC機制與HMaster和HRegionServer進行通信Zookeeper:協(xié)同服務(wù)管理，HMaster通過Zookeepe可以隨時感知各個HRegionServer的健康狀況HMaster:管理用戶對表的增刪改查操作

HRegionServer:HBase中最核心的模塊，主要負責響應(yīng)用戶I/O請求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)HRegion:Hbase中分布式存儲的最小單元，可以理解成一個TableHStore:HBase存儲的核心。由MemStore和StoreFile組成。HLog:每次用戶操作寫入Memstore的同時，也會寫一份數(shù)據(jù)到HLog文件結(jié)合上述Hadoop架構(gòu)功能，大數(shù)據(jù)平臺系統(tǒng)功能建議如圖所示:應(yīng)用砌.UtSMrtr數(shù)據(jù)演應(yīng)用系統(tǒng)：對于大多數(shù)企業(yè)而言，運營領(lǐng)域的應(yīng)用是大數(shù)據(jù)最核心的應(yīng)用，之前企業(yè)主要使用來太瞄平臺尢微旬苞fl結(jié)合上述Hadoop架構(gòu)功能，大數(shù)據(jù)平臺系統(tǒng)功能建議如圖所示:應(yīng)用砌.UtSMrtr數(shù)據(jù)演應(yīng)用系統(tǒng)：對于大多數(shù)企業(yè)而言，運營領(lǐng)域的應(yīng)用是大數(shù)據(jù)最核心的應(yīng)用，之前企業(yè)主要使用來太瞄平臺尢微旬苞fl貌業(yè)平菖宜邀分折瞄爵若播口曜曲瑚e務(wù)分布E牛系統(tǒng)*I■自生產(chǎn)經(jīng)營中的各種報表數(shù)據(jù)，但隨著大數(shù)據(jù)時代的到來，來自于互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、各種傳感器的海量數(shù)據(jù)撲面而至。于是，一些企業(yè)開始挖掘和利用這些數(shù)據(jù)，來推動運營效率的提升。數(shù)據(jù)平臺：借助大數(shù)據(jù)平臺，未來的互聯(lián)網(wǎng)絡(luò)將可以讓商家更了解消費者的使用習(xí)慣，從而改進使用體驗?；诖髷?shù)據(jù)基礎(chǔ)上的相應(yīng)分析，能夠更有針對性的改進用戶體驗，同時挖掘新的商業(yè)機會。數(shù)據(jù)源：數(shù)據(jù)源是指數(shù)據(jù)庫應(yīng)用程序所使用的數(shù)據(jù)庫或者數(shù)據(jù)庫服務(wù)器。豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。數(shù)據(jù)源在不斷拓展，越來越多樣化。如：智能汽車可以把動態(tài)行駛過程變成數(shù)據(jù),嵌入到生產(chǎn)設(shè)備里的物聯(lián)網(wǎng)可以把生產(chǎn)過程和設(shè)備動態(tài)狀況變成數(shù)據(jù)。對數(shù)據(jù)源的不斷拓展不僅能帶

來采集設(shè)備的發(fā)展，而且可以通過控制新的數(shù)據(jù)源更好地控制數(shù)據(jù)的價值。然而我國數(shù)字化的數(shù)據(jù)資源總量遠遠低于美歐，就已有有限的數(shù)據(jù)資源來說，還存在標準化、準確性、完整性低，利用價值不高的情況，這大大降低了數(shù)據(jù)的價值。三、大數(shù)據(jù)的目標效果通過大數(shù)據(jù)的引入和部署，可以達到如下效果:1） 數(shù)據(jù)整合?統(tǒng)一數(shù)據(jù)模型：承載企業(yè)數(shù)據(jù)模型，促進企業(yè)各域數(shù)據(jù)邏輯模型的統(tǒng)一；?統(tǒng)一數(shù)據(jù)標準：統(tǒng)一建立標準的數(shù)據(jù)編碼目錄，實現(xiàn)企業(yè)數(shù)據(jù)的標準化與統(tǒng)一存儲；?統(tǒng)一數(shù)據(jù)視圖：實現(xiàn)統(tǒng)一數(shù)據(jù)視圖，使企業(yè)在客戶、產(chǎn)品和資源等視角獲取到一致的信息。2） 數(shù)據(jù)質(zhì)量管控?數(shù)據(jù)質(zhì)量校驗：根據(jù)規(guī)則對所存儲的數(shù)據(jù)進行一致性、完整性和準確性的校驗，保證數(shù)據(jù)的一致性、完整性和準確性;?數(shù)據(jù)質(zhì)量管控：通過建立企業(yè)數(shù)據(jù)的質(zhì)量標準、數(shù)據(jù)管控的組織、數(shù)據(jù)管控的流程，對數(shù)據(jù)質(zhì)量進行統(tǒng)一管控，以達到數(shù)據(jù)質(zhì)量逐步完善。3） 數(shù)據(jù)共享?消除網(wǎng)狀接口，建立大數(shù)據(jù)共享中心，為各業(yè)務(wù)系統(tǒng)提供共享數(shù)據(jù)，降低接口復(fù)雜度，提高系統(tǒng)間接口效率與質(zhì)量；?以實時或準實時的方式將整合或計算好的數(shù)據(jù)向外系統(tǒng)提供。4） 數(shù)據(jù)應(yīng)用?查詢應(yīng)用：平臺實