大數(shù)據(jù)關鍵技術(shù)大數(shù)據(jù)關鍵技術(shù)

12大數(shù)據(jù)產(chǎn)業(yè)3大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關系1.1大數(shù)據(jù)關鍵技術(shù)數(shù)據(jù)源（互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、企業(yè)數(shù)據(jù)、政府數(shù)據(jù)）數(shù)據(jù)采集數(shù)據(jù)預處理數(shù)據(jù)存儲與管理數(shù)據(jù)處理與分析數(shù)據(jù)可視化大數(shù)據(jù)應用數(shù)據(jù)隱私和安全1.1大數(shù)據(jù)關鍵技術(shù)技術(shù)層面功能數(shù)據(jù)采集利用ETL工具將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等，抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎；或者也可以把實時采集的數(shù)據(jù)作為流計算系統(tǒng)的輸入，進行實時處理分析數(shù)據(jù)存儲和管理利用分布式文件系統(tǒng)、數(shù)據(jù)倉庫、關系數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫等，實現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù)的存儲和管理數(shù)據(jù)處理與分析利用分布式并行編程模型和計算框架，結(jié)合機器學習和數(shù)據(jù)挖掘算法，實現(xiàn)對海量數(shù)據(jù)的處理和分析；對分析結(jié)果進行可視化呈現(xiàn)，幫助人們更好地理解數(shù)據(jù)、分析數(shù)據(jù)數(shù)據(jù)可視化對分析結(jié)果進行可視化呈現(xiàn)，幫助人們更好地理解數(shù)據(jù)、分析數(shù)據(jù)數(shù)據(jù)隱私和安全在從大數(shù)據(jù)中挖掘潛在的巨大商業(yè)價值和學術(shù)價值的同時，構(gòu)建隱私數(shù)據(jù)保護體系和數(shù)據(jù)安全體系，有效保護個人隱私和數(shù)據(jù)安全1.1大數(shù)據(jù)關鍵技術(shù)分布式存儲分布式處理GFS\HDFSBigTable\HBaseNoSQL（鍵值、列族、圖形、文檔數(shù)據(jù)庫）NewSQL（如：SQLAzure）MapReduce/Spark大數(shù)據(jù)兩大核心技術(shù)1.1大數(shù)據(jù)關鍵技術(shù)分布式存儲分布式文件系統(tǒng)文檔存儲列式存儲鍵值存儲圖形存儲關系數(shù)據(jù)成存儲內(nèi)存存儲1.5大數(shù)據(jù)關鍵技術(shù)

大數(shù)據(jù)計算模式解決問題代表產(chǎn)品批處理計算針對大規(guī)模數(shù)據(jù)的批量處理MapReduce、Spark等流計算針對流數(shù)據(jù)的實時計算Storm、S4、Flume、Streams、Puma、DStream、SuperMario、銀河流數(shù)據(jù)處理平臺等圖計算針對大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查詢分析計算大規(guī)模數(shù)據(jù)的存儲管理和查詢分析Dremel、Hive、Cassandra、Impala等大數(shù)據(jù)計算模式及其代表產(chǎn)品1.2大數(shù)據(jù)產(chǎn)業(yè)大數(shù)據(jù)產(chǎn)業(yè)是指一切與支撐大數(shù)據(jù)組織管理和價值發(fā)現(xiàn)相關的企業(yè)經(jīng)濟活動的集合產(chǎn)業(yè)鏈環(huán)節(jié)包含內(nèi)容IT基礎設施層包括提供硬件、軟件、網(wǎng)絡等基礎設施以及提供咨詢、規(guī)劃和系統(tǒng)集成服務的企業(yè)，比如，提供數(shù)據(jù)中心解決方案的IBM、惠普和戴爾等，提供存儲解決方案的EMC，提供虛擬化管理軟件的微軟、思杰、SUN、Redhat等數(shù)據(jù)源層大數(shù)據(jù)生態(tài)圈里的數(shù)據(jù)提供者，是生物大數(shù)據(jù)（生物信息學領域的各類研究機構(gòu)）、交通大數(shù)據(jù)（交通主管部門）、醫(yī)療大數(shù)據(jù)（各大醫(yī)院、體檢機構(gòu)）、政務大數(shù)據(jù)（政府部門）、電商大數(shù)據(jù)（淘寶、天貓、蘇寧云商、京東等電商）、社交網(wǎng)絡大數(shù)據(jù)（微博、微信、人人網(wǎng)等）、搜索引擎大數(shù)據(jù)（百度、谷歌等）等各種數(shù)據(jù)的來源數(shù)據(jù)管理層包括數(shù)據(jù)抽取、轉(zhuǎn)換、存儲和管理等服務的各類企業(yè)或產(chǎn)品，比如分布式文件系統(tǒng)（如Hadoop的HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、數(shù)據(jù)庫和數(shù)據(jù)倉庫（Oracle、MySQL、SQLServer、HBase、GreenPlum等）數(shù)據(jù)分析層包括提供分布式計算、數(shù)據(jù)挖掘、統(tǒng)計分析等服務的各類企業(yè)或產(chǎn)品，比如，分布式計算框架MapReduce、統(tǒng)計分析軟件SPSS和SAS、數(shù)據(jù)挖掘工具Weka、數(shù)據(jù)可視化工具Tableau、BI工具（MicroStrategy、Cognos、BO）等等數(shù)據(jù)平臺層包括提供數(shù)據(jù)分享平臺、數(shù)據(jù)分析平臺、數(shù)據(jù)租售平臺等服務的企業(yè)或產(chǎn)品，比如阿里巴巴、谷歌、中國電信、百度等數(shù)據(jù)應用層提供智能交通、智慧醫(yī)療、智能物流、智能電網(wǎng)等行業(yè)應用的企業(yè)、機構(gòu)或政府部門，比如交通主管部門、各大醫(yī)療機構(gòu)、菜鳥網(wǎng)絡、國家電網(wǎng)等1.3大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關系云計算、大數(shù)據(jù)和物聯(lián)網(wǎng)代表了IT領域最新的技術(shù)發(fā)展趨勢，三者相輔相成，既有聯(lián)系又有區(qū)別1.3.1云計算云計算實現(xiàn)了通過網(wǎng)絡提供可伸縮的、廉價的分布式計算能力，用戶只需要在具備網(wǎng)絡接入條件的地方，就可以隨時隨地獲得所需的各種IT資源云計算的服務模式和類型1.云計算概念1.3.1云計算InfrastructureasaServicePlatformasaServiceSoftwareasaServiceSaaSPaaSIaaSGoogleApps,Microsoft“Software+Services”IBMITfactory,GoogleAppEngine,FAmazonEC2,IBMBlueCloud,SunGridServerStorageServerStorageVisualizationInfrastructurePlatformApplication從一個集中的系統(tǒng)部署軟件，使之在一臺本地計算機上(或從云中遠程地)運行的一個模型。由于是計量服務，SaaS允許出租一個應用程序，并計時收費IaaS將基礎設施(計算資源和存儲)作為服務出租PaaS類似于IaaS，但是它包括操作系統(tǒng)和圍繞特定應用的必需的服務SaaS1.3.1云計算云計算關鍵技術(shù)包括：虛擬化、分布式存儲、分布式計算、多租戶等2.云計算關鍵技術(shù)1.3.1云計算云計算數(shù)據(jù)中心是一整套復雜的設施，包括刀片服務器、寬帶網(wǎng)絡連接、環(huán)境控制設備、監(jiān)控設備以及各種安全裝置等數(shù)據(jù)中心是云計算的重要載體，為云計算提供計算、存儲、帶寬等各種硬件資源，為各種平臺和應用提供運行支撐環(huán)境全國各地推進數(shù)據(jù)中心建設3.云計算數(shù)據(jù)中心1.3.1云計算政務云上可以部署公共安全管理、容災備份、城市管理、應急管理、智能交通、社會保障等應用，通過集約化建設、管理和運行，可以實現(xiàn)信息資源整合和政務資源共享，推動政務管理創(chuàng)新，加快向服務型政府轉(zhuǎn)型教育云可以有效整合幼兒教育、中小學教育、高等教育以及繼續(xù)教育等優(yōu)質(zhì)教育資源，逐步實現(xiàn)教育信息共享、教育資源共享及教育資源深度挖掘等目標中小企業(yè)云能夠讓企業(yè)以低廉的成本建立財務、供應鏈、客戶關系等管理應用系統(tǒng)，大大降低企業(yè)信息化門檻，迅速提升企業(yè)信息化水平，增強企業(yè)市場競爭力醫(yī)療云可以推動醫(yī)院與醫(yī)院、醫(yī)院與社區(qū)、醫(yī)院與急救中心、醫(yī)院與家庭之間的服務共享，并形成一套全新的醫(yī)療健康服務系統(tǒng)，從而有效地提高醫(yī)療保健的質(zhì)量4.云計算應用1.3.1云計算云計算產(chǎn)業(yè)作為戰(zhàn)略性新興產(chǎn)業(yè)，近些年得到了迅速發(fā)展，形成了成熟的產(chǎn)業(yè)鏈結(jié)構(gòu)，產(chǎn)業(yè)涵蓋硬件與設備制造、基礎設施運營、軟件與解決方案供應商、基礎設施即服務（IaaS）、平臺即服務（PaaS）、軟件即服務（SaaS）、終端設備、云安全、云計算交付/咨詢/認證等環(huán)節(jié)圖1-8云計算產(chǎn)業(yè)鏈5.云計算產(chǎn)業(yè)1.3.2物聯(lián)網(wǎng)物聯(lián)網(wǎng)是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸，它利用局部網(wǎng)絡或互聯(lián)網(wǎng)等通信技術(shù)把傳感器、控制器、機器、人員和物等通過新的方式聯(lián)在一起，形成人與物、物與物相聯(lián)，實現(xiàn)信息化和遠程管理控制1.物聯(lián)網(wǎng)概念圖1-9物聯(lián)網(wǎng)體系架構(gòu)1.3.2物聯(lián)網(wǎng)物聯(lián)網(wǎng)中的關鍵技術(shù)包括識別和感知技術(shù)（二維碼、RFID、傳感器等）、網(wǎng)絡與通信技術(shù)、數(shù)據(jù)挖掘與融合技術(shù)等2.物聯(lián)網(wǎng)關鍵技術(shù)圖1-10矩陣式二維碼圖1-11采用RFID芯片的公交卡圖1-12不同類型的傳感器1.3.2物聯(lián)網(wǎng)物聯(lián)網(wǎng)已經(jīng)廣泛應用于智能交通、智慧醫(yī)療、智能家居、環(huán)保監(jiān)測、智能安防、智能物流、智能電網(wǎng)、智慧農(nóng)業(yè)、智能工業(yè)等領域，對國民經(jīng)濟與社會發(fā)展起到了重要的推動作用3.物聯(lián)網(wǎng)應用1.3.2物聯(lián)網(wǎng)完整的物聯(lián)網(wǎng)產(chǎn)業(yè)鏈主要包括核心感應器件提供商、感知層末端設備提供商