第6章

新興信息技術(shù)content重點難點重點：物聯(lián)網(wǎng)定義、應用物聯(lián)網(wǎng)與互聯(lián)網(wǎng)的區(qū)別及關系云計算的概念、特點、服務類型大數(shù)據(jù)的概念、特征、支撐大數(shù)據(jù)的要素區(qū)塊鏈的概念、分類、特征難點：物聯(lián)網(wǎng)涉及的關鍵技術(shù)云計算關鍵技術(shù)大數(shù)據(jù)思維、大數(shù)據(jù)處理技術(shù)區(qū)塊鏈的關鍵技術(shù)Contents目錄6.1物聯(lián)網(wǎng)6.2云計算6.3大數(shù)據(jù)6.4區(qū)塊鏈6.5人工智能與物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、區(qū)塊鏈的應用和關系6.1 物聯(lián)網(wǎng)6.1.1物聯(lián)網(wǎng)的概述1.物聯(lián)網(wǎng)的起源1991年美國麻省理工學院（MIT）的KevinAsh-ton教授首次提出物聯(lián)網(wǎng)的概念。“萬物皆可通過網(wǎng)絡互聯(lián)”智能家居的典范7

“未來之屋”以其超乎想象的智能化和自動化，被視為人類未來生活的典范，在回家的途中就可以通過智能住宅系統(tǒng)遙探家中的一切：手機撥號，接通豪宅內(nèi)的中央電腦，用數(shù)字按鍵與電腦溝通，讓電腦對衛(wèi)浴系統(tǒng)下達指令：“在大浴缸里放滿一池熱水?！?；用手機控制，開啟空調(diào)；囑咐廚房的工作人員準備晚飯；2.物聯(lián)網(wǎng)平臺研究現(xiàn)狀亞馬遜：AWS（AmazonWebServices，亞馬遜網(wǎng)上服務）微軟：Azure谷歌：GoogleCloudIoTCore關閉，GoogleCloud轉(zhuǎn)向合作伙伴生態(tài)和邊緣計算IBM：Watson不再推廣獨立服務，將重心轉(zhuǎn)向混合云和企業(yè)級AI（如Watsonx）百度天工（2016.7），聚焦AIoT，與Apollo自動駕駛平臺深度集成阿里云IoT：升級為“云釘一體”物聯(lián)網(wǎng)平臺騰訊云IoT：提供全棧物聯(lián)網(wǎng)解決方案，強化邊緣計算能力到底什么是物聯(lián)網(wǎng)呢？3.物聯(lián)網(wǎng)的定義

物聯(lián)網(wǎng)的理解10“一句式”理解物聯(lián)網(wǎng)：把所有物品通過信息傳感設備與互聯(lián)網(wǎng)連接起來，進行信息交換，即物物相息，以實現(xiàn)智能化識別和管理。另一句理解物聯(lián)網(wǎng)：物物相連的互聯(lián)網(wǎng)。物聯(lián)網(wǎng)是新一代信息技術(shù)的重要組成部分，其基礎核心仍然是互聯(lián)網(wǎng)。

物聯(lián)網(wǎng)的理解11簡單的理解：物聯(lián)網(wǎng)就是“你知道我在哪里、我知道你在哪里”、“你知道我在干什么、我知道你在干什么”。3.物聯(lián)網(wǎng)的定義物聯(lián)網(wǎng)是通過射頻識別（RFID）、紅外感應器、全球定位系統(tǒng)、激光掃描器等信息傳感設備，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)連接起來，進行信息交換和通訊，以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡?；ヂ?lián)網(wǎng)和物聯(lián)網(wǎng)到底什么關系？互聯(lián)網(wǎng)已成為人與人交流溝通、傳遞信息的紐帶，互聯(lián)網(wǎng)是物聯(lián)網(wǎng)的基礎，物聯(lián)網(wǎng)是互聯(lián)網(wǎng)的延伸，互聯(lián)網(wǎng)和物聯(lián)網(wǎng)相互促進，共同造福人類。4.物聯(lián)網(wǎng)的特征網(wǎng)絡化物聯(lián)化互聯(lián)化自動化感知化智能化邊緣計算能力5.物聯(lián)網(wǎng)的體系架構(gòu)應用層網(wǎng)絡層感知層網(wǎng)絡層的主要作用是把下層（感知層）設備接入互聯(lián)網(wǎng)，供上層服務使用。應用層的任務是將各類物聯(lián)網(wǎng)的服務以用戶需要的形式呈現(xiàn)出來，提供一個“按需所取”的綜合信息服務平臺。在這個平臺上，使用者不必了解服務的實現(xiàn)技術(shù)，也不必了解服務來自哪里，只需要關注服務能否滿足自己的使用要求。物聯(lián)網(wǎng)要實現(xiàn)物與物的通信，其中“物”的感知是非常重要的。感知是物聯(lián)網(wǎng)的感覺器官，用來識別物體、采集信息?！拔铩蹦軌蛟诳臻g和時間上存在和移動，可以被識別，一般可以通過實現(xiàn)分配的數(shù)字、名字或地址對“物”加以編碼，然后加以辯識。利用RFID,無線傳感器，攝像頭，GPS等技術(shù)6.1.2 物聯(lián)網(wǎng)的關鍵技術(shù)物聯(lián)網(wǎng)的關鍵技術(shù)1.識別與感知技術(shù)（1）射頻識別（RFID）技術(shù)RFID（RadioFrequencyIdentification）即射頻識別技術(shù)，俗稱電子標簽，通過射頻信號自動識別目標對象，并對其信息進行標志、登記、儲存和管理。射頻識別技術(shù)（RadioFrequencyIdentification，RFID），利用射頻信號通過空間耦合（交變磁場或電磁場）實現(xiàn)無接觸信息傳遞并通過所傳遞的信息達到自動識別的目地。1.識別與感知技術(shù)（1）射頻識別（RFID）技術(shù)RFID系統(tǒng)構(gòu)成電子標簽：有唯一的RFID編碼天線：與讀寫器相連，傳遞射頻信號讀寫器：讀取或?qū)懭霕撕炐畔⒌脑O備1.識別與感知技術(shù)（1）射頻識別（RFID）技術(shù)RFID技術(shù)衍生產(chǎn)品無源RFID產(chǎn)品：銀行卡、公交卡、身份證、飯卡有源RFID產(chǎn)品：智能停車場、智慧城市、智慧交通半有源RFID產(chǎn)品：門禁出入管理、區(qū)域定位管理及安防報警二代身份證內(nèi)置芯片天線線圈芯片1.識別與感知技術(shù)（2）條形碼技術(shù)一維條碼：是將寬度不等的多個黑條和空白，按照一定的編碼規(guī)則排列，用于表達一組信息的圖形標識符。原理：“條”指對光線反射率較低的部分，“空”指對光線反射率較高的部分，用條形碼閱讀器可轉(zhuǎn)換成與計算機兼容的二進制和十進制信息。組成：一維條碼又稱為線形條碼，是由一個接一個的“條”和“空”排列來表達一定的信息，常用的一維碼的碼制包括：EAN碼、39碼、交叉25碼、UPC碼、128碼、93碼，ISBN碼，及Codabar（庫德巴碼）等。1.識別與感知技術(shù)23一維條碼：商品一維EAN碼分組含義，前綴碼是用來標識國家或地區(qū)的代碼，賦碼權(quán)在國際物品編碼協(xié)會，如00-09代表美國、加拿大。45－49代表日本。690-692代表中國大陸，471代表我國臺灣地區(qū)，489代表香港特區(qū)。EAN碼，僅有數(shù)字號碼，通常為13位，主要應用在超市和百貨業(yè)。購物消費時，收銀員使用條形碼掃描器（如圖所示）掃描對應物品上的標簽，即掃描一維條形碼來獲取物品的名稱、類別、生產(chǎn)時間、價格及重量等信息。請查看你所購買商品的條碼一維條碼24書籍條碼的前綴碼，中國書籍978，中國期刊977ISBN碼：每一個ISBN碼由一組3+10位數(shù)字組成，用以識別出版物所屬國別地區(qū)、出版機構(gòu)、書名、版本以及裝訂方式。請查看你所用書籍或期刊的條碼1.識別與感知技術(shù)（2）條形碼技術(shù)二維條碼是按照一定規(guī)律在平面(二維)上分布黑白相間的特定的幾何圖形來記錄數(shù)據(jù)符號信息。常見的有PDF417、QRCode、Code49、Code16K、CodeOne等。QR碼(全稱為快速響應矩陣碼，QuickResponseCode)二維碼二維碼又稱二維條碼，是在一維條碼的基礎上擴展出的一種具有可讀性的條碼。設備掃描二維條碼時，通過識別條碼的長度和寬度中所記載的二進制數(shù)據(jù)，可獲取其中所包含的信息。相比一維條碼，二維碼記載更復雜的數(shù)據(jù)，比如圖片、網(wǎng)絡鏈接等。26二維碼發(fā)明者騰弘原圖片來源：歐洲專利局可惜日本人當時雖然手握二維碼專利權(quán)，但僅僅將狹窄的目光放在特定的收費項目上，完全沒能預料到二維碼在未來社會的廣泛應用。二維碼與RFID標簽比較成本比較：二維碼與一維條碼（條形碼）一樣，幾乎是零成本的信息存儲技術(shù)，而RFID電子標簽每個成本在1美元以上。工作環(huán)境比較：高溫高壓或者化學清洗這樣的極端環(huán)境，只有RFID標簽才能勝任。兩者之間最大的區(qū)別是：二維碼是“可視技術(shù)”，只能在的視野范圍內(nèi)接收，而射頻識別不要求看見目標，只要在接收器的作用范圍內(nèi)就可以被讀取。各有優(yōu)勢：目前RFID技術(shù)在車聯(lián)網(wǎng)中有較出色的應用，而在二維碼在移動電子商務中有較好的應用，并且成本低，是不能被RFID標簽所取代的。1.識別與感知技術(shù)（3）傳感器技術(shù)與傳感網(wǎng)傳感器敏感元件轉(zhuǎn)換元件基本電路傳感器實現(xiàn)本質(zhì)：1.識別與感知技術(shù)（3）傳感網(wǎng)傳感網(wǎng)(SensorNetworks，SN)是指將各種信息傳感設備，如RFID裝置、紅外感應器、全球定位系統(tǒng)、激光掃描器等裝置與互聯(lián)網(wǎng)結(jié)合起來而形成的一個巨大網(wǎng)絡。目前在傳感器技術(shù)領域中，人們重點研究的是無線傳感網(wǎng)(WirelessSensorNetworks，WSN)WSN不需要預先鋪設網(wǎng)絡設施；能夠快速自動組網(wǎng)；傳感器節(jié)點體積小，便于部署。1.識別與感知技術(shù)無線傳感網(wǎng)的應用環(huán)境檢測軍事應用環(huán)境檢測工業(yè)應用醫(yī)療應用其他方面應用WSN可用來建立一個集命令、控制、通信、計算、智能、監(jiān)視、偵查和定位于一體的戰(zhàn)場指揮系統(tǒng)森林火監(jiān)測，WSN在監(jiān)視農(nóng)作物灌溉、土填空氣狀況，牲畜、家禽的環(huán)境狀況，大面積的地表監(jiān)測，氣象和地研究，洪水監(jiān)測，跟蹤鳥類、小型動物和昆蟲，以及對種群復雜度進行研究等都有較大的應用空間。工業(yè)安全方面，WSN可應用于有毒、放射性的場合，它的自組織算法和多跳路由傳輸可以保證數(shù)據(jù)有更高的可靠性在醫(yī)療上，如果在住院病人或老人身上安裝特殊用途的傳感器節(jié)點，醫(yī)生就可以隨時了解被監(jiān)護病人或老人的情況，進行遠程監(jiān)控，掌握他們的身體狀況，如實時掌握血壓、血糖、脈搏等情況，一旦發(fā)生危急情況可在第一時間實施救助;也可以實現(xiàn)在人體內(nèi)植入人工視網(wǎng)膜，所以，WSN能夠為未來的遠程醫(yī)療提供更加方便、快捷的技術(shù)實現(xiàn)手段。商業(yè)方面，WSN可用在貨物的供應鏈管理中，幫助定位貨品的存放位置、貨品的狀態(tài)、銷售情況。通過裝載在節(jié)點上的溫濕度傳感器、加速度傳感器等，記錄集裝箱是否被打開過，是否過熱、受潮或撞擊等。在交通運輸中，WSN可以對車輛，集裝箱等多個運動的個體進行有效的狀態(tài)監(jiān)控和位置定位。1.識別與感知技術(shù)（4）攝像頭與圖像識別技術(shù)通過攝像頭采集圖像、視頻數(shù)據(jù)，并使用圖像識別技術(shù)分析數(shù)據(jù)內(nèi)容，廣泛應用于智能安防、自動駕駛、工業(yè)檢測等領域。（5）地理位置坐標識別技術(shù)用于確定物體或人員在地球表面的精確位置（經(jīng)度、緯度、高程），廣泛應用于導航、測繪、物聯(lián)網(wǎng)、智慧城市等領域。2.網(wǎng)絡與通信技術(shù)（1）無線通信技術(shù)短距離無線通信技術(shù)：長距離無線通信技術(shù)：NB-IoT（窄帶物聯(lián)網(wǎng)），5G，LTE-M，LoRa，Sigfox和衛(wèi)星通信，適用于遠距離、廣覆蓋、低功耗的物聯(lián)網(wǎng)應用。技術(shù)核心定位經(jīng)典應用場景Wi-Fi寬帶無線接入，功耗高需持續(xù)供電家庭網(wǎng)絡、視頻流、云服務藍牙個人設備互聯(lián)耳機、音箱、鼠標、鍵盤、健康手環(huán)NFC安全近場交互，極短距低速手機支付、門禁卡、電子票務ZigBee工業(yè)/家居物聯(lián)網(wǎng)低功耗網(wǎng)絡智能照明、環(huán)境傳感器、遠程監(jiān)控2.網(wǎng)絡與通信技術(shù)（2）有線通信技術(shù)以太網(wǎng)：一種局域網(wǎng)技術(shù)標準，適用于工業(yè)物聯(lián)網(wǎng)和智能建筑等對穩(wěn)定性、帶寬、實時性要求高的場景。光纖通信：利用光信號通過光纖傳輸數(shù)據(jù)的技術(shù)，具有高帶寬、低損耗和抗干擾能力強等特點，適用于骨干網(wǎng)絡。（3）網(wǎng)絡協(xié)議：用于規(guī)范設備之間的通信和數(shù)據(jù)傳輸采用的協(xié)議有：。MQTT：一種輕量級的消息傳輸協(xié)議，專為低帶寬、不穩(wěn)定的網(wǎng)絡環(huán)境設計，適用于智能家居、工業(yè)物聯(lián)網(wǎng)和環(huán)境監(jiān)測等領域。CoAP：一種專為物聯(lián)網(wǎng)設計的應用層協(xié)議，特別適合資源受限的低功耗設備，常用于智能家居、環(huán)境監(jiān)測和農(nóng)業(yè)物聯(lián)網(wǎng)等場景。HTTP/HTTPS：互聯(lián)網(wǎng)中廣泛使用的協(xié)議，適用于數(shù)據(jù)傳輸。HTTPS通過加密保證了數(shù)據(jù)的安全性，常用于需要傳輸大量數(shù)據(jù)或?qū)Π踩砸筝^高的場景。3.數(shù)據(jù)處理與分析技術(shù)（1）邊緣計算（EdgeComputing）：將數(shù)據(jù)處理和分析從云端遷移到靠近數(shù)據(jù)源邊緣設備的技術(shù)架構(gòu)。（2）云計算：提供大規(guī)模數(shù)據(jù)存儲和計算能力，支持大數(shù)據(jù)分析、AI模型訓練、物聯(lián)網(wǎng)平臺支持等。（3）大數(shù)據(jù)技術(shù)：處理和分析海量數(shù)據(jù)的技術(shù)，如Hadoop、Spark、Flink等，能夠挖掘數(shù)據(jù)價值，支持預測分析、趨勢分析、用戶行為分析等。（4）人工智能（AI）：研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應用系統(tǒng)的一門新的技術(shù)科學。4.數(shù)據(jù)安全與隱私保護技術(shù)（1）傳輸加密：可保障通信安全，如TLS/DTLS協(xié)議（2）設備認證：能實現(xiàn)身份鑒別，如數(shù)字證書（3）數(shù)據(jù)保護：能確保信息不可篡改，如區(qū)塊鏈（4）隱私計算：可實現(xiàn)“數(shù)據(jù)可用不可見”，如聯(lián)邦學習物聯(lián)網(wǎng)的關鍵技術(shù)還有“平臺與中間件技術(shù)”，為物聯(lián)網(wǎng)提供統(tǒng)一的開發(fā)和管理支持；“應用與服務技術(shù)”是物聯(lián)網(wǎng)價值的最終體現(xiàn)。6.1.3物聯(lián)網(wǎng)發(fā)展趨勢和挑戰(zhàn)1.物聯(lián)網(wǎng)的發(fā)展趨勢（1）5G/6G（實驗室/預商用）通信技術(shù)持續(xù)演進（2）邊緣智能，AI芯片與輕量化模型實現(xiàn)本地化實時決策，邊緣計算與AI深度融合（3）區(qū)鏈技術(shù)逐步應用于設備身份認證和數(shù)據(jù)溯源（4）應用場景持續(xù)拓展（5）商業(yè)模式加速轉(zhuǎn)型，“產(chǎn)品即服務”模式2．物聯(lián)網(wǎng)的面臨挑戰(zhàn)（1）安全風險日益突出。（2）標準與互操作性不足。（3）能耗問題亟待解決。（4）可持續(xù)發(fā)展壓力增大。（5）隱私與合規(guī)壓力。（6）專業(yè)人才缺口制約發(fā)展。3．物聯(lián)網(wǎng)的未來（1）市場規(guī)模持續(xù)擴大，（3）社會價值日益凸顯（2）技術(shù)創(chuàng)新將推動產(chǎn)業(yè)升級6.2 云計算6.2.1 云計算概述1.云計算起源企業(yè)的煩惱企業(yè)每建設一套業(yè)務都要購買新的硬件設備(例如服務器、存儲器等)和系統(tǒng)軟件（例如數(shù)據(jù)庫、中間件等）；對硬件資源的要求是按照業(yè)務的高峰值的需要來進行購買，但是此應用的高峰期是具有周期性的；這些設備平時占用大量的空間，消耗大量的電力，利用率卻不高；管理復雜、運維成本高，IT部門的工作人員忙于解決員工電腦的操作系統(tǒng)錯誤和應用軟件的錯誤；云計算：解決了硬件利用率太低，費電、占空間、運維成本高等問題。服務器到底什么是云計算呢？2.云計算的定義云計算的基本思想使用者可以通過網(wǎng)絡從云端獲得能力：云端提供計算能力、存儲能力、和各種各樣功能的應用；2.云計算的定義Wikipedia（維基百科），云計算是一種基于互聯(lián)網(wǎng)的計算新方式，通過互聯(lián)網(wǎng)上異構(gòu)、自治的服務為個人和企業(yè)用戶提供按需即取的計算。Berkeley（伯克利）大學，云計算是指Internet上以服務發(fā)布的應用以及支撐這些服務的數(shù)據(jù)中心的軟件和硬件。云計算是一種商業(yè)計算模型。它將計算任務分布在大量計算機構(gòu)成的資源池上，使各種應用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務。美國國家標準與技術(shù)研究院（NIST）的定義是：云計算是一種按使用量付費的模式，這種模式允許用戶通過無所不在的、便捷的、按需獲得的網(wǎng)絡，接入到一個可動態(tài)配置的共享資源池（資源包括：網(wǎng)絡設備、服務器、存儲、應用軟件、服務等），只需投入很少的管理工作，或與服務供應商進行很少的交互，就可實現(xiàn)這些配置資源的快速提供。2.云計算的定義3.云計算的特點（1）超大規(guī)模：（2）虛擬化：（3）高可靠性：（4）通用性：（5）高可擴展性：（6）按需服務：（7）成本效益：（8）潛在風險：云計算（CloudComputing）是分布式計算（DistributedComputing）、并行計算（ParallelComputing）、效用計算（UtilityComputing）、網(wǎng)絡存儲（NetworkStorageTechnologies）虛擬化（Virtualization）、負載均衡（LoadBalance）、熱備份冗余（HighAvailable）等傳統(tǒng)計算機和網(wǎng)絡技術(shù)發(fā)展融合的產(chǎn)物。并行計算集群計算網(wǎng)格計算云計算4.云計算的服務類型云計算的服務類型：IaaS、PaaS和SaaS。共同的特點：不管是基于設備、平臺還是軟件，都是提供服務的。所以說：云計算就是提供服務的。資源池化就是把Iaas、Paas、Saas層的資源（CPU、存儲、網(wǎng)絡等）放入到資源池中(云服務器)，云服務器進行集中管理。所以云計算里所有的服務都是通過資源池里的資源而提供的。

位于云計算最底層的是IaaS，消費者通過Internet可以從完善的計算機基礎設施獲得服務，而不用理會其他如服務器硬件購買、托管、監(jiān)控、維護等工作。消費者自己安裝操作系統(tǒng)、中間件、數(shù)據(jù)庫、應用程序等。IaaS(Infrastructure-as-a-Service)基礎設施即服務第二層就是PaaS，PaaS實際上是指將軟件研發(fā)的平臺作為一種服務，以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應用。但是，PaaS的出現(xiàn)可以加快SaaS的發(fā)展，尤其是加快SaaS應用的開發(fā)速度。消費者自己開發(fā)或安裝程序，并運行程序。PaaS(Platform-as-a-Service)平臺即服務第三層就是SaaS，它是一種通過Internet提供軟件的模式，用戶無需購買軟件，而是向提供商租用基于Web的軟件，來管理企業(yè)經(jīng)營活動。這一層是人們在生活中每天都要接觸的一層，大多是通過網(wǎng)頁瀏覽器來實現(xiàn)的。系統(tǒng)中的應用軟件層作為服務出租出去，消費者不用安裝軟件，直接使用。SaaS(Software-as-a-Service)軟件即服務4.云計算的服務類型云計算的服務類型：IaaS、PaaS和SaaS。共同的特點：不管是基于設備、平臺還是軟件，都是提供服務的。所以說：云計算就是提供服務的。資源池化就是把Iaas、Paas、Saas層的資源（CPU、存儲、網(wǎng)絡等）放入到資源池中(云服務器)，云服務器進行集中管理。所以云計算里所有的服務都是通過資源池里的資源而提供的。

5.云計算的使用類型1．公有云（PublicCloud）2．私有云（PrivateCloud）3．混合云（HybridCloud）4.多云（Multi-Cloud）6.2.2 云計算的關鍵技術(shù)6.2.2云計算關鍵技術(shù)1．編程模型2．海量數(shù)據(jù)分布存儲技術(shù)3．海量數(shù)據(jù)管理技術(shù)4．虛擬化技術(shù)5．云計算平臺管理技術(shù)1.編程模型MapReduce是Google開發(fā)的java、Python、C++編程模型，它是一種簡化的分布式編程模型和高效的任務調(diào)度模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。嚴格的編程模型使云計算環(huán)境下的編程十分簡單。MapReduce模式的思想是將要執(zhí)行的問題分解成Map(映射)和Reduce(化簡)的方式，先通過Map程序?qū)?shù)據(jù)切割成不相關的區(qū)塊，分配(調(diào)度)給大量計算機處理，達到分布式運算的效果，再通過Reduce程序?qū)⒔Y(jié)果匯整輸出。云計算系統(tǒng)由大量服務器組成，同時為大量用戶服務，因此云計算系統(tǒng)采用分布式存儲的方式存儲數(shù)據(jù)，用冗余存儲的方式保證數(shù)據(jù)的可靠性。云計算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲系統(tǒng)是Google的GFS(GoogleFileSystem-可擴展的分布式文件系統(tǒng))和Hadoop團隊開發(fā)的GFS的開源實現(xiàn)HDFS。GFS的設計思想不同于傳統(tǒng)的文件系統(tǒng)，是針對大規(guī)模數(shù)據(jù)處理和Google應用特性而設計的。它運行于廉價的普通硬件上，但可以提供容錯功能。它可以給大量的用戶提供總體性能較高的服務。它具有高度的可擴展性和容錯性，可以支持多個節(jié)點之間的共享訪問和并發(fā)操作。2.海量數(shù)據(jù)分布存儲技術(shù):GFS/HDFS3.海量數(shù)據(jù)管理技術(shù):BT/HBase云計算需要對分布的、海量的數(shù)據(jù)進行處理、分析，因此，數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。云計算系統(tǒng)中的數(shù)據(jù)管理技術(shù)主要是Google的BT(BigTable)數(shù)據(jù)管理技術(shù)和Hadoop團隊開發(fā)的開源數(shù)據(jù)管理模塊HBase。BT是建立在GFS,Scheduler,LockService和MapReduce之上的一個大型的分布式數(shù)據(jù)庫，與傳統(tǒng)的關系數(shù)據(jù)庫不同，它把所有數(shù)據(jù)都作為對象來處理，形成一個巨大的表格，用來分布存儲大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。4.虛擬化技術(shù)通過虛擬化技術(shù)可實現(xiàn)軟件應用與底層硬件相隔離，它包括將單個資源劃分成多個虛擬資源的裂分模式，也包括將多個資源整合成一個虛擬資源的聚合模式。虛擬化技術(shù)根據(jù)對象可分成存儲虛擬化、計算虛擬化、網(wǎng)絡虛擬化等計算虛擬化又分為系統(tǒng)級虛擬化、應用級虛擬化和桌面虛擬化5.云計算平臺管理技術(shù)云計算資源規(guī)模龐大，服務器數(shù)量眾多并分布在不同的地點，同時運行著數(shù)百種應用，如何有效的管理這些服務器，保證整個系統(tǒng)提供不間斷的服務是巨大的挑戰(zhàn)。云計算系統(tǒng)的平臺管理技術(shù)能夠使大量的服務器協(xié)同工作，方便的進行業(yè)務部署和開通，快速發(fā)現(xiàn)和恢復系統(tǒng)故障，通過自動化、智能化的手段實現(xiàn)大規(guī)模系統(tǒng)的可靠運營。6.2.3 云計算應用與發(fā)展1.云計算應用以亞馬遜和阿里云為代表的先入者，它們對云計算市場培育做出了巨大貢獻，也有雄厚的人才資源、豐富的細分產(chǎn)品和龐大的數(shù)據(jù)中心；以微軟、谷歌、騰訊與百度等為代表的跟進者；以Facebook和網(wǎng)易為代表的黑馬公司；以Saleforce、青云等為代表的創(chuàng)業(yè)公司；以及以IBM、甲骨文為代表的傳統(tǒng)IT企業(yè)。63云計算供應商（國外）AmazonEC2AmazonElasticComputeCloudGoogleCloudPlatformMicrosoftAzureCloudIBMCloud64云計算供應商（國內(nèi)）百度云騰訊云阿里云網(wǎng)易云65華為云阿里云阿里自主研發(fā)的飛天操作系統(tǒng)，可以將遍布全球的百萬級服務器連成一臺超級計算機，以在線公共服務的方式為社會提供計算能力。阿里巴巴不只是中國云計算市場的一股重要力量。66據(jù)美國市場研究機構(gòu)SynergyResearchGroup的數(shù)據(jù)，2018年第一季度，阿里巴巴超越IBM成為全球第四大云基礎設施及相關服務的提供商圖6-17飛天操作系統(tǒng)內(nèi)核2.國內(nèi)云計算的發(fā)展現(xiàn)狀（1）市場規(guī)?？焖僭鲩L（4）產(chǎn)業(yè)生態(tài)日趨完善（3）應用場景持續(xù)拓展（2）技術(shù)實力顯著提升3.國內(nèi)云計算主要面臨的挑戰(zhàn)（1）數(shù)據(jù)安全風險突出（2）技術(shù)標準尚不統(tǒng)一（3）專業(yè)人才缺口較大（4）市場競爭加劇6.3 大數(shù)據(jù)6.3.1 大數(shù)據(jù)概述1960s，IBM開發(fā)IMS管理結(jié)構(gòu)化數(shù)據(jù)，奠定基礎。1980s數(shù)據(jù)倉庫概念提出，優(yōu)化數(shù)據(jù)管理。1990s互聯(lián)網(wǎng)興起，傳統(tǒng)數(shù)據(jù)庫面臨海量數(shù)據(jù)存儲與處理挑戰(zhàn)。技術(shù)積累階段（1960s-2000年）2003-2004年Google三大論文（GFS、MapReduce、BigTable）奠定大數(shù)據(jù)技術(shù)基礎。2006年Hadoop開源框架誕生，推動分布式計算發(fā)展。2011年麥肯錫提出“4V”特征，明確大數(shù)據(jù)概念。概念形成階段（2000-2010年）Spark取代MapReduce，效率提升百倍，推動實時計算發(fā)展。AI與大數(shù)據(jù)融合，如AlphaGo依賴海量數(shù)據(jù)訓練。數(shù)據(jù)安全法規(guī)（GDPR）出臺，規(guī)范數(shù)據(jù)使用，保障隱私。產(chǎn)業(yè)化應用階段（2010年至今）1.大數(shù)據(jù)的起源1.大數(shù)據(jù)的起源大數(shù)據(jù)技術(shù)發(fā)展歷程時間軸圖表技術(shù)演進關系圖2.大數(shù)據(jù)的概念（1）大數(shù)據(jù)定義:具備4V/5V特征的海量數(shù)據(jù)集合（2）廣義大數(shù)據(jù)數(shù)據(jù)+技術(shù)+人才+組織的綜合體系權(quán)威定義：麥肯錫：數(shù)據(jù)規(guī)模超出傳統(tǒng)工具處理能力維克托?邁爾：全量數(shù)據(jù)分析與價值挖掘中國《行動綱要》：容量大、類型多、存取快、價值高3.大數(shù)據(jù)的特征（5V）特征描述案例/數(shù)據(jù)（1）Volume（體量大）全球數(shù)據(jù)總量從EB級邁向ZB時代（2025年預測200ZB）（2）Variety（類型多）結(jié)構(gòu)化（10%-20%）vs.非結(jié)構(gòu)化（80%-90%）社交媒體、傳感器數(shù)據(jù)（3）Velocity（速度快）實時響應需求（如金融風控秒級決策）Netflix每秒800萬次用戶行為分析（4）Value（價值高）低價值密度，需AI挖掘（如攜程機票預測準確率92%）（5）Veracity（真實性）數(shù)據(jù)質(zhì)量決定決策可信度4.大數(shù)據(jù)來源（1）互聯(lián)網(wǎng)與移動互聯(lián)網(wǎng)：微信、微博、淘寶（2）物聯(lián)網(wǎng)（IoT）與傳感器設備：工業(yè)設備監(jiān)測、環(huán)境傳感器（3）科學研究與行業(yè)應用:大型強子對撞機（LHC年產(chǎn)生31.5EB數(shù)據(jù)）（4）新興技術(shù)驅(qū)動:AI大模型（GPT-4訓練數(shù)據(jù)）、數(shù)字孿生5.大數(shù)據(jù)思維1.數(shù)據(jù)驅(qū)動決策沃爾瑪通過大數(shù)據(jù)優(yōu)化庫存，年省15億美元。4.相關性優(yōu)于因果性：啤酒與尿布案例、谷歌流感趨勢預測。2.全樣分析：國家電網(wǎng)實時監(jiān)測故障率降至0.1%。3.效率優(yōu)先：實時處理需求大于絕對精確性。6.大數(shù)據(jù)帶來的變革智能家居實現(xiàn)設備互聯(lián)互通，提升生活便利性。健康管理設備實時監(jiān)測身體數(shù)據(jù)，助力健康生活。個人生活更智能化、便捷化01KhanAcademy通過大數(shù)據(jù)實現(xiàn)個性化學習推薦，提升學習效果。教育更個性化與公平化02北京交通信號燈優(yōu)化，提升通行效率25%，改善城市交通狀況。政府治理更精準、透明03導游語音：當游客走到某個對應景點附近，導游語音會自動播放智慧景區(qū)：引入熱力圖，游客可以看到該處游客人數(shù)的多少，合理安排游覽時間公共服務更智慧05支付寶“芝麻信用”——“芝麻信用分”，授權(quán)開通后，每個支付寶用戶都可以看到自己的芝麻信用分。分數(shù)越高代表信用程度越好，違約可能性越低。經(jīng)濟治理更有效04Netflix《紙牌屋》數(shù)據(jù)驅(qū)動制作，實現(xiàn)商業(yè)成功。商業(yè)創(chuàng)新更迅猛066.3.2大數(shù)據(jù)的支撐要素及關鍵技術(shù)1.大數(shù)據(jù)的支撐要素01020304存儲技術(shù)計算能力實時處理人工智能成本降幅超2000萬倍，1GB從6000美元降至0.03美分，推動大數(shù)據(jù)存儲發(fā)展。--01----02----03----04--NVIDIAH100GPU算力較2016年提升50倍，滿足大數(shù)據(jù)處理需求。Netflix用Flink實現(xiàn)每秒800萬次分析，滿足實時數(shù)據(jù)處理需求。AlphaGo依賴3000萬盤棋局數(shù)據(jù)訓練，AI與大數(shù)據(jù)深度融合。2.大數(shù)據(jù)關鍵技術(shù)01數(shù)據(jù)采集多源異構(gòu)數(shù)據(jù)采集，包括數(shù)據(jù)庫、傳感器、Web等，為大數(shù)據(jù)處理提供基礎。02數(shù)據(jù)清洗與預處理缺失值填補、標準化、特征工程等，提升數(shù)據(jù)質(zhì)量，確保分析準確性。03數(shù)據(jù)存儲與管理Hadoop、Spark、分布式數(shù)據(jù)庫等技術(shù)，滿足海量數(shù)據(jù)存儲需求。04數(shù)據(jù)分析與挖掘統(tǒng)計分析（均值、方差）提供基礎數(shù)據(jù)描述。數(shù)據(jù)挖掘（分類、聚類、關聯(lián)規(guī)則）挖掘數(shù)據(jù)價值。05數(shù)據(jù)可視化數(shù)據(jù)可視化（Tableau、PowerBI、D3.js）直觀呈現(xiàn)分析結(jié)果。06應用與反饋應用與反饋（推薦系統(tǒng)、實時風控）實現(xiàn)數(shù)據(jù)價值落地。6.3.3大數(shù)據(jù)的發(fā)展現(xiàn)狀與挑戰(zhàn)1.大數(shù)據(jù)發(fā)展現(xiàn)狀市場規(guī)模中國云計算2024年達6165億元，CAGR20%，市場增長迅速。技術(shù)融合AI+大數(shù)據(jù)（ChatGPT）、邊緣計算（自動駕駛）等技術(shù)融合，推動行業(yè)發(fā)展。行業(yè)應用金融風控、醫(yī)療影像、智能制造等行業(yè)廣泛應用大數(shù)據(jù)技術(shù)，提升效率與質(zhì)量。2.大數(shù)據(jù)面臨挑戰(zhàn)GDPR合規(guī)成本高，企業(yè)面臨數(shù)據(jù)安全與隱私保護壓力。數(shù)據(jù)安全與隱私全球高層次大數(shù)據(jù)人才缺口超150萬，制約行業(yè)發(fā)展。數(shù)據(jù)質(zhì)量非結(jié)構(gòu)化數(shù)據(jù)占比80%-90%，清洗難度大，影響數(shù)據(jù)應用效果。人才缺口偏遠地區(qū)網(wǎng)絡延遲影響實時應用，制約大數(shù)據(jù)技術(shù)普及?；A設施未來趨勢:技術(shù)方向：實時化：邊緣計算支持低延遲處理智能化：AI大模型依賴更大規(guī)模數(shù)據(jù)安全強化：量子加密技術(shù)應用政策與倫理：數(shù)據(jù)主權(quán)立法（如中國《數(shù)據(jù)安全法》）平衡數(shù)據(jù)價值與隱私保護結(jié)論：大數(shù)據(jù)是數(shù)字經(jīng)濟的核心生產(chǎn)要素，推動社會從“經(jīng)驗驅(qū)動”轉(zhuǎn)向“數(shù)據(jù)驅(qū)動”。未來需突破技術(shù)瓶頸（算力、存儲）與倫理爭議（算法偏見），實現(xiàn)可持續(xù)發(fā)展。6.4 區(qū)塊鏈6.4.1 區(qū)塊鏈的基本概念

1.比特幣比特幣背景：2008年金融危機催生比特幣旨在創(chuàng)造一種去中心化、不受傳統(tǒng)金融機構(gòu)控制的數(shù)字貨幣。比特幣系統(tǒng)：比特幣系統(tǒng)是一個去中心化的數(shù)字貨幣體系創(chuàng)世區(qū)塊的誕生標志著比特幣系統(tǒng)的正式啟動，這是區(qū)塊鏈上的第一個區(qū)塊，為后續(xù)的所有交易和數(shù)據(jù)記錄奠定了基礎。區(qū)塊鏈雛形：區(qū)塊通過哈希值連接形成鏈。在比特幣系統(tǒng)中，每個區(qū)塊都包含了上一個區(qū)塊的哈希值，通過這種方式，區(qū)塊之間相互連接形成了一條不可篡改的鏈。這種鏈式結(jié)構(gòu)不僅保證了數(shù)據(jù)的安全性，還使得區(qū)塊鏈具有可追溯性，每一筆交易都可以在區(qū)塊鏈上找到完整的記錄。2.區(qū)塊鏈1.定義：區(qū)塊鏈是一種分布式賬本技術(shù)，它通過密碼學和分布式網(wǎng)絡實現(xiàn)數(shù)據(jù)的安全存儲與價值傳遞。這是一種創(chuàng)新的技術(shù)架構(gòu)，從根本上改變了傳統(tǒng)的數(shù)據(jù)記錄和傳輸方式。2.起源:2008年比特幣誕生，中本聰提出了區(qū)塊鏈技術(shù)，為數(shù)字貨幣的去中心化運行提供了技術(shù)支撐，開啟了區(qū)塊鏈技術(shù)的發(fā)展篇章。核心思想1.去中心化是區(qū)塊鏈的核心特性之一，它摒棄了單一的控制中心，使得整個系統(tǒng)的運行不依賴于特定的機構(gòu)或個人，從而降低了信任成本，讓不同節(jié)點之間能夠平等地參與和協(xié)作。2.去信任化意味著在區(qū)塊鏈系統(tǒng)中，不需要對交易對手方有絕對的信任，而是通過技術(shù)手段來保證交易的安全性和可靠性。3.數(shù)據(jù)不可篡改是基于區(qū)塊鏈獨特的哈希算法和鏈式結(jié)構(gòu)，一旦數(shù)據(jù)被記錄在區(qū)塊中，就難以被修改，確保了數(shù)據(jù)的真實性和完整性。區(qū)塊鏈的結(jié)構(gòu)區(qū)塊頭：上一個區(qū)塊哈希值是連接前后區(qū)塊的重要紐帶，它確保了區(qū)塊鏈的連續(xù)性和完整性；本區(qū)塊哈希值則是對本區(qū)塊內(nèi)容的唯一標識，用于驗證區(qū)塊數(shù)據(jù)的完整性；時間戳記錄了區(qū)塊創(chuàng)建的時間，為區(qū)塊鏈提供了時間維度的信息，有助于排序和驗證交易的先后順序。區(qū)塊體：區(qū)塊體主要用于存儲交易信息或其他數(shù)據(jù)它是區(qū)塊鏈實際承載業(yè)務數(shù)據(jù)的部分。這些數(shù)據(jù)經(jīng)過加密和驗證后被存儲在區(qū)塊體中，確保了數(shù)據(jù)的安全性和可靠性。鏈式結(jié)構(gòu)：每個區(qū)塊依賴前一個區(qū)塊，形成不可逆的鏈這種結(jié)構(gòu)使得區(qū)塊鏈具有高度的穩(wěn)定性和安全性，一旦某個區(qū)塊的數(shù)據(jù)被篡改，后續(xù)所有區(qū)塊的哈希值都會發(fā)生變化，從而被整個區(qū)塊鏈網(wǎng)絡識別和拒絕。3.區(qū)塊鏈的分類公有鏈：公有鏈是完全開放的區(qū)塊鏈，任何人都可以參與其中，無需授權(quán)。比特幣和以太坊是最具代表性的公有鏈，代碼開源，節(jié)點分布廣泛，具有高度的去中心化和透明度，適用于全球范圍內(nèi)的數(shù)字貨幣交易和智能合約應用。聯(lián)盟鏈：聯(lián)盟鏈由多個組織共同管理，適用于多方協(xié)作各組織在聯(lián)盟鏈中擁有一定的話語權(quán)和管理權(quán)限，共同制定區(qū)塊鏈的運行規(guī)則和治理機制。聯(lián)盟鏈結(jié)合了公有鏈和私有鏈的特點，既保證了一定程度的去中心化和透明度，又能夠滿足合作伙伴之間的信任和協(xié)作需求，常用于金融、供應鏈等領域的跨組織合作。私有鏈：私有鏈由單一組織控制，通常用于企業(yè)內(nèi)部的應用場景它的訪問權(quán)限受到嚴格限制，只有被授權(quán)的節(jié)點才能參與區(qū)塊鏈的運行和數(shù)據(jù)訪問。私有鏈適合處理企業(yè)內(nèi)部的敏感數(shù)據(jù)，如財務信息、商業(yè)機密等，能夠在保證數(shù)據(jù)安全的同時，利用區(qū)塊鏈的技術(shù)優(yōu)勢提高業(yè)務效率。4.區(qū)塊鏈的特征（1）去中心化：區(qū)塊鏈沒有單一的控制中心，所有節(jié)點都具有平等的地位，共同參與區(qū)塊鏈的維護和管理。這種去中心化的結(jié)構(gòu)使得區(qū)塊鏈系統(tǒng)更加穩(wěn)定和可靠，降低了因單點故障或中心機構(gòu)操控帶來的風險，同時也促進了全球范圍內(nèi)的公平參與和協(xié)作。（2）不可篡改區(qū)塊鏈利用哈希函數(shù)對數(shù)據(jù)進行加密處理，每個區(qū)塊的哈希值都是根據(jù)前一個區(qū)塊的哈希值和本區(qū)塊的內(nèi)容計算得出的。一旦數(shù)據(jù)被記錄在區(qū)塊鏈上，任何對數(shù)據(jù)的修改都會導致哈希值的改變，而這種改變會被整個區(qū)塊鏈網(wǎng)絡所察覺，從而保證了數(shù)據(jù)的不可篡改特性4.區(qū)塊鏈的特征（3）透明可追溯區(qū)塊鏈上的交易記錄是公開透明的，所有節(jié)點都可以查看區(qū)塊鏈上的所有交易信息。同時，通過鏈式結(jié)構(gòu)和時間戳，每一筆交易都可以追溯到其源頭，這使得交易過程更加清晰、可審計，有助于建立信任機制，防止欺詐行為的發(fā)生。（4）高安全性區(qū)塊鏈采用了多種密碼學技術(shù)來保護數(shù)據(jù)安全，如哈希函數(shù)、非對稱加密等。這些技術(shù)確保了數(shù)據(jù)在傳輸和存儲過程中的安全性，防止數(shù)據(jù)被竊取、篡改或偽造。此外，去中心化的結(jié)構(gòu)也使得區(qū)塊鏈系統(tǒng)難以受到外部攻擊，提高了系統(tǒng)的整體安全性。（5）分布式存儲區(qū)塊鏈的數(shù)據(jù)存儲在多個節(jié)點上，而不是集中存儲在某個中心服務器上。這種分布式存儲方式提高了數(shù)據(jù)的可靠性和容錯性，即使部分節(jié)點出現(xiàn)故障，其他節(jié)點仍然可以繼續(xù)提供數(shù)據(jù)服務，保證了區(qū)塊鏈系統(tǒng)的正常運行。6.4.2區(qū)塊鏈的關鍵技術(shù)1.加密算法（1）哈希函數(shù)哈希函數(shù)是區(qū)塊鏈中常用的加密算法之一，如SHA-256等。哈希函數(shù)可以將任意長度的數(shù)據(jù)轉(zhuǎn)換為固定長度的哈希值，而且具有不可逆性和唯一性。在區(qū)塊鏈中，哈希函數(shù)用于驗證數(shù)據(jù)的完整性和一致性，確保數(shù)據(jù)在傳輸和存儲過程中沒有被篡改。1.加密算法（2）非對稱加密通過公鑰和私鑰的配對來保護交易安全。發(fā)送方使用接收方的公鑰對數(shù)據(jù)進行加密，只有接收方使用自己的私鑰才能解密數(shù)據(jù)。這種加密方式保證了數(shù)據(jù)的保密性和交易的不可抵賴性，是區(qū)塊鏈中實現(xiàn)安全交易的重要技術(shù)手段。2.共識機制共識機制對比圖：機制工作原理優(yōu)點缺點適用場景PoW（工作量證明）節(jié)點競爭計算哈希值，最快解出難題者記賬高安全性、去中心化高能耗、低效率（如比特幣7TPS）公有鏈（比特幣、早期以太坊）PoS（權(quán)益證明）記賬權(quán)按持幣數(shù)量/時長分配節(jié)能、效率更高可能富者愈富（中心化風險）公有鏈（以太坊2.0、Cardano）DPoS（委托權(quán)益證明）持幣者投票選出少數(shù)代表節(jié)點輪流記賬高效（千級TPS）、低能耗部分中心化（依賴代表節(jié)點）高性能鏈（EOS、TRON）BFT（拜占庭容錯）節(jié)點多輪投票達成共識，容忍少數(shù)惡意節(jié)點快速最終性、高容錯性節(jié)點數(shù)量受限（通常≤100）聯(lián)盟鏈/私有鏈（Hyperledger、Stellar）區(qū)塊鏈的關鍵技術(shù)3.分布式存儲分布式存儲是區(qū)塊鏈的重要技術(shù)之一，它將數(shù)據(jù)分散存儲在網(wǎng)絡中的多個節(jié)點上，而不是集中存儲在一個中心服務器上。這種存儲方式提高了數(shù)據(jù)的容錯性和可靠性，即使部分節(jié)點出現(xiàn)故障，其他節(jié)點仍然可以提供數(shù)據(jù)服務，保證了區(qū)塊鏈系統(tǒng)的正常運行。4.智能合約自動執(zhí)行合約，降低風險和成本智能合約是一種自動執(zhí)行的合約條款，它以代碼的形式部署在區(qū)塊鏈上，當滿足預設的條件