第8章計算機新技術主講：XXXX?：XXXX?：XXXX@XX.com01大數(shù)據(jù)基礎02物聯(lián)網(wǎng)目錄CONTENTS03人工智能04云計算05區(qū)塊鏈移動互聯(lián)網(wǎng)的普及以及物聯(lián)網(wǎng)技術的快速發(fā)展，全球數(shù)據(jù)種類不斷增多，數(shù)據(jù)總量也以驚人的速度增長。與此同時，伴隨著大數(shù)據(jù)技術演技和應用的快速發(fā)展，各國把發(fā)展大數(shù)據(jù)上升為國家戰(zhàn)略。大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能、云計算、區(qū)塊鏈等多點突破和融合互動將推動新產(chǎn)業(yè)、新業(yè)態(tài)、新模式的興起，這勢必將重新塑造全球經(jīng)濟競爭格局，也將為中國經(jīng)濟引擎升級帶來新的機遇和挑戰(zhàn)。前言大數(shù)據(jù)大數(shù)據(jù)技術的發(fā)展動力大數(shù)據(jù)的應用大數(shù)據(jù)技術基礎大數(shù)據(jù)的概念思維導圖的繪制大數(shù)據(jù)的特征大數(shù)據(jù)的概念及特征（1）什么是大數(shù)據(jù)？大數(shù)據(jù)這一概念的形成，有三個標志性事件2008年9月，美國《自然》（Nature）雜志?？猅henextGoogle,第一次正式提出“大數(shù)據(jù)”概念。2011年2月1日，《科學》（Science）雜志?？狣eadlingwithdata,第一次綜合分析了大數(shù)據(jù)對人們生活造成的影響，詳細描述了人類面臨的“數(shù)據(jù)困境”2011年5月，麥肯錫研究院發(fā)布報告——《Bigdata:Thenextfrontierforinnovation,competition,andproductivity》,第一次給大數(shù)據(jù)做出相對清晰的定義。大數(shù)據(jù)的概念及特征麥肯錫全球研究院：大數(shù)據(jù)是指大小超過經(jīng)典數(shù)據(jù)庫系統(tǒng)收集、存儲、管理和分析能力的數(shù)據(jù)集。這一定義是站在經(jīng)曲數(shù)據(jù)庫的處理能力的基礎上看待大數(shù)據(jù)的。維基百科：規(guī)模龐大，結構復雜，難以通過現(xiàn)有商業(yè)工具和技術在可容的時間內(nèi)獲取、管理和處理的數(shù)據(jù)集。美國國家標準技術研究院（NIST）：具有規(guī)模巨大、種類繁多、增長速度快和變化頻繁的特征，且需要一個可擴展體系結構來有效存儲、處理和分析的廣泛的數(shù)據(jù)集。IBM給出一個“4V特性”的定義：強調(diào)了大數(shù)據(jù)的數(shù)量、多樣性、速度和真實性等方面，后來也將數(shù)據(jù)價值吸引進來，成為大數(shù)據(jù)的“5V特性”。（1）什么是大數(shù)據(jù)？大數(shù)據(jù)的特征（2）大數(shù)據(jù)的特征體量大（Volume）種類多（Variety)速度快（Velocity）價值高（Value）大數(shù)據(jù)技術發(fā)展的動力云計算、人工智能、物聯(lián)網(wǎng)、硬件性價比的提高以及軟件技術的進步推動大數(shù)據(jù)技術的發(fā)展。大數(shù)據(jù)技術發(fā)展的動力大數(shù)據(jù)的若干核心價值大數(shù)據(jù)可以幫助發(fā)現(xiàn)規(guī)律大數(shù)據(jù)可以幫助解釋現(xiàn)象大數(shù)據(jù)可以幫助預測未來社會：大數(shù)據(jù)提高決策能力和政府治理能力經(jīng)濟：大數(shù)據(jù)成為推動經(jīng)濟轉(zhuǎn)型發(fā)展的新動力科研：大數(shù)據(jù)成為科學研究的新途徑大數(shù)據(jù)的應用大數(shù)據(jù)無處不在，包括金融、汽車、零售、餐飲、電信、能源、政務、醫(yī)療、體育、娛樂等在內(nèi)的社會各行各業(yè)都已經(jīng)融入了大數(shù)據(jù)的印跡大數(shù)據(jù)相關技術基礎（一）（1）云計算與大數(shù)據(jù)大數(shù)據(jù)的基礎架構支持大數(shù)據(jù)相關技術基礎（一）（2）云計算的支撐作用大數(shù)據(jù)處理需要擁有大規(guī)模物理資源的云數(shù)據(jù)中心和具備高效的調(diào)度管理功能的云計算平臺的支撐。從某種觀點上看，沒有計算機的云計算技術，就不會有大數(shù)據(jù)的被分析和利用。大數(shù)據(jù)相關技術基礎（一）（3）分布式處理分布式處理是將不同地點的，或具有不同功能的，或擁有不同數(shù)據(jù)的多臺計算機通過通信網(wǎng)絡連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成大規(guī)模信息處理任務的計算機系統(tǒng)。大數(shù)據(jù)相關技術基礎（二）（1）大數(shù)據(jù)采集和預處理數(shù)據(jù)采集：數(shù)據(jù)采集是指從真實世界對象中獲得原始數(shù)據(jù)的過程。常見數(shù)據(jù)的來源：對現(xiàn)實世界的測量、人類的記錄、計算機生成的數(shù)據(jù)常用的采集方式：接（PULL-based）和推（Push-based)大數(shù)據(jù)相關技術基礎（二）（2）數(shù)據(jù)預處理通過數(shù)據(jù)預處理工作，可以使殘缺的數(shù)據(jù)完整，并將錯誤的數(shù)據(jù)糾正、多余的數(shù)據(jù)去除，進而將所需的數(shù)據(jù)挑選出來，并且進行數(shù)據(jù)集成。常見的預處理方法：數(shù)據(jù)變換、不一致檢測與修復、缺失值填充、實體識別和真值發(fā)現(xiàn)等。大數(shù)據(jù)相關技術基礎（二）（3）數(shù)據(jù)集成把不同來源、格式、性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機地集中，通過一種一致的、精確的、可用的表示法，對同一種現(xiàn)實世界中的實體對象的不同數(shù)據(jù)做整合的過程，從而提供全面的數(shù)據(jù)共享，經(jīng)過數(shù)據(jù)分析挖掘產(chǎn)生有價值的信息。大數(shù)據(jù)相關技術基礎（三）大數(shù)據(jù)的存儲特性現(xiàn)在的大數(shù)據(jù)都是高度分散的、結構松散，并且體積越來越大。大數(shù)據(jù)相關技術基礎（四）（1）大數(shù)據(jù)計算面向大數(shù)據(jù)處理的數(shù)據(jù)查詢、統(tǒng)計、分析、挖掘等需求，促生了大數(shù)據(jù)計算的不同計算模式，常用的大數(shù)據(jù)計算框架有兩種：離線批處理計算實時流式處理計算大數(shù)據(jù)相關技術基礎（四）大數(shù)據(jù)分析（1）數(shù)據(jù)描述性分析數(shù)據(jù)描述性分析關注于描述一組數(shù)據(jù)的統(tǒng)計特征，幫助我們了解數(shù)據(jù)分布特征、以及分散性和關聯(lián)性等數(shù)字特征。典型的統(tǒng)計指標：均值、方差、中位數(shù)、分位數(shù)等。大數(shù)據(jù)相關技術基礎（四）（2）數(shù)據(jù)挖掘和機器學習算法分類算法、聚類算法、關聯(lián)規(guī)則算法、PageRank算法、人工神經(jīng)網(wǎng)絡和深度學習方法、統(tǒng)計機器學習方法等。。。。大數(shù)據(jù)相關技術基礎（四）（3）預測分析預測分析法是根據(jù)客觀對象的已知信息而對事物在將來的某些特征、發(fā)展狀況的一種估計、測算活動。典型的算法：回歸分析、時間序列預測法和因果關系預測。大數(shù)據(jù)相關技術基礎（四）（4）推薦系統(tǒng)推薦系統(tǒng)根據(jù)用戶的興趣特點和購買行為，向用戶推薦感興趣的信息和商品。典型的算法：協(xié)同過濾算法、基于內(nèi)容的過濾算法和基于關聯(lián)規(guī)則推薦算法。大數(shù)據(jù)相關技術基礎（四）（5）社會網(wǎng)絡分析社會網(wǎng)絡分析被用來建立社會關系的模型，發(fā)現(xiàn)群體內(nèi)行動者之間的社會關系，描述社會關系的結構，研究這種結構對群體功能或者群體內(nèi)部個體的影響。典型的應用：社會輿情分析、網(wǎng)絡社區(qū)發(fā)現(xiàn)、情感分析等大數(shù)據(jù)相關技術基礎（四）數(shù)據(jù)可視化利用計算機圖形學和圖像處理技術，將數(shù)據(jù)轉(zhuǎn)換成圖形或圖像在屏幕上顯示出來，并進行交互處理的理論、方法和技術。可視化是理解、探索、分析大數(shù)據(jù)的重要手段。物聯(lián)網(wǎng)（1）物聯(lián)網(wǎng)的概念物聯(lián)網(wǎng)是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸，它利用局部網(wǎng)絡或互聯(lián)網(wǎng)等通信技術把傳感器、控制器、機器、人員和物等通過新的方式聯(lián)在一起，形成人與物、物與物相聯(lián)，實現(xiàn)信息化和遠程管理控制。物聯(lián)網(wǎng)（2）物聯(lián)網(wǎng)關鍵技術物聯(lián)網(wǎng)中的關鍵技術包括識別和感知技術（二維碼、RFID、傳感器等）、網(wǎng)絡與通信技術、數(shù)據(jù)挖掘與融合技術等。圖

矩陣式二維碼圖

采用RFID芯片的公交卡圖

不同類型的傳感器物聯(lián)網(wǎng)（3）物聯(lián)網(wǎng)的應用物聯(lián)網(wǎng)已經(jīng)廣泛應用于智能交通、智慧醫(yī)療、智能家居、環(huán)保監(jiān)測、智能安防、智能物流、智能電網(wǎng)、智慧農(nóng)業(yè)、智能工業(yè)等領域，對國民經(jīng)濟與社會發(fā)展起到了重要的推動作用。人工智能（1）人工智能的概念人工智能（ArtificialIntelligence），英文縮寫為AI，是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統(tǒng)的一門新的技術科學。人工智能是計算機科學的一個分支，它企圖了解智能的實質(zhì)，并生產(chǎn)出一種新的能以與人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統(tǒng)等。人工智能（2）人工智能關鍵技術物聯(lián)網(wǎng)中的關鍵技術包括識別和感知技術（二維碼、RFID、傳感器等）、網(wǎng)絡與通信技術、數(shù)據(jù)挖掘與融合技術等。人工智能（3）人工智能的應用云計算（1）云計算的概念通過網(wǎng)絡、以服務的方式，為千家萬戶提供非常廉價的IT資源。（2）云計算特點超大規(guī)模計算、虛擬化、高可靠性和安全性、通用性、動態(tài)擴展性、按需服務、降低成本。云計算（2）云計算服務模式和類型云計算（2）云計算服務模式和類型InfrastructureasaServicePlatformasaServiceSoftwareasaServiceSaaSPaaSIaaSGoogleApps,Microsoft“Software+Services”IBMITfactory,GoogleAppEngine,FAmazonEC2,IBMBlueCloud,SunGridServerStorageServerStorageVisualizationInfrastructurePlatformApplication從一個集中的系統(tǒng)部署軟件，使之在一臺本地計算機上(或從云中遠程地)運行的一個模型。由于是計量服務，SaaS允許出租一個應用程序，并計時收費IaaS將基礎設施(計算資源和存儲)作為服務出租PaaS類似于IaaS，但是它包括操作系統(tǒng)和圍繞特定應用的必需的服務SaaS云計算（3）云計算數(shù)據(jù)中心數(shù)據(jù)中心是云計算的溫床云計算推動數(shù)據(jù)中心向虛擬化和云架構的轉(zhuǎn)型，不斷提高IT基礎架構的靈活性，以降低IT、能源和空間成本，從而讓客戶能夠快速地提高業(yè)務敏捷性“那些正在興建最大規(guī)模數(shù)據(jù)中心的公司一般都在云計算方面擁有巨大野心”

--《數(shù)據(jù)中心知識》雜志主編

RichMiller

云計算（4）云計算的應用政務云教育云中小企業(yè)云醫(yī)療云區(qū)塊鏈

區(qū)塊鏈”的概念源于比特幣。2009年比特幣面世，成為區(qū)塊鏈應用的第一個“結晶”。2015年始，部分國家認識到區(qū)塊鏈技術的巨大應用前景，開始從國家發(fā)展層面考慮區(qū)塊鏈的發(fā)展道路，區(qū)塊鏈成為全球各大監(jiān)管機構、金融機構及商業(yè)機構爭相研究討論的對象。在區(qū)塊鏈迅速發(fā)展的背景下，我國順應全球化需求，緊跟國際步伐，積極推動國內(nèi)區(qū)塊鏈的相關領域研究、標準化制定以及產(chǎn)業(yè)化發(fā)展。政府充分認可了區(qū)塊鏈技術引領產(chǎn)業(yè)發(fā)展、激活實體經(jīng)濟的作用。2018年不管是文娛圈、科技圈、還是最早嗅到先機的投資圈，區(qū)塊鏈都已成為的新的風口。區(qū)塊鏈2016年10月，工業(yè)和信息化部發(fā)布《中國區(qū)塊鏈技術和應用發(fā)展白皮書(2016)》，總結了國內(nèi)外區(qū)塊鏈發(fā)展現(xiàn)狀和典型應用場景，介紹了國內(nèi)區(qū)塊鏈技術發(fā)展路線圖以及未來區(qū)塊鏈技術標準化方向和進程。2016年12月，“區(qū)塊鏈”首次被作為戰(zhàn)略性前沿技術寫入《國務院關于印發(fā)“十三五”國家信息化規(guī)劃》。2017年1月，工信部發(fā)布《軟件和信息技術服務業(yè)發(fā)展規(guī)劃(2016-2020年)》，提出區(qū)塊鏈等領域創(chuàng)新達到國際先進水平等要求。2017年8月，國務院發(fā)布《關于進一步擴大和升級信息消費持續(xù)釋放內(nèi)需潛力的指導意見》提出開展基于區(qū)塊鏈、人工智能等新技術的試點應用。2017年10月，國務院發(fā)布《關于積極推進供應鏈創(chuàng)新與應用的指導意見》提出要研究利用區(qū)塊鏈、人工智能等新興技術，建立基于供應鏈的信用評價機制。2018年3月，工信部發(fā)布《2018年信息化和軟件服務業(yè)標準化工作要點》，提出推動組建全國信息化和工業(yè)化融合管理標準化技術委員會、全國區(qū)塊鏈和分布式記賬技術標準化委員會。截止2018年3月底，國內(nèi)有北京、上海、廣州、重慶、深圳、江蘇、浙江、貴州、山東、貴州、江西、廣西等多地發(fā)布政策指導信息，開展對區(qū)塊鏈產(chǎn)業(yè)鏈布局。什么是區(qū)塊鏈區(qū)塊鏈是分布式數(shù)據(jù)存儲、點對點傳輸、共識機制、加密算法等計算機技術的新型應用模式。它利用塊鏈式數(shù)據(jù)結構來驗證與存儲數(shù)據(jù)、利用分布式節(jié)點共識算法來生成和更新數(shù)據(jù)、利用密碼學的方式保證數(shù)據(jù)傳輸和訪問的安全、利用由自動化腳本代碼組成的智能合約來編程和操作數(shù)據(jù)。（科普中國”百科科學詞條編寫與應用工作項目組

）通俗的講，區(qū)塊鏈就是一種去中心化的分布式（分布在多地、能夠協(xié)同運轉(zhuǎn)的）賬本數(shù)據(jù)庫系統(tǒng)。區(qū)塊鏈中心化與去中心化不管是兩個原始人用野果換野豬，還是一個我們?nèi)ヂ愤叺曩I小吃，都是去中心化的。中心化是解決交易過程中的欺詐行為的有效手段。中心化示例去中心化示例區(qū)塊鏈所能解決的問題區(qū)塊鏈解決的核心和本質(zhì)問題是：無可信中心機構時，如何在信息不對稱、不確定的環(huán)境下，建立滿足活動賴以發(fā)生、發(fā)展的“信任”生態(tài)體系。即“拜占庭容錯”或者“兩軍問題”，拜占庭帝國派10支軍隊進攻一敵人，這個敵人可抵御5支軍隊同時襲擊，這10支軍隊不能集合單點突破，須分開同時攻擊。問題是多個將軍互相并不信任(存在叛徒)時，這種狀態(tài)下要保證進攻一致，需要某種分布式協(xié)議來進行遠程協(xié)調(diào)。如果每個將軍向其他九個將軍派出一名信使，總計90次傳輸，每個將軍會收到9條信息，可能每一封都附著不同的進攻時間。此外，部分叛徒會故意答應超過一個的攻擊時間，所以他們將重新廣播超過一條的信息鏈。這個系統(tǒng)變成不可靠信息和攻擊時間矛盾的混合體。區(qū)塊鏈所能解決的問題能有效解決中心化所帶來的負面問題。

第一、隱私問題。我們每一次交易都被某人悄悄記下來，十年過去了，自己都忘了的事情居然還有人幫你記著，你在哪天去了哪，住在哪，買了什么東西，中心機構全知道，居然還會據(jù)此給你打分。

第二，安全問題。我們的各種信息保存在別人那里，中心機構自己看看也就罷了，還可能會有意無意的丟了。

第三，數(shù)據(jù)的濫用問題。中心機構分析我們的數(shù)據(jù)，自以為了解了我們的喜好，給我們推送我們未必感興趣的東西，還按我們的點擊次數(shù)收費。

第四、信息封閉問題。Facebook、微信、銀行都是封閉的系統(tǒng)。這些封閉系統(tǒng)制造了信息的孤島，阻礙了信息的流動。

第五、踐踏個人權利問題。中心化體系往往踐踏個人的權利，比如壟斷企業(yè)在不斷侵犯消費者權益。區(qū)塊鏈通過去中心化將給社會一個更自由，更透明，更公平的環(huán)境。區(qū)塊鏈所能解決的問題能有效解降低信任的成本從個人信任進化到制度信任是人類文明的一大進步，制度的產(chǎn)生源于降低信任成本的需求。通過對符合制度規(guī)定的行為進行認可與鼓勵，對違反制度規(guī)定的行為進行懲戒，引導人們將自己的行為控制在一定的范圍內(nèi)，從而達到降低成本的目的。但中心機構為我們建立信用的成本偏高，因為需要很多人來維持這個體系。不管哪個時代，需要大量的人來維持的體系成本必然很高。區(qū)塊鏈構建了一個低成本的信任方式——機器信任，我們不需要相信語言和故事，也不需要有鋼筋水泥、不需要靠個人領袖背書，只需要知道那些區(qū)塊鏈上的代碼會執(zhí)行，也不需要擔心制度會被腐敗掉，就可以做到互相協(xié)作，低成本構建大型合作網(wǎng)絡。機器信任其實是無須信任的信任。區(qū)塊鏈有望使人類從個人信任、制度信任進入到機器信任的時代。區(qū)塊鏈的特征去中心化區(qū)塊鏈的去中心化特征，可以簡單理解為：沒有固定的中心化機構存在（比如政府、銀行、支付寶等），所有的數(shù)據(jù)主體都將通過預先設定的程序自動運行。任何一個節(jié)點都可能成為階段性的中心，但卻不具備強制性的中心控制功能。節(jié)點與節(jié)點之間的影響，會通過網(wǎng)絡，形成因果關系。不可篡改即使區(qū)塊鏈遭受了嚴重的黑客攻擊，只要黑客控制的節(jié)點數(shù)不超過全球節(jié)點總數(shù)的一半，系統(tǒng)就依然能正常運行，數(shù)據(jù)也不會被篡改。因為所有節(jié)點的權利和義務都是均等的，而且活動會