第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用物聯(lián)網(wǎng)（Internetofthings，Iot）是物與物相連的網(wǎng)絡(luò)。這有兩層意思：其一，物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)上延伸和擴展的網(wǎng)絡(luò)；其二，其用戶端延伸和擴展到了任何物品與物品之間。物聯(lián)網(wǎng)通過智能感知、識別技術(shù)與普適計算等技術(shù)，廣泛應(yīng)用于眾多領(lǐng)域。物聯(lián)網(wǎng)是互聯(lián)網(wǎng)的擴展，與其說物聯(lián)網(wǎng)是網(wǎng)絡(luò)，不如說物聯(lián)網(wǎng)是業(yè)務(wù)和應(yīng)用，應(yīng)用創(chuàng)新是物聯(lián)網(wǎng)發(fā)展的核心，以用戶體驗為核心的創(chuàng)新是物聯(lián)網(wǎng)發(fā)展的靈魂。國際電信聯(lián)盟（ITU）對物聯(lián)網(wǎng)的定義：通過二維碼識讀設(shè)備、射頻識別（RFID）裝置、紅外感應(yīng)器、全球定位系統(tǒng)和激光掃描器等信息傳感設(shè)備，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)相連接，進行信息交換和通信，以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。物聯(lián)網(wǎng)主要解決物品與物品（ThingtoThing，T2T），人與物品（HumantoThing，H2T），人與人（HumantoHuman，H2H）之間的互連。但是與傳統(tǒng)互聯(lián)網(wǎng)不同的是，H2T是指人利用通用裝置與物品之間的連接，從而使得物品連接更加的簡化；而H2H是指人之間不依賴于PC而進行的互連。因為互聯(lián)網(wǎng)并沒有考慮到對于任何物品連接的問題，故我們使用物聯(lián)網(wǎng)來解決這個傳統(tǒng)意義上的問題。有人在討論物聯(lián)網(wǎng)時，提出了一個M2M的概念，可以解釋成為人到人（MantoMan）、人到機器（MantoMachine）、機器到機器（MachinetoMachine）。從本質(zhì)上而言，在人與機器、機器與機器的交互，大部分是為了實現(xiàn)人與人之間的信息交互。8.1物聯(lián)網(wǎng)體系結(jié)構(gòu)8.1.1物聯(lián)網(wǎng)概念第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用8.1.2物聯(lián)網(wǎng)體系結(jié)構(gòu)物聯(lián)網(wǎng)的體系結(jié)構(gòu)如圖8-1所示，自下而上分為感知層、網(wǎng)絡(luò)層和應(yīng)用層三個層次。也有人把物聯(lián)網(wǎng)分為五個層級，即支撐層、感知層、傳輸層、平臺層以及應(yīng)用層。兩種分層方式?jīng)]有本質(zhì)區(qū)別，只是后一種分得更細而已。第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用1．傳感器技術(shù)RFID技術(shù)3．嵌入式系統(tǒng)（1）物理傳感器：物理傳感器應(yīng)用的是物理效應(yīng)，諸如壓電效應(yīng)，磁致伸縮現(xiàn)象，離化、極化、熱電、光電、磁電等效應(yīng)。被測信號量的微小變化都將轉(zhuǎn)換成電信號。（2）化學(xué)傳感器：化學(xué)傳感器包括那些以化學(xué)吸附、電化學(xué)反應(yīng)等現(xiàn)象為因果關(guān)系的傳感器，被測信號量的微小變化也將轉(zhuǎn)換成電信號。能夠感受規(guī)定的被測量（信號）并按照一定的規(guī)律轉(zhuǎn)換成可用輸出信號的器件或裝置，通常由敏感元件和轉(zhuǎn)換元件組成射頻識別（RadioFrequencyIdentification，RFID）別是一種非接觸式的自動識別技術(shù)，它通過射頻信號自動識別目標(biāo)對象并獲取相關(guān)數(shù)據(jù)RFID系統(tǒng)由電子標(biāo)簽、讀寫器、讀寫器天線和計算機等組成。電子標(biāo)簽是RFID系統(tǒng)的信息載體，是一個微型的無線收發(fā)裝置。讀寫器是RFID系統(tǒng)信息的控制和處理中心，分為“只讀”和“讀/寫”兩種。讀寫器天線是一種以電磁波形式把前端射頻信號功率接收或輻射出去的設(shè)備。以應(yīng)用為中心，以計算機技術(shù)為基礎(chǔ)，軟硬件可裁剪，適應(yīng)應(yīng)用系統(tǒng)對功能、可靠性、成本、體積、功耗等嚴(yán)格要求的專用計算機系統(tǒng)。嵌入式系統(tǒng)的出現(xiàn)最初是基于單片機的。從80年代早期開始，嵌入式系統(tǒng)的程序員開始用商業(yè)級的“操作系統(tǒng)”編寫嵌入式應(yīng)用軟件，這樣可以獲取更短的開發(fā)周期、更低的開發(fā)資金和更高的開發(fā)效率，“嵌入式系統(tǒng)”真正出現(xiàn)了。90年代以后，隨著對實時性要求的提高，軟件規(guī)模不斷上升，實時核逐漸發(fā)展為實時多任務(wù)操作系統(tǒng)（RTOS），并作為一種軟件平臺逐步成為目前國際嵌入式系統(tǒng)的主流。8.2.1感知層主要技術(shù)8.2物聯(lián)網(wǎng)關(guān)鍵技術(shù)第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用（1）WiFi（3）ZigbeeZigbee是基于網(wǎng)絡(luò)底層802.15.4的短距離數(shù)據(jù)通訊網(wǎng)絡(luò)協(xié)議，主要用于距離短、功耗低且傳輸速率不高的各種電子設(shè)備之間進行數(shù)據(jù)傳輸以及典型的有周期性數(shù)據(jù)、間歇性數(shù)據(jù)和低反應(yīng)時間數(shù)據(jù)傳輸?shù)膽?yīng)用。（4）NFCLoRa是美國Semtech公司采用和推廣的一種基于擴頻技術(shù)的超遠距離無線傳輸方案，作為低功耗廣域網(wǎng)（LPWAN）的一種長距離通信技術(shù)，近些年受到越來越多的關(guān)注。WiFi是一種短程無線傳輸技術(shù)，通常有效距離不超過一百米。隨著IEEE802.11a及IEEE802.11g等標(biāo)準(zhǔn)的相繼出現(xiàn)，IEEE802.11這個標(biāo)準(zhǔn)族已被統(tǒng)稱為WiFi。當(dāng)WiFi工作在2.4GHz頻段時，所支持的速度最高可達54Mbps。能夠訪問WiFi網(wǎng)絡(luò)的地方被稱為熱點，當(dāng)一臺支持WiFi的設(shè)備遇到一個熱點時，可以通過無線方式連接到那個網(wǎng)絡(luò)。（2）LoRaNFC（NearFieldCommunication），即藍牙，一種廣泛用于手機終端、車載設(shè)備等場合的通信方式。8.2.2網(wǎng)絡(luò)層主要技術(shù)1、局域、本地、近程組網(wǎng)第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用（2）2G、3G、4G（1）互聯(lián)網(wǎng)現(xiàn)有互聯(lián)網(wǎng)作為物聯(lián)網(wǎng)的網(wǎng)絡(luò)層，能夠方便地把物聯(lián)網(wǎng)延伸到互聯(lián)網(wǎng)所能覆蓋的所有地方，且實施和降低成本帶來極大便利，（3）NB-IoT（4）eMTC物聯(lián)網(wǎng)利用特別是3G、4G移動通信技術(shù)提供的互聯(lián)網(wǎng)接入能力，更加提高了物聯(lián)網(wǎng)的廣域組網(wǎng)能力。NB-IoT（NarrowBandInternetofThings）即基于蜂窩的窄帶物聯(lián)網(wǎng)。NB-IoT具備四大特點：一是廣覆蓋，在同樣的頻段下，NB-IoT比現(xiàn)有的網(wǎng)絡(luò)增益20dB，覆蓋面積擴大100倍；二是具備支撐海量連接的能力，NB-IoT一個扇區(qū)能夠支持10萬個連接，支持低延時敏感度、超低的設(shè)備成本、低設(shè)備功耗和優(yōu)化的網(wǎng)絡(luò)架構(gòu)；三是更低功耗，NB-IoT終端模塊的待機時間可長達10年；四是更低的模塊成本LTE-M，即LTE-Machine-to-Machine，是基于LTE演進的物聯(lián)網(wǎng)技術(shù)，在R12中叫Low-CostMTC，在R13中被稱為LTEenhancedMTC，即eMTC，旨在基于現(xiàn)有的LTE載波滿足物聯(lián)網(wǎng)設(shè)備需求。eMTC基于蜂窩網(wǎng)絡(luò)進行部署，支持上下行最大1Mbps的峰值速率，屬于物聯(lián)網(wǎng)中速率，其用戶設(shè)備通過支持1.4MHz的射頻和基帶帶寬，可以直接接入現(xiàn)有的LTE網(wǎng)絡(luò)。2、廣域、遠程組網(wǎng)第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用（3）NB-IoT（4）eMTC（1）LoRa（2）4G用于數(shù)據(jù)量大、廣域組網(wǎng)的場合，比如視頻監(jiān)控流量等。功耗相比于LoRa、NB-IoT、eMTC大。用于低功耗、局域組網(wǎng)場合，可自行購買設(shè)備搭建，不需要向電信運營商支付通信費用。用于連接頻次低、數(shù)據(jù)量小、廣域組網(wǎng)的場合，功耗低，穿透力強，基站信號覆蓋好，移動性較差。低功耗、數(shù)據(jù)量介于NB-IoT和4G之間、廣域組網(wǎng)的場合，移動性較NB-IoT好。3、當(dāng)前主流物聯(lián)網(wǎng)網(wǎng)絡(luò)接入技術(shù)適用特點比較第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用（3）人工智能技術(shù)（4）虛擬現(xiàn)實技術(shù)（1）云計算技術(shù)（2）大數(shù)據(jù)技術(shù)很多物聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)量巨大，比如一些云監(jiān)控系統(tǒng)、現(xiàn)場實驗數(shù)據(jù)采集系統(tǒng)等，有大量的數(shù)據(jù)需要進行存儲和處理，大數(shù)據(jù)技術(shù)是實現(xiàn)物聯(lián)網(wǎng)應(yīng)用的重要支撐。云計算技術(shù)可以為大型的物聯(lián)網(wǎng)系統(tǒng)的部署提供便利，降低部署的成本，支持系統(tǒng)規(guī)模從小到大的彈性拓展。此外，由于云平臺本身多部署在互聯(lián)網(wǎng)核心節(jié)點位置，采用云平臺對于降低物聯(lián)網(wǎng)數(shù)據(jù)的傳輸時延和丟包率也有著得天獨厚的優(yōu)勢。為了對物聯(lián)網(wǎng)系統(tǒng)前端采集到的各類數(shù)據(jù)進行深度處理，從而實現(xiàn)更復(fù)雜、更智能的應(yīng)用，人工智能技術(shù)則是不可或缺的。人工智能技術(shù)能夠協(xié)助人們從傳感器采集的數(shù)據(jù)中發(fā)現(xiàn)新的規(guī)律，并做出更加智能化的應(yīng)對。從內(nèi)容展示角度來看，虛擬現(xiàn)實技術(shù)是對傳統(tǒng)展示技術(shù)的極大升級。借助虛擬現(xiàn)實提供的三維動態(tài)展示效果，可以對物聯(lián)網(wǎng)應(yīng)用的結(jié)果進行更具形象化和體驗化地展示。8.2.3應(yīng)用層主要技術(shù)第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用（1）提高隱私需保護（2）提高認(rèn)證安全（3）訪問控制管理（4）數(shù)據(jù)保護（5）物理安全（6）設(shè)備維護8.2.4物聯(lián)網(wǎng)安全技術(shù)1.物聯(lián)網(wǎng)安全架構(gòu)2.物聯(lián)網(wǎng)安全需求及對策（1）提高隱私保護（2）提高認(rèn)證安全（3）訪問控制管理（4）數(shù)據(jù)保護（5）物理安全（6）設(shè)備維護第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用8.3.1物聯(lián)網(wǎng)應(yīng)用分類8.3物聯(lián)網(wǎng)應(yīng)用物聯(lián)網(wǎng)應(yīng)用按照其用途，可以歸結(jié)為三種基本模式1、用于對象的身份識別、位置定位和管理通過RFID、二維碼等技術(shù)標(biāo)識特定的對象，來實現(xiàn)對對象身份的識別。通過智能標(biāo)簽還可以用于獲得對象物品所包含的擴展信息，如智能卡上的金額余額，二維碼中所包含的網(wǎng)址和名稱等。2、用于對現(xiàn)場環(huán)境進行監(jiān)控利用多種類型的傳感器和分布廣泛的傳感器網(wǎng)絡(luò)，實現(xiàn)對某個對象的實時狀態(tài)的獲取和特定對象行為的監(jiān)控。如使用分布在市區(qū)的各個噪音探頭監(jiān)測噪聲污染；通過二氧化碳傳感器監(jiān)控大氣中二氧化碳的濃度；通過GPS標(biāo)簽跟蹤車輛位置，通過交通路口的攝像頭捕捉實時交通流量等。3、用于對象的智能控制物聯(lián)網(wǎng)基于云計算平臺和智能網(wǎng)絡(luò)，可以依據(jù)傳感器網(wǎng)絡(luò)獲取的數(shù)據(jù)進行決策，改變對象的行為，或進行控制和反饋。例如根據(jù)光線的強弱調(diào)整路燈的亮度，根據(jù)車輛的流量自動調(diào)整紅綠燈的時間間隔等。第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用8.3.2物聯(lián)網(wǎng)應(yīng)用實例一家庭安防報警系統(tǒng)1.系統(tǒng)構(gòu)成與功能前端子系統(tǒng)由報警監(jiān)控主機以及攝像機、煙感探頭、煤氣泄漏檢測探頭等各種傳感器組成。報警監(jiān)控主機接收各種傳感信號并進行本地處理，滿足設(shè)定條件時則向客戶端發(fā)出短信和電話呼叫方式的報警信息，并接受客戶端指令對攝像機進行控制，向客戶端傳送實時監(jiān)控視頻?？蛻舳俗酉到y(tǒng)負(fù)責(zé)接收前端子系統(tǒng)的報警信息，向前端子系統(tǒng)發(fā)出視頻監(jiān)控指令，并可以控制攝像機的轉(zhuǎn)動和調(diào)焦等動作，瀏覽實時監(jiān)控視頻，需要時可以拍照或存儲錄像。平臺系統(tǒng)的作用：一是實現(xiàn)對用戶管理，二是為前端子系統(tǒng)與客戶端子系統(tǒng)的通信過程提供支持。因為從數(shù)據(jù)通信的角度，前端子系統(tǒng)與客戶端子系統(tǒng)所獲得的IP地址都是動態(tài)的，必須有一個具有固定IP地址的平臺作為雙方都能隨時找到的中間人，以便獲知每次工作時對方的IP地址。第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用2.工作原理第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用3.系統(tǒng)集成和開發(fā)工作（1）組網(wǎng)設(shè)計包括網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計、網(wǎng)絡(luò)線路選擇、線路帶寬估算等（2）設(shè)備選型設(shè)備的功能和性能要滿足系統(tǒng)的設(shè)計要求；設(shè)備的價格要合理，與同類型的其它廠家設(shè)備相比有競爭力；設(shè)備是否已經(jīng)有過成功的實用案例，比說明書更具可信性；設(shè)備廠家信譽、售后服務(wù)等也很重要，是設(shè)備能夠長期使用的保證。

（3）系統(tǒng)軟件選擇系統(tǒng)軟件包括平臺系統(tǒng)、客戶端系統(tǒng)的操作系統(tǒng)、數(shù)據(jù)庫、中間件等軟件。這些軟件也是購買現(xiàn)成的成熟軟件，但也存在一個根據(jù)系統(tǒng)需要的選擇過程。（4）軟件開發(fā)如果是采用某個廠家成熟的軟件，則只需要按照安裝配置手冊來安裝就行了。有些情況下，用戶對移動傳感系統(tǒng)的需求個性化要求多，需要專門開發(fā)。（5）聯(lián)調(diào)待平臺系統(tǒng)軟件、客戶端軟件初步設(shè)計完成后，就要把整個系統(tǒng)的軟硬件和網(wǎng)絡(luò)按設(shè)計安裝、連接在一起，測試每一個功能的實現(xiàn)和性能情況，并根據(jù)測試結(jié)果對相關(guān)硬件的配置、系統(tǒng)軟件的配置和參數(shù)設(shè)置進行修改，對平臺系統(tǒng)和客戶端系統(tǒng)的軟件進行調(diào)整（6）試運行和優(yōu)化（7）正式運行第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用8.3.3物聯(lián)網(wǎng)應(yīng)用二

平安校園系統(tǒng)1.系統(tǒng)構(gòu)成與功能自下而上依次為感知層、校級信息處理層、網(wǎng)絡(luò)層、短信發(fā)布層，以及綜合業(yè)務(wù)管理平臺。每所學(xué)校一臺校級服務(wù)器，各自通過互聯(lián)網(wǎng)VPN連接短信網(wǎng)關(guān)和綜合業(yè)務(wù)管理平臺。系統(tǒng)的工作過程：當(dāng)佩帶有唯一號碼射頻卡的學(xué)生進出校門時，安裝在校門通道的讀卡器檢測到射頻卡的卡號等信息，校級服務(wù)器對讀寫器送來的信息按一定規(guī)則進行處理，判斷學(xué)生進出，并根據(jù)卡號提取家長手機號碼，向短信網(wǎng)關(guān)發(fā)送該學(xué)生幾點幾分進出學(xué)校的信息，再由短信網(wǎng)關(guān)向?qū)W生家長發(fā)送手機短信。第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用2.進出校門識別原理對學(xué)生進出校門識別利用了校門通道概念。校門內(nèi)外一片學(xué)生進出必經(jīng)的區(qū)域一般是一個矩形，稱這個矩形區(qū)域為校門通道。在校門通道內(nèi)、外兩側(cè)安裝讀卡器/天線B和A，分別覆蓋校門通道內(nèi)、外側(cè)，不能產(chǎn)生重疊。檢測射頻卡在校門通道外側(cè)和內(nèi)側(cè)出現(xiàn)的時間先后，就可以判斷學(xué)生是進入還是離開學(xué)校。

A接收到有效信號→B接收到有效信號，判斷為進門；

B接收到有效信號→A接收到有效信號，判斷為出門；

B在其覆蓋范圍內(nèi)多次讀到卡號，才認(rèn)為是有效信號。（1）識別算法第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用（2）扁平型通道處理扁平型通道，要使A、B天線覆蓋范圍不重疊則困難得多。解決方案是：在校門內(nèi)、外側(cè)地面下20mm下分別埋設(shè)一個與讀卡器相連的感應(yīng)線圈，線圈長度覆蓋校門通道的寬度。工作時，當(dāng)射頻卡接近線圈時，線圈發(fā)出的低頻信號激活射頻卡，然后射頻卡再發(fā)出超高頻信號被讀卡器的超高頻天線接收。調(diào)整地埋線圈的信號強度，可以實現(xiàn)內(nèi)外側(cè)低頻信號覆蓋范圍不重疊。扁平型通道解決方案第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用軟件開發(fā)主要包括校級網(wǎng)關(guān)應(yīng)用程序、短信網(wǎng)關(guān)內(nèi)應(yīng)用程序和業(yè)務(wù)與管理平臺應(yīng)用程序，與傳感系統(tǒng)相關(guān)的核心軟件是校級網(wǎng)關(guān)應(yīng)用程序。校級網(wǎng)關(guān)應(yīng)用程序選擇采用J2EE開發(fā)，主要是考慮到Java具有良好的跨平臺能力，特別適合于嵌入式設(shè)備。3.軟件開發(fā)4.系統(tǒng)性能測試（1）識別準(zhǔn)確率測試識別準(zhǔn)確率指在一定并發(fā)射頻卡數(shù)量和通過速度的前提下，能正確識別出的卡數(shù)量占全部通過的卡數(shù)量的比率。實際測試中采用一張木板上平鋪50張或100張射頻卡，以不同速度多次進出校門，然后在短信發(fā)送接口統(tǒng)計正確識別出的卡數(shù)量（2）系統(tǒng)容量測試系統(tǒng)容量指在一定通過速度和準(zhǔn)確率前提下，系統(tǒng)所能支持的學(xué)生數(shù)量。相比于識別準(zhǔn)確率，系統(tǒng)容量是一個更為綜合的指標(biāo)，它不僅與傳感系統(tǒng)的響應(yīng)速度相關(guān)，與學(xué)生進出學(xué)校的并發(fā)和速度特征有關(guān)，而且與校級服務(wù)器的處理速度及短信存儲轉(zhuǎn)發(fā)能力有關(guān)。直接的測試不易實現(xiàn)，測試只能依靠對服務(wù)器系統(tǒng)的壓力測試和對在現(xiàn)有學(xué)校實際運行效果進行的評估。（3）系統(tǒng)可用性測試系統(tǒng)穩(wěn)定性指整個系統(tǒng)無障礙運行時間所占整個時間的比率，它也是一個綜合指標(biāo)，涉及到系統(tǒng)各個環(huán)節(jié)的可靠性。第八章物聯(lián)網(wǎng)技術(shù)與應(yīng)用智能停車管理：在車位下埋設(shè)裝有NB-IoT通信模塊的磁感應(yīng)設(shè)備，實時感知是否有車輛停放，并把信息傳回中心，在此基礎(chǔ)上，實現(xiàn)對收員的費管理、自助找車位等應(yīng)用。智能井蓋：在井蓋上安裝有NB-IoT通信模塊的報警器或者智能鎖，一旦有人非法揭開井蓋，報警器就會實時向中心報警。水表、電表、氣表、暖氣表：安裝NB-IoT通信模塊后，這些傳統(tǒng)的儀表具備了遠程抄表、遠程管理、自助交費等功能，極大方便了人民的生活。共享單車：共享單車的智能鎖中有物聯(lián)網(wǎng)通信模塊和GPS定位模塊，從而實現(xiàn)了位置查詢、APP開鎖、遠程管理等功能。智慧路燈：路燈上安裝有物聯(lián)網(wǎng)通信模塊的裝置后，不僅實現(xiàn)了針對光線明暗的智能化開啟/關(guān)閉控制，而且可以遠程管理。智慧大棚、智慧環(huán)保、智慧水務(wù)、智慧林業(yè)……當(dāng)前物聯(lián)網(wǎng)應(yīng)用最新情況物聯(lián)網(wǎng)盡管已經(jīng)發(fā)展多年，但一直沒能達到規(guī)?；?。2017年5月中國電信率先開通NB-IoT商用網(wǎng)絡(luò)，解決了物聯(lián)網(wǎng)遠程組網(wǎng)和低功耗問題，從而推動物聯(lián)網(wǎng)進入大規(guī)模發(fā)展時期。從這個意義上來說，2017年堪稱物聯(lián)網(wǎng)元年。第九章大數(shù)據(jù)技術(shù)及應(yīng)用第九章大數(shù)據(jù)技術(shù)及應(yīng)用9.1大數(shù)據(jù)應(yīng)用概述9.1.1大數(shù)據(jù)的概念與意義1、大數(shù)據(jù)的概念百度百科：大數(shù)據(jù)（BigData）是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要通過新的處理模式才能使其具有更強決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。在維克托?邁爾-舍恩伯格及肯尼斯?庫克耶編寫的《大數(shù)據(jù)時代》：大數(shù)據(jù)是指不用隨機分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進行分析處理。IBM：大數(shù)據(jù)具有5V特點，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。麥肯錫全球研究所：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。

實際上，上述關(guān)于大數(shù)據(jù)的概念都或多或少有著互聯(lián)網(wǎng)的烙印，有其合理性的一面，但過分強調(diào)了“大”和“高速”的一面，把很多現(xiàn)實生活中的應(yīng)用場景排除在外，如數(shù)據(jù)量沒那么大的場合，數(shù)據(jù)產(chǎn)生沒有那樣高速的場合，等等。因此，在實際工作中，應(yīng)該參考這些概念，但是不要被這些概念束縛住手腳。第九章大數(shù)據(jù)技術(shù)及應(yīng)用2、大數(shù)據(jù)的意義馬云：未來的時代將不是IT時代，而是DT的時代。大數(shù)據(jù)的價值并不在“大”，而在于“有用”，價值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關(guān)鍵。

而當(dāng)物聯(lián)網(wǎng)發(fā)展到達一定規(guī)模時，借助條形碼、二維碼、RFID等能夠唯一標(biāo)識產(chǎn)品，傳感器、可穿戴設(shè)備、智能感知、視頻采集、增強現(xiàn)實等技術(shù)可實現(xiàn)實時的信息采集和分析，這些數(shù)據(jù)能夠支撐智慧城市，智慧交通，智慧能源，智慧醫(yī)療，智慧環(huán)保的理念需要。未來的大數(shù)據(jù)除了將更好的解決社會問題，商業(yè)營銷問題，科學(xué)技術(shù)問題，還有一個可預(yù)見的趨勢是以人為本的大數(shù)據(jù)方針。。不過，“大數(shù)據(jù)”在經(jīng)濟發(fā)展中的巨大意義并不代表其能取代一切對于社會問題的理性思考，科學(xué)發(fā)展的邏輯不能被湮沒在海量數(shù)據(jù)中。著名經(jīng)濟學(xué)家路德維希?馮?米塞斯曾提醒過：“就今日言，有很多人忙碌于資料之無益累積，以致對問題之說明與解決，喪失了其對特殊的經(jīng)濟意義的了解?！钡诰耪麓髷?shù)據(jù)技術(shù)及應(yīng)用從數(shù)據(jù)結(jié)構(gòu)角度分類從內(nèi)容來源角度分類結(jié)構(gòu)化數(shù)據(jù)：指已經(jīng)結(jié)構(gòu)化的數(shù)據(jù)，每條記錄的每個字段都有著確定的意義。結(jié)構(gòu)化數(shù)據(jù)通常就是數(shù)據(jù)庫數(shù)據(jù)。半結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)互聯(lián)網(wǎng)大數(shù)據(jù)政務(wù)大數(shù)據(jù)企業(yè)大數(shù)據(jù)個人大數(shù)據(jù)從其他角度分類：……互聯(lián)網(wǎng)的很多數(shù)據(jù)是以網(wǎng)頁等方式存在的，具有分布廣、格式多樣、半結(jié)構(gòu)化或者非結(jié)構(gòu)化的特點。百度的用戶搜索需求數(shù)據(jù)、阿里巴巴的交易數(shù)據(jù)和信用數(shù)據(jù)、騰訊的用戶關(guān)系數(shù)據(jù)和基于此產(chǎn)生的社交數(shù)據(jù)。是政府部門在對整個社會活動進行管理過程中產(chǎn)生并使用的各類巨量數(shù)據(jù)，包括工業(yè)數(shù)據(jù)、農(nóng)業(yè)數(shù)據(jù)、工商數(shù)據(jù)、納稅數(shù)據(jù)、環(huán)保數(shù)據(jù)、海關(guān)數(shù)據(jù)、土地數(shù)據(jù)、房地產(chǎn)數(shù)據(jù)等。企業(yè)在業(yè)務(wù)管理和運營當(dāng)中產(chǎn)生和使用的各類巨量數(shù)據(jù)。與個人相關(guān)聯(lián)的各種數(shù)據(jù)，。目前，個人信息分散在各個系統(tǒng)中，比如派出所有個人身份信息，淘寶有很多人的購物記錄，教育機構(gòu)有每個人的學(xué)習(xí)記錄，等等9.1.2大數(shù)據(jù)主要分類第九章大數(shù)據(jù)技術(shù)及應(yīng)用完整的大數(shù)據(jù)應(yīng)用開發(fā)過程分為需求分析、數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)應(yīng)用等前后貫通的五個環(huán)節(jié)。需求分析是所有系統(tǒng)開發(fā)的出發(fā)點，通過技術(shù)專家與行業(yè)專家及未來使用者的深入交流，全面掌握對于系統(tǒng)所需要實現(xiàn)的功能和性能。行業(yè)專家一般只能提出對于系統(tǒng)能實現(xiàn)功能的需求，具體采集什么數(shù)據(jù)以及如何采集，需要由技術(shù)專家和行業(yè)專家在交流基礎(chǔ)上共同確定。行業(yè)專家主要負(fù)責(zé)確認(rèn)所要采集數(shù)據(jù)對于系統(tǒng)是否合理，所要采用數(shù)據(jù)采集方式在用戶場景是否可行；技術(shù)專家主要負(fù)責(zé)確認(rèn)數(shù)據(jù)的采集方法和技術(shù)是否可行。9.1.3大數(shù)據(jù)應(yīng)用總體框架第九章大數(shù)據(jù)技術(shù)及應(yīng)用1、結(jié)構(gòu)化數(shù)據(jù)采集由于原始數(shù)據(jù)的意義是確定的，數(shù)據(jù)格式是規(guī)范的，因此，數(shù)據(jù)采集的關(guān)鍵是根據(jù)業(yè)務(wù)需要，制定對原始數(shù)據(jù)的使用方式，這同時也就決定了原始數(shù)據(jù)關(guān)聯(lián)的具體方式。在進行數(shù)據(jù)采集時，首先需要確定從原有各系統(tǒng)采集數(shù)據(jù)的具體內(nèi)容，其次制定與原有系統(tǒng)的接口規(guī)范。這一接口既可以是原有系統(tǒng)提供的程序接口，也可以直接是數(shù)據(jù)庫接口，從原有系統(tǒng)采集數(shù)據(jù)，對數(shù)據(jù)進行簡單關(guān)聯(lián)處理，作為進一步大數(shù)據(jù)分析挖掘的基礎(chǔ)。9.2大數(shù)據(jù)采集第九章大數(shù)據(jù)技術(shù)及應(yīng)用2、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)采集-爬蟲技術(shù)互聯(lián)網(wǎng)網(wǎng)頁數(shù)據(jù)采集，是一個獲取相關(guān)網(wǎng)頁內(nèi)容，并從中抽取出用戶所需要的屬性內(nèi)容的過程。而網(wǎng)頁數(shù)據(jù)的處理，則是對抽取出來的網(wǎng)頁數(shù)據(jù)進行內(nèi)容和格式上的處理，進行轉(zhuǎn)換和加工，使之能夠適應(yīng)用戶的需求，并將之存儲下來以供后用。互聯(lián)網(wǎng)的網(wǎng)頁大數(shù)據(jù)采集和處理的整體過程如圖所示，包含四個主要模塊：爬蟲、數(shù)據(jù)處理、URL隊列和數(shù)據(jù)。第九章大數(shù)據(jù)技術(shù)及應(yīng)用3、物聯(lián)網(wǎng)數(shù)據(jù)采集物聯(lián)網(wǎng)數(shù)據(jù)通常不是現(xiàn)成的，需要首先通過傳感器對各種物理量進行信號采集與處理，轉(zhuǎn)化為計算機系統(tǒng)可以識別的數(shù)據(jù)，然后才能做進一步分析和處理。很多情況下，物聯(lián)網(wǎng)數(shù)據(jù)是實時的、不斷產(chǎn)生的，是一種流式大數(shù)據(jù)。。第九章大數(shù)據(jù)技術(shù)及應(yīng)用9.3.1

數(shù)據(jù)庫技術(shù)回顧關(guān)系型數(shù)據(jù)庫關(guān)系模型就是指二維表格模型，一個關(guān)系型數(shù)據(jù)庫就是由二維表及其之間的聯(lián)系組成的一個數(shù)據(jù)組織。當(dāng)前，常見的數(shù)據(jù)庫多是關(guān)系型數(shù)據(jù)庫，如Oracle、DB2、SQLServer、Sybase、MySQL等。鍵值(Key-Value)存儲數(shù)據(jù)庫：其主要特點是使用一個哈希表，表中有一個特定的鍵和一個指針指向特定的數(shù)據(jù)。優(yōu)勢在于簡單、易部署。缺點是如果只對部分值進行查詢或更新的時候，效率比較低。列存儲數(shù)據(jù)庫：列存儲數(shù)據(jù)庫通常用于分布式存儲的海量數(shù)據(jù)。鍵仍然存在，但是它指向了多個列。文檔型數(shù)據(jù)庫：文檔型數(shù)據(jù)庫的數(shù)據(jù)模型是版本化的文檔，半結(jié)構(gòu)化的文檔以特定的格式存儲，它可以看作是鍵值數(shù)據(jù)庫的升級版，允許之間嵌套鍵值，而且文檔型數(shù)據(jù)庫比鍵值數(shù)據(jù)庫的查詢效率更高。圖形數(shù)據(jù)庫：圖形結(jié)構(gòu)的數(shù)據(jù)庫同其他行列以及剛性結(jié)構(gòu)的數(shù)據(jù)庫不同，它使用靈活的圖形模型，并且能夠擴展到多個服務(wù)器上。（1）關(guān)系型數(shù)據(jù)庫：1、關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫（NoSQL）直譯為“不僅僅是SQL”，主要有四類：（2）非關(guān)系型數(shù)據(jù)庫第九章大數(shù)據(jù)技術(shù)及應(yīng)用結(jié)構(gòu)化數(shù)據(jù)也稱作行數(shù)據(jù)，是由二維表結(jié)構(gòu)來邏輯表達和實現(xiàn)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長度規(guī)范，主要通過關(guān)系型數(shù)據(jù)庫進行存儲和管理。非非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)。包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等。。2、結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)（1）結(jié)構(gòu)化數(shù)據(jù)（2）結(jié)構(gòu)化數(shù)據(jù)第九章大數(shù)據(jù)技術(shù)及應(yīng)用行存儲以一行記錄為單位，列存儲以列數(shù)據(jù)集合單位。行存儲的讀寫過程是一致的，都是從第一列開始，到最后一列結(jié)束。列存儲的讀取是列數(shù)據(jù)集中的一段或者全部數(shù)據(jù)，寫入時，一行記錄被拆分為多列，每一列數(shù)據(jù)追加到對應(yīng)列的末尾處。3、行存儲與列存儲行存儲列存儲

行存儲列存儲優(yōu)點寫入效率高，數(shù)據(jù)完整性好讀取過程無冗余，數(shù)據(jù)定長的大數(shù)據(jù)計算效率高缺點數(shù)據(jù)讀取有冗余，計算速度低寫入效率低，數(shù)據(jù)完整性差改進優(yōu)化存儲結(jié)構(gòu)，確保能夠在內(nèi)存刪除冗余數(shù)據(jù)多磁盤、多線程并行寫入、讀取適合場合傳統(tǒng)數(shù)據(jù)領(lǐng)域互聯(lián)網(wǎng)大數(shù)據(jù)優(yōu)劣勢比較

第九章大數(shù)據(jù)技術(shù)及應(yīng)用9.3.2當(dāng)前大數(shù)據(jù)數(shù)據(jù)處理技術(shù)介紹分布式存儲和計算夯實了大數(shù)據(jù)處理的技術(shù)基礎(chǔ)。在存儲方面，谷歌于2000年提出的文件系統(tǒng)（GFS）以及隨后Hadoop的分布式文件系統(tǒng)（HDFS）奠定了大數(shù)據(jù)存儲技術(shù)的基礎(chǔ)。與傳統(tǒng)系統(tǒng)相比，GFS和HDFS將計算和存儲在物理上結(jié)合起來從而避免了在數(shù)據(jù)密集計算中易形成的I/O吞吐量的制約。同時，這類存儲系統(tǒng)的文件系統(tǒng)也采用了分布式架構(gòu)，能達到較高的并發(fā)訪問能力。在計算方面，谷歌在2004年公開的MapReduce分布式并行計算技術(shù)，是新型分布式計算技術(shù)的代表。一個MapReduce系統(tǒng)由廉價的通用服務(wù)器構(gòu)成，通過添加服務(wù)器節(jié)點，可線性擴展系統(tǒng)的總處理能力，在成本和可擴展性上都具有巨大的優(yōu)勢。之后出現(xiàn)的ApacheHadoopMapReduce是谷歌MapReduce的開源實現(xiàn)，目前已經(jīng)應(yīng)用最廣泛的大數(shù)據(jù)計算軟件平臺。大數(shù)據(jù)存儲架構(gòu)的變化1、大數(shù)據(jù)處理技術(shù)當(dāng)前發(fā)展概況第九章大數(shù)據(jù)技術(shù)及應(yīng)用2、大數(shù)據(jù)處理產(chǎn)品創(chuàng)新除了基于Hadoop環(huán)境下的各種非關(guān)系型數(shù)據(jù)庫（NoSQL）外，還有一類是基于SharedNothing架構(gòu)的面向結(jié)構(gòu)化數(shù)據(jù)分析的新型數(shù)據(jù)庫產(chǎn)品（NewSQL），如：Greenplum（EMC收購），Vertica（HP收購），Asterdata（TD收購），以及南大通用在國內(nèi)開發(fā)的GBase8aMPPCluster等。目前類似開源和商用產(chǎn)品達到幾十個，而且新的產(chǎn)品還在不斷涌出。架構(gòu)基于大規(guī)模分布式計算（MPP）；硬件基于X86PC服務(wù)器；存儲基于服務(wù)器自帶的本地硬盤；操作系統(tǒng)主要是Linux；擁有極高的橫向擴展能力和內(nèi)在的故障容錯能力和數(shù)據(jù)高可用保障機制；能大大降低每TB數(shù)據(jù)的處理成本，為大數(shù)據(jù)處理提供技術(shù)和性價比支撐。第九章大數(shù)據(jù)技術(shù)及應(yīng)用大數(shù)據(jù)存儲技術(shù)路線有三種：第一種：采用MPP架構(gòu)的新型數(shù)據(jù)庫集群，重點面向行業(yè)大數(shù)據(jù)，采用SharedNothing架構(gòu)，通過列存儲、粗粒度索引等多項大數(shù)據(jù)處理技術(shù)，結(jié)合MPP架構(gòu)高效的分布式計算模式，完成對分析類應(yīng)用的支撐，運行環(huán)境多為低成本PCServer，具有高性能和高擴展性的特點，在企業(yè)分析類應(yīng)用領(lǐng)域獲得極其廣泛的應(yīng)用。第二種：是一種基于Hadoop的技術(shù)擴展和封裝，圍繞Hadoop衍生出相關(guān)的大數(shù)據(jù)技術(shù)，應(yīng)對傳統(tǒng)關(guān)系型數(shù)據(jù)庫較難處理的數(shù)據(jù)和場景，如針對非結(jié)構(gòu)化數(shù)據(jù)的存儲和計算等，充分利用Hadoop開源的優(yōu)勢，目前最典型的應(yīng)用場景就是通過擴展和封裝Hadoop來實現(xiàn)對互聯(lián)網(wǎng)大數(shù)據(jù)存儲、分析的支撐。這種技術(shù)包含幾十種NoSQL技術(shù)，適合于對于非結(jié)構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)處理、復(fù)雜的ETL流程、復(fù)雜的數(shù)據(jù)挖掘和計算模型。第三種：稱為大數(shù)據(jù)一體機，是一種專為大數(shù)據(jù)的分析處理而設(shè)計的軟、硬件結(jié)合的產(chǎn)品，由一組集成的服務(wù)器、存儲設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)以及為數(shù)據(jù)查詢、處理、分析用途而特別預(yù)先安裝及優(yōu)化的軟件組成，高性能大數(shù)據(jù)一體機具有良好的穩(wěn)定性和縱向擴展性。3、大數(shù)據(jù)存儲技術(shù)路線第九章大數(shù)據(jù)技術(shù)及應(yīng)用4、Hadoop與Spark的區(qū)別與聯(lián)系作用不同：Hadoop是一個分布式數(shù)據(jù)基礎(chǔ)設(shè)施，它將巨大的數(shù)據(jù)集分派到一個由多臺普通計算機組成的集群中的多個節(jié)點進行存儲，并索引和跟蹤這些數(shù)據(jù)，讓大數(shù)據(jù)處理和分析效率達到前所未有的高度。Spark則是一個專門用來對那些分布式存儲的大數(shù)據(jù)進行處理的工具，它并不會進行分布式數(shù)據(jù)的存儲。兩者可合可分：Hadoop除了提供HDFS分布式數(shù)據(jù)存儲功能之外，還提供了名為MapReduce的數(shù)據(jù)處理功能，完全可以拋開Spark。而Spark也不是非要依附在Hadoop身上才能生存，Spark可以選擇Hadoop的HDFS，也可以選擇其他基于云的數(shù)據(jù)系統(tǒng)平臺，但Spark一般還是用在Hadoop上面。數(shù)據(jù)處理速度迥異：Spark因為其處理數(shù)據(jù)的方式不一樣，比MapReduce要快得多。Hadoop和Spark是目前大數(shù)據(jù)處理領(lǐng)域主流的技術(shù)，都是大數(shù)據(jù)框架，但是各自存在的目的不盡相同，二者既有密切聯(lián)系，又有著本質(zhì)區(qū)別：第九章大數(shù)據(jù)技術(shù)及應(yīng)用9.4.1傳統(tǒng)數(shù)據(jù)分析與挖掘技術(shù)1、傳統(tǒng)數(shù)據(jù)分析2、傳統(tǒng)數(shù)據(jù)挖掘建立在關(guān)系數(shù)據(jù)模型之上的，主體之間的關(guān)系已經(jīng)在系統(tǒng)內(nèi)被創(chuàng)立，而分析也在此基礎(chǔ)上進行。同時，傳統(tǒng)分析是定向的批處理，需要定期等待提取、轉(zhuǎn)換和加載（ETL）以及轉(zhuǎn)換工作的完成。傳統(tǒng)的數(shù)據(jù)挖掘算法主要有聚類、分類和回歸：（1）聚類：聚類又稱群分析，是研究（樣品或指標(biāo)）分類問題的一種統(tǒng)計分析方法，針對數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個類別。屬于同一類別的數(shù)據(jù)間的相似性很大，但不同類別之間數(shù)據(jù)的相似性很小跨類的數(shù)據(jù)關(guān)聯(lián)性很低。（2）分類：分類類似于聚類，但是目的不同，分類可以使用聚類預(yù)先生成的模型，也可以通過經(jīng)驗數(shù)據(jù)找出一組數(shù)據(jù)對象的共同特點，將數(shù)據(jù)分成不同的類，其目的是通過分類模型將數(shù)據(jù)項映射到某個給定的類別中，代表算法是CART（分類與回歸樹）。（3）回歸：回歸反映了數(shù)據(jù)的屬性值得特征，通過函數(shù)表達數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的一般依賴關(guān)系。它可以應(yīng)用到對數(shù)據(jù)序列的預(yù)測和相關(guān)關(guān)系的研究中。（1）執(zhí)行效率低，傳統(tǒng)數(shù)據(jù)挖掘技術(shù)都是基于集中式的底層軟件架構(gòu)開發(fā)，難以并行化，因而在處理TB級以上數(shù)據(jù)的效率低。（2）數(shù)據(jù)分析精度難以隨著數(shù)據(jù)量的提升而得到改進，特別是難以應(yīng)對非結(jié)構(gòu)化數(shù)據(jù)。9.4

大數(shù)據(jù)分析與挖掘3、傳統(tǒng)數(shù)據(jù)分析與挖掘技術(shù)的局限性第九章大數(shù)據(jù)技術(shù)及應(yīng)用9.4.2新興大數(shù)據(jù)分析技術(shù)3、Web數(shù)據(jù)挖掘分析1、神經(jīng)網(wǎng)絡(luò)2、深度學(xué)習(xí)典型的神經(jīng)網(wǎng)絡(luò)分為三類：第一類是用于分類預(yù)測和模式識別的前饋式神經(jīng)網(wǎng)絡(luò)模型，其主要代表為函數(shù)型網(wǎng)絡(luò)、感知機；第二類是用于聯(lián)想記憶和優(yōu)化算法的反饋式神經(jīng)網(wǎng)絡(luò)，以Hopfield的離散型和連續(xù)型為代表。第三類是用于聚類的自組織映射方法，以ART模型為代表。深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究，其概念由Hinton等人于2006年提出，是機器學(xué)習(xí)中一種基于對數(shù)據(jù)進行表征學(xué)習(xí)的方法。目前，深度學(xué)習(xí)在語音識別、圖像識別、自然語言處理等領(lǐng)域獲得突破性進展。Web數(shù)據(jù)挖掘是一項綜合性技術(shù)，可以從文檔結(jié)構(gòu)和使用集合中發(fā)現(xiàn)隱藏的從輸入到輸出的映射過程。目前，較為常用的Web數(shù)據(jù)挖掘算法主要PageRank算法、HITS算法和LOGSOM算法。第九章大數(shù)據(jù)技術(shù)及應(yīng)用搭建測試環(huán)境前，先準(zhǔn)備三臺主機，三臺主機分別命名為“mater”、“slave1”、“slave2”。9.5.1機器系統(tǒng)配置準(zhǔn)備9.5.2基礎(chǔ)環(huán)境安裝（Java和Scala環(huán)境）9.5.3

Hadoop2.6.0完全分布式搭建9.5.4

Spark1.6.0完全分布式環(huán)境搭建9.5.5啟動集群的腳本9.5.6測試一下集群9.5

大數(shù)據(jù)開發(fā)環(huán)境搭建第九章大數(shù)據(jù)技術(shù)及應(yīng)用利用大數(shù)據(jù)技術(shù)，對電信網(wǎng)絡(luò)中的用戶呼叫記錄、信令等數(shù)據(jù)進行分析，為運營商細分用戶群、挖掘新業(yè)務(wù)提供支撐。9.5大數(shù)據(jù)應(yīng)用實例3、方案特點2、方案概述1、電信運營商面臨挑戰(zhàn)電信行業(yè)同質(zhì)化競爭嚴(yán)重、網(wǎng)絡(luò)管道化趨勢明顯、行業(yè)發(fā)展趨于平穩(wěn)。大數(shù)據(jù)造就遠超以往的分析準(zhǔn)確度、全營銷業(yè)務(wù)過程支持、易擴展的系統(tǒng)架構(gòu)，滿足應(yīng)用需要。第十章云計算技術(shù)與應(yīng)用第十章云計算技術(shù)與應(yīng)用10.1云計算概念

云計算概念起源–互聯(lián)網(wǎng)谷歌公司：從技術(shù)角度來看，云計算是一種以按需、可擴展方式獲得所需要資源的架構(gòu)；從商業(yè)角度來看，云計算是一種按需付費的商業(yè)方式。微軟公司：未來的互聯(lián)網(wǎng)世界將會是“云+端”的組合，其中“端”指各種終端設(shè)備。在這個以“云”為中心的世界里，用戶可以便捷地使用各種終端設(shè)備訪問云中的數(shù)據(jù)和應(yīng)用。Sun公司：提出“網(wǎng)絡(luò)就是計算機”這一理念，同時認(rèn)為云計算就是下一代的網(wǎng)絡(luò)計算。工信部電信研究院：云計算具備四個方面的核心特征，一是寬帶網(wǎng)絡(luò)連接，“云”不在用戶本地，用戶要通過寬帶網(wǎng)絡(luò)接入“云”并使用服務(wù)，“云”內(nèi)節(jié)點之間也通過內(nèi)部的高速網(wǎng)絡(luò)相連；二是對ICT資源的共享，“云”內(nèi)的ICT資源并不為某一用戶所專有；三是快速、按需、彈性的服務(wù)，用戶可以按照實際需求迅速獲取或釋放資源，并可以根據(jù)需求對資源進行動態(tài)擴展；四是服務(wù)可測量，服務(wù)提供者按照用戶對資源的使用量進行計費。

代表性公司和機構(gòu)對于云計算的理解或定義：10.1.1云計算定義及特征在互聯(lián)網(wǎng)界，人們常用一團云來表示一個網(wǎng)絡(luò)，其含義是盡管實際的網(wǎng)絡(luò)具有非常復(fù)雜的構(gòu)成，但對于作為網(wǎng)絡(luò)終端的PC機來說，并“看不見”構(gòu)成實際網(wǎng)絡(luò)的這些設(shè)備及其復(fù)雜的相互連接方式。PC機能夠透過這網(wǎng)絡(luò)設(shè)備直接“看見”服務(wù)器，就好象PC機和服務(wù)器之間只有透明的空氣。因此有時也用“透明”來表述這種意思，比如，說網(wǎng)絡(luò)對于PC機和服務(wù)器來說是“透明”的?！巴该鳌钡谋举|(zhì)，是通信協(xié)議的層次性和下層協(xié)議內(nèi)部對上層協(xié)議的不可見性。云計算則是Google公司受到“云”這個網(wǎng)絡(luò)界術(shù)語的深刻影響，在總結(jié)和概括自己的搜索服務(wù)基礎(chǔ)上最早提出來的概念第十章云計算技術(shù)與應(yīng)用10.1.2云計算優(yōu)勢縮短運行時間和響應(yīng)時間：應(yīng)用程序可以很方便地臨時使用大量服務(wù)器（比如1000臺）的計算能力，把任何CPU密集型的任務(wù)外包給云計算所提供的虛擬機，有助于縮短響應(yīng)時間，同時還能根據(jù)需求進行伸縮，從而滿足客戶需求。最大限度地減小基礎(chǔ)設(shè)施投資風(fēng)險IT機構(gòu)可以利用云計算技術(shù)來降低購置物理服務(wù)器所固有的風(fēng)險，可以通過向公用云發(fā)送超負(fù)荷工作來擴大其處理工作負(fù)荷尖峰情況的能力。降低入市成本由于基礎(chǔ)設(shè)施是租用而不是購買的，因而成本得以有效控制。同時，云提供商基礎(chǔ)設(shè)施的巨大規(guī)模，也有助于因集約化而最大限度地降低成本，進而有助于降低租用成本。降低進入新興市場的成本有助于使競爭各方處于同一起跑線，使新創(chuàng)企業(yè)可以快速而低成本地部署新的產(chǎn)品。加快創(chuàng)新步伐：第十章云計算技術(shù)與應(yīng)用10.2云計算體系結(jié)構(gòu)與業(yè)務(wù)煙囪式，專機專用，硬件高配低用，整合困難10.2.1傳統(tǒng)應(yīng)用系統(tǒng)體系結(jié)構(gòu)傳統(tǒng)應(yīng)用系統(tǒng)體系結(jié)構(gòu)是“煙囪式”的，或者叫做“專機專用”系統(tǒng)，如圖所示，在這種架構(gòu)中，新應(yīng)用系統(tǒng)上線的時候需要分析該應(yīng)用系統(tǒng)對于資源的需求，確定基礎(chǔ)架構(gòu)所需的計算、存儲、網(wǎng)絡(luò)等設(shè)備規(guī)格和數(shù)量。第十章云計算技術(shù)與應(yīng)用IaaS（InfrastructureasaService），即把基礎(chǔ)設(shè)施作為服務(wù)。服務(wù)器、存儲系統(tǒng)、交換機、路由器和其它系統(tǒng)均共用1、IaaS10.2.2云計算服務(wù)類型及其體系結(jié)構(gòu)常見的云服務(wù)類型主要包括三類，即IaaS、PaaS、SaaS。此外，還有DaaS和IDC服務(wù)，也可以廣義地歸為云服務(wù)類型。第十章云計算技術(shù)與應(yīng)用PaaS（Platform-as-a-Service），即把平臺作為服務(wù)，是將一個完整的應(yīng)用系統(tǒng)平臺，包括應(yīng)用設(shè)計、應(yīng)用開發(fā)、應(yīng)用測試和應(yīng)用托管，都作為一種服務(wù)提供給客戶。2、PaaS第十章云計算技術(shù)與應(yīng)用SaaS（Software-as-a-Service），即把軟件作為服務(wù)?？蛻舨恍枰獙④浖a(chǎn)品安裝在自己的電腦或服務(wù)器上，而是按某種服務(wù)水平協(xié)議直接通過網(wǎng)絡(luò)向?qū)ｉT的提供商獲取自己所需要的、帶有相應(yīng)軟件功能的服務(wù)。3、SaaS第十章云計算技術(shù)與應(yīng)用DaaS（DataasaService），即把數(shù)據(jù)（信息）作為服務(wù)，是指服務(wù)提供者承擔(dān)數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析等工作，然后集約化地把處理后的數(shù)據(jù)（或信息）提供給用戶，而DaaS用戶則無需關(guān)心這些數(shù)據(jù)實際上來自于哪些系統(tǒng)、經(jīng)過了哪些處理。DaaS和SaaS在體系結(jié)構(gòu)上基本相同，只是在提供給用戶的服務(wù)接口上，提供的是經(jīng)過處理的數(shù)據(jù)，而不是集應(yīng)用功能和數(shù)據(jù)于一體。。4、DaaS5、IDC電源、機架、通風(fēng)等機房環(huán)境本身是比計算機與網(wǎng)絡(luò)設(shè)施更底層的基礎(chǔ)設(shè)施，不能歸于云計算體系結(jié)構(gòu)。但在具體形態(tài)上，這些機房設(shè)施也和計算機與網(wǎng)絡(luò)系統(tǒng)一樣，可以集約化地提供給用戶，減少用戶自行建設(shè)機房環(huán)境設(shè)施的成本。這一業(yè)務(wù)也早已開展了十多年，稱為IDC（InternetDataCenter,互聯(lián)網(wǎng)數(shù)據(jù)中心），其理念和云計算是完全一致的，因此也把IDC作為一類特殊的云服務(wù)。第十章云計算技術(shù)與應(yīng)用10.2.3云計算業(yè)務(wù)類型業(yè)務(wù)云服務(wù)SaaS軟件SaaS平臺云主機云存儲云會議云開發(fā)網(wǎng)站云監(jiān)控云測試云平臺軟件IssS層的Vcenter，RedHat的RHEVM，OpenStack；PssS層的中服云、澤塔云等；SaaS層金蝶、中軟等行業(yè)云教育云工業(yè)云醫(yī)療云政府云

……把云計算業(yè)務(wù)分為DaaS、SaaS、PaaS、IaaS、IDC等，是從云計算的層次結(jié)構(gòu)角度來劃分的。商務(wù)上通常根據(jù)云計算業(yè)務(wù)的具體內(nèi)容對其進行包裝，分為云服務(wù)、云平臺