Data第3章數(shù)據(jù)主講：王紅梅2035目錄CONTENTS3.13.23.3數(shù)據(jù)那些事數(shù)據(jù)概述數(shù)據(jù)表示與獲取3.43.5數(shù)據(jù)存儲與管理數(shù)據(jù)分析與可視化3.6大數(shù)據(jù)問題：大數(shù)據(jù)如何獲??？當我們積累的數(shù)據(jù)越來越多，大數(shù)據(jù)的概念就自然產(chǎn)生了，對大數(shù)據(jù)的應(yīng)用也就成了研究的課題。到底多大算大數(shù)據(jù)呢？3.6.1什么是大數(shù)據(jù)（一）數(shù)據(jù)的級別1KB=1024BTXT文本文件1MB=1024KB一份word文檔或一首mp3音樂1GB=1024KB一部電影1TB=1024GB普通硬盤1PB=1024TB大約2個機柜的存儲設(shè)備1EB=1024PB大約2000個機柜的存儲設(shè)備1ZB=1024EB全球電子設(shè)備存儲的數(shù)據(jù)3.6.1什么是大數(shù)據(jù)大數(shù)據(jù)級別3.6.2大數(shù)據(jù)是怎么來的？傳統(tǒng)企業(yè)原有數(shù)據(jù)機器和傳感器采集數(shù)據(jù)社交數(shù)據(jù)大數(shù)據(jù)處處離不開我的貢獻呀

（1）互聯(lián)網(wǎng)數(shù)據(jù)

數(shù)以億計的網(wǎng)絡(luò)終端設(shè)備，比如智能手機、PC機、平板，晝夜不停地生產(chǎn)數(shù)據(jù)，這是大數(shù)據(jù)的主要來源。

（2）感知數(shù)據(jù)

隨著物聯(lián)網(wǎng)發(fā)展，智慧城市、智慧交通、智慧安防、智慧農(nóng)業(yè)等工程積極推進，大量的傳感器被部署應(yīng)用，比如攝像頭、衛(wèi)星定位器、雷達以及溫度、高度、濃度等各種傳感器，這些傳感器不停地進行數(shù)據(jù)采集，使數(shù)據(jù)量快速增長。3.6.2大數(shù)據(jù)是怎么來的？1輛自動駕駛汽車每天產(chǎn)生的數(shù)據(jù)：60TB1個智慧工廠每天可以產(chǎn)生的數(shù)據(jù)：1PB1座智慧城市每天可以產(chǎn)生的數(shù)據(jù)：2.5PB大型強子對撞機實驗每年產(chǎn)生的數(shù)據(jù)：25PB谷歌搜索引擎的數(shù)據(jù)總規(guī)模（2021年）為62PB全球數(shù)據(jù)同比增速維持在25%左右2025年，全球數(shù)據(jù)量達175ZB3.6.2大數(shù)據(jù)是怎么來的？問題：大數(shù)據(jù)有什么特征？4V特征：Volume，Variety，Velocity，Value（1）Volume——大數(shù)據(jù)必須大，PB級別，擁有不是目的，開發(fā)利用才有價值。（2）Variety——大數(shù)據(jù)“五彩繽紛”大數(shù)據(jù)形態(tài)是多樣的；來源與用途是多樣的；聯(lián)系性強，交互頻繁。3.6.3大數(shù)據(jù)的特征4V特征：Volume，Variety，Velocity，Value（3）Velocity——大數(shù)據(jù)唯“快”不破數(shù)據(jù)生產(chǎn)速度快；數(shù)據(jù)處理必須快；數(shù)據(jù)存在時效性；“鏈接”的快速性。（4）Value——大數(shù)據(jù)價“值”無限數(shù)據(jù)是一種新的經(jīng)濟資源；“大數(shù)據(jù)”是一種解決問題的方法；大數(shù)據(jù)的價值還在于預(yù)測。大數(shù)據(jù)的價值具有隱藏性和低密度性。3.6.3大數(shù)據(jù)的特征3.6.4大數(shù)據(jù)處理的流程大數(shù)據(jù)的處理流程數(shù)據(jù)采集挖掘分析數(shù)據(jù)管理數(shù)據(jù)可視化問題：大數(shù)據(jù)有什么價值？1.大數(shù)據(jù)催生新思維

大數(shù)據(jù)，改變了人民思考問題和解決問題的思維方式。

（1）可以收集和分析全數(shù)據(jù)，不再依賴數(shù)據(jù)“抽樣”，可以得到更加全面準確的信息，可以使判斷更加準確。

（2）大數(shù)據(jù)的海量與全面，可以更多地運用“相關(guān)分析”解決問題

（3）大數(shù)據(jù)的快速性與巨大性，使得“概率”求解比“精確”求解更加可靠和有效。3.6.5大數(shù)據(jù)的價值2.大數(shù)據(jù)與人工智能緊密結(jié)合，提升新能力

大數(shù)據(jù)分析處理更多地采用機器學(xué)習(xí)、深度學(xué)習(xí)的方法。

（1）通過機器學(xué)習(xí)進行預(yù)測分析、分類、聚類和異常檢測等。

（2）通過構(gòu)建深度神經(jīng)網(wǎng)絡(luò)進行圖像識別、語音識別、內(nèi)容生成等。

運用自然語言處理算法進行文本挖掘、情感分析和語義分析等，可以用于輿情監(jiān)測、市場研究、客戶需求分析等場景。3.6.5大數(shù)據(jù)的價值3.大數(shù)據(jù)廣泛應(yīng)用，推動社會進步

大數(shù)據(jù)廣泛應(yīng)用，已經(jīng)滲透到各行各業(yè)，通過不斷融合創(chuàng)新，推動社會形態(tài)更新。

大數(shù)據(jù)用于防疫解決公共衛(wèi)生災(zāi)難問題，大數(shù)據(jù)助推智慧城市、大數(shù)據(jù)助推智慧農(nóng)業(yè)、大數(shù)據(jù)助推智慧教育、大數(shù)據(jù)推動智慧營銷等等，社會處處是“智慧”。3.6.5大數(shù)據(jù)的價值討論：（1）當你們在購物平臺的瀏覽的時候，你給平臺提供了什么？它是怎么知道你的喜好給你推薦商品的呢？（2）你聽說過新石油嗎？指的是什么呢？請舉例自己班的學(xué)生數(shù)據(jù)是生產(chǎn)要素，是人工智能的基礎(chǔ);計算機數(shù)據(jù)獲取:數(shù)制轉(zhuǎn)換、信息編碼和工具采集。數(shù)據(jù)可以用存儲器存儲。計算機數(shù)據(jù)可以通過結(jié)構(gòu)化管理賦予意義。通過可視化、美化、分析等顯現(xiàn)數(shù)據(jù)中的信息。必須發(fā)展大數(shù)據(jù)，適應(yīng)大數(shù)據(jù)。小結(jié)：（1）掌握獲取計算機數(shù)據(jù)的方法有數(shù)制轉(zhuǎn)換、信息編碼和工具采集。（2）數(shù)據(jù)可以用多種形式存儲。存儲的數(shù)據(jù)要保證安全、可用、可共享。（3）計算機數(shù)據(jù)只是一堆0/1代碼符號，可以通過結(jié)構(gòu)化管理賦予意義。（4）可以通過可視化、美化、分析等手段顯現(xiàn)數(shù)據(jù)中的信息。（5）數(shù)據(jù)的“大”而“雜”對傳統(tǒng)數(shù)據(jù)處理提出挑戰(zhàn)，必須發(fā)展大數(shù)據(jù)，適應(yīng)大數(shù)據(jù)。思考：1.為什么人工智能離不開數(shù)據(jù)？