2.1大數(shù)據(jù)技術(shù)主講人：***CONTENTS目錄01大數(shù)據(jù)技術(shù)概述02數(shù)據(jù)的產(chǎn)生與處理03算法的核心作用04算力的支撐與發(fā)展05總結(jié)與未來展望大數(shù)據(jù)技術(shù)概述01大數(shù)據(jù)技術(shù)的定義與戰(zhàn)略意義大數(shù)據(jù)技術(shù)的定義大數(shù)據(jù)技術(shù)是一種處理和分析海量數(shù)據(jù)集合的能力，涵蓋了數(shù)據(jù)的采集、存儲、處理、分析及可視化等多個方面。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義大數(shù)據(jù)技術(shù)的戰(zhàn)略意義并不在于單純掌握龐大的數(shù)據(jù)信息，而在于對這些有價值的數(shù)據(jù)進(jìn)行專業(yè)化處理。若將大數(shù)據(jù)視為產(chǎn)業(yè)，盈利關(guān)鍵在于提升數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。大數(shù)據(jù)技術(shù)的典型應(yīng)用案例淘寶購物的推薦機(jī)制在淘寶購物時，應(yīng)用程序能依據(jù)大數(shù)據(jù)分析，將用戶匹配到相應(yīng)的人群，從而推薦該人群偏好的內(nèi)容。百度搜索的推薦機(jī)制通過百度進(jìn)行搜索時，應(yīng)用程序會根據(jù)大數(shù)據(jù)分析自動列出相關(guān)內(nèi)容，把用戶匹配到相應(yīng)人群并推薦其偏好內(nèi)容。數(shù)據(jù)的產(chǎn)生與處理02大數(shù)據(jù)的主要產(chǎn)生渠道互聯(lián)網(wǎng)互聯(lián)網(wǎng)公司在核心業(yè)務(wù)領(lǐng)域，如搜索引擎數(shù)據(jù)、社交媒體數(shù)據(jù)、交易數(shù)據(jù)等會持續(xù)產(chǎn)生數(shù)據(jù)，長期積累后形成海量數(shù)據(jù)。物聯(lián)網(wǎng)自動采集隨著物聯(lián)網(wǎng)設(shè)備數(shù)量增加，來自傳感器、智能溫度控制器、智能電表、監(jiān)控攝像頭、聯(lián)網(wǎng)家電、工廠機(jī)器、RFID技術(shù)會采集大量數(shù)據(jù)。企業(yè)和政府企業(yè)運(yùn)營中產(chǎn)生交易數(shù)據(jù)、客戶關(guān)系管理系統(tǒng)數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、庫存數(shù)據(jù)等；政府機(jī)構(gòu)在公共服務(wù)和管理中產(chǎn)生交通數(shù)據(jù)、醫(yī)療數(shù)據(jù)、公共安全數(shù)據(jù)等。交易數(shù)據(jù)包括電子商務(wù)數(shù)據(jù)、互聯(lián)網(wǎng)單擊數(shù)據(jù)。移動通信數(shù)據(jù)智能手機(jī)等移動設(shè)備產(chǎn)生的數(shù)據(jù)。大數(shù)據(jù)的“5V”核心特點體量（Volume）指數(shù)據(jù)規(guī)模龐大，大數(shù)據(jù)涵蓋海量的數(shù)據(jù)集合。多樣性（Variety）數(shù)據(jù)類型多樣，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。速度（Velocity）數(shù)據(jù)產(chǎn)生和處理的速度快，需要及時處理和分析。價值（Value）大數(shù)據(jù)的戰(zhàn)略意義在于對有價值的數(shù)據(jù)進(jìn)行專業(yè)化處理，實現(xiàn)數(shù)據(jù)“增值”。真實性（Veracity）強(qiáng)調(diào)數(shù)據(jù)的準(zhǔn)確性和可靠性，確保數(shù)據(jù)真實可用。大數(shù)據(jù)處理的基本流程（上）數(shù)據(jù)采集從多個數(shù)據(jù)源收集數(shù)據(jù)，是大數(shù)據(jù)處理的起始步驟。數(shù)據(jù)清洗與預(yù)處理確保數(shù)據(jù)的準(zhǔn)確性和一致性，為后續(xù)處理做準(zhǔn)備。數(shù)據(jù)存儲經(jīng)過預(yù)處理的數(shù)據(jù)需存儲在能夠高效管理和檢索的系統(tǒng)中，這些步驟相互關(guān)聯(lián)，共同構(gòu)成大數(shù)據(jù)處理體系的一部分。大數(shù)據(jù)處理的基本流程（下）數(shù)據(jù)分析與挖掘是大數(shù)據(jù)處理流程的核心環(huán)節(jié)，決定大數(shù)據(jù)集合的價值性和可用性，以及分析預(yù)測結(jié)果的準(zhǔn)確性。結(jié)果可視化將分析得到的結(jié)果以可視化方式展示，便于用戶直觀理解和利用數(shù)據(jù)。數(shù)據(jù)應(yīng)用把數(shù)據(jù)分析的成果轉(zhuǎn)化為實際的業(yè)務(wù)價值。數(shù)據(jù)監(jiān)控對處理后的數(shù)據(jù)進(jìn)行實時監(jiān)控和管理，確保數(shù)據(jù)質(zhì)量和準(zhǔn)確性，及時發(fā)現(xiàn)和解決問題，整個流程具有連貫性。算法的核心作用03算法的定義與基本概念算法的定義算法是對問題解決方案的準(zhǔn)確和完整的描述，是一系列清晰的指令，用于解決特定問題。輸入輸出的確定性給定特定的標(biāo)準(zhǔn)輸入，算法能夠在有限的時間內(nèi)生成所需的輸出。冒泡排序算法示例（原理）相鄰數(shù)字比較交換比較相鄰的數(shù)字，如果第一個數(shù)字大于第二個數(shù)字，則交換這兩個數(shù)字。每輪確定最大數(shù)對每一對相鄰數(shù)字執(zhí)行相同的操作，從第一對開始，一直到最后一對。在這一輪結(jié)束時，最后一個數(shù)字將是最大的數(shù)字。逐步縮小處理范圍對所有數(shù)字重復(fù)以上步驟，但每次都忽略已經(jīng)排好序的最后一個數(shù)字，持續(xù)重復(fù)上述步驟，處理越來越少的元素，直到?jīng)]有需要比較的數(shù)字為止。冒泡排序算法示例（圖示輔助）圖示展示排序過程配合圖2-2“冒泡排序原理”，用圖示展示數(shù)字排序過程，直觀呈現(xiàn)算法執(zhí)行邏輯。算法優(yōu)劣的評判標(biāo)準(zhǔn)（1-2）01正確性算法的正確性是評價一個算法優(yōu)劣的最重要的標(biāo)準(zhǔn)。02可讀性算法的可讀性是指一個算法可供人們閱讀的容易程度。算法優(yōu)劣的評判標(biāo)準(zhǔn)（3-5）魯棒性算法的魯棒性是指一個算法對不合理輸入數(shù)據(jù)的反應(yīng)能力和處理能力，也稱為容錯性。時間復(fù)雜度算法的時間復(fù)雜度是指執(zhí)行算法所需要的工作量?？臻g復(fù)雜度空間復(fù)雜度是指算法在執(zhí)行過程中所需消耗的內(nèi)存空間。選擇合適算法可提高工作效率。算法在人工智能中的應(yīng)用（典型案例）AlphaGo戰(zhàn)勝圍棋冠軍AlphaGo戰(zhàn)勝世界圍棋冠軍源于其強(qiáng)大的算法。語音翻譯軟件語音翻譯軟件的高效性依賴于算法的優(yōu)化。搜索推薦與廣告推送算法決定了“百度搜索”的結(jié)果，影響了“微博”向用戶展示的話題，指導(dǎo)了“愛奇藝”推薦的電影，影響了“淘寶”所推薦的商品，以及“抖音”推送的視頻內(nèi)容，甚至決定了電腦上彈出的廣告。算法對人工智能發(fā)展的驅(qū)動作用核心作用算法是AI實現(xiàn)智能任務(wù)、數(shù)據(jù)處理、優(yōu)化學(xué)習(xí)、決策推理的核心。重要驅(qū)動力創(chuàng)新與優(yōu)化是AI發(fā)展重要驅(qū)動力。算力的支撐與發(fā)展04算力的定義（狹義與廣義）狹義算力狹義上，算力是指對數(shù)學(xué)問題進(jìn)行運(yùn)算的過程，例如完成“1+1=？”的計算。廣義算力廣義上，算力則涵蓋了對信息進(jìn)行處理并得到結(jié)果的所有過程。凡是能夠完成計算過程的能力，都可稱為“算力”。算力與人類智慧算力不僅代表人類對數(shù)據(jù)處理的能力，也反映了人類智慧的發(fā)展水平。中國算力發(fā)展現(xiàn)狀（總體規(guī)模）在用算力中心機(jī)架規(guī)模中國在用算力中心機(jī)架總規(guī)模超過830萬標(biāo)準(zhǔn)機(jī)架。算力總規(guī)模算力總規(guī)模達(dá)246EFLOPS（每秒百億億次浮點運(yùn)算），位于世界前列，為“量的增長”奠定基礎(chǔ)。中國算力發(fā)展現(xiàn)狀（技術(shù)與應(yīng)用）時延保障能力城域算力節(jié)點間1ms（毫秒）時延保障能力逐漸形成，區(qū)域集群到周邊主要城市間5ms時延保障能力廣泛覆蓋，國家樞紐節(jié)點間20ms時延保障能力全面實現(xiàn)。PUE與綠色數(shù)據(jù)中心全國算力中心平均電能利用效率（PUE）降至1.47，創(chuàng)建國家綠色數(shù)據(jù)中心246個。各領(lǐng)域應(yīng)用項目工業(yè)、教育、醫(yī)療、能源等多個領(lǐng)域算力應(yīng)用項目超過1.3萬個，體現(xiàn)“質(zhì)的提升”。算力與硬件配置的關(guān)系（電腦與手機(jī)）電腦硬件與算力電腦配置的不同導(dǎo)致價格差異，主要取決于CPU、顯卡及內(nèi)存等硬件的差異性。高配置計算機(jī)算力強(qiáng)，能流暢運(yùn)行高要求軟件；低配置則算力不足。手機(jī)算力與體驗手機(jī)算力越高，游戲體驗越流暢；反之則可能導(dǎo)致游戲卡頓。人們高價購買高性能電腦和手機(jī)，本質(zhì)是購買更高的算力。算力在人工智能中的關(guān)鍵作用（典型場景）火車站人臉識別得益于強(qiáng)大的算力支持，火車站人臉識別檢票能迅速完成，幾乎感受不到延遲，提升了乘客進(jìn)站效率。自動駕駛自動駕駛技術(shù)中的場景檢測和行人識別依賴于底層算力的支撐，算力越強(qiáng)，檢測和識別越準(zhǔn)確。實時翻譯實時翻譯中的語音識別等應(yīng)用也依賴于算力，算力強(qiáng)能帶來更好的服務(wù)體驗。廣義算力的擴(kuò)展維度01廣義算力的構(gòu)成廣義的算力不僅包括CPU的性能，還涵蓋內(nèi)存和顯卡的性能，以及網(wǎng)絡(luò)傳輸?shù)男阅芎瓦h(yuǎn)程服務(wù)器的性能等。025G通信與算力以跑車在不同路況的性能差異類比，我國大力發(fā)展5G通信技術(shù)的建設(shè)，能為提升算力提供有力支撐。我國算力發(fā)展的政策與規(guī)劃01強(qiáng)化規(guī)劃設(shè)計統(tǒng)籌好“量的增長”和“質(zhì)的提升”。02強(qiáng)化創(chuàng)新驅(qū)動統(tǒng)籌好技術(shù)創(chuàng)新和產(chǎn)業(yè)創(chuàng)新。03強(qiáng)化應(yīng)用培育統(tǒng)籌好“化點成珠”和“串珠成鏈”。04強(qiáng)化安全保障統(tǒng)籌好高質(zhì)量發(fā)展和高水平安全。2024中國算力大會成果平臺啟動大會正式啟動“中國算力服務(wù)平臺（河南）”。報告發(fā)布集中發(fā)布《中國綜合算力指數(shù)（2024年）》《中國算力發(fā)展報告》等重磅研究報告。協(xié)議簽約8個框架協(xié)議、9個合作協(xié)議、5個戰(zhàn)略協(xié)議集中簽約，總金額達(dá)231.2億元，體現(xiàn)產(chǎn)業(yè)推動力度。我國人工智能算力增長趨勢算力增長態(tài)勢結(jié)合圖2-5“我國人工智能算力快速增長”，隨技術(shù)進(jìn)步，我國人工智能算力呈現(xiàn)快速增長態(tài)勢。算力對AI的支撐算力是人工智能發(fā)展的基礎(chǔ)，其增長為AI發(fā)展提供了有力支撐?？偨Y(jié)與未來展望05大數(shù)據(jù)技術(shù)的核心價值總結(jié)數(shù)據(jù)增值的戰(zhàn)略意義大數(shù)據(jù)技術(shù)的戰(zhàn)略意義在于對有價值的數(shù)據(jù)進(jìn)行專業(yè)化處理，提升數(shù)據(jù)“加工能力”，實現(xiàn)數(shù)據(jù)“增值”，如淘寶、百度根據(jù)大數(shù)據(jù)推薦符合用戶興趣的內(nèi)容。全鏈路的處理流程大數(shù)據(jù)處理基本流程包括數(shù)據(jù)采集、清洗與預(yù)處理、存儲、分析與挖掘、結(jié)果可視化、應(yīng)用和監(jiān)控，各步驟相互關(guān)聯(lián)構(gòu)成完整體系。算法與算力協(xié)同驅(qū)動算法和算力協(xié)同作用，驅(qū)動智能應(yīng)用。算法決定了眾多互聯(lián)網(wǎng)應(yīng)用的結(jié)果，算力是人工智能應(yīng)用的基礎(chǔ)，二者缺一不可。算法與算力的未來發(fā)展方向算法持續(xù)創(chuàng)新優(yōu)化算法需持續(xù)創(chuàng)新優(yōu)化，以提升智能水平，如AlphaGo、語音翻譯軟件依賴強(qiáng)大算法，未來算法將在更多領(lǐng)域發(fā)揮關(guān)鍵作用。算力強(qiáng)化技術(shù)與應(yīng)用融合算力需強(qiáng)化技術(shù)與應(yīng)用融合，支撐更多場景，我國大力發(fā)展5G通信技術(shù)為提升算力提供支撐，未來算力將在更多領(lǐng)域保障服務(wù)體驗。共同帶來更多價值算法的創(chuàng)新優(yōu)化和算力的技術(shù)與應(yīng)用融合，共同呼應(yīng)“為我們帶來更多價值”的目標(biāo)。大數(shù)據(jù)技術(shù)的社會影響與責(zé)任重視算法保護(hù)生活各方面被算法覆蓋，需重視算法保護(hù)，避免算法濫用，確保算法合理應(yīng)用于各個領(lǐng)域。保障算力安全算力支撐日常服務(wù)，要保障算力安全，確保數(shù)據(jù)質(zhì)量，如對處理后的數(shù)據(jù)進(jìn)行實時監(jiān)控和管理。推動技術(shù)向善重視算法保護(hù)和算力安全，推動大數(shù)據(jù)技術(shù)向善發(fā)展，為社會帶來積極影響。未來智能應(yīng)用的想象空間基于現(xiàn)有技術(shù)的拓展基于現(xiàn)有技術(shù)，如火車站人臉識別檢票、自動駕駛技術(shù)中的場景檢測和行人識別等，未來智能應(yīng)用將有更深度的拓展。更深度的智能場景展望更深度的智能場景，如精準(zhǔn)醫(yī)療、智慧城市等，“大數(shù)據(jù)+算法+算力”將持續(xù)拓展人類生活邊界。持續(xù)拓展生活邊界“大數(shù)據(jù)+算法+算力”的結(jié)合將不斷創(chuàng)造新的智