大數(shù)據(jù)技術(shù)與應用基礎(chǔ)項目一

大數(shù)據(jù)概述目錄01數(shù)據(jù)認知02大數(shù)據(jù)認知數(shù)據(jù)認知01什么是數(shù)據(jù)數(shù)據(jù)的概念數(shù)據(jù)是記錄事實與活動的信息，以符號形式存在，涵蓋數(shù)字、文字、圖像等形態(tài)。什么是數(shù)據(jù)：數(shù)據(jù)的表現(xiàn)形式古代數(shù)據(jù)的規(guī)則化匯聚古代黃冊、天文記錄等以規(guī)則匯聚，成寶貴數(shù)據(jù)遺產(chǎn)。數(shù)據(jù)與計算機編碼的聯(lián)系數(shù)據(jù)經(jīng)二進制編碼后成為計算機處理對象，早期僅處理結(jié)構(gòu)化數(shù)據(jù)。近年數(shù)據(jù)處理技術(shù)的突破近年數(shù)據(jù)處理技術(shù)突破，存儲、傳輸、計算性能提升，有效處理非結(jié)構(gòu)化數(shù)據(jù)。什么是數(shù)據(jù)：數(shù)據(jù)的性質(zhì)數(shù)字經(jīng)濟的核心生產(chǎn)要素數(shù)字經(jīng)濟核心生產(chǎn)要素是數(shù)據(jù)，取代土地與技術(shù)資本。什么是數(shù)據(jù)：數(shù)據(jù)的性質(zhì)數(shù)據(jù)虛擬性數(shù)據(jù)存在于數(shù)字空間，與土地等物理要素不同，具有無形虛擬特性，支持信息無界傳遞與存儲。數(shù)據(jù)復制特性基于數(shù)據(jù)庫與互聯(lián)網(wǎng)技術(shù)，數(shù)據(jù)可低成本無限復制，實現(xiàn)高效轉(zhuǎn)移，不產(chǎn)生邊際成本損耗。主體多元特征數(shù)據(jù)由用戶、收集者及加工者共同構(gòu)建，多方主體通過采集、匯聚與操作形成動態(tài)數(shù)據(jù)集合。非排他性表現(xiàn)數(shù)據(jù)可被多主體同時使用，額外使用者不影響數(shù)據(jù)完整性，無競爭性與排他性限制。數(shù)據(jù)異質(zhì)價值同一數(shù)據(jù)在不同領(lǐng)域價值差異顯著，如醫(yī)療數(shù)據(jù)對金融領(lǐng)域無用，體現(xiàn)強異質(zhì)性特征。數(shù)據(jù)的類型：按收集方法分類觀測數(shù)據(jù)觀測數(shù)據(jù)指通過調(diào)查或測量獲取的社會經(jīng)濟統(tǒng)計數(shù)據(jù)，如GDP、CPI等。實驗數(shù)據(jù)實驗數(shù)據(jù)通過控制變量與環(huán)境獲取，如新藥療效，屬自然科學領(lǐng)域。數(shù)據(jù)的類型：從使用者的角度分類一手數(shù)據(jù)來源于數(shù)據(jù)使用者親自參與調(diào)查和科學實驗得到的數(shù)據(jù)，對使用者來說這是直接來源數(shù)據(jù)。二手數(shù)據(jù)來源于別人調(diào)查或?qū)嶒灥臄?shù)據(jù)，對使用者來說這是間接來源數(shù)據(jù)。數(shù)據(jù)的類型：按照來源進行分類原始數(shù)據(jù)指直接從事物中獲取的數(shù)據(jù)，如企業(yè)的財務數(shù)據(jù)、股票交易數(shù)據(jù)等；派生數(shù)據(jù)通過對原始數(shù)據(jù)進行加工處理后得到的平均值、相對數(shù)等數(shù)據(jù)，如資產(chǎn)負債率行業(yè)均值、股價漲跌幅等。數(shù)據(jù)的類型：按照數(shù)據(jù)類型分類定性數(shù)據(jù)，又叫分類數(shù)據(jù)主要用于確定數(shù)據(jù)的屬性，不支持算術(shù)運算，只用于說明事物的品質(zhì)，可以是文字或數(shù)字。包括以下兩類數(shù)據(jù)：無序數(shù)據(jù)無序數(shù)據(jù)用數(shù)字區(qū)分類別，僅適用等于或不等于的數(shù)學比較。順序數(shù)據(jù)，如，企業(yè)經(jīng)營業(yè)績可以分為優(yōu)，良，中、差四個級別，也可以用1，2，3，4來標識這幾種分類此時的數(shù)值也不能用于表明級別的量，僅能表明其等級差異，該類數(shù)據(jù)尺度的數(shù)學特征是“>”或“<”。數(shù)據(jù)的類型：按照數(shù)據(jù)類型分類定量數(shù)據(jù)，又稱為數(shù)值型數(shù)據(jù)主要用于說明事物的數(shù)量，形式是數(shù)字，也可以按數(shù)值是否連續(xù)劃分為兩類：離散型數(shù)據(jù)離散型數(shù)據(jù)通過計數(shù)獲得，以自然數(shù)或整數(shù)呈現(xiàn)，支持分類、排序及運算。連續(xù)型數(shù)據(jù)連續(xù)型數(shù)據(jù)可在區(qū)間內(nèi)無限細分，數(shù)值連續(xù)不斷，如營業(yè)收入。數(shù)據(jù)的價值數(shù)據(jù)洞察力數(shù)據(jù)揭示趨勢，預測未來，幫助企業(yè)制定策略，優(yōu)化運營。決策支持數(shù)據(jù)驅(qū)動決策，減少不確定性，提高決策效率和準確性。市場競爭力數(shù)據(jù)賦能創(chuàng)新，個性化服務，增強客戶體驗，提升市場競爭力。資產(chǎn)管理數(shù)據(jù)作為資產(chǎn)，評估價值，促進交易，實現(xiàn)數(shù)據(jù)資源的優(yōu)化配置。數(shù)據(jù)的價值幫助人們獲得知識和洞察數(shù)據(jù)驅(qū)動知識，洞察本質(zhì)，消除信息差，助力認知升級。幫助人們形成正確的決策數(shù)據(jù)驅(qū)動精準決策，分析問題本質(zhì)明確行動路徑。幫助人們做出快速決策數(shù)據(jù)驅(qū)動精準決策，搶占市場時間差優(yōu)勢。數(shù)據(jù)的價值數(shù)據(jù)的預測與預警價值數(shù)據(jù)預測未來趨勢，實時預警異常，助力決策避險減損。數(shù)據(jù)的核心價值與應用數(shù)據(jù)通過分析與挖掘揭示趨勢規(guī)律，支撐決策預測，實現(xiàn)核心價值。數(shù)據(jù)質(zhì)量與隱私安全的重要性數(shù)據(jù)質(zhì)量與隱私安全是保障分析價值及合法合規(guī)的核心要素。數(shù)據(jù)的生命周期數(shù)據(jù)生命周期認知企業(yè)需全面理解數(shù)據(jù)生命周期，以精準描繪、評估、量化及治理數(shù)據(jù)資產(chǎn)。數(shù)據(jù)生命周期分類依據(jù)觀察視角差異，數(shù)據(jù)生命周期可細分為靜態(tài)與動態(tài)兩種模式，受具體業(yè)務場景驅(qū)動，非所有數(shù)據(jù)均遍歷全部階段。數(shù)據(jù)的生命周期：靜態(tài)數(shù)據(jù)生命周期生成期數(shù)據(jù)生成階段需明確規(guī)則，否則失控影響安全?；顒悠诨顒悠诓町愶@著，部分數(shù)據(jù)生成后直接進入歸檔期。衰退期數(shù)據(jù)衰退期使用強度階梯下跌，活動驟增或預示價值再生或安全風險。歸檔期歸檔期指數(shù)據(jù)訪問稀疏且不可更新階段，需保護并關(guān)注再利用可能。銷毀期數(shù)據(jù)無用時應合規(guī)銷毀，降低成本及安全風險。數(shù)據(jù)的生命周期：動態(tài)數(shù)據(jù)生命周期數(shù)據(jù)采集數(shù)據(jù)采集涵蓋內(nèi)外部語音、圖片等，經(jīng)格式化處理確保完整準確。數(shù)據(jù)存儲數(shù)據(jù)存儲需選合適技術(shù)，確保安全可用。數(shù)據(jù)處理數(shù)據(jù)處理通過分析、清洗及機器學習等技術(shù)提取信息，實現(xiàn)價值最大化。數(shù)據(jù)的生命周期：動態(tài)數(shù)據(jù)生命周期04數(shù)據(jù)傳輸數(shù)據(jù)在機構(gòu)內(nèi)部通過網(wǎng)絡傳輸，經(jīng)壓縮加密驗證確保安全。05數(shù)據(jù)交換數(shù)據(jù)交換需權(quán)限管理及訪問控制，確保信息共享與隱私安全06數(shù)據(jù)銷毀數(shù)據(jù)銷毀確保徹底清除且無法恢復，防止泄露。大數(shù)據(jù)認知02大數(shù)據(jù)概念起源大數(shù)據(jù)概念起源大數(shù)據(jù)由托夫勒1980年在《第三次浪潮》提出，強調(diào)抽象性與海量數(shù)據(jù)區(qū)別。大數(shù)據(jù)的定義大數(shù)據(jù)指對所有數(shù)據(jù)整體分析，由《大數(shù)據(jù)時代》提出，區(qū)別于抽樣分析。大數(shù)據(jù)的定義大數(shù)據(jù)指規(guī)模龐大需專用技術(shù)處理的復雜數(shù)據(jù)集合。大數(shù)據(jù)指規(guī)模龐大、處理復雜需先進技術(shù)的信息集合。大量數(shù)據(jù)資源為解決以前不可能解決的問題帶來了可能性。大數(shù)據(jù)類型大數(shù)據(jù)包含結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)三種核心類型。企業(yè)數(shù)據(jù)中80%為非結(jié)構(gòu)化數(shù)據(jù)，年增長率達60%，遠超其他類型。大數(shù)據(jù)類型結(jié)構(gòu)化數(shù)據(jù)傳統(tǒng)數(shù)據(jù)庫主要形式，以表格或關(guān)系模型存儲，便于結(jié)構(gòu)化分析。半結(jié)構(gòu)化數(shù)據(jù)包含JSON、XML等格式，具備部分標簽或?qū)蛹壗Y(jié)構(gòu)但未完全標準化。非結(jié)構(gòu)化數(shù)據(jù)文本、圖像、音視頻等無固定格式數(shù)據(jù)，占大數(shù)據(jù)主體且增速最快。應用與挑戰(zhàn)行業(yè)應用場景金融風控分析結(jié)構(gòu)化數(shù)據(jù)，社交媒體依賴非結(jié)構(gòu)化內(nèi)容處理。技術(shù)發(fā)展需求需優(yōu)化存儲架構(gòu)與分析算法，應對指數(shù)級增長的非結(jié)構(gòu)化數(shù)據(jù)處理需求。結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)定義與特性結(jié)構(gòu)化數(shù)據(jù)以固定格式存儲，便于分類處理，適合數(shù)據(jù)庫算法高效分析。結(jié)構(gòu)化數(shù)據(jù)應用領(lǐng)域結(jié)構(gòu)化數(shù)據(jù)廣泛應用于金融、醫(yī)療、電商等領(lǐng)域，助力精準分析與預測。結(jié)構(gòu)化數(shù)據(jù)特點結(jié)構(gòu)化數(shù)據(jù)格式統(tǒng)一，便于存儲查詢與分析處理。非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)定義與特性非結(jié)構(gòu)化數(shù)據(jù)指無固定格式的數(shù)據(jù)，如文本、圖像、音頻等，難以用傳統(tǒng)數(shù)據(jù)庫管理。非結(jié)構(gòu)化數(shù)據(jù)的應用領(lǐng)域非結(jié)構(gòu)化數(shù)據(jù)應用于電商、醫(yī)療、社交等領(lǐng)域，助力精準分析與智能服務。非結(jié)構(gòu)化數(shù)據(jù)的特點非結(jié)構(gòu)化數(shù)據(jù)無固定格式，存儲靈活，多模態(tài)，需機器學習等技術(shù)處理。半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)兼具結(jié)構(gòu)化與非結(jié)構(gòu)化特征，格式靈活但具一定框架。Web應用數(shù)據(jù)為半結(jié)構(gòu)化，含結(jié)構(gòu)化與非結(jié)構(gòu)化形式，如日志、郵件等。以電子郵件為例，其郵件正文屬于非結(jié)構(gòu)化數(shù)據(jù)，而發(fā)件人、收件人、主題和日期等則屬于結(jié)構(gòu)化數(shù)據(jù)。設備通過標記技術(shù)同時輸出結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化內(nèi)容。半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)的應用領(lǐng)域應用于電商、社交及移動領(lǐng)域，管理商品、用戶等信息。半結(jié)構(gòu)化數(shù)據(jù)的特點及處理半結(jié)構(gòu)化數(shù)據(jù)格式靈活，需轉(zhuǎn)結(jié)構(gòu)化處理，適用XML/JSON存儲分析。大數(shù)據(jù)的特征大數(shù)據(jù)規(guī)模性數(shù)據(jù)量巨大，PB級數(shù)據(jù)常態(tài)，涵蓋用戶行為、交易記錄、社交媒體等多源信息。大數(shù)據(jù)多樣性數(shù)據(jù)類型繁多，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，如文本、圖像、音頻和視頻等。大數(shù)據(jù)高速性數(shù)據(jù)生成和處理速度快，實時分析需求高，要求毫秒級響應。大數(shù)據(jù)價值性從海量數(shù)據(jù)中挖掘有價值的信息，支持決策制定，優(yōu)化業(yè)務流程，提升用戶體驗。數(shù)據(jù)的規(guī)模性數(shù)據(jù)規(guī)模從TB級躍升至PB、EB乃至ZB級。淘寶日均交易數(shù)據(jù)約20TB；Facebook用戶日志超300TB。海量數(shù)據(jù)需智能算法與高效平臺，突破傳統(tǒng)技術(shù)局限。數(shù)據(jù)的多樣性數(shù)據(jù)來源多數(shù)據(jù)來源多樣，涵蓋公共、商業(yè)及網(wǎng)絡多維度資源。數(shù)據(jù)類型多樣大數(shù)據(jù)含結(jié)構(gòu)化、非結(jié)構(gòu)化及半結(jié)構(gòu)化，高價值多在非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)之間關(guān)聯(lián)性強數(shù)據(jù)之間交互頻繁，如游客在旅游途中上傳的照片和日志，就與游客的位置、行程等信息有很強的關(guān)聯(lián)性。數(shù)據(jù)的高速性大數(shù)據(jù)的高速性特征大數(shù)據(jù)的高速性主要體現(xiàn)在數(shù)據(jù)數(shù)量的高速增長和數(shù)據(jù)處理的快速響應兩方面。信息交換與傳播的變革大數(shù)據(jù)時代，互聯(lián)網(wǎng)與云計算推動信息交換傳播方式變革，加速進程。實時分析的重要性實時分析以毫秒級處理大數(shù)據(jù)，確?？焖夙憫c精準決策。高速性是大數(shù)據(jù)的核心特征數(shù)據(jù)的高增長速度和高處理速度是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。數(shù)據(jù)的價值性大數(shù)據(jù)價值密度低，高價值潛藏于海量無用信息中。大數(shù)據(jù)通過分析海量數(shù)據(jù)預測趨勢，驅(qū)動農(nóng)業(yè)、金融等多領(lǐng)域智能應用。電商平臺運用大數(shù)據(jù)分析用戶行為，實現(xiàn)精準商品推薦提升轉(zhuǎn)化率。大數(shù)據(jù)處理技術(shù)和工具大數(shù)據(jù)采集從各種來源收集數(shù)據(jù)，包括社交媒體、傳感器、事務記錄等，為后續(xù)處理提供原始資料。大數(shù)據(jù)預處理清洗、轉(zhuǎn)換和集成數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量，為存儲和分析做好準備。大數(shù)據(jù)存儲及管理使用分布式文件系統(tǒng)和數(shù)據(jù)庫，高效存儲和管理PB級數(shù)據(jù)，支持高并發(fā)訪問。大數(shù)據(jù)分析及挖掘運用統(tǒng)計學、機器學習等方法，發(fā)現(xiàn)數(shù)據(jù)中的模式和趨勢，提取有價值的信息。大數(shù)據(jù)采集技術(shù)大數(shù)據(jù)采集來源涵蓋RFID射頻識別、傳感器、社交網(wǎng)絡及移動互聯(lián)網(wǎng)，獲取結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。常用采集工具包括Flume、Sqoop、Kettle、Scribe、ContentGrabber、DataMiner、八爪魚等專業(yè)工具。主要采集軟件Excel、SAS、R、SPSS、Tableau、Python等軟件在大數(shù)據(jù)采集中扮演重要角色。數(shù)據(jù)采集意義為大數(shù)據(jù)分析提供基礎(chǔ)，是挖掘數(shù)據(jù)價值的關(guān)鍵步驟。大數(shù)據(jù)預處理技術(shù)大數(shù)據(jù)預處理清洗、轉(zhuǎn)換、集成和歸約，刪除重復、填充缺失、處理異常，格式統(tǒng)一，準備數(shù)據(jù)分析。數(shù)據(jù)處理工具Pandas、Excel、OpenRefine、Trifacta、IBMInfoSphere，輔助預處理，提升效率，保證數(shù)據(jù)質(zhì)量。數(shù)據(jù)存儲和管理技術(shù)大數(shù)據(jù)存儲與管理概述大數(shù)據(jù)存儲與管理通過本地、云及分布式系統(tǒng)實現(xiàn)數(shù)據(jù)存儲、處理與可靠傳輸。數(shù)據(jù)存儲關(guān)鍵技術(shù)數(shù)據(jù)存儲技術(shù)聚焦分布式系統(tǒng)、能效優(yōu)化及異構(gòu)數(shù)據(jù)融合，推動高效低成本存儲突破。常見數(shù)據(jù)存儲方案Hadoop、MongoDB等數(shù)據(jù)存儲方案提供可靠、可擴展、高性能服務。數(shù)據(jù)分析和挖掘技術(shù)大數(shù)據(jù)處理技術(shù)運用機器學習與深度學習，分析挖掘大數(shù)據(jù)，揭示數(shù)據(jù)模式與規(guī)律，獲取有價值信息。數(shù)據(jù)價值提取通過高級信息技術(shù)處理，從海量數(shù)據(jù)中提煉出對業(yè)務有實際指導意義的關(guān)鍵數(shù)據(jù)。數(shù)據(jù)分析和挖掘技術(shù)從海量數(shù)據(jù)中提取潛在有用信息的過程。數(shù)據(jù)挖掘任務涵蓋預測模型、聚類、關(guān)聯(lián)規(guī)則等多元分類。數(shù)據(jù)挖掘?qū)ο蠛w關(guān)系、面向?qū)ο蟆⒖臻g、時態(tài)數(shù)據(jù)庫及文本、多媒體等多元數(shù)據(jù)源。數(shù)據(jù)分析和挖掘技術(shù)機器學習包含歸納學習（決策樹、規(guī)則歸納）、基于案例學習及遺傳算法；統(tǒng)計方法涵蓋回歸分析、判別分析、聚類分析與探索性分析。前向神經(jīng)網(wǎng)絡采用BP算法，自組織神經(jīng)網(wǎng)絡包含特征映射與競爭學習，均屬數(shù)據(jù)挖掘核心技術(shù)。以多維數(shù)據(jù)分析和OLAP為主，結(jié)合面向?qū)傩詺w納，實現(xiàn)高效數(shù)據(jù)挖掘與模式識別。數(shù)據(jù)分析和挖掘技術(shù)數(shù)據(jù)分析和挖掘工具數(shù)據(jù)分析工具Python、R、TensorFlow等助力高效處理大數(shù)據(jù)。數(shù)據(jù)可視化技術(shù)Tableau、PowerBI等工具將數(shù)據(jù)分析結(jié)論及變化趨勢以圖表、報告形式展現(xiàn)，助用戶直觀理解數(shù)據(jù)信息。分為數(shù)據(jù)可視化語言（Python、R）、BI工具（PowerBI、WynEnterprise）、統(tǒng)計分析工具（Matlib、SPSS）及JS組件（Echarts、HighCharts）四類。數(shù)據(jù)應用技術(shù)數(shù)據(jù)建模應用運用機器學習與AI，預測趨勢及行為，賦能推薦系統(tǒng)、風險評估與市場預判，優(yōu)化決策流程，提升效率，縮減成本。數(shù)據(jù)治理工具DataStage、Informatica、Talend等軟件，實施數(shù)據(jù)規(guī)范管理，保障質(zhì)量、安全與一致性，符合法規(guī)及行業(yè)標準。感謝觀看大數(shù)據(jù)技術(shù)與應用基礎(chǔ)項目二

大數(shù)據(jù)思維目錄01大數(shù)據(jù)時代02大數(shù)據(jù)思維03大數(shù)據(jù)素養(yǎng)認知大數(shù)據(jù)時代01一、大數(shù)據(jù)的發(fā)展歷程大數(shù)據(jù)的發(fā)展歷程總體上可以劃分為三個重要階段：萌芽期、成長期、完善發(fā)展期。（一）萌芽期（1980年-2008年）（二）成長期（2008年-2012年）（三）完善發(fā)展期（2012年至今）二、大數(shù)據(jù)與信息技術(shù)的融合（一）大數(shù)據(jù)與傳感技術(shù)的融合（二）大數(shù)據(jù)與計算機與智能技術(shù)的融合（三）大數(shù)據(jù)與通信技術(shù)的融合（四）大數(shù)據(jù)與控制技術(shù)的融合三、大數(shù)據(jù)的典型應用場景現(xiàn)如今，大數(shù)據(jù)幾乎在每個行業(yè)都有應用，并且應用范圍越來越廣。目前較多應用的領(lǐng)域主要有互聯(lián)網(wǎng)、金融、醫(yī)療、教育、政府等四、大數(shù)據(jù)戰(zhàn)略與數(shù)字經(jīng)濟（一）大數(shù)據(jù)戰(zhàn)略（二）數(shù)字經(jīng)濟（三）實現(xiàn)大數(shù)據(jù)戰(zhàn)略背景下數(shù)字經(jīng)濟發(fā)展大數(shù)據(jù)思維02一、具備大數(shù)據(jù)思維的意義在當前大數(shù)據(jù)背景下，合理運用大數(shù)據(jù)思維，不僅可以促進人們思維方式的有效轉(zhuǎn)變，還可以加強各行業(yè)的數(shù)據(jù)分析與處理效率，具有十分重要的應用意義。相關(guān)工作人員只有具備正確的大數(shù)據(jù)思維，才能夠充分去利用大數(shù)據(jù)技術(shù)，進而轉(zhuǎn)變傳統(tǒng)思維模式，以此保證相關(guān)決策更具備科學性和準確性。如金融相關(guān)行業(yè)與企業(yè)財務管理工作都紛紛應用大數(shù)據(jù)思維，以保證數(shù)據(jù)分析、處理結(jié)果更加準確、快速等，應用大數(shù)據(jù)思維不僅可以升級與優(yōu)化傳統(tǒng)管理思維內(nèi)容，而且可以積極補缺以往管理方式存在的不足之處，推廣性較強。1.數(shù)據(jù)核心原理——從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心以數(shù)據(jù)為核心，反映了當下IT產(chǎn)業(yè)的變革，數(shù)據(jù)成為人工智能的基礎(chǔ)，也成為智能化的基礎(chǔ)，所以數(shù)據(jù)比流程更重要，數(shù)據(jù)可開發(fā)出更深層次的信息。二、大數(shù)據(jù)思維原理2.數(shù)據(jù)價值原理——從功能是價值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價值各行各業(yè)在非互聯(lián)網(wǎng)時期的產(chǎn)品，功能即是它的價值，而今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)是它的價值。大數(shù)據(jù)是數(shù)據(jù)數(shù)量上的增加，以至于能夠?qū)崿F(xiàn)從量變到質(zhì)變的過程。如果抽樣數(shù)據(jù)足夠多的時候，它會讓人全方位了解事物，能夠看得見、摸得著規(guī)律，這種統(tǒng)計推斷的思維方式和大數(shù)據(jù)的思維是很相像的，就是說掌握的數(shù)據(jù)足夠多，多到是研究總體的全部數(shù)據(jù)，那么就能做出相對準確的判斷，這就是大數(shù)據(jù)，數(shù)據(jù)越多，真實性也就越大。3.全樣本原理——從抽樣轉(zhuǎn)變?yōu)樾枰繑?shù)據(jù)樣本

競爭是企業(yè)的動力，而效率是企業(yè)的生命，效率低與效率高是衡量企業(yè)成敗的關(guān)鍵。在快速變化的市場，速度就是價值，效率就是價值，而這一切離不開大數(shù)據(jù)思維。4.關(guān)注效率原理——從精確度轉(zhuǎn)變?yōu)殛P(guān)注效率大數(shù)據(jù)的特點是由傳統(tǒng)的因果思維向相關(guān)思維轉(zhuǎn)變，即因果思維就是找到原因，得到結(jié)果，而大數(shù)據(jù)沒有必要找到原因，不需要科學的手段證明事件與事件之間的必然聯(lián)系。5.關(guān)注相關(guān)性原理——從關(guān)注因果關(guān)系轉(zhuǎn)變?yōu)殛P(guān)注相關(guān)性現(xiàn)在各行各業(yè)通過大數(shù)據(jù)預測、大數(shù)據(jù)記錄預測、大數(shù)據(jù)統(tǒng)計預測、大數(shù)據(jù)模型預測、大數(shù)據(jù)分析預測、大數(shù)據(jù)模式預測、大數(shù)據(jù)深層次信息預測，將數(shù)據(jù)算法運用到海量數(shù)據(jù)上預測事件發(fā)生的可能性。6.預測原理——從不能預測轉(zhuǎn)變?yōu)榭梢灶A測現(xiàn)如今，搜索引擎時代已經(jīng)正式來到，使用搜索引擎的頻率會大大降低，使用的時長也會大大的縮短，原因是推薦引擎的誕生。就是說從人找信息到信息找人越來越成為了一個趨勢，推薦引擎就是說它很懂我，知道我要知道，所以是最好的技術(shù)。喬布斯說，讓人感受不到技術(shù)的技術(shù)是最好的技術(shù)。7.信息找人原理——從人找信息轉(zhuǎn)變?yōu)樾畔⒄胰舜髷?shù)據(jù)技術(shù)的一個核心目標是要從體量巨大、結(jié)構(gòu)繁多的數(shù)據(jù)中挖掘出隱蔽在背后的規(guī)律，從而使數(shù)據(jù)發(fā)揮最大化的價值。由計算機代替人去挖掘信息、獲取知識，從各種各樣的數(shù)據(jù)(包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))中快速獲取有價值信息的能力，就是大數(shù)據(jù)技術(shù)。8.機器懂人原理——從人懂機器轉(zhuǎn)變?yōu)闄C器更懂人

要做到為客戶定制產(chǎn)品，就必須了解客戶需要，定制產(chǎn)品成為客戶的心愿，也就成為企業(yè)發(fā)展的新方向，這需要依靠大數(shù)據(jù)技術(shù)。

10.定制產(chǎn)品原理——從企業(yè)生產(chǎn)產(chǎn)品轉(zhuǎn)變?yōu)榭蛻舳ㄖ飘a(chǎn)品三、大數(shù)據(jù)思維方式（一）大數(shù)據(jù)思維的全局性認知路徑（二）大數(shù)據(jù)思維的模糊性認知路徑（三）大數(shù)據(jù)思維的關(guān)聯(lián)性認知路徑（四）大數(shù)據(jù)思維的動態(tài)性認知路徑大數(shù)據(jù)素養(yǎng)認知03數(shù)字公民是指在數(shù)字社會中，能遵守法律和道德規(guī)范，履行其權(quán)利和義務，能夠理解與信息技術(shù)相關(guān)的人文和社會問題，并能合理使用信息技術(shù)參與社會活動、促進社會發(fā)展的公民。是公民在數(shù)字化社會中生存的基本能力，是合格數(shù)字公民所應展現(xiàn)出來的關(guān)鍵素養(yǎng)。數(shù)字公民素養(yǎng)一、大數(shù)據(jù)素養(yǎng)的含義和內(nèi)容（一）數(shù)字公民素養(yǎng)數(shù)字公民素養(yǎng)的內(nèi)容數(shù)字創(chuàng)新能力數(shù)字生產(chǎn)能力數(shù)字思維能力數(shù)字安全能力數(shù)字生存能力數(shù)字公民素養(yǎng)的內(nèi)容

現(xiàn)如今我國數(shù)字化程度越來越高，日常生活中的種種都需要瀏覽、檢索、查詢等能力，缺少這些能力，生活十分不便。

所以國家提出要提升全民數(shù)字素養(yǎng)，要特別關(guān)注老年人、殘疾人、貧困人口等特殊群體的基本數(shù)字生存能力的獲取。數(shù)字生存能力數(shù)字公民素養(yǎng)的內(nèi)容數(shù)字安全能力

數(shù)據(jù)隱私和安全是數(shù)字化社會面臨的重大挑戰(zhàn)之一。每一個人都需要具備數(shù)字安全能力，保護自己的數(shù)字資產(chǎn)或物理資產(chǎn)不被侵害。數(shù)字公民素養(yǎng)的內(nèi)容

是指能用數(shù)字技術(shù)（如大數(shù)據(jù)、人工智能等）解決自己或他人在生活、工作中的問題。

我們應具備數(shù)據(jù)思維能力，能利用數(shù)據(jù)發(fā)現(xiàn)問題、找到根因，進行精準研判或?qū)ξ磥磉M行預測。數(shù)字思維能力數(shù)字公民素養(yǎng)的內(nèi)容

指能輸出數(shù)字產(chǎn)品、數(shù)字內(nèi)容或其它數(shù)字解決方案，幫別人解決問題，提升自己或企業(yè)在數(shù)字世界的品牌和影響力。數(shù)字生產(chǎn)能力數(shù)字公民素養(yǎng)的內(nèi)容如果個人或企業(yè)在數(shù)字經(jīng)濟中要起到引領(lǐng)帶頭作用，需要具備數(shù)字創(chuàng)新能力，提出自己獨特的觀點，或在基礎(chǔ)技術(shù)、開放平臺、商業(yè)模式等方面具備獨特的競爭力。數(shù)字創(chuàng)新能力一、大數(shù)據(jù)素養(yǎng)的含義和內(nèi)容（二）財經(jīng)人員應具備的大數(shù)據(jù)素養(yǎng)財經(jīng)人員需具備數(shù)據(jù)意識、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)交流、數(shù)據(jù)倫理等數(shù)據(jù)素養(yǎng)能力。二、大數(shù)據(jù)素養(yǎng)提升策略需要提升數(shù)據(jù)技能需秉持數(shù)據(jù)倫理道德感謝觀看項目三

大數(shù)據(jù)采集與預處理大數(shù)據(jù)技術(shù)與應用基礎(chǔ)目錄01大數(shù)據(jù)采集02大數(shù)據(jù)預處理大數(shù)據(jù)采集任務一引導案例：競技體育:大數(shù)據(jù)“雪中送炭”，助力科學訓練◎案例描述回溯歷史，在大數(shù)據(jù)技術(shù)還未嶄露頭角時，競技體育中運動訓練計劃的制定往往都依賴于教練員的執(zhí)教經(jīng)驗，在對成績不佳的運動員進行問題分析時，往往也都趨于“經(jīng)驗化”。在過去，這種經(jīng)驗化的訓練方式培養(yǎng)出了很多冠軍，但也造就了很多問題，比如困擾很多運動員的傷病?，F(xiàn)在，運動訓練學高度發(fā)展，競技體育的各項運動成績幾乎達到人類身體極限，要想從無數(shù)優(yōu)秀者中脫穎而出，大數(shù)據(jù)技術(shù)的應用尤為重要。數(shù)字競技訓練運動表現(xiàn)測量工具的出現(xiàn)，可謂是“雪中送炭”。眾所周知，競技體育中的大數(shù)據(jù)是對大規(guī)模、多源性、多維度運動訓練數(shù)據(jù)的整合，它是建立在競技體育本身的復雜性之上的多因素分析，它的運用旨在解決與運動員成績相關(guān)的多因素之間的關(guān)系，而非單一因素對運動員成績的影響。引導案例：競技體育:大數(shù)據(jù)“雪中送炭”，助力科學訓練◎案例描述運動表現(xiàn)測量工具正是如此，它的大數(shù)據(jù)涉及訓練中的多方面，即運動員外在的運動能力表現(xiàn)和內(nèi)在的生理表現(xiàn)。也就是說，它不是單一的數(shù)據(jù)采集，而是綜合的運動表現(xiàn)評價。“以往我們常常只關(guān)注訓練成績這一外在的方面，這很容易由于過分追求成績而訓練過度，產(chǎn)生疲勞甚至導致?lián)p傷，斷送了運動員的職業(yè)生涯?！苯⒃邶嫶蟮牧炕笜讼碌尼槍π苑治霾攀墙鉀Q運動訓練和成績不佳的科學途徑，也是降低運動員承擔經(jīng)驗化風險的可行之道。在50米短跑訓練中，在較短的距離和時間內(nèi)，運動員要經(jīng)過起跑加速、途中跑、勻速跑、終點沖刺四個階段，這些都是影響跑步成績的因素。運動表現(xiàn)測量工具的分段計時功能，將分別測量和分析每個運動員起跑加速、途中跑、勻速跑、終點沖刺階段的運動表現(xiàn)，通過大數(shù)據(jù)分析發(fā)現(xiàn)其中弱項，實施針對性的訓練。引導案例：競技體育:大數(shù)據(jù)“雪中送炭”，助力科學訓練◎案例解析大數(shù)據(jù)時代的到來，不僅使人類的思維方式產(chǎn)生了變化，也對競技體育的“進化”起到了強大的推動作用。大數(shù)據(jù)分析在競技體育中的應用，讓運動訓練從經(jīng)驗型進化到科學化，讓運動員能夠更科學地提升運動表現(xiàn)，降低受傷的概率。一、大數(shù)據(jù)采集概述1.大數(shù)據(jù)采集的概念大數(shù)據(jù)采集又稱“數(shù)據(jù)獲取”，是指從各種來源獲取數(shù)據(jù)的過程，包括但不限于傳感器、智能設備、企業(yè)在線系統(tǒng)、企業(yè)離線系統(tǒng)、社交網(wǎng)絡和互聯(lián)網(wǎng)平臺等。一、大數(shù)據(jù)采集概述2.大數(shù)據(jù)采集要點全面性多維性高效性一、大數(shù)據(jù)采集概述表3-1傳統(tǒng)的數(shù)據(jù)采集與大數(shù)據(jù)采集區(qū)別

傳統(tǒng)的數(shù)據(jù)采集大數(shù)據(jù)采集數(shù)據(jù)來源數(shù)據(jù)來源數(shù)據(jù)來源數(shù)據(jù)規(guī)模相對較小相對較小相對較小結(jié)構(gòu)單一，結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)類型豐富，包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)

二、大數(shù)據(jù)來源1.商業(yè)數(shù)據(jù)2.互聯(lián)網(wǎng)數(shù)據(jù)3.物聯(lián)網(wǎng)數(shù)據(jù)三、大數(shù)據(jù)采集方法1.系統(tǒng)日志采集法2.網(wǎng)絡數(shù)據(jù)采集法3.數(shù)據(jù)庫采集法4.其他數(shù)據(jù)采集法大數(shù)據(jù)預處理任務二泰坦尼克幸存者數(shù)據(jù)預處理

案例描述基于泰坦尼克幸存者數(shù)據(jù)集進行的分析，是一個經(jīng)典的數(shù)據(jù)分析案例。它也是很多數(shù)據(jù)建模和分析競賽平臺上的入門題目，很有代表意義。1912年4月15日，泰坦尼克號在首次航行期間撞上冰山后沉沒，船上共有2224名乘客和船員，最終有1502人遇難。沉船導致大量傷亡的重要原因之一，是沒有足夠的救生艇給乘客和船員。雖然從這樣的悲劇性事故中幸存下來有一定的運氣因素，但還是有一定規(guī)律可循。一些人，比如婦女、兒童和上層人士，比其他人有更高的存活可能性。泰坦尼克號事件留下了彌足珍貴的數(shù)據(jù)記錄。乘客的幸存率存在一定的規(guī)律，因此這些數(shù)據(jù)記錄集成了Kaggle上流行的入門機器學習的數(shù)據(jù)集，一共包含891個訓練樣本和418個測試樣本，學習者可以根據(jù)891個樣本訓練模型，預測418個測試樣本幸存與否。由于該數(shù)據(jù)集中的記錄不完整，存在缺失值和異常值等，因此也成了很典型的練習數(shù)據(jù)分析的數(shù)據(jù)集。泰坦尼克幸存者數(shù)據(jù)預處理案例解析數(shù)據(jù)不會因為不斷被使用而削減價值，反而會因為不斷重組而產(chǎn)生更大的價值。比如，將一個地區(qū)的物價和地價走勢、高檔轎車的銷售數(shù)量、二手房轉(zhuǎn)手的頻率、出租車密度等各種不相關(guān)的數(shù)據(jù)整合到一起，可以更加精準地預測該地區(qū)的房價走勢。這些被整合過的數(shù)據(jù)，下一次還可以出于別的目的而重新整合。也就是說，數(shù)據(jù)沒有因為被使用過而造成價值衰減，反而會在不同的領(lǐng)域產(chǎn)生更多的價值。一、大數(shù)據(jù)預處理概述大數(shù)據(jù)預處理就是對業(yè)務系統(tǒng)的原始數(shù)據(jù)進行加工整理，經(jīng)過必要的清洗、集成、轉(zhuǎn)換和規(guī)約等一系列的處理，形成合適的數(shù)據(jù)樣式，以便后續(xù)分析。數(shù)據(jù)處理工作在數(shù)據(jù)挖掘之前進行，大大提高了數(shù)據(jù)挖掘模式的質(zhì)量，降低實際挖掘所需要的時間。二、數(shù)據(jù)清洗1.大數(shù)據(jù)清洗的方式手工清洗自動清洗二、數(shù)據(jù)清洗2.大數(shù)據(jù)清洗的內(nèi)容缺失值異常值重復值二、數(shù)據(jù)清洗3.大數(shù)據(jù)清洗的基本方法（1）缺失值的清洗忽略元組人工填寫全局常量填充屬性中心度量填充最可能值填充二、數(shù)據(jù)清洗3.大數(shù)據(jù)清洗的基本方法（2）異常值的清洗異常值的識別：圖形法：箱線圖、正態(tài)分布圖建模法：線性回歸、聚類算法、K近鄰算法二、數(shù)據(jù)清洗3.大數(shù)據(jù)清洗的基本方法（2）異常值的清洗。異常值的處理方法：刪除法替代法插補法二、數(shù)據(jù)清洗3.大數(shù)據(jù)清洗的基本方法（3）重復值的清洗數(shù)據(jù)庫中屬性值完全相同的數(shù)據(jù)一般被認為是重復數(shù)據(jù)，它們表示同一對象;但有些數(shù)據(jù)屬性不完全相同，但可能表示同一對象，這類數(shù)據(jù)被稱為相似數(shù)據(jù)。數(shù)據(jù)清洗過程中，相似重復數(shù)據(jù)的檢測過程非常復雜，主要通過判斷數(shù)據(jù)之間的相似性來達到獲得重復數(shù)據(jù)的目的。二、數(shù)據(jù)清洗3.大數(shù)據(jù)清洗的基本方法（3）重復值的清洗首先優(yōu)選數(shù)據(jù)集中的特征屬性，設定權(quán)重值，根據(jù)權(quán)重值對記錄集進行聚類分組，使相似的數(shù)據(jù)盡量排在相鄰的位置；再比較各組數(shù)據(jù)中對應字段的相似度，完成字段匹配；最后通過計算各字段的權(quán)重，利用加權(quán)的方式，得到數(shù)據(jù)的相似度，當超過某一閾值時，則認為是相似的，從而完成數(shù)據(jù)匹配。對重復值的處理方法包括刪除、合并和替換在進行數(shù)據(jù)清洗時需要關(guān)注重復異常三、數(shù)據(jù)集成數(shù)據(jù)集成是指將由不同來源、不同格式和不同結(jié)構(gòu)的數(shù)據(jù)整合到一個統(tǒng)一的數(shù)據(jù)庫中，以實現(xiàn)數(shù)據(jù)的一致性、可訪問性和可用性。簡而言之，就是把分散在不同數(shù)據(jù)源中的各種類型的數(shù)據(jù)統(tǒng)一匯聚起來，主要體現(xiàn)在一個“集”字。數(shù)據(jù)集成主要解決三個問題實體識別數(shù)據(jù)冗余數(shù)據(jù)值沖突的檢測與處理三、數(shù)據(jù)集成常用數(shù)據(jù)集成方法有以下幾種:手工數(shù)據(jù)集成編程數(shù)據(jù)集成數(shù)據(jù)倉庫集成ETL工具集成API集成四、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是指對所抽取出來的數(shù)據(jù)中存在不一致性進行處理的過程，是將一種數(shù)據(jù)格式或結(jié)構(gòu)轉(zhuǎn)化為另一種格式或結(jié)構(gòu)的過程。數(shù)據(jù)轉(zhuǎn)換可以處理不同的數(shù)據(jù)源，將它們轉(zhuǎn)換為標準的輸出格式，從而使數(shù)據(jù)可以更好地被分析和使用。四、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換常見的內(nèi)容包括:數(shù)據(jù)類型轉(zhuǎn)換數(shù)據(jù)粒度轉(zhuǎn)換表與數(shù)據(jù)拆分行列轉(zhuǎn)換數(shù)據(jù)離散化數(shù)據(jù)標準化五、數(shù)據(jù)規(guī)約數(shù)據(jù)規(guī)約是指在最大極限保持數(shù)據(jù)原貌的基礎(chǔ)上，最大極限精簡數(shù)據(jù)量，以得到較小數(shù)據(jù)集的操作等。五、數(shù)據(jù)規(guī)約常用的數(shù)據(jù)歸約策略維歸約數(shù)值歸約數(shù)據(jù)壓縮感謝觀看項目四大數(shù)據(jù)存儲與管理大數(shù)據(jù)技術(shù)與應用基礎(chǔ)目錄01傳統(tǒng)數(shù)據(jù)存儲與管理技術(shù)02大數(shù)據(jù)存儲與管理技術(shù)傳統(tǒng)數(shù)據(jù)存儲與管理技術(shù)01引導案例：ERP企業(yè)資源管理系統(tǒng)ERP是一種集成的軟件系統(tǒng)，通過整合企業(yè)內(nèi)部的各個功能部門（如采購、銷售、庫存、生產(chǎn)、財務、人力資源等），以及外部供應商和合作伙伴的數(shù)據(jù)和業(yè)務流程，提供全面的企業(yè)資源管理和決策支持。其主要目標是實現(xiàn)企業(yè)內(nèi)部各個部門之間的協(xié)調(diào)與合作，提高工作效率、降低成本、優(yōu)化資源利用。ERP在制造業(yè)、零售業(yè)、金融服務、醫(yī)療保健、教育領(lǐng)域的方面發(fā)揮著不同的作用。在ERP系統(tǒng)中充斥著許許多多的數(shù)據(jù)，ERP通過對數(shù)據(jù)的集中存儲和管理，實現(xiàn)了不同部門和業(yè)務功能之間的數(shù)據(jù)共享和一致性。引導案例：ERP企業(yè)資源管理系統(tǒng)◎案例解析早些年前，企業(yè)數(shù)據(jù)規(guī)模不大，ERP系統(tǒng)常常以單機版使用，它提高了企業(yè)的工作效率、數(shù)據(jù)可靠性和決策能力。關(guān)系型數(shù)據(jù)庫是ERP系統(tǒng)中最常用的存儲技術(shù)之一。它們提供結(jié)構(gòu)化數(shù)據(jù)存儲和管理的能力，使用表格和關(guān)系模型來組織數(shù)據(jù)。ERP系統(tǒng)將各個模塊的數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫中，以支持事務處理、數(shù)據(jù)一致性和復雜的查詢操作。另外，數(shù)據(jù)倉庫也是ERP使用的存儲技術(shù)之一，ERP系統(tǒng)將從各個模塊中收集的數(shù)據(jù)轉(zhuǎn)移到數(shù)據(jù)倉庫中，以進行更復雜的數(shù)據(jù)分析和報表生成。一、數(shù)據(jù)存儲認知（一）數(shù)據(jù)存儲發(fā)展史石洞壁畫結(jié)繩記事

甲骨文

竹

簡穿孔卡片磁鼓存儲器光盤存儲器固態(tài)硬盤一、數(shù)據(jù)存儲認知（二）數(shù)據(jù)存儲的概念縱觀存儲產(chǎn)品系統(tǒng)架構(gòu)的發(fā)展歷程，主要分為硬件存儲、軟件定義和云存儲三大階段。數(shù)據(jù)存儲從硬件定義是數(shù)據(jù)存儲對象包括數(shù)據(jù)流在加工過程中產(chǎn)生的臨時文件或加工過程中需要查找的信息。軟件定義存儲（SDS，Software-definedStorage）指將存儲物理資源通過抽象、池化整合，并通過智能軟件實現(xiàn)存儲資源的管理，實現(xiàn)控制平面和數(shù)據(jù)平面的解耦，最終以存儲服務的形式提供給應用，滿足應用按需（如容量、性能、服務質(zhì)量、服務等級協(xié)議等）使用存儲的需求。通俗理解，軟件定義存儲就是利用統(tǒng)一軟件對存儲硬件進行管理和控制，即利用通用硬件進行存儲，但功能和性能都由軟件來決定。云存儲的定義：第一，在面向用戶的服務形態(tài)方面，它是一種提供按需服務的應用模式，用戶可以通過網(wǎng)絡連接云端存儲資源，在云端隨時隨地存儲數(shù)據(jù)；第二，在云存儲服務構(gòu)建方面，它是通過分布式、虛擬化、智能配置等技術(shù)，實現(xiàn)海量、可彈性擴展、低成本、低能耗的共享存儲資源。一、數(shù)據(jù)存儲認知（三）數(shù)據(jù)存儲的分類數(shù)據(jù)存儲分類按照服務器類型封閉系統(tǒng)的存儲大型機等服務器開放系統(tǒng)的存儲內(nèi)置存儲外掛存儲直連式存儲網(wǎng)絡化存儲網(wǎng)絡接入存儲存儲區(qū)域網(wǎng)絡存儲服務類型塊存儲文件存儲對象存儲時間或者部署方式集中式存儲分布式存儲一、數(shù)據(jù)存儲認知數(shù)據(jù)存儲與管理方式對于數(shù)據(jù)存儲系統(tǒng)的能力提升從三個方面提出了更高的要求。一方面提升系統(tǒng)的存儲容量；二是要提升系統(tǒng)的吞吐量；三是存儲系統(tǒng)的容錯性。針對于提升系統(tǒng)的存儲容量，一種是提升單硬盤的容量，目前單個硬盤容量已經(jīng)進入TB時代。另一種就是在多硬盤的情況下提升整體存儲容量，經(jīng)過多年的發(fā)展，系統(tǒng)存儲技術(shù)已經(jīng)由DAS直連式存儲發(fā)展到NAS網(wǎng)絡接入存儲和SAN存儲區(qū)域網(wǎng)絡，而如今已經(jīng)進入到云存儲階段。一、數(shù)據(jù)存儲認知（四）數(shù)據(jù)存儲與管理方式1.直連式存儲DAS和區(qū)域網(wǎng)絡存儲SAN：這兩種存儲方式都屬于塊存儲類型。（1）DAS（DirectAttachedStorage）——直連式存儲是指將存儲設備通過總線（SCSI、PCI、IDE等）接口直接連接到一臺服務器上使用的存儲方式。直連式存儲DASDAS是最原始、最基本的存儲架構(gòu)方式，在個人電腦、服務器上也最為常見。DAS的優(yōu)勢在于架構(gòu)簡單、成本低廉、讀寫效率高等；DAS結(jié)構(gòu)易擴展性差，成本高、資源利用率低和備份、恢復和擴容過程復雜的不足之處。一、數(shù)據(jù)存儲認知（四）數(shù)據(jù)存儲與管理方式（2）存儲區(qū)域網(wǎng)絡SANSAN是最常見的企業(yè)存儲方案，SAN是存儲區(qū)域網(wǎng)絡(StorageAreaNetwork)的簡稱。是一種通過光纖交換機、光纖路由器、光纖集線器等設備將磁盤陣列、磁帶等存儲設備與相關(guān)服務器連接起來的高速專用子網(wǎng)。SAN的優(yōu)點：它采用高速的傳輸媒介，將存儲系統(tǒng)網(wǎng)絡化，實現(xiàn)了真正高速的共享存儲。綜合網(wǎng)絡的靈活性、可管理性及可擴展性的同時，提高了網(wǎng)絡的帶寬和存儲I/O的可靠性。SAN獨立于應用服務器網(wǎng)絡系統(tǒng)之外，擁有幾乎無限的存儲能力。其缺點表現(xiàn)在：方案整體預算相對DAS和NAS架構(gòu)要高一些，尤其是光纖設備價格昂貴。文件處理在服務器上實現(xiàn)，對服務器的配置要求也比較高。對大量的小文件的讀寫沒有優(yōu)勢，對管理維護人員的技術(shù)水平要求比較高。一、數(shù)據(jù)存儲認知（四）數(shù)據(jù)存儲與管理方式2.網(wǎng)絡連接存儲NAS通常，NAS產(chǎn)品都是文件級存儲。NAS（NetworkAttachedStorage）——網(wǎng)絡連接存儲，即將存儲設備通過標準的網(wǎng)絡拓撲結(jié)構(gòu)（例如以太網(wǎng)），連接到一群計算機上。NAS的優(yōu)點：支持全面獲取信息設備提高效率、提高靈活性、集中存儲、簡化管理、可擴展性、高可用性、安全NAS的缺點：受局域網(wǎng)帶寬的限制、不適用于數(shù)據(jù)塊級訪問方式、無法實現(xiàn)集中備份一、數(shù)據(jù)存儲認知（四）數(shù)據(jù)存儲與管理方式3.統(tǒng)一存儲統(tǒng)一存儲，實質(zhì)上是一個可以支持基于文件的網(wǎng)絡附加存儲（NAS）以及基于數(shù)據(jù)塊的SAN的網(wǎng)絡化的存儲架構(gòu)。由于其支持不同的存儲協(xié)議為主機系統(tǒng)提供數(shù)據(jù)存儲，因此也被稱為多協(xié)議存儲。統(tǒng)一存儲優(yōu)勢：規(guī)劃整體存儲容量的能力；利用率可以得到提升，容量本身并沒有標準限制；存儲資源池的靈活性。一、數(shù)據(jù)存儲認知（四）數(shù)據(jù)存儲與管理方式4.云存儲云存儲是一種網(wǎng)上在線存儲（Cloudstorage）的模式。云存儲的概念與云計算類似，它是指通過集群應用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)，保證數(shù)據(jù)的安全性，并節(jié)約存儲空間。簡單來說，云存儲就是將儲存資源放到云上供人存取的一種新興方案。使用者可以在任何時間、任何地方，通過任何可聯(lián)網(wǎng)的裝置連接到云上方便地存取數(shù)據(jù)。一、數(shù)據(jù)存儲認知（五）數(shù)據(jù)存儲的重要性存儲從根本上來說就是信息的記錄和保存。存儲的目的，是使信息能夠跨越時間和空間進行傳遞。人類自誕生以來，對于信息的存儲就尤為重視，存儲技術(shù)與手段也在不斷更新迭代。在如今信息化時代里，數(shù)據(jù)已經(jīng)成為社會生產(chǎn)和生活既重要又具體的資源。國務院印發(fā)《“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃》中明確提出了推進產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型。“十四五”時期，中國數(shù)字經(jīng)濟將轉(zhuǎn)向深化應用、規(guī)范發(fā)展、普惠共享的新階段。這一歷程中，數(shù)據(jù)要素成為數(shù)字經(jīng)濟深化發(fā)展的核心引擎。然而要讓數(shù)據(jù)全面、充分地發(fā)揮出其價值的前提是：數(shù)據(jù)需要被妥善保管在可靠、可信、可管理的平臺中，能夠被隨時隨地且方便地存取。存儲技術(shù)與手段是利用數(shù)據(jù)的基礎(chǔ)，是數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)價值等實現(xiàn)的前提，數(shù)據(jù)存儲的重要性不言而喻。二、傳統(tǒng)的數(shù)據(jù)存儲與管理技術(shù)傳統(tǒng)數(shù)據(jù)存儲和管理一般以結(jié)構(gòu)化數(shù)據(jù)為主，數(shù)據(jù)庫和文件系統(tǒng)是主流技術(shù)。（一）文件系統(tǒng)文件系統(tǒng)是操作系統(tǒng)用于明確存儲設備或分區(qū)上的文件的方法和數(shù)據(jù)結(jié)構(gòu)；即在存儲設備上組織文件的方法。操作系統(tǒng)中負責管理和存儲文件信息的軟件機構(gòu)稱為文件管理系統(tǒng)，簡稱文件系統(tǒng)。文件系統(tǒng)由三部分組成：文件系統(tǒng)的接口，對對象操縱和管理的軟件集合，對象及屬性。從系統(tǒng)角度來看，文件系統(tǒng)是對文件存儲設備的空間進行組織和分配，負責文件存儲并對存入的文件進行保護和檢索的系統(tǒng)。具體地說，它負責為用戶建立文件，存入、讀出、修改、轉(zhuǎn)儲文件，控制文件的存取，當用戶不再使用時撤銷文件等。二、傳統(tǒng)的數(shù)據(jù)存儲與管理技術(shù)傳統(tǒng)數(shù)據(jù)存儲和管理一般以結(jié)構(gòu)化數(shù)據(jù)為主，數(shù)據(jù)庫和文件系統(tǒng)是主流技術(shù)。（二）數(shù)據(jù)庫數(shù)據(jù)庫是按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲和管理數(shù)據(jù)的倉庫，是一個長期存儲在計算機內(nèi)，有組織的、可共享的、統(tǒng)一管理的大量數(shù)據(jù)的集合。對數(shù)據(jù)庫進行統(tǒng)一管理的軟件一般被稱為數(shù)據(jù)庫管理系統(tǒng)DBMS（DatabaseManagementSystem）。數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫數(shù)據(jù)倉庫并行數(shù)據(jù)庫二、傳統(tǒng)的數(shù)據(jù)存儲與管理技術(shù)（二）數(shù)據(jù)庫1.關(guān)系數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫RDBMS（RelationalDatabaseManagementSystem），是指采用關(guān)系模型來組織數(shù)據(jù)的數(shù)據(jù)庫，以行和列的形式存儲數(shù)據(jù)，一系列的行與列稱為表，一組表組成了數(shù)據(jù)庫，由二維表及其之間的關(guān)系組成的一個數(shù)據(jù)組織。所以我們可以將關(guān)系數(shù)據(jù)庫看作為許多關(guān)系表的集合，每個關(guān)系表可以視為一張二維表格，通過對表格分類、合并、連接、選取等運算實現(xiàn)數(shù)據(jù)的管理。原子性、一致性、隔離性和持久性是定義關(guān)系數(shù)據(jù)庫事務的四個關(guān)鍵屬性，常縮寫為ACID。關(guān)系數(shù)據(jù)庫的優(yōu)點：容易理解；使用方便；易于維護。關(guān)系數(shù)據(jù)庫的缺點：數(shù)據(jù)讀寫必須經(jīng)過SQL解析，大量數(shù)據(jù)、高并發(fā)下讀寫性能不足（對于傳統(tǒng)關(guān)系型數(shù)據(jù)庫來說，硬盤I/O是一個很大的瓶頸）；具有固定的表結(jié)構(gòu)，因此擴展困難；多表的關(guān)聯(lián)查詢導致性能欠佳。二、傳統(tǒng)的數(shù)據(jù)存儲與管理技術(shù)（二）數(shù)據(jù)庫2.數(shù)據(jù)倉庫數(shù)據(jù)倉庫(DataWarehouse，簡稱DW/DWH)是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策和信息的全局共享。數(shù)據(jù)庫與數(shù)據(jù)倉庫都是用來存放結(jié)構(gòu)化數(shù)據(jù)的地方，從本質(zhì)上講，數(shù)據(jù)倉庫是一種數(shù)據(jù)庫，數(shù)據(jù)倉庫系統(tǒng)允許將各種應用系統(tǒng)集成在一起，為統(tǒng)一的歷史數(shù)據(jù)分析提供堅實的平臺，對信息處理提供支持。二、傳統(tǒng)的數(shù)據(jù)存儲與管理技術(shù)（二）數(shù)據(jù)庫3.并行數(shù)據(jù)庫并行數(shù)據(jù)庫系統(tǒng)是新一代高性能數(shù)據(jù)庫系統(tǒng)，致力于開發(fā)數(shù)據(jù)庫操作的時間并行性和空間并行性。為數(shù)據(jù)庫系統(tǒng)引入分布式架構(gòu)，使用并行處理技術(shù)，應對不斷增長的海量數(shù)據(jù)的存儲和快速處理需求，是數(shù)據(jù)庫技術(shù)領(lǐng)域發(fā)展必然的結(jié)果。并行數(shù)據(jù)庫的概念由來已久，它以高性能（線性加速比）、高可用性與高擴充性（線性伸縮比）為目標，充分利用多處理器平臺的能力，通過多種并行技術(shù)，在數(shù)據(jù)分析應用中提供優(yōu)化的響應時間與事務吞吐量。三、傳統(tǒng)數(shù)據(jù)存儲與管理所面臨的挑戰(zhàn)（一）從技術(shù)層面上帶來的挑戰(zhàn)1.硬件方面2.數(shù)據(jù)庫技術(shù)方面（二）從管理層面上帶來的挑戰(zhàn)1.存儲管理層面2.數(shù)據(jù)管理層面3.人員管理層面（三）從應用層面上帶來的挑戰(zhàn)大數(shù)據(jù)存儲與管理技術(shù)02引導案例：社交媒體平臺大數(shù)據(jù)存儲與管理你最喜歡的社交媒體平臺是什么？抖音、微博、微信、B站、知乎、小紅書等等。社交媒體已經(jīng)改變了我們溝通、分享信息和與他人聯(lián)系的方式。它已經(jīng)成為我們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠?，?shù)十億人每天都在使用它們。根據(jù)《2023年中國社交媒體平臺指南》，截至2022年12月，我國網(wǎng)民數(shù)已突破10.67億，互聯(lián)網(wǎng)普及率達75.6%，其中社交媒體用戶人數(shù)占全體網(wǎng)民的95.13%，“全民社交”也正在催生社交媒體平臺與內(nèi)容形式的變革。以微信公眾號為例，微信公眾號的日均訪問量已經(jīng)超過10億次，每分鐘有超過3000篇文章被發(fā)布，每天的數(shù)據(jù)量是TB級別的，數(shù)據(jù)量非常之大。那么社交媒體平臺是如何能夠高效地處理和管理大量的用戶生成內(nèi)容呢？引導案例：社交媒體平臺大數(shù)據(jù)存儲與管理◎案例解析社交媒體平臺就是大數(shù)據(jù)存儲與管理的典型案例。社交媒體平臺使用分布式數(shù)據(jù)庫或列式數(shù)據(jù)庫（如HBase）來存儲用戶數(shù)據(jù)和社交網(wǎng)絡關(guān)系。分布式數(shù)據(jù)庫可以將用戶數(shù)據(jù)和關(guān)系以適當?shù)姆绞酱鎯?，以支持各種查詢操作。像個人資料、帖子、評論、圖片、視頻等通常采用分布式文件系統(tǒng)（如Hadoop的HDFS）或?qū)ο蟠鎯Ψ眨ㄈ鏏mazonS3）來存儲大規(guī)模的多媒體數(shù)據(jù)。對于文本和結(jié)構(gòu)化數(shù)據(jù)，可以使用分布式數(shù)據(jù)庫或文檔數(shù)據(jù)庫（如MongoDB）來存儲和管理。一、分布式文件系統(tǒng)（一）分布式文件系統(tǒng)概念分布式文件系統(tǒng)（DistributedFileSystem，DFS）是基于分布式理念的文件系統(tǒng)，將固定于某個地點的某個本地文件系統(tǒng)擴展到多個地點和多類型的文件系統(tǒng)。特點：相對于本地文件系統(tǒng)而言，分布式文件系統(tǒng)所管理的存儲資源并不是全部直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡管理連接節(jié)點的存儲資源，這些節(jié)點可能存在于不同的區(qū)域中，在空間上存在一定距離，眾多的節(jié)點組成一個文件系統(tǒng)網(wǎng)絡，通過網(wǎng)絡進行節(jié)點間的通信和數(shù)據(jù)傳輸。一、分布式文件系統(tǒng)（二）典型的分布式文件系統(tǒng)1.GoogleFileSystem（GFS）GoogleFileSystem（GFS）是Google開發(fā)的分布式文件系統(tǒng)，為Google的各種服務提供了底層存儲支持。GFS旨在處理大規(guī)模數(shù)據(jù)集和大文件的存儲和訪問。它采用了分布式架構(gòu)，其中包含一個主節(jié)點（Master）和多個數(shù)據(jù)節(jié)點（ChunkServers）。GFS將文件劃分為固定大小的數(shù)據(jù)塊（64MB），并將這些數(shù)據(jù)塊復制到多個數(shù)據(jù)節(jié)點上。GFS具有高度的容錯性，通過副本的冗余和自動故障恢復來保證數(shù)據(jù)的可靠性和可用性。它還通過在計算節(jié)點上存儲數(shù)據(jù)塊來優(yōu)化數(shù)據(jù)局部性。GFS專注于處理大文件和大數(shù)據(jù)集的存儲和訪問，并具備高吞吐量和高可靠性。一、分布式文件系統(tǒng)（二）典型的分布式文件系統(tǒng)1.GoogleFileSystem（GFS）GoogleFileSystem（GFS）是Google開發(fā)的分布式文件系統(tǒng)，為Google的各種服務提供了底層存儲支持。GFS旨在處理大規(guī)模數(shù)據(jù)集和大文件的存儲和訪問。它采用了分布式架構(gòu)，其中包含一個主節(jié)點（Master）和多個數(shù)據(jù)節(jié)點（ChunkServers）。GFS將文件劃分為固定大小的數(shù)據(jù)塊（64MB），并將這些數(shù)據(jù)塊復制到多個數(shù)據(jù)節(jié)點上。GFS具有高度的容錯性，通過副本的冗余和自動故障恢復來保證數(shù)據(jù)的可靠性和可用性。它還通過在計算節(jié)點上存儲數(shù)據(jù)塊來優(yōu)化數(shù)據(jù)局部性。GFS專注于處理大文件和大數(shù)據(jù)集的存儲和訪問，并具備高吞吐量和高可靠性。一、分布式文件系統(tǒng)（二）典型的分布式文件系統(tǒng)2.HadoopDistributedFileSystem(HDFS)HadoopDistributedFileSystem（HDFS）是ApacheHadoop生態(tài)系統(tǒng)的核心組件之一，它是一個用于存儲和處理大規(guī)模數(shù)據(jù)的分布式文件系統(tǒng)。HDFS旨在廉價硬件上運行，并具備高度可擴展性、高容錯性和高吞吐量。一、分布式文件系統(tǒng)（二）典型的分布式文件系統(tǒng)3.CephCeph是一個開源的分布式存儲平臺，提供了一個可擴展的對象存儲和文件系統(tǒng)。Ceph的設計目標是在大規(guī)模集群上實現(xiàn)高性能和高可靠性的存儲。Ceph采用了一個統(tǒng)一的存儲集群，包括監(jiān)視器（Monitors）、對象存儲設備（ObjectStorageDevices，OSDs）和元數(shù)據(jù)服務器（MetadataServers）。Ceph使用CRUSH算法來動態(tài)管理數(shù)據(jù)的分布和冗余。它具有高度的可擴展性和容錯性，并且支持對象存儲、塊存儲和文件系統(tǒng)接口。Ceph提供了強大的數(shù)據(jù)一致性和可用性，通過數(shù)據(jù)的分布和復制來確保數(shù)據(jù)的可靠性。一、分布式文件系統(tǒng)（二）典型的分布式文件系統(tǒng)4.LustreLustre是一個高性能的并行分布式文件系統(tǒng)，主要用于高性能計算（HPC）領(lǐng)域。Lustre采用了分布式架構(gòu)，包括元數(shù)據(jù)服務器（MetadataServers）和存儲單元（StorageTargets）。Lustre通過將文件切分成對象，并將這些對象分布在多個存儲服務器上來實現(xiàn)高度的并行性。它具有高度可擴展性和容錯性，并且適用于大規(guī)模數(shù)據(jù)訪問和并行文件系統(tǒng)操作。Lustre支持大規(guī)模存儲和高并發(fā)訪問，并且在HPC領(lǐng)域中被廣泛使用。二、分布式數(shù)據(jù)庫（一）分布式數(shù)據(jù)庫概念分布式數(shù)據(jù)庫是一種將數(shù)據(jù)存儲在多個物理位置上的數(shù)據(jù)庫系統(tǒng)。與傳統(tǒng)的集中式數(shù)據(jù)庫不同，分布式數(shù)據(jù)庫將數(shù)據(jù)分布在多個節(jié)點上，并通過網(wǎng)絡進行通信和協(xié)調(diào)，以提供高可用性、可擴展性和性能。分布式數(shù)據(jù)庫和集中式數(shù)據(jù)庫是兩種不同的數(shù)據(jù)庫架構(gòu)，它們在數(shù)據(jù)存儲、性能、可擴展性和容錯性等方面有著顯著的區(qū)別。二、分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫的關(guān)鍵特點：數(shù)據(jù)分片（Sharding）：數(shù)據(jù)分片是將數(shù)據(jù)劃分成多個片段，每個片段存儲在不同的節(jié)點上。這樣做可以將數(shù)據(jù)分布在多個物理位置上，實現(xiàn)數(shù)據(jù)的分布存儲和并行處理。每個節(jié)點只負責處理自己所存儲的數(shù)據(jù)片段。數(shù)據(jù)復制（Replication）：為了提高數(shù)據(jù)的可靠性和可用性，分布式數(shù)據(jù)庫通常采用數(shù)據(jù)復制的策略。數(shù)據(jù)復制是將數(shù)據(jù)的副本存儲在多個節(jié)點上，以防止單個節(jié)點的故障導致數(shù)據(jù)丟失或不可用。復制策略可以是同步復制或異步復制，具體取決于對一致性和性能的要求。二、分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫的關(guān)鍵特點：數(shù)據(jù)一致性和沖突解決：分布式數(shù)據(jù)庫面臨數(shù)據(jù)一致性的挑戰(zhàn)，因為數(shù)據(jù)分布在多個節(jié)點上并且可以同時進行寫操作。為了保持數(shù)據(jù)的一致性，分布式數(shù)據(jù)庫采用一致性協(xié)議和機制來處理數(shù)據(jù)沖突和解決一致性問題。常見的一致性模型包括強一致性、最終一致性和事件ual一致性。分布式查詢處理：分布式數(shù)據(jù)庫支持在分布式環(huán)境中執(zhí)行查詢操作。查詢可以在多個節(jié)點上并行執(zhí)行，并通過網(wǎng)絡進行數(shù)據(jù)交換和協(xié)調(diào)。分布式查詢處理需要考慮數(shù)據(jù)局部性和數(shù)據(jù)移動的開銷，以提高查詢性能和效率。故障容錯和恢復：分布式數(shù)據(jù)庫具備故障容錯和恢復機制，以應對節(jié)點故障和數(shù)據(jù)丟失。當一個節(jié)點失敗時，系統(tǒng)可以自動檢測并將其副本或數(shù)據(jù)遷移到其他節(jié)點上，以保持數(shù)據(jù)的可用性和可靠性。二、分布式數(shù)據(jù)庫（二）常見的分布式數(shù)據(jù)庫常見的分布式數(shù)據(jù)庫包括ApacheCassandra、ApacheHBase、AmazonDynamoDB、GoogleSpanner等。它們針對不同的應用需求和場景提供了高度可擴展、高性能和高可用性的數(shù)據(jù)存儲和處理解決方案。選擇適當?shù)姆植际綌?shù)據(jù)庫應根據(jù)數(shù)據(jù)規(guī)模、負載類型、一致性需求和性能要求進行評估和選擇。三、非關(guān)系型數(shù)據(jù)庫NoSQLNoSQL是“NotOnlySQL”的英文簡寫，NoSQL數(shù)據(jù)庫是不同于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的統(tǒng)稱，即非關(guān)系型（non-relational）的數(shù)據(jù)庫的統(tǒng)稱，它并不專指某一個產(chǎn)品或一種技術(shù)，而是代表一類產(chǎn)品及一系列的不同類型的數(shù)據(jù)存儲與處理的技術(shù)。與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫相比，NoSQL數(shù)據(jù)庫具有以下特點：（1）非關(guān)系型數(shù)據(jù)庫，靈活的數(shù)據(jù)模型。（2）彈性的橫向擴展性。（3）NoSQL數(shù)據(jù)庫保證的是BASE特性：基本可用（BasicallyAvailable，BA），NoSQL數(shù)據(jù)庫允許分布式系統(tǒng)中某些部分出現(xiàn)故障，系統(tǒng)的其余部分仍然可用，允許繼續(xù)部分訪問；柔性狀態(tài)（Softstate，S），在NoSQL數(shù)據(jù)庫的數(shù)據(jù)處理過程中，允許存在數(shù)據(jù)狀態(tài)暫時不一致的情況；最終一致（EventuallyConsistent，E），將柔性狀態(tài)產(chǎn)生的短暫數(shù)據(jù)不一致情況，經(jīng)過糾錯處理最后轉(zhuǎn)化為數(shù)據(jù)一致。三、非關(guān)系型數(shù)據(jù)庫NoSQL在NoSQL數(shù)據(jù)庫中，最常用的存儲方式有鍵值式存儲、文檔式存儲、列式存儲、圖形式存儲等，關(guān)系型數(shù)據(jù)庫中僅有一種存儲方式，而NoSQL數(shù)據(jù)庫可以存在多種存儲方式。1.鍵值式存儲：顧名思義，鍵值式存儲就是在數(shù)據(jù)庫中根據(jù)鍵值對數(shù)據(jù)進行組織