數(shù)據(jù)分析基礎(chǔ)算法本課程旨在為學(xué)生提供數(shù)據(jù)分析基礎(chǔ)知識(shí)和常用算法的講解，幫助學(xué)生掌握數(shù)據(jù)分析的流程和方法，并能夠運(yùn)用相關(guān)算法解決實(shí)際問題。課程介紹課程目標(biāo)了解數(shù)據(jù)分析的概念和流程，掌握常用數(shù)據(jù)分析算法，能夠運(yùn)用算法解決實(shí)際問題。課程內(nèi)容數(shù)據(jù)收集與預(yù)處理描述性統(tǒng)計(jì)分析概率論基礎(chǔ)假設(shè)檢驗(yàn)回歸分析聚類分析決策樹算法樸素貝葉斯算法K-均值算法線性回歸算法時(shí)間序列分析異常值檢測(cè)文本數(shù)據(jù)分析數(shù)據(jù)分析的概念和流程數(shù)據(jù)分析定義數(shù)據(jù)分析是指利用科學(xué)方法，對(duì)收集來的數(shù)據(jù)進(jìn)行分析和解釋，以發(fā)現(xiàn)數(shù)據(jù)中隱藏的規(guī)律和趨勢(shì)，從而為決策提供參考。數(shù)據(jù)分析流程數(shù)據(jù)收集數(shù)據(jù)預(yù)處理數(shù)據(jù)探索性分析數(shù)據(jù)建模結(jié)果解釋數(shù)據(jù)收集與預(yù)處理數(shù)據(jù)收集數(shù)據(jù)收集是指從各種來源獲取數(shù)據(jù)，包括數(shù)據(jù)庫、文件、網(wǎng)站、傳感器等。數(shù)據(jù)清洗數(shù)據(jù)清洗是指對(duì)數(shù)據(jù)進(jìn)行處理，以消除錯(cuò)誤、缺失、重復(fù)、異常等問題。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是指將數(shù)據(jù)轉(zhuǎn)換為適合分析的格式，例如將文本數(shù)據(jù)轉(zhuǎn)換為數(shù)值數(shù)據(jù)。數(shù)據(jù)可視化基礎(chǔ)直方圖顯示數(shù)據(jù)的分布情況1散點(diǎn)圖顯示兩個(gè)變量之間的關(guān)系2折線圖顯示數(shù)據(jù)隨時(shí)間的變化趨勢(shì)3餅圖顯示數(shù)據(jù)的比例關(guān)系4描述性統(tǒng)計(jì)分析1集中趨勢(shì)度量描述數(shù)據(jù)中心位置2離散趨勢(shì)度量描述數(shù)據(jù)分散程度3相關(guān)性分析描述兩個(gè)變量之間的關(guān)系集中趨勢(shì)度量平均數(shù)反映數(shù)據(jù)的平均水平中位數(shù)反映數(shù)據(jù)的中間位置眾數(shù)反映數(shù)據(jù)中最頻繁出現(xiàn)的數(shù)值離散趨勢(shì)度量1方差:數(shù)據(jù)與平均數(shù)的平方差的平均值2標(biāo)準(zhǔn)差:方差的平方根，反映數(shù)據(jù)與平均數(shù)的平均偏差3極差:數(shù)據(jù)的最大值和最小值之差，反映數(shù)據(jù)分布的范圍相關(guān)性分析相關(guān)系數(shù)反映兩個(gè)變量之間的線性關(guān)系強(qiáng)度散點(diǎn)圖直觀顯示兩個(gè)變量之間的關(guān)系概率論基礎(chǔ)隨機(jī)事件在隨機(jī)現(xiàn)象中可能發(fā)生的各種結(jié)果概率隨機(jī)事件發(fā)生的可能性大小概率分布描述隨機(jī)變量取值的概率規(guī)律隨機(jī)變量與概率分布離散型隨機(jī)變量取值有限或可數(shù)連續(xù)型隨機(jī)變量取值可以在一個(gè)區(qū)間內(nèi)連續(xù)變化概率分布類型伯努利分布二項(xiàng)分布泊松分布正態(tài)分布正態(tài)分布1對(duì)稱性分布曲線關(guān)于平均數(shù)對(duì)稱2鐘形曲線呈鐘形，兩端逐漸下降3集中趨勢(shì)數(shù)據(jù)集中在平均數(shù)附近抽樣分布與估計(jì)1抽樣分布樣本統(tǒng)計(jì)量的概率分布2參數(shù)估計(jì)根據(jù)樣本數(shù)據(jù)估計(jì)總體參數(shù)3置信區(qū)間估計(jì)總體參數(shù)的范圍假設(shè)檢驗(yàn)提出假設(shè)選擇檢驗(yàn)統(tǒng)計(jì)量確定拒絕域計(jì)算檢驗(yàn)統(tǒng)計(jì)量得出結(jié)論方差分析2組間差異比較不同組的均值差異1組內(nèi)差異分析同一組內(nèi)數(shù)據(jù)的差異回歸分析線性回歸建立自變量和因變量之間的線性關(guān)系邏輯回歸預(yù)測(cè)二元分類變量聚類分析1K-均值算法將數(shù)據(jù)劃分成K個(gè)簇，每個(gè)數(shù)據(jù)點(diǎn)屬于最近的簇2層次聚類將數(shù)據(jù)按照相似性進(jìn)行層次化分組決策樹算法特征選擇選擇最佳特征進(jìn)行劃分1節(jié)點(diǎn)分裂根據(jù)特征值將數(shù)據(jù)分成子節(jié)點(diǎn)2停止條件達(dá)到預(yù)設(shè)條件或無法再劃分3樸素貝葉斯算法貝葉斯定理基于先驗(yàn)概率和條件概率計(jì)算后驗(yàn)概率樸素假設(shè)特征之間相互獨(dú)立K-均值算法初始化簇中心隨機(jī)選擇K個(gè)數(shù)據(jù)點(diǎn)作為簇中心分配數(shù)據(jù)點(diǎn)將每個(gè)數(shù)據(jù)點(diǎn)分配到距離其最近的簇中心更新簇中心重新計(jì)算每個(gè)簇的中心點(diǎn)迭代重復(fù)分配數(shù)據(jù)點(diǎn)和更新簇中心，直到收斂線性回歸算法模型假設(shè)自變量和因變量之間存在線性關(guān)系參數(shù)估計(jì)使用最小二乘法估計(jì)回歸系數(shù)模型評(píng)估評(píng)估模型的擬合程度和預(yù)測(cè)能力分類算法評(píng)估準(zhǔn)確率正確預(yù)測(cè)的樣本數(shù)占總樣本數(shù)的比例精確率預(yù)測(cè)為正樣本中實(shí)際為正樣本的比例召回率實(shí)際為正樣本中預(yù)測(cè)為正樣本的比例F1分?jǐn)?shù)精確率和召回率的調(diào)和平均數(shù)混淆矩陣正樣本真陽性假陰性負(fù)樣本假陽性真陰性ROC曲線定義ROC曲線是根據(jù)不同閾值下真陽性率和假陽性率繪制的曲線用途評(píng)估分類模型的性能，選擇最佳閾值交叉驗(yàn)證數(shù)據(jù)劃分將數(shù)據(jù)分成訓(xùn)練集和測(cè)試集1模型訓(xùn)練使用訓(xùn)練集訓(xùn)練模型2模型評(píng)估使用測(cè)試集評(píng)估模型性能3重復(fù)重復(fù)上述步驟，直到所有數(shù)據(jù)都被用作測(cè)試集4時(shí)間序列分析1趨勢(shì)分析分析數(shù)據(jù)隨時(shí)間變化的長期趨勢(shì)2季節(jié)性分析分析數(shù)據(jù)隨季節(jié)變化的周期性規(guī)律3隨機(jī)波動(dòng)分析分析數(shù)據(jù)中隨機(jī)波動(dòng)的影響平穩(wěn)性檢驗(yàn)1ADF檢驗(yàn):檢測(cè)時(shí)間序列是否存在單位根2KPSS檢驗(yàn):檢測(cè)時(shí)間序列是否平穩(wěn)自相關(guān)分析自相關(guān)函數(shù)反映時(shí)間序列中不同時(shí)間點(diǎn)數(shù)據(jù)的相關(guān)性偏自相關(guān)函數(shù)反映時(shí)間序列中剔除中間時(shí)間點(diǎn)數(shù)據(jù)影響后的相關(guān)性移動(dòng)平均模型模型原理用過去一段時(shí)間數(shù)據(jù)的平均值來預(yù)測(cè)未來數(shù)據(jù)模型參數(shù)移動(dòng)平均的窗口大小異常值檢測(cè)定義與其他數(shù)據(jù)點(diǎn)明顯不同的數(shù)據(jù)點(diǎn)方法局部異常因子隔離森林均值偏移檢測(cè)局部異常因子原理計(jì)算數(shù)據(jù)點(diǎn)與其周圍鄰居的密度差異用途檢測(cè)局部異常點(diǎn)，適用于密度不均勻的數(shù)據(jù)集隔離森林隨機(jī)劃分?jǐn)?shù)據(jù)使用隨機(jī)超平面將數(shù)據(jù)空間劃分成多個(gè)子空間數(shù)據(jù)隔離異常點(diǎn)更容易被隔離，需要更少的劃分次數(shù)異常得分計(jì)算每個(gè)數(shù)據(jù)點(diǎn)被隔離的路徑長度，作為異常得分均值偏移檢測(cè)原理計(jì)算數(shù)據(jù)點(diǎn)到其最近簇中心的距離用途適用于檢測(cè)高維數(shù)據(jù)中的異常點(diǎn)文本數(shù)據(jù)分析1分詞與詞頻統(tǒng)計(jì)將文本分解成詞語，統(tǒng)計(jì)詞語出現(xiàn)的頻率2情感分析分析文本的情感傾向，例如正面、負(fù)面、中性3主題模型發(fā)現(xiàn)文本中的潛在主題分詞與詞頻統(tǒng)計(jì)1分詞將文本分解成詞語2詞頻統(tǒng)計(jì)統(tǒng)計(jì)每個(gè)詞語出現(xiàn)的次數(shù)情感分析方法詞典法機(jī)器學(xué)習(xí)深度學(xué)習(xí)應(yīng)用輿情監(jiān)控產(chǎn)品評(píng)價(jià)分析客戶服務(wù)主題模型LDA模型將文檔分解成主題，每個(gè)主題由詞語組成主題發(fā)現(xiàn)發(fā)現(xiàn)文本中隱藏的主題，并為每個(gè)主題分配關(guān)鍵詞數(shù)據(jù)挖掘項(xiàng)目實(shí)戰(zhàn)項(xiàng)目定義明確項(xiàng)目目標(biāo)和問題數(shù)據(jù)收集與準(zhǔn)備收集數(shù)據(jù)、清洗數(shù)據(jù)、準(zhǔn)備數(shù)據(jù)數(shù)據(jù)分析與建模分析數(shù)據(jù)、選擇算法、建立模型結(jié)果評(píng)估與部署評(píng)估模型性能、部署模型、監(jiān)控模型案例分享客戶畫像分析分析客戶的特征和行為，為營銷策略提供參考預(yù)測(cè)銷量分析預(yù)測(cè)產(chǎn)品的銷量，幫助企業(yè)制定生產(chǎn)計(jì)劃團(tuán)隊(duì)討論1問題探討針對(duì)課程內(nèi)容進(jìn)行深入探討2案例