匯報(bào)人：2023-12-28數(shù)據(jù)分析中的機(jī)器學(xué)習(xí)技術(shù)與案例分享培訓(xùn)課件目錄機(jī)器學(xué)習(xí)概述數(shù)據(jù)預(yù)處理與特征工程監(jiān)督學(xué)習(xí)算法與應(yīng)用非監(jiān)督學(xué)習(xí)算法與應(yīng)用強(qiáng)化學(xué)習(xí)算法與應(yīng)用機(jī)器學(xué)習(xí)案例分享與實(shí)戰(zhàn)演練01機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)是一種通過(guò)訓(xùn)練數(shù)據(jù)自動(dòng)發(fā)現(xiàn)規(guī)律，并應(yīng)用于新數(shù)據(jù)的算法和模型。定義從早期的符號(hào)學(xué)習(xí)到統(tǒng)計(jì)學(xué)習(xí)，再到深度學(xué)習(xí)，機(jī)器學(xué)習(xí)技術(shù)不斷演進(jìn)，應(yīng)用領(lǐng)域不斷拓展。發(fā)展歷程機(jī)器學(xué)習(xí)的定義與發(fā)展通過(guò)已知輸入和輸出數(shù)據(jù)進(jìn)行訓(xùn)練，以預(yù)測(cè)新數(shù)據(jù)的輸出。監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)從無(wú)標(biāo)簽數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特征。通過(guò)與環(huán)境的交互來(lái)學(xué)習(xí)最優(yōu)決策策略。030201機(jī)器學(xué)習(xí)的主要任務(wù)圖像分類(lèi)、目標(biāo)檢測(cè)、人臉識(shí)別等。機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域計(jì)算機(jī)視覺(jué)機(jī)器翻譯、情感分析、智能問(wèn)答等。自然語(yǔ)言處理語(yǔ)音助手、語(yǔ)音轉(zhuǎn)文字等。語(yǔ)音識(shí)別個(gè)性化推薦、廣告投放等。推薦系統(tǒng)信用評(píng)分、股票預(yù)測(cè)等。金融領(lǐng)域疾病診斷、藥物研發(fā)等。醫(yī)療領(lǐng)域02數(shù)據(jù)預(yù)處理與特征工程去除重復(fù)、缺失、異常值等，保證數(shù)據(jù)質(zhì)量。數(shù)據(jù)清洗通過(guò)編碼、歸一化、標(biāo)準(zhǔn)化等手段將數(shù)據(jù)轉(zhuǎn)換為適合機(jī)器學(xué)習(xí)模型處理的格式。數(shù)據(jù)轉(zhuǎn)換針對(duì)文本數(shù)據(jù)，進(jìn)行分詞、去除停用詞、詞向量表示等操作。文本處理數(shù)據(jù)清洗與轉(zhuǎn)換從原始特征中挑選出對(duì)模型訓(xùn)練有益的特征，去除冗余和無(wú)關(guān)特征。特征選擇通過(guò)變換或組合原始特征，生成新的有意義的特征。特征提取根據(jù)領(lǐng)域知識(shí)和經(jīng)驗(yàn)，手動(dòng)構(gòu)造對(duì)模型有益的特征。特征構(gòu)造特征選擇與提取數(shù)據(jù)降維技術(shù)主成分分析（PCA）通過(guò)線性變換將原始數(shù)據(jù)變換為一組各維度線性無(wú)關(guān)的表示，可用于高維數(shù)據(jù)的降維。線性判別分析（LDA）通過(guò)投影將數(shù)據(jù)點(diǎn)映射到低維空間，同時(shí)保持類(lèi)別間的可分性。t-SNE一種非線性降維技術(shù)，適用于高維數(shù)據(jù)的可視化。自動(dòng)編碼器（Autoencoder）通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)的低維表示，可用于數(shù)據(jù)降維和特征提取。03監(jiān)督學(xué)習(xí)算法與應(yīng)用

線性回歸與邏輯回歸線性回歸一種通過(guò)最小化預(yù)測(cè)值與真實(shí)值之間的均方誤差來(lái)擬合數(shù)據(jù)的統(tǒng)計(jì)方法，可用于預(yù)測(cè)連續(xù)型變量。邏輯回歸一種用于解決二分類(lèi)問(wèn)題的算法，通過(guò)sigmoid函數(shù)將線性回歸的結(jié)果映射到[0,1]區(qū)間，表示樣本屬于某一類(lèi)別的概率。應(yīng)用場(chǎng)景金融領(lǐng)域的信用評(píng)分、醫(yī)學(xué)領(lǐng)域的疾病預(yù)測(cè)等。核函數(shù)為了解決非線性問(wèn)題，SVM引入核函數(shù)將數(shù)據(jù)映射到高維空間，使得在原空間中不可分的數(shù)據(jù)在高維空間中變得可分。SVM原理通過(guò)尋找一個(gè)超平面，使得兩類(lèi)樣本能夠最大程度地被分開(kāi)，同時(shí)保證超平面兩側(cè)的空白區(qū)域（即間隔）最大化。應(yīng)用場(chǎng)景圖像識(shí)別、文本分類(lèi)、生物信息學(xué)等。支持向量機(jī)（SVM）一種樹(shù)形結(jié)構(gòu)的分類(lèi)器，通過(guò)遞歸地將數(shù)據(jù)集劃分為若干個(gè)子集，每個(gè)子集對(duì)應(yīng)一個(gè)決策樹(shù)的節(jié)點(diǎn)，最終形成一個(gè)倒立的樹(shù)狀結(jié)構(gòu)。決策樹(shù)一種基于決策樹(shù)的集成學(xué)習(xí)算法，通過(guò)構(gòu)建多個(gè)決策樹(shù)并結(jié)合它們的預(yù)測(cè)結(jié)果來(lái)提高模型的準(zhǔn)確性和穩(wěn)定性。隨機(jī)森林信貸審批、醫(yī)療診斷、市場(chǎng)營(yíng)銷(xiāo)等。應(yīng)用場(chǎng)景決策樹(shù)與隨機(jī)森林04非監(jiān)督學(xué)習(xí)算法與應(yīng)用一種基于距離的聚類(lèi)算法，通過(guò)迭代將數(shù)據(jù)劃分為K個(gè)簇，使得同一簇內(nèi)數(shù)據(jù)盡可能相似，不同簇間數(shù)據(jù)盡可能不同。適用于大規(guī)模數(shù)據(jù)集，但K值的選擇對(duì)結(jié)果影響較大。K-均值聚類(lèi)一種基于層次的聚類(lèi)方法，通過(guò)不斷合并或分裂簇來(lái)形成最終的聚類(lèi)結(jié)果。可以生成不同層次的聚類(lèi)結(jié)構(gòu)，但計(jì)算復(fù)雜度較高。層次聚類(lèi)K-均值聚類(lèi)與層次聚類(lèi)數(shù)據(jù)可視化PCA可以將高維數(shù)據(jù)降維至二維或三維空間，便于進(jìn)行數(shù)據(jù)可視化展示。特征提取PCA可以提取數(shù)據(jù)中的主要特征，用于后續(xù)的分類(lèi)、回歸等任務(wù)。降維技術(shù)PCA是一種常用的降維技術(shù)，通過(guò)線性變換將原始數(shù)據(jù)投影到低維空間中，保留最主要的數(shù)據(jù)特征。主成分分析（PCA）自編碼器一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)編碼器和解碼器對(duì)輸入數(shù)據(jù)進(jìn)行壓縮和重構(gòu)，學(xué)習(xí)數(shù)據(jù)的內(nèi)在規(guī)律和特征。常用于數(shù)據(jù)降維、特征提取和異常檢測(cè)等任務(wù)。生成對(duì)抗網(wǎng)絡(luò)（GAN）由生成器和判別器組成的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)生成器和判別器的對(duì)抗訓(xùn)練，生成器能夠生成與真實(shí)數(shù)據(jù)相似的樣本。GAN在圖像生成、語(yǔ)音合成等領(lǐng)域有廣泛應(yīng)用。自編碼器與生成對(duì)抗網(wǎng)絡(luò)（GAN）05強(qiáng)化學(xué)習(xí)算法與應(yīng)用03MDP應(yīng)用MDP被廣泛應(yīng)用于機(jī)器人控制、游戲AI、自然語(yǔ)言處理等領(lǐng)域。01MDP定義馬爾可夫決策過(guò)程是一種用于描述強(qiáng)化學(xué)習(xí)問(wèn)題的數(shù)學(xué)模型，它包含狀態(tài)、動(dòng)作、轉(zhuǎn)移概率和獎(jiǎng)勵(lì)四個(gè)要素。02MDP求解通過(guò)動(dòng)態(tài)規(guī)劃、蒙特卡洛模擬或時(shí)間差分等方法求解MDP，可以得到最優(yōu)策略或值函數(shù)。馬爾可夫決策過(guò)程（MDP）Q-學(xué)習(xí)01Q-學(xué)習(xí)是一種基于值迭代的強(qiáng)化學(xué)習(xí)方法，它通過(guò)不斷更新Q值表來(lái)學(xué)習(xí)最優(yōu)策略。Q值表示在給定狀態(tài)下采取某個(gè)動(dòng)作的未來(lái)獎(jiǎng)勵(lì)期望。策略梯度方法02策略梯度方法是一種基于策略迭代的強(qiáng)化學(xué)習(xí)方法，它通過(guò)直接優(yōu)化策略參數(shù)來(lái)學(xué)習(xí)最優(yōu)策略。相比于Q-學(xué)習(xí)，策略梯度方法更適合處理連續(xù)動(dòng)作空間和高維狀態(tài)空間的問(wèn)題。Q-學(xué)習(xí)與策略梯度方法比較03Q-學(xué)習(xí)和策略梯度方法各有優(yōu)缺點(diǎn)，選擇哪種方法取決于具體問(wèn)題和需求。Q-學(xué)習(xí)與策略梯度方法深度Q網(wǎng)絡(luò)（DQN）DQN是一種結(jié)合深度學(xué)習(xí)和Q-學(xué)習(xí)的強(qiáng)化學(xué)習(xí)方法，它使用神經(jīng)網(wǎng)絡(luò)來(lái)逼近Q值函數(shù)，并通過(guò)經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)等技術(shù)提高訓(xùn)練穩(wěn)定性和效率。策略梯度與Actor-Critic方法策略梯度方法通過(guò)計(jì)算策略梯度來(lái)更新策略參數(shù)，而Actor-Critic方法則結(jié)合了值函數(shù)逼近和策略梯度兩種方法，通過(guò)同時(shí)學(xué)習(xí)Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)來(lái)提高學(xué)習(xí)效率。深度確定性策略梯度（DDPG）DDPG是一種適用于連續(xù)動(dòng)作空間的深度強(qiáng)化學(xué)習(xí)方法，它結(jié)合了DQN和Actor-Critic方法的優(yōu)點(diǎn)，通過(guò)引入目標(biāo)網(wǎng)絡(luò)和經(jīng)驗(yàn)回放等技術(shù)提高訓(xùn)練穩(wěn)定性和效率。深度強(qiáng)化學(xué)習(xí)技術(shù)06機(jī)器學(xué)習(xí)案例分享與實(shí)戰(zhàn)演練數(shù)據(jù)集介紹特征工程模型選擇評(píng)估指標(biāo)案例一：信用卡欺詐檢測(cè)01020304采用真實(shí)的信用卡交易數(shù)據(jù)，包括交易時(shí)間、交易金額、交易地點(diǎn)等特征。提取有效特征，如交易頻率、交易金額波動(dòng)等，以便更好地捕捉欺詐行為模式。采用隨機(jī)森林、邏輯回歸等模型進(jìn)行訓(xùn)練和預(yù)測(cè)，通過(guò)調(diào)整模型參數(shù)優(yōu)化性能。使用準(zhǔn)確率、召回率、F1分?jǐn)?shù)等指標(biāo)評(píng)估模型性能，確保模型在實(shí)際應(yīng)用中的有效性。采用經(jīng)典的圖像分類(lèi)數(shù)據(jù)集，如CIFAR-10、ImageNet等，包含各類(lèi)圖像及其標(biāo)簽。數(shù)據(jù)集介紹對(duì)圖像進(jìn)行縮放、歸一化、數(shù)據(jù)增強(qiáng)等預(yù)處理操作，以便更好地適應(yīng)模型訓(xùn)練。數(shù)據(jù)預(yù)處理采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行訓(xùn)練和預(yù)測(cè)，通過(guò)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化算法等提升性能。模型選擇使用準(zhǔn)確率、混淆矩陣等指標(biāo)評(píng)估模型性能，同時(shí)關(guān)注模型的實(shí)時(shí)性和資源消耗。評(píng)估指標(biāo)案例二：圖像識(shí)別與分類(lèi)采用文本情感分析數(shù)據(jù)集，包含大量帶有情感標(biāo)簽的文本數(shù)據(jù)。數(shù)據(jù)集介紹對(duì)文本進(jìn)行分詞、去除停用詞、詞向量表示等預(yù)處理操作，以便提取有效特征。數(shù)據(jù)預(yù)處理采用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）等模型進(jìn)行訓(xùn)練和預(yù)測(cè)，通過(guò)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)率等優(yōu)化性能。模型選擇使用準(zhǔn)確率、召回率、F1分?jǐn)?shù)等指標(biāo)評(píng)估模型性能，同時(shí)關(guān)注模型在不同領(lǐng)域和場(chǎng)景下的適應(yīng)性。評(píng)估指標(biāo)案例三：自然語(yǔ)言處理與情感分析采用用戶行為數(shù)據(jù)，包括用戶歷史行為、用戶畫(huà)像、物品屬性等信息。數(shù)據(jù)集介紹特征工程