第四章

機器學習

目

錄機器學習概論機器學習方法分類機器學習的常用算法應用及經(jīng)典案例機器學習概論2025年10月20日機器學習的內(nèi)涵機器學習是指從有限的觀測數(shù)據(jù)中學習出具有一般性的規(guī)律，并利用這些規(guī)律對未知數(shù)據(jù)進行預測的方法。作為人工智能的重要分支，機器學習逐漸成為推動人工智能發(fā)展的關鍵技術?；谌四X神經(jīng)網(wǎng)絡中的神經(jīng)細胞，1943年McCulloch和Pitts提出了M-P神經(jīng)元模型：為了模擬人腦神經(jīng)系統(tǒng)，通常會將多個神經(jīng)元排列起來作為一層，多層疊加構(gòu)成一個巨大且復雜的神經(jīng)網(wǎng)絡，用于解決多種機器學習問題。機器學習的發(fā)展歷程早期萌芽階段（20世紀40年代到60年代）中期發(fā)展階段（20世紀70年代到90年代）深度學習階段（21世紀初至今）機器學習概論2025年10月20日機器學習的基本流程機器學習的基本流程涉及幾個關鍵步驟，這些步驟指導著如何開發(fā)能夠從數(shù)據(jù)中進行學習的模型。以下對這些步驟進行概述。測試評估訓練模型選擇模型數(shù)據(jù)準備數(shù)據(jù)收集做出預測收集相關數(shù)據(jù)，這些數(shù)據(jù)可以是數(shù)字、圖像、文本或其它任何格式。數(shù)據(jù)的質(zhì)量和數(shù)量至關重要，因為它們直接影響模型的性能?？煽康臄?shù)據(jù)來源能夠確保模型可高效學習。根據(jù)具體任務選擇合適的機器學習模型，需要綜合考慮模型的復雜度、訓練時間、預測性能等因素。訓練完成后，需要使用測試集對模型進行評估，以評估其準確性和性能。將準備好的數(shù)據(jù)輸入到所選模型中，以便模型能夠?qū)W習數(shù)據(jù)中的模式和進行預測。包括清洗數(shù)據(jù)、數(shù)據(jù)可視化分析、訓練集和測試集的分割。經(jīng)過訓練和驗證的模型可以應用到新的數(shù)據(jù)上進行預測。目

錄機器學習概論機器學習方法分類機器學習的常用算法應用及經(jīng)典案例監(jiān)督學習01監(jiān)督學習監(jiān)督學習是機器學習的一個重要分支，它通過使用已經(jīng)標注的數(shù)據(jù)來訓練模型，然后利用訓練好的模型實現(xiàn)對新數(shù)據(jù)的預測或分類。在監(jiān)督學習中，訓練數(shù)據(jù)由一組輸入特征和一個目標變量組成。特征是描述樣本的屬性或觀測值的變量，目標變量則是我們希望模型學習到的輸出結(jié)果。監(jiān)督學習的目標是根據(jù)輸入特征預測目標變量值，或者將輸入數(shù)據(jù)分為不同的類別。監(jiān)督學習監(jiān)督學習的過程如下圖所示。在訓練階段，模型通過使用已知的訓練數(shù)據(jù)集來學習輸入特征和目標變量之間的關系，其中

是輸入樣本，是相應的標簽。再定義一個損失函數(shù)L，采用梯度下降等優(yōu)化算法來優(yōu)化模型參數(shù)θ，得到最終模型進而以其預測新的數(shù)據(jù)。在模型測試階段，使用測試數(shù)據(jù)集來評估模型的準確度等性能。監(jiān)督學習監(jiān)督學習中的常見算法包括回歸和分類?；貧w：利用模型預測一個連續(xù)的目標變量，如股票價格或氣溫等?；貧w模型可以是線性的，如線性回歸，也可以是非線性的，如決策樹回歸等。分類：將輸入數(shù)據(jù)分為不同的類別，如垃圾郵件分類任務是將郵件分為“垃圾郵件”和“非垃圾郵件”兩類。常見的分類算法包括決策樹分類、支持向量機、邏輯回歸等。監(jiān)督學習在實踐中，需要根據(jù)具體問題和數(shù)據(jù)特征選擇合適的監(jiān)督學習算法，并通過優(yōu)化模型參數(shù)和使用集成學習等技術手段來提高模型的性能和泛化能力。在選擇算法時，需要考慮模型的復雜度、訓練速度、預測準確度等因素，以及數(shù)據(jù)的分布情況和特征選擇等問題。在模型的訓練過程中，需要選擇合適的損失函數(shù)和優(yōu)化算法來最小化損失函數(shù)，從而獲得最佳的模型參數(shù)。在測試階段，可以使用各種指標來評估模型的性能，如準確率、召回率、F1值等。監(jiān)督學習應注意到，監(jiān)督學習通常需要大量的人工標注數(shù)據(jù)，這會帶來較高的人工和時間代價。而且當訓練數(shù)據(jù)中存在噪聲或不準確的標記時，模型的預測結(jié)果也會受到影響。此外，監(jiān)督學習還面臨著過擬合和欠擬合等問題，需要通過一系列技術手段來解決。無監(jiān)督學習

02無監(jiān)督學習無監(jiān)督學習是指在沒有標記數(shù)據(jù)的情況下，從數(shù)據(jù)中發(fā)現(xiàn)模式和結(jié)構(gòu)的機器學習方法。與監(jiān)督學習不同，無監(jiān)督學習沒有明確的目標變量或標簽，也不需要人為干預或指導。無監(jiān)督學習的具體過程如下圖所示，首先對大量的無標注數(shù)據(jù)進行清洗、預處理等，再根據(jù)數(shù)據(jù)自身的特點設計訓練方法或代理任務，最后構(gòu)建模型并進行訓練，即通過損失函數(shù)等對模型中的參數(shù)進行優(yōu)化。無監(jiān)督學習在無監(jiān)督學習中，數(shù)據(jù)通常沒有明確的類別或分組信息。這樣的數(shù)據(jù)中可能包含了許多未知的，卻是意義的結(jié)構(gòu)和關系。無監(jiān)督學習的目標就是在這樣的數(shù)據(jù)中自動地發(fā)現(xiàn)這些結(jié)構(gòu)和關系，并提供對數(shù)據(jù)的見解和洞見。無監(jiān)督學習最常見的一種無監(jiān)督學習方法是聚類，它是將相似的數(shù)據(jù)點劃分到同一個簇中的過程。聚類算法可以從數(shù)據(jù)中發(fā)現(xiàn)隱藏的結(jié)構(gòu)和模式，并將數(shù)據(jù)點劃分到不同的“簇”，使得同一個簇中的數(shù)據(jù)點盡可能相似，而不同簇之間的數(shù)據(jù)點具有明顯差別。常見的聚類算法包括K均值（K-means）、層次聚類、密度聚類等。另一類常見的無監(jiān)督學習方法是降維。降維是指將高維數(shù)據(jù)映射到低維空間，并盡可能保留原始數(shù)據(jù)的結(jié)構(gòu)和信息的過程。在機器學習中，數(shù)據(jù)通常具有很高的維度，但是有些維度可能是無關的、冗余的或帶噪聲的。降維可以通過去除這些無用的信息，提高數(shù)據(jù)的處理效率和模型的性能。常見的降維方法包括主成分分析等。還有一類無監(jiān)督學習方法是密度估計。密度估計是指從數(shù)據(jù)樣本中學習數(shù)據(jù)的分布情況，并在新的數(shù)據(jù)樣本上進行概率預測的過程。這類方法通常用于異常檢測、數(shù)據(jù)生成等領域。無監(jiān)督學習無監(jiān)督學習可以從無標注數(shù)據(jù)中獲取信息，由于無需人為標注數(shù)據(jù)使其具有一定的便利性，但通常需要在大量數(shù)據(jù)上進行訓練才能獲得準確的結(jié)果。因此，在實際應用中，無監(jiān)督學習方法通常需要占用大量的計算資源和時間，才能處理大規(guī)模的數(shù)據(jù)集。此外，由于無監(jiān)督學習任務的數(shù)據(jù)沒有明確的目標變量或標簽，其模型性能評估也相對更為困難，通常需要結(jié)合領域知識和人工分析來進行評估。如今，多個無監(jiān)督學習方法已成為機器學習各領域的基石。在自然語言處理領域，無監(jiān)督學習可以用于詞嵌入的學習，通過將文本數(shù)據(jù)映射到低維空間，使得詞匯之間的關系得到更好的表示。在計算機視覺領域，無監(jiān)督學習可以用于圖像處理和物體識別，如基于聚類的圖像分割、基于降維的圖像特征提取等。在生物信息學領域，無監(jiān)督學習可以用于基因表達數(shù)據(jù)的分析，如聚類分析、降維分析等。強化學習

03強化學習強化學習旨在使智能體在動態(tài)環(huán)境中通過與環(huán)境的交互來學習最優(yōu)策略，它是一種基于馬爾可夫決策過程（MarkovDecisionProcess，MDP）的學習框架。我們將在第6章對強化學習進行具體介紹，這里僅作簡要描述。強化學習的基本思想如下圖所示，它涉及一個智能體和環(huán)境之間不斷交互并學習的過程。在這個過程中，智能體會嘗試在環(huán)境中執(zhí)行一系列動作，接收來自環(huán)境的獎勵和反饋，并通過這些反饋不斷改善其決策過程，以最大化累積獎勵。在強化學習中，智能體不知道正確答案，而是需要

通過反復試錯和自我學習來找到最優(yōu)策略。強化學習強化學習不僅在理論上具有重要意義，還在實踐中得到了廣泛的應用，具體包括機器人控制、自動駕駛、智能游戲等。AlphaGo是谷歌DeepMind公司開發(fā)的圍棋AI，它通過深度強化學習訓練而成，在2017年成功擊敗了世界排名第一的柯潔。AlphaZero則不需要任何人類專家指導，它可以通過自我對弈進行學習，并最終輕松擊敗人類高手。強化學習在機器人控制中也有廣泛應用，例如通過強化學習來學習機器人走路、開車等行為。在自動駕駛領域，通過強化學習可以獲得最佳行駛策略來提高車輛的安全性等關鍵性能。在取得顯著進展的同時，強化學習也面臨著高維狀態(tài)空間、動態(tài)環(huán)境、稀疏獎勵等帶來的諸多挑戰(zhàn)。針對這些問題，研究人員提出了多種強化學習算法，這些方法不僅能夠提高強化學習算法的性能，還可以進一步擴展其應用范圍。目

錄機器學習概論機器學習方法分類機器學習的常用算法應用及經(jīng)典案例分類算法2025年10月20日

4.3機器學習的常用算法

K近鄰算法（K-NearestNeighbor，KNN）：通過計算待分類樣本點與訓練集中各樣本點之間的距離，來確定待分類樣本點的類別標簽。1.數(shù)據(jù)加載：將訓練集加載到內(nèi)存中。2.參數(shù)設定：設定K值，即確定在進行類別預測時將考慮的最近鄰居的數(shù)量。3.類別預測：對于每一個待分類的測試樣本，算法將遍歷訓練集中的每一個樣本。4.距離計算：計算測試樣本與訓練集中每個樣本之間的距離。通常采用歐氏距離、曼哈頓距離等距離度量方法。5.鄰居選擇：根據(jù)計算的距離，將訓練樣本按照距離的升序排序，選擇距離最近的K個樣本作為候選最近鄰居。6.類別決策：在K個最近鄰居中，統(tǒng)計各個類別的出現(xiàn)頻率，選擇出現(xiàn)頻率最高的類別作為測試樣本的預測類別。分類算法2025年10月20日4.3機器學習的常用算法

貝葉斯最優(yōu)分類——在貝葉斯分類器中，對于每個待分類的對象，算法計算出其屬于每個可能類別的后驗概率，然后選擇具有最大后驗概率的類別作為對象的預測類別。這種方法在貝葉斯框架下提供了最小化錯誤分類概率的決策規(guī)則。分類算法2025年10月20日4.3機器學習的常用算法

分類算法2025年10月20日4.3機器學習的常用算法

回歸算法2025年10月20日

4.3機器學習的常用算法

聚類算法2025年10月20日聚類分析是一種無監(jiān)督學習方法，旨在將一組未標記的數(shù)據(jù)集劃分為多個類別或簇，以揭示數(shù)據(jù)內(nèi)在的結(jié)構(gòu)。該過程基于數(shù)據(jù)點之間的相似性度量，實現(xiàn)簇內(nèi)數(shù)據(jù)點的高相似度和簇間數(shù)據(jù)點的低相似度。聚類分析中，給定一個包含N個數(shù)據(jù)對象的數(shù)據(jù)集，目標是構(gòu)建K個簇，其中K≤N，并滿足以下條件：非空簇條件：每個簇至少包含一個數(shù)據(jù)對象，確保簇的可行性；互斥性條件：每個數(shù)據(jù)對象僅屬于一個簇，保證簇之間的劃分是明確的；劃分的有效性：滿足上述兩個條件的K個簇構(gòu)成了數(shù)據(jù)集的一個有效劃分。聚類的主要目標：最大化簇內(nèi)的相似度，同時最小化簇間的相似度。簇間距離計算方法：直接距離法?：兩個簇之間的距離等于兩個簇中最近兩個點之間的距離。?最短距離法?：兩個簇之間的距離等于兩個簇中最近兩個點之間的距離。?最遠距離法?：兩個簇之間的距離等于兩個簇中最遠兩個點之間的距離。?中間距離法?：兩個簇之間的距離等于兩個簇中所有點兩兩距離的中值。?重心法?：兩個簇之間的距離等于兩個簇的重心之間的距離。?類平均法?：兩個簇之間的距離等于兩個簇中所有點兩兩距離的平均值。4.3機器學習的常用算法聚類算法2025年10月20日4.3機器學習的常用算法典型的聚類算法——層次聚類算法，不需要預先指定簇的數(shù)量，而是生成一個由層次結(jié)構(gòu)組成的聚類樹（稱為樹狀圖）。策略一：自底向上的聚合（Bottom-Up）：使用簇間距離度量來決定哪些簇應該合并。初始化：每個數(shù)據(jù)點被視為一個單獨的簇。合并：在每一步中，計算所有簇之間的距離，尋找最近的兩個簇并將它們合并成一個新的簇。重復：重復合并過程。終止：通常，當所有數(shù)據(jù)點都合并成一個包含所有數(shù)據(jù)點的簇，或達到預設的簇的數(shù)量時停止。策略二：自頂向下的分裂（Top-Down）：初始化：所有數(shù)據(jù)點開始時都在唯一的一個簇中。分裂：在每一步中，算法根據(jù)某種標準（例如基于距離的標準，基于密度的標準等）選擇一個內(nèi)部緊密程度最低的簇，并將其分裂成兩個子簇。重復：重復分裂過程。終止：通常，當所有簇都不能再被分裂，或達到預設的簇的數(shù)量時停止。優(yōu)勢：無需預先指定簇的數(shù)量，因此非常適用于探索性數(shù)據(jù)分析中。通過剪切樹狀圖的不同高度，可以得到不同數(shù)量的簇，因此具有很好的靈活性。聚類算法2025年10月20日4.3機器學習的常用算法典型的聚類算法——K-means算法，將數(shù)據(jù)庫中的n個數(shù)據(jù)對象劃分為k個簇，其中k是預先指定的聚類數(shù)量。目標：最小化簇內(nèi)的方差，即在同一簇內(nèi)的數(shù)據(jù)對象之間的相似度較高，而在不同簇之間的數(shù)據(jù)對象相似度較低。聚類的相似度是通過計算簇中對象的均值，即“質(zhì)心”，來評估的。K-means算法的執(zhí)行步驟：初始化：從n個數(shù)據(jù)對象中隨機選擇k個對象作為初始質(zhì)心。分配：對于每個數(shù)據(jù)對象，計算其與所有質(zhì)心的距離，并將其分配給最近的質(zhì)心，形成k個簇。更新：對于每個簇，計算簇內(nèi)所有點的均值，并將其作為這個簇的新質(zhì)心。迭代：重復步驟2和步驟3，直到滿足終止條件。終止條件可以是質(zhì)心的變化小于某個閾值，或者在連續(xù)幾次迭代中簇的分配不再發(fā)生變化，或者達到預定的迭代次數(shù)。收斂：當算法達到收斂狀態(tài)，即質(zhì)心的位置穩(wěn)定，或者在經(jīng)過一定次數(shù)的迭代后沒有數(shù)據(jù)點改變其所屬的簇時，算法終止。優(yōu)勢：簡單、高效，適用于處理大型數(shù)據(jù)集。局限性：要求用戶預先指定聚類的數(shù)量k，且對初始質(zhì)心的選擇和異常值很敏感。降維算法2025年10月20日降維旨在降低數(shù)據(jù)維度的同時，盡可能保留數(shù)據(jù)的重要信息和結(jié)構(gòu)，從而緩解高維數(shù)據(jù)導致的“維度災難”以及特征冗余問題。4.3機器學習的常用算法典型的降維算法：主成分分析PCA：一種線性降維技術，將數(shù)據(jù)通過線性投影映射到低維空間，使得投影后的數(shù)據(jù)在所選維度上的方差最大化。目標：使用較少的維度來表示原始數(shù)據(jù)，同時保留數(shù)據(jù)的主要特征。優(yōu)勢：PCA是一種損失最小的線性降維方法，它最大化了投影數(shù)據(jù)的方差，從而保留了盡可能多的數(shù)據(jù)信息。局限性：PCA并不考慮數(shù)據(jù)的類別標簽，因此降維后的數(shù)據(jù)點可能會混雜在一起，導致分類效果不佳。奇異值分解SVD：一種矩陣分解技術，可將任意矩陣分解為三個特定的矩陣。在信號處理、圖像分析和機器學習等許多領域都有應用。局部線性嵌入LLE：