2025年P(guān)ython機(jī)器學(xué)習(xí)專項(xiàng)訓(xùn)練試卷：決策樹算法解析考試時(shí)間：______分鐘總分：______分姓名：______一、選擇題（請(qǐng)將正確選項(xiàng)的首字母填入括號(hào)內(nèi)）1.決策樹算法在處理混合類型特征時(shí)，通常需要先進(jìn)行哪種處理？A.標(biāo)準(zhǔn)化B.特征編碼C.特征縮放D.數(shù)據(jù)清洗2.在決策樹的構(gòu)建過程中，選擇分裂屬性時(shí)，信息增益（InformationGain）和基尼不純度（GiniImpurity）兩種標(biāo)準(zhǔn)的共同目標(biāo)是？A.減少節(jié)點(diǎn)內(nèi)的不純度B.增加節(jié)點(diǎn)間的差異性C.減少樹的深度D.增加樹的復(fù)雜度3.對(duì)于分類問題，決策樹的葉節(jié)點(diǎn)通常代表什么？A.一個(gè)連續(xù)值B.一個(gè)特征值C.一個(gè)類別標(biāo)簽D.一個(gè)分裂規(guī)則4.以下哪個(gè)參數(shù)是決策樹預(yù)剪枝（Pre-pruning）常用的控制復(fù)雜度的方法？A.`min_samples_leaf`B.`min_impurity_decrease`C.`max_depth`D.`splitter`5.當(dāng)決策樹的訓(xùn)練集誤差持續(xù)下降，但驗(yàn)證集誤差開始上升時(shí)，通常表明模型出現(xiàn)了什么問題？A.欠擬合（Underfitting）B.過擬合（Overfitting）C.數(shù)據(jù)噪聲D.特征不足6.在`scikit-learn`的`DecisionTreeClassifier`中，用于控制分裂時(shí)考慮的最大特征數(shù)量的參數(shù)是？A.`max_leaf_nodes`B.`max_features`C.`min_samples_split`D.`criterion`7.決策樹模型的一個(gè)主要缺點(diǎn)是？A.對(duì)異常值敏感B.計(jì)算復(fù)雜度高C.泛化能力差，容易過擬合D.需要大量的特征工程8.對(duì)于一個(gè)決策樹模型，其內(nèi)部節(jié)點(diǎn)表示？A.一個(gè)決策規(guī)則或分裂條件B.一個(gè)葉節(jié)點(diǎn)C.樹的根D.一個(gè)訓(xùn)練樣本二、填空題1.決策樹算法是一種基于遞歸分割的監(jiān)督學(xué)習(xí)模型，主要用于解決分類和回歸問題。2.衡量一個(gè)節(jié)點(diǎn)純度常用的指標(biāo)有信息增益和基尼不純度。3.決策樹的貪心策略意味著在每一步都做出局部最優(yōu)的選擇，但不保證得到全局最優(yōu)的決策樹。4.剪枝是減少?zèng)Q策樹復(fù)雜度、防止過擬合的一種后處理技術(shù)，主要分為預(yù)剪枝和后剪枝。5.在`scikit-learn`中，創(chuàng)建決策樹回歸模型應(yīng)使用`DecisionTreeRegressor`類。6.`min_samples_split`參數(shù)指定了節(jié)點(diǎn)分裂所需的最小樣本數(shù)。7.對(duì)于分類任務(wù)，混淆矩陣是評(píng)價(jià)模型性能的一種重要工具，可以用來計(jì)算精確率、召回率和F1分?jǐn)?shù)等指標(biāo)。8.決策樹模型的可解釋性較強(qiáng)，可以通過觀察樹的結(jié)構(gòu)來理解模型的決策邏輯。三、判斷題（請(qǐng)將“正確”或“錯(cuò)誤”填入括號(hào)內(nèi)）1.決策樹的根節(jié)點(diǎn)包含所有訓(xùn)練樣本。（）2.信息增益越大，表示選擇該特征進(jìn)行分裂帶來的不確定性減少得越多。（）3.基尼不純度最小的節(jié)點(diǎn)即為葉節(jié)點(diǎn)。（）4.`max_depth`參數(shù)越大，決策樹越容易過擬合。（）5.決策樹的構(gòu)建過程是一個(gè)自頂向下的遞歸過程。（）6.`min_samples_leaf`參數(shù)控制的是葉節(jié)點(diǎn)所需的最小樣本數(shù)，設(shè)置得過大可能導(dǎo)致欠擬合。（）7.決策樹只能處理數(shù)值型特征。（）8.使用`sklearn.metrics.accuracy_score`可以計(jì)算分類模型的精確率。（）四、簡(jiǎn)答題1.簡(jiǎn)述決策樹算法的基本構(gòu)建過程。2.什么是決策樹的過擬合？請(qǐng)至少列舉兩種解決過擬合問題的方法。3.解釋`scikit-learn`中`DecisionTreeClassifier`的`criterion`參數(shù)，并說明其可選值及其含義。4.在使用決策樹進(jìn)行分類時(shí)，如何評(píng)估模型的性能？請(qǐng)列舉至少三種常用的評(píng)估指標(biāo)。五、應(yīng)用題1.假設(shè)你正在使用`scikit-learn`構(gòu)建一個(gè)決策樹分類器來預(yù)測(cè)客戶是否會(huì)購(gòu)買某產(chǎn)品（購(gòu)買為正類，不購(gòu)買為負(fù)類）。請(qǐng)簡(jiǎn)述在構(gòu)建和評(píng)估該模型時(shí)，你會(huì)考慮哪些關(guān)鍵步驟？包括但不限于參數(shù)選擇、模型訓(xùn)練、模型評(píng)估以及可能進(jìn)行的調(diào)優(yōu)過程。請(qǐng)說明選擇這些步驟的原因。試卷答案一、選擇題1.B解析：決策樹處理混合類型特征時(shí)，需要將類別屬性轉(zhuǎn)換為數(shù)值型表示，常用的方法有獨(dú)熱編碼（One-HotEncoding）或標(biāo)簽編碼（LabelEncoding），這屬于特征編碼范疇。2.A解析：信息增益和基尼不純度都是衡量分裂后節(jié)點(diǎn)純度提升程度的指標(biāo)，其共同目標(biāo)是找到一個(gè)分裂點(diǎn)，使得分裂后的子節(jié)點(diǎn)盡可能純凈（不純度盡可能低）。3.C解析：在分類決策樹中，葉節(jié)點(diǎn)代表經(jīng)過一系列分裂后最終預(yù)測(cè)的類別標(biāo)簽。4.C解析：`max_depth`限制了決策樹的最大深度，是典型的預(yù)剪枝參數(shù)，通過限制樹的生長(zhǎng)深度來控制模型復(fù)雜度，防止過擬合。5.B解析：訓(xùn)練集誤差持續(xù)下降而驗(yàn)證集誤差開始上升是典型的過擬合現(xiàn)象，說明模型在訓(xùn)練數(shù)據(jù)上學(xué)習(xí)得太好，但泛化能力差，開始學(xué)習(xí)訓(xùn)練數(shù)據(jù)中的噪聲。6.B解析：`max_features`參數(shù)用于控制在尋找最佳分裂點(diǎn)時(shí)考慮的最大特征數(shù)量。7.C解析：決策樹模型如果未進(jìn)行適當(dāng)?shù)募糁Γ菀讓W(xué)習(xí)到訓(xùn)練數(shù)據(jù)中的細(xì)節(jié)和噪聲，導(dǎo)致過擬合，泛化能力差。8.A解析：內(nèi)部節(jié)點(diǎn)代表根據(jù)某個(gè)決策規(guī)則（分裂條件）對(duì)數(shù)據(jù)進(jìn)行分割的點(diǎn)。二、填空題1.遞歸分割,分類,回歸解析：決策樹通過遞歸地分割數(shù)據(jù)集來構(gòu)建模型，適用于分類和回歸任務(wù)。2.信息增益,基尼不純度解析：這是衡量節(jié)點(diǎn)純度最常用的兩種指標(biāo)。3.貪心解析：決策樹在構(gòu)建過程中，每一步都選擇當(dāng)前最優(yōu)的特征進(jìn)行分裂，但不保證整個(gè)樹是最優(yōu)的。4.預(yù)剪枝,后剪枝解析：剪枝是減少樹復(fù)雜度的兩種主要方法，分為在樹生長(zhǎng)過程中進(jìn)行限制的預(yù)剪枝，和在樹完全生長(zhǎng)后進(jìn)行修正的后剪枝。5.DecisionTreeRegressor解析：在`scikit-learn`中，用于回歸的決策樹模型類名為`DecisionTreeRegressor`。6.min_samples_split解析：該參數(shù)的名稱直接表明了其作用，即節(jié)點(diǎn)分裂所需的最小樣本數(shù)。7.精確率,召回率,F1分?jǐn)?shù)解析：混淆矩陣是計(jì)算這些重要分類評(píng)估指標(biāo)的基礎(chǔ)。8.可解釋性解析：決策樹以其結(jié)構(gòu)清晰、易于理解和解釋而著稱。三、判斷題1.正確解析：根節(jié)點(diǎn)是決策樹的起始點(diǎn)，包含訓(xùn)練集中的所有樣本。2.正確解析：信息增益衡量的是選擇某個(gè)特征后，數(shù)據(jù)集不確定性減少的程度，增益越大，不確定性減少越多，說明該特征越能提供有用信息。3.錯(cuò)誤解析：基尼不純度最小的節(jié)點(diǎn)通常是葉節(jié)點(diǎn)，但內(nèi)部節(jié)點(diǎn)也可能具有最小的基尼不純度。判斷節(jié)點(diǎn)是否為葉節(jié)點(diǎn)通常依據(jù)其他條件（如樣本數(shù)、是否達(dá)到最大深度等）。4.正確解析：`max_depth`越大，樹的分支越深，能夠?qū)W習(xí)的模式越復(fù)雜，越容易擬合訓(xùn)練數(shù)據(jù)中的噪聲，導(dǎo)致過擬合。5.正確解析：決策樹的構(gòu)建通常從根節(jié)點(diǎn)開始，根據(jù)特征值遞歸地對(duì)子節(jié)點(diǎn)進(jìn)行劃分，這是一個(gè)自頂向下的過程。6.正確解析：`min_samples_leaf`指定了葉節(jié)點(diǎn)所需的最小樣本數(shù)，如果設(shè)置過大，可能導(dǎo)致葉節(jié)點(diǎn)樣本量過小，無法代表該區(qū)域的數(shù)據(jù)特征，從而引入偏差，導(dǎo)致欠擬合。7.錯(cuò)誤解析：決策樹可以通過特征編碼（如標(biāo)簽編碼）處理類別型特征。8.錯(cuò)誤解析：`sklearn.metrics.accuracy_score`計(jì)算的是準(zhǔn)確率（Accuracy），精確率（Precision）應(yīng)使用`precision_score`計(jì)算。四、簡(jiǎn)答題1.決策樹的基本構(gòu)建過程：解析：決策樹的構(gòu)建過程通常采用遞歸的方式。首先，選擇最優(yōu)特征對(duì)整個(gè)數(shù)據(jù)集進(jìn)行分裂，形成兩個(gè)或多個(gè)子集。然后，對(duì)每個(gè)子集重復(fù)此過程，即選擇最優(yōu)特征進(jìn)行分裂，直到滿足停止條件（如節(jié)點(diǎn)純度達(dá)到要求、節(jié)點(diǎn)樣本數(shù)少于閾值、達(dá)到最大深度限制、或沒有更多特征可用于分裂等）。這個(gè)過程會(huì)生成一個(gè)樹狀結(jié)構(gòu)，其中內(nèi)部節(jié)點(diǎn)代表一個(gè)決策規(guī)則（分裂條件），分支代表不同的決策結(jié)果，葉節(jié)點(diǎn)代表最終的預(yù)測(cè)類別或值。2.決策樹的過擬合及其解決方法：解析：過擬合是指決策樹模型學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中的噪聲和細(xì)節(jié)，導(dǎo)致在訓(xùn)練數(shù)據(jù)上表現(xiàn)很好，但在未見過的測(cè)試數(shù)據(jù)上表現(xiàn)較差，泛化能力差。解決過擬合問題的方法主要有：a.剪枝（Pruning）：在樹生長(zhǎng)過程中（預(yù)剪枝）或生長(zhǎng)完全后（后剪枝）去除不必要的分支，簡(jiǎn)化模型。常見的預(yù)剪枝參數(shù)有`max_depth`、`min_samples_split`、`min_samples_leaf`等；后剪枝方法如成本復(fù)雜度剪枝（CostComplexityPruning）。b.設(shè)置合適的停止條件：在構(gòu)建樹時(shí)，設(shè)定合理的參數(shù)（如最大深度、葉節(jié)點(diǎn)最小樣本數(shù)等）來限制樹的生長(zhǎng)，防止其過于復(fù)雜。c.增加訓(xùn)練數(shù)據(jù)：更豐富的數(shù)據(jù)可以提供更可靠的統(tǒng)計(jì)信息，有助于模型學(xué)習(xí)到更泛化的模式，減少對(duì)噪聲的擬合。d.正則化：雖然`scikit-learn`的決策樹本身正則化能力有限（主要通過剪枝參數(shù)控制），但可以與其他正則化技術(shù)結(jié)合或考慮使用其他具有更強(qiáng)正則化能力的模型（如隨機(jī)森林、梯度提升樹等）。3.`scikit-learn`中`DecisionTreeClassifier`的`criterion`參數(shù)及其含義：解析：`criterion`參數(shù)用于指定用于衡量分裂質(zhì)量的函數(shù)。其可選值主要有：a.`'gini'`：使用基尼不純度（GiniImpurity）作為分裂標(biāo)準(zhǔn)?；岵患兌群饬康氖菢颖驹谕粋€(gè)節(jié)點(diǎn)中屬于不同類別的概率，其值越小表示節(jié)點(diǎn)越純凈。這是默認(rèn)值。b.`'entropy'`：使用信息增益（InformationGain）作為分裂標(biāo)準(zhǔn)。信息增益衡量的是父節(jié)點(diǎn)純度與子節(jié)點(diǎn)純度的加權(quán)平均差值，增益越大表示選擇該特征進(jìn)行分裂能帶來的信息量越大，即能更好地劃分?jǐn)?shù)據(jù)。適用于需要最大化信息增益的場(chǎng)景。4.決策樹分類模型性能評(píng)估：解析：評(píng)估決策樹分類模型性能的方法和指標(biāo)主要包括：a.準(zhǔn)確率（Accuracy）：分類正確的樣本數(shù)占總樣本數(shù)的比例。計(jì)算公式為`Accuracy=TP+TN/(TP+TN+FP+FN)`，其中TP、TN、FP、FN分別為真陽(yáng)性、真陰性、假陽(yáng)性、假陰性。適用于類別平衡的數(shù)據(jù)集。b.混淆矩陣（ConfusionMatrix）：一個(gè)二維矩陣，行代表實(shí)際類別，列代表預(yù)測(cè)類別。它直觀地展示了模型在各個(gè)類別上的分類結(jié)果，是計(jì)算其他指標(biāo)的基礎(chǔ)。c.精確率（Precision）：在所有被模型預(yù)測(cè)為正類的樣本中，實(shí)際為正類的比例。計(jì)算公式為`Precision=TP/(TP+FP)`。衡量模型預(yù)測(cè)正類的準(zhǔn)確性。d.召回率（Recall）：在所有實(shí)際為正類的樣本中，被模型正確預(yù)測(cè)為正類的比例。計(jì)算公式為`Recall=TP/(TP+FN)`。衡量模型發(fā)現(xiàn)正類的能力。e.F1分?jǐn)?shù)（F1-Score）：精確率和召回率的調(diào)和平均數(shù)，`F1=2*(Precision*Recall)/(Precision+Recall)`。綜合了精確率和召回率，適用于需要平衡兩者表現(xiàn)的場(chǎng)景。f.AUC（AreaUndertheROCCurve）：ROC曲線下面積，衡量模型在不同閾值下區(qū)分正負(fù)類的能力。AUC值越接近1，模型性能越好。適用于類別不平衡的數(shù)據(jù)集。五、應(yīng)用題在使用`scikit-learn`構(gòu)建和評(píng)估決策樹分類器（預(yù)測(cè)客戶購(gòu)買行為）時(shí)，我會(huì)考慮以下關(guān)鍵步驟：解析：1.數(shù)據(jù)準(zhǔn)備：加載和檢查數(shù)據(jù)，處理缺失值，進(jìn)行必要的特征工程（如編碼類別特征、特征縮放等，雖然決策樹對(duì)縮放不敏感，但編碼是必要的）。將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集（通常比例為7:2:1或8:1:1）。2.模型構(gòu)建：導(dǎo)入`DecisionTreeClassifier`類，創(chuàng)建決策樹實(shí)例。根據(jù)對(duì)問題的理解和初步探索，設(shè)置一些初始參數(shù)，例如選擇`criterion='gini'`或`'entropy'`，設(shè)置一個(gè)合理的`max_depth`（如None或較小的值開始），`min_samples_split`和`min_samples_leaf`（如默認(rèn)值5或10）。3.模型訓(xùn)練：使用訓(xùn)練集數(shù)據(jù)（`X_train`,`y_train`）調(diào)用模型的`fit`方法來訓(xùn)練決策樹模型。4.模型評(píng)估：使用訓(xùn)練好的模型對(duì)驗(yàn)證集（`X_val`,`y_val`）進(jìn)行預(yù)測(cè)（`predict`方法）。計(jì)算評(píng)估指標(biāo)來評(píng)價(jià)