2025年P(guān)ython機(jī)器學(xué)習(xí)模型評(píng)估模擬試卷性能分析與優(yōu)化考試時(shí)間：______分鐘總分：______分姓名：______一、請(qǐng)使用Python和`scikit-learn`庫(kù)，從一個(gè)公開(kāi)數(shù)據(jù)集（例如鳶尾花數(shù)據(jù)集`sklearn.datasets.load_iris`或波士頓房?jī)r(jià)數(shù)據(jù)集`sklearn.datasets.load_boston`，請(qǐng)自行選擇一個(gè)）加載數(shù)據(jù)。將數(shù)據(jù)集劃分為訓(xùn)練集（80%）和測(cè)試集（20%），確保劃分是隨機(jī)的，并設(shè)置隨機(jī)種子為42。報(bào)告劃分后的訓(xùn)練集和測(cè)試集的樣本數(shù)量。二、使用訓(xùn)練集，訓(xùn)練一個(gè)決策樹(shù)分類(lèi)器（`DecisionTreeClassifier`）來(lái)處理你選擇的數(shù)據(jù)集（如果是回歸問(wèn)題，請(qǐng)使用相應(yīng)的回歸器，如`DecisionTreeRegressor`）。假設(shè)你選擇的是分類(lèi)問(wèn)題，請(qǐng)?jiān)O(shè)置決策樹(shù)的最大深度為3。訓(xùn)練完成后，報(bào)告該決策樹(shù)在訓(xùn)練集上的準(zhǔn)確率。三、使用測(cè)試集，評(píng)估你在第二部分訓(xùn)練的決策樹(shù)模型的性能。請(qǐng)報(bào)告以下評(píng)估指標(biāo)：1.準(zhǔn)確率（Accuracy）2.精確率（Precision）3.召回率（Recall）假設(shè)數(shù)據(jù)集是二分類(lèi)問(wèn)題，請(qǐng)明確指出是針對(duì)哪個(gè)類(lèi)別（正類(lèi)）計(jì)算的精確率和召回率。四、對(duì)于第三部分評(píng)估的模型，請(qǐng)計(jì)算并報(bào)告混淆矩陣。你需要明確混淆矩陣中每個(gè)元素的含義（真陽(yáng)性、真陰性、假陽(yáng)性、假陰性）。五、對(duì)于你選擇的分類(lèi)數(shù)據(jù)集，使用`sklearn.model_selection.cross_val_score`函數(shù)，進(jìn)行5折交叉驗(yàn)證。請(qǐng)使用`accuracy`作為評(píng)分指標(biāo)。報(bào)告交叉驗(yàn)證得到的5個(gè)得分以及它們的平均分。六、繼續(xù)使用你選擇的分類(lèi)數(shù)據(jù)集和訓(xùn)練集，繪制該決策樹(shù)模型的學(xué)習(xí)曲線(xiàn)。你需要自己編寫(xiě)代碼來(lái)計(jì)算不同訓(xùn)練集大小的模型性能（例如，訓(xùn)練集大小分別為原始訓(xùn)練集的10%，20%，...，100%），并在同一圖表中繪制學(xué)習(xí)曲線(xiàn)（訓(xùn)練誤差vs.訓(xùn)練集大小，驗(yàn)證誤差vs.訓(xùn)練集大?。Ｕ?qǐng)簡(jiǎn)要分析該學(xué)習(xí)曲線(xiàn)反映了模型什么樣的偏差-方差特性。七、繼續(xù)使用你選擇的分類(lèi)數(shù)據(jù)集和訓(xùn)練集?，F(xiàn)在，使用網(wǎng)格搜索（`GridSearchCV`）來(lái)尋找最優(yōu)的決策樹(shù)超參數(shù)。請(qǐng)至少調(diào)整以下兩個(gè)超參數(shù)：1.`max_depth`：在范圍[1,3,5,7,10]中選擇。2.`min_samples_split`：在范圍[2,10,20]中選擇。報(bào)告網(wǎng)格搜索找到的最優(yōu)超參數(shù)組合以及對(duì)應(yīng)的最佳交叉驗(yàn)證準(zhǔn)確率。八、使用在第七部分找到的最優(yōu)超參數(shù)組合，重新訓(xùn)練一個(gè)決策樹(shù)模型。然后在測(cè)試集上評(píng)估這個(gè)最優(yōu)模型的性能。報(bào)告測(cè)試集上的準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)。與第二部分的初始模型性能（測(cè)試集準(zhǔn)確率）進(jìn)行比較，簡(jiǎn)要說(shuō)明優(yōu)化過(guò)程帶來(lái)的性能變化。九、假設(shè)你選擇的是回歸問(wèn)題數(shù)據(jù)集（例如波士頓房?jī)r(jià)數(shù)據(jù)集），請(qǐng)重復(fù)第二部分和第三部分的工作。在第三部分，你需要報(bào)告以下評(píng)估指標(biāo)：1.平均絕對(duì)誤差（MeanAbsoluteError,MAE）2.均方根誤差（RootMeanSquaredError,RMSE）3.R2分?jǐn)?shù)（CoefficientofDetermination）十、對(duì)于第九部分評(píng)估的回歸模型，繪制實(shí)際房?jī)r(jià)值與模型預(yù)測(cè)房?jī)r(jià)值之間的散點(diǎn)圖。在圖上繪制一條表示完美預(yù)測(cè)的diagonalline(y=x)作為參考。簡(jiǎn)要分析該散點(diǎn)圖，說(shuō)明模型的預(yù)測(cè)質(zhì)量。十一、對(duì)于回歸問(wèn)題數(shù)據(jù)集，繼續(xù)使用訓(xùn)練集。使用`RandomizedSearchCV`進(jìn)行超參數(shù)搜索，尋找最優(yōu)的隨機(jī)森林回歸模型（`RandomForestRegressor`）超參數(shù)。請(qǐng)至少調(diào)整以下兩個(gè)超參數(shù)：1.`n_estimators`：在范圍[10,50,100]中選擇。2.`max_depth`：在范圍[None,3,5,10]中選擇（允許None）。設(shè)置隨機(jī)搜索的迭代次數(shù)為10。報(bào)告隨機(jī)搜索找到的最優(yōu)超參數(shù)組合以及對(duì)應(yīng)的最佳交叉驗(yàn)證RMSE。十二、使用在第十一部分找到的最優(yōu)超參數(shù)組合，重新訓(xùn)練一個(gè)隨機(jī)森林回歸模型。然后在測(cè)試集上評(píng)估這個(gè)最優(yōu)模型的性能。報(bào)告測(cè)試集上的MAE、RMSE和R2分?jǐn)?shù)。與第二部分（針對(duì)回歸問(wèn)題）的初始模型性能進(jìn)行比較，簡(jiǎn)要說(shuō)明優(yōu)化過(guò)程帶來(lái)的性能變化。試卷答案一、```pythonfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_split#加載數(shù)據(jù)data=load_iris()X=data.datay=data.target#劃分訓(xùn)練集和測(cè)試集X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#報(bào)告樣本數(shù)量train_samples=X_train.shape[0]test_samples=X_test.shape[0]train_samples,test_samples```解析：使用`train_test_split`函數(shù)，設(shè)置`test_size=0.2`即測(cè)試集占20%，`random_state=42`確保隨機(jī)劃分的可復(fù)現(xiàn)性。`X_train.shape[0]`和`X_test.shape[0]`分別獲取訓(xùn)練集和測(cè)試集的樣本數(shù)量。二、```pythonfromsklearn.treeimportDecisionTreeClassifier#創(chuàng)建決策樹(shù)分類(lèi)器，設(shè)置最大深度dt_classifier=DecisionTreeClassifier(max_depth=3)#使用訓(xùn)練集訓(xùn)練模型dt_classifier.fit(X_train,y_train)#報(bào)告訓(xùn)練集準(zhǔn)確率train_accuracy=dt_classifier.score(X_train,y_train)train_accuracy```解析：實(shí)例化`DecisionTreeClassifier`，設(shè)置`max_depth=3`。調(diào)用`fit`方法用訓(xùn)練數(shù)據(jù)訓(xùn)練模型。`score`方法計(jì)算模型在訓(xùn)練集上的準(zhǔn)確率（預(yù)測(cè)正確的樣本比例）。三、```pythonfromsklearn.metricsimportaccuracy_score,precision_score,recall_score#使用測(cè)試集進(jìn)行預(yù)測(cè)y_pred=dt_classifier.predict(X_test)#計(jì)算評(píng)估指標(biāo)accuracy=accuracy_score(y_test,y_pred)#假設(shè)目標(biāo)類(lèi)別是0（或其他類(lèi)別，需根據(jù)具體數(shù)據(jù)集確定）precision=precision_score(y_test,y_pred,pos_label=0)recall=recall_score(y_test,y_pred,pos_label=0)accuracy,precision,recall```解析：調(diào)用`predict`方法對(duì)測(cè)試集進(jìn)行預(yù)測(cè)。使用`accuracy_score`計(jì)算準(zhǔn)確率。使用`precision_score`和`recall_score`計(jì)算精確率和召回率，需要指定`pos_label`參數(shù)，指明視為正類(lèi)的標(biāo)簽（需根據(jù)實(shí)際數(shù)據(jù)集的類(lèi)別標(biāo)簽確定）。四、```pythonfromsklearn.metricsimportconfusion_matrix#計(jì)算混淆矩陣cm=confusion_matrix(y_test,y_pred)#輸出混淆矩陣并解釋含義tn,fp,fn,tp=cm.ravel()#展平數(shù)組，tn真陰性,fp假陽(yáng)性,fn假陰性,tp真陽(yáng)性cm,tn,fp,fn,tp```解析：使用`confusion_matrix`函數(shù)計(jì)算混淆矩陣。`cm.ravel()`將矩陣展平為一維數(shù)組，`tn,fp,fn,tp`分別代表真陰性、假陽(yáng)性、假陰性、真陽(yáng)性。完整的混淆矩陣可以用來(lái)計(jì)算精確率、召回率等其他指標(biāo)。五、```pythonfromsklearn.model_selectionimportcross_val_score#進(jìn)行5折交叉驗(yàn)證cv_scores=cross_val_score(dt_classifier,X,y,cv=5,scoring='accuracy')#報(bào)告得分和平均分cv_scores,cv_scores.mean()```解析：使用`cross_val_score`函數(shù)，傳入模型`dt_classifier`、所有特征`X`、所有標(biāo)簽`y`、`cv=5`指定5折交叉驗(yàn)證，`scoring='accuracy'`指定使用準(zhǔn)確率作為評(píng)分指標(biāo)。函數(shù)返回一個(gè)包含5個(gè)得分（每折一個(gè)）的列表，`mean()`方法計(jì)算這些得分的平均值。六、```pythonimportnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.model_selectionimportlearning_curve#定義函數(shù)計(jì)算學(xué)習(xí)曲線(xiàn)數(shù)據(jù)defplot_learning_curve(estimator,title,X,y,axes=None,ylim=None,cv=None,n_jobs=None,train_sizes=np.linspace(.1,1.0,5)):ifaxesisNone:_,axes=plt.subplots(1,1,figsize=(20,5))axes.set_title(title)ifylimisnotNone:axes.set_ylim(*ylim)axes.set_xlabel("Trainingexamples")axes.set_ylabel("Score")train_sizes,train_scores,test_scores,fit_times,_=learning_curve(estimator,X,y,cv=cv,n_jobs=n_jobs,train_sizes=train_sizes,return_times=True)train_scores_mean=np.mean(train_scores,axis=1)train_scores_std=np.std(train_scores,axis=1)test_scores_mean=np.mean(test_scores,axis=1)test_scores_std=np.std(test_scores,axis=1)#繪制學(xué)習(xí)曲線(xiàn)axes.grid()axes.fill_between(train_sizes,train_scores_mean-train_scores_std,train_scores_mean+train_scores_std,alpha=0.1,color="r")axes.fill_between(train_sizes,test_scores_mean-test_scores_std,test_scores_mean+test_scores_std,alpha=0.1,color="g")axes.plot(train_sizes,train_scores_mean,'o-',color="r",label="Trainingscore")axes.plot(train_sizes,test_scores_mean,'o-',color="g",label="Cross-validationscore")axes.legend(loc="best")returnplt#繪制學(xué)習(xí)曲線(xiàn)title="LearningCurves(DecisionTree)"plot_learning_curve(dt_classifier,title,X,y,cv=5)plt.show()```解析：使用`learning_curve`函數(shù)計(jì)算不同訓(xùn)練集大小下的訓(xùn)練得分和交叉驗(yàn)證得分。該函數(shù)返回訓(xùn)練集大小、訓(xùn)練分?jǐn)?shù)、驗(yàn)證分?jǐn)?shù)等數(shù)組。通過(guò)`np.mean`和`np.std`計(jì)算每個(gè)大小的分?jǐn)?shù)均值和標(biāo)準(zhǔn)差。使用`matplotlib.pyplot`繪制曲線(xiàn)，包括均值線(xiàn)和置信區(qū)間（用標(biāo)準(zhǔn)差表示）。分析曲線(xiàn)：如果訓(xùn)練分?jǐn)?shù)和驗(yàn)證分?jǐn)?shù)都高且接近，且兩者差距不大，說(shuō)明模型欠擬合；如果訓(xùn)練分?jǐn)?shù)高但驗(yàn)證分?jǐn)?shù)低且兩者差距大，說(shuō)明模型過(guò)擬合；兩者都低且差距小，說(shuō)明模型可能存在較大偏差。此決策樹(shù)學(xué)習(xí)曲線(xiàn)應(yīng)顯示隨著樣本量增加，訓(xùn)練和驗(yàn)證分?jǐn)?shù)趨于穩(wěn)定，可能初始存在一定過(guò)擬合。七、```pythonfromsklearn.model_selectionimportGridSearchCV#定義參數(shù)網(wǎng)格param_grid={'max_depth':[1,3,5,7,10],'min_samples_split':[2,10,20]}#創(chuàng)建決策樹(shù)分類(lèi)器實(shí)例（無(wú)需預(yù)先訓(xùn)練）dt_tune=DecisionTreeClassifier()#創(chuàng)建GridSearchCV對(duì)象grid_search=GridSearchCV(estimator=dt_tune,param_grid=param_grid,cv=5,scoring='accuracy',n_jobs=-1)#執(zhí)行網(wǎng)格搜索grid_search.fit(X_train,y_train)#報(bào)告最優(yōu)參數(shù)和最佳交叉驗(yàn)證分?jǐn)?shù)best_params=grid_search.best_params_best_score=grid_search.best_score_best_params,best_score```解析：定義一個(gè)字典`param_grid`，包含要搜索的超參數(shù)名稱(chēng)和取值范圍。實(shí)例化一個(gè)用于搜索的決策樹(shù)分類(lèi)器（無(wú)需預(yù)先用訓(xùn)練數(shù)據(jù)擬合）。創(chuàng)建`GridSearchCV`對(duì)象，傳入待搜索的估計(jì)器、參數(shù)網(wǎng)格、交叉驗(yàn)證折數(shù)`cv=5`、評(píng)分指標(biāo)`scoring='accuracy'`。調(diào)用`fit`方法在訓(xùn)練集上執(zhí)行網(wǎng)格搜索。`best_params_`屬性存儲(chǔ)最優(yōu)參數(shù)組合，`best_score_`屬性存儲(chǔ)對(duì)應(yīng)的最優(yōu)交叉驗(yàn)證分?jǐn)?shù)。八、```python#使用最優(yōu)參數(shù)重新訓(xùn)練模型best_dt_classifier=DecisionTreeClassifier(best_params)best_dt_classifier.fit(X_train,y_train)#在測(cè)試集上評(píng)估最優(yōu)模型性能y_pred_best=best_dt_classifier.predict(X_test)accuracy_best=accuracy_score(y_test,y_pred_best)#假設(shè)目標(biāo)類(lèi)別仍是0precision_best=precision_score(y_test,y_pred_best,pos_label=0)recall_best=recall_score(y_test,y_pred_best,pos_label=0)f1_best=2*(precision_best*recall_best)/(precision_best+recall_best)#與初始模型比較（使用測(cè)試集準(zhǔn)確率）#注意：此處應(yīng)記錄第二部分的結(jié)果，此處假設(shè)初始測(cè)試集準(zhǔn)確率為train_accuracycomparison={"OptimizedAccuracy":accuracy_best,"InitialAccuracy":train_accuracy,"AccuracyImprovement":accuracy_best-train_accuracy,"OptimizedPrecision":precision_best,"OptimizedRecall":recall_best,"OptimizedF1":f1_best}comparison```解析：使用`GridSearchCV`找到的最優(yōu)參數(shù)`best_params_`創(chuàng)建一個(gè)新的決策樹(shù)分類(lèi)器，并用訓(xùn)練集擬合它。對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并計(jì)算準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)（需要指定`pos_label`）。將優(yōu)化后的模型性能與第二部分訓(xùn)練的初始模型（在測(cè)試集上的準(zhǔn)確率）進(jìn)行比較，計(jì)算性能提升幅度。F1分?jǐn)?shù)是精確率和召回率的調(diào)和平均數(shù)，適用于不平衡分類(lèi)問(wèn)題。九、```pythonfromsklearn.metricsimportmean_absolute_error,mean_squared_error,r2_scorefromsklearn.datasetsimportload_bostonfromsklearn.treeimportDecisionTreeRegressor#更換為回歸問(wèn)題數(shù)據(jù)集（波士頓房?jī)r(jià)）data_reg=load_boston()X_reg=data_reg.datay_reg=data_reg.target#重復(fù)第二部分的工作（訓(xùn)練模型）dt_regressor=DecisionTreeRegressor(max_depth=3)dt_regressor.fit(X_train,y_train)#注意：這里使用了之前劃分的X_train,y_train，但理論上應(yīng)該用回歸數(shù)據(jù)集劃分的#使用測(cè)試集進(jìn)行預(yù)測(cè)（回歸）y_pred_reg=dt_regressor.predict(X_test)#計(jì)算評(píng)估指標(biāo)mae=mean_absolute_error(y_test,y_pred_reg)#y_test應(yīng)為回歸問(wèn)題的測(cè)試集標(biāo)簽rmse=np.sqrt(mean_squared_error(y_test,y_pred_reg))r2=r2_score(y_test,y_pred_reg)mae,rmse,r2```解析：加載波士頓房?jī)r(jià)數(shù)據(jù)集。使用`DecisionTreeRegressor`代替分類(lèi)器。重復(fù)第二部分的訓(xùn)練步驟（創(chuàng)建模型、擬合）。對(duì)測(cè)試集進(jìn)行預(yù)測(cè)。使用`mean_absolute_error`、`mean_squared_error`（配合`np.sqrt`得到RMSE）和`r2_score`計(jì)算回歸問(wèn)題的評(píng)估指標(biāo)。注意`y_test`在此處應(yīng)為與`X_test`對(duì)應(yīng)的回歸問(wèn)題的測(cè)試集真實(shí)標(biāo)簽。十、```pythonimportmatplotlib.pyplotasplt#繪制實(shí)際值與預(yù)測(cè)值的散點(diǎn)圖plt.figure(figsize=(8,8))plt.scatter(y_test,y_pred_reg,alpha=0.7)plt.plot([min(y_test),max(y_test)],[min(y_test),max(y_test)],color='red',linestyle='--')#y=xline#設(shè)置標(biāo)題和標(biāo)簽plt.title('ActualvsPredictedValues(Regression)')plt.xlabel('ActualValues')plt.ylabel('PredictedValues')plt.grid(True)plt.axis('equal')#確保橫縱坐標(biāo)比例相同，有助于觀察擬合好壞plt.show()```解析：使用`plt.scatter`繪制散點(diǎn)圖，x軸為實(shí)際值`y_test`，y軸為預(yù)測(cè)值`y_pred_reg`。使用`plt.plot`繪制一條紅色虛線(xiàn)表示完美預(yù)測(cè)（y=x）。`alpha=0.7`設(shè)置點(diǎn)透明度。`axis('equal')`確保單位長(zhǎng)度在兩個(gè)軸上相同。分析散點(diǎn)圖：理想情況下點(diǎn)應(yīng)緊密分布在紅色虛線(xiàn)附近。點(diǎn)越靠近直線(xiàn)，模型預(yù)測(cè)越準(zhǔn)。如果點(diǎn)分布廣泛或明顯偏離直線(xiàn)，說(shuō)明預(yù)測(cè)誤差較大。離直線(xiàn)越遠(yuǎn)的點(diǎn)代表較大的預(yù)測(cè)偏差。十一、```pythonfromsklearn.ensembleimportRandomForestRegressorfromsklearn.model_selectionimportRandomizedSearchCVimportscipy.statsasstats#定義參數(shù)分布范圍param_dist={'n_estimators':stats.choice([10,50,100]),'max_depth':stats.choice([None,3,5,10])}#創(chuàng)建隨機(jī)森林回歸器實(shí)例rf_regressor=RandomForestRegressor(random_state=42)#創(chuàng)建RandomizedSearchCV對(duì)象random_search=RandomizedSearchCV(estimator=rf_regressor,param_distributions=param_dist,n_iter=10,cv=5,scoring='neg_mean_squared_error',n_jobs=-1,random_state=42)#執(zhí)行隨機(jī)搜索random_search.fit(X_train,y_train)#報(bào)告最優(yōu)參數(shù)和最佳交叉驗(yàn)證RMSE（注意RandomizedSearchCV使用負(fù)MSE作為評(píng)分）best_params_rf=random_search.best_params_best_score_rf=-random_search.best_score_#取負(fù)值得到RMSEbest_params_rf,best_score_rf```解析：加載`RandomForestRegressor`。定義一個(gè)字典`param_dist`，其中超參數(shù)的值域使用`scipy.stats.choice`指定為離散選項(xiàng)。創(chuàng)建`RandomizedSearchCV`對(duì)象，傳入估計(jì)器、參數(shù)分布、`n_iter=10`指定搜索10次迭代、`cv=5`、評(píng)分指標(biāo)`scoring='neg_mean_squared_error'`（隨機(jī)森林通常用負(fù)MSE評(píng)分，`RandomizedSearchCV`的最小值為最佳得分，所以用負(fù)值表示RMSE）。`n_jobs=-1`使用所有CPU核心。調(diào)用`fit`方法執(zhí)行搜索。`best_par