(2025年)數(shù)據(jù)挖掘技術(shù)測試題帶答案一、單項選擇題（每題2分，共20分）1.以下哪項不屬于數(shù)據(jù)清洗的常見操作？A.處理缺失值B.去除重復記錄C.特征標準化D.糾正數(shù)據(jù)中的邏輯錯誤答案：C（特征標準化屬于數(shù)據(jù)變換，非清洗操作）2.在分類任務中，若模型在訓練集上準確率為95%，測試集上準確率為60%，最可能的原因是？A.數(shù)據(jù)量不足B.過擬合C.欠擬合D.標簽錯誤答案：B（訓練集表現(xiàn)遠好于測試集，典型過擬合）3.以下哪種算法不屬于監(jiān)督學習？A.K-meansB.邏輯回歸C.隨機森林D.支持向量機（SVM）答案：A（K-means是無監(jiān)督聚類算法）4.對于高維稀疏數(shù)據(jù)（如文本數(shù)據(jù)），最適合的降維方法是？A.主成分分析（PCA）B.線性判別分析（LDA）C.奇異值分解（SVD）D.t-分布鄰域嵌入（t-SNE）答案：C（SVD適用于稀疏矩陣降維，常用于文本主題模型）5.在關(guān)聯(lián)規(guī)則挖掘中，若某規(guī)則的支持度為0.3，置信度為0.8，提升度為1.2，則以下說法正確的是？A.該規(guī)則的覆蓋范圍較小（支持度低）B.置信度表示“前件出現(xiàn)時后件出現(xiàn)”的條件概率C.提升度小于1，說明規(guī)則無實際價值D.支持度是前件和后件同時出現(xiàn)的概率與后件單獨出現(xiàn)概率的比值答案：B（置信度=P(后件|前件)，提升度>1表示規(guī)則有效）6.以下哪項是K-means算法的主要缺點？A.對初始聚類中心敏感B.無法處理大數(shù)據(jù)集C.只能發(fā)現(xiàn)凸形狀的簇D.需要預先指定簇的數(shù)量答案：D（K-means需人工設(shè)定k值，是核心缺陷）7.在分類模型評估中，F(xiàn)1分數(shù)是以下哪兩個指標的調(diào)和平均？A.準確率（Accuracy）和召回率（Recall）B.精確率（Precision）和召回率（Recall）C.精確率（Precision）和特異度（Specificity）D.準確率（Accuracy）和精確率（Precision）答案：B（F1=2(PR)/(P+R)）8.以下哪種方法可用于處理類別不平衡問題？A.對少數(shù)類樣本進行過采樣（Oversampling）B.對多數(shù)類樣本進行過采樣C.減少特征維度D.增加正則化參數(shù)答案：A（過采樣少數(shù)類或欠采樣多數(shù)類可緩解不平衡）9.在時間序列預測中，ARIMA模型的“MA”代表？A.自回歸（AutoRegressive）B.移動平均（MovingAverage）C.積分（Integrated）D.差分（Differencing）答案：B（ARIMA=自回歸+積分+移動平均）10.以下哪項不屬于特征工程的范疇？A.特征交叉（FeatureCross）B.缺失值填充C.模型超參數(shù)調(diào)優(yōu)D.離散特征獨熱編碼（One-HotEncoding）答案：C（超參數(shù)調(diào)優(yōu)屬于模型優(yōu)化，非特征工程）二、填空題（每題2分，共20分）1.數(shù)據(jù)標準化常用的兩種方法是Z-score標準化和最小-最大歸一化（Min-MaxScaling）。2.決策樹中，信息增益的計算基于信息熵（Entropy）的減少量。3.K-means算法的目標函數(shù)是最小化所有樣本到其所屬簇中心的歐氏距離平方和。4.支持向量機（SVM）中，核函數(shù)的作用是將低維線性不可分數(shù)據(jù)映射到高維空間使其線性可分。5.集成學習中，Boosting方法通過串行訓練弱分類器，重點關(guān)注前一輪錯誤樣本提升整體性能；Bagging方法通過并行訓練多個分類器，結(jié)合樣本Bootstrap采樣降低方差。6.Apriori算法的核心是先驗性質(zhì)（頻繁項集的所有子集也必須是頻繁的），用于剪枝非頻繁項集。7.ROC曲線的縱軸是真正例率（TPR，召回率），橫軸是假正例率（FPR）。8.特征選擇的常用方法包括過濾法（如卡方檢驗）、包裝法（如遞歸特征消除）和嵌入法（如L1正則化）。9.LDA（LatentDirichletAllocation）模型常用于文本主題挖掘，其核心假設(shè)是“文檔由多個主題混合提供，主題由單詞概率分布表示”。10.時間序列數(shù)據(jù)的四大組成部分是趨勢（Trend）、季節(jié)（Seasonality）、周期（Cycle）、隨機波動（Noise）。三、簡答題（每題8分，共40分）1.簡述數(shù)據(jù)預處理的主要步驟及其作用。答案：數(shù)據(jù)預處理主要包括以下步驟：（1）數(shù)據(jù)清洗：處理缺失值（刪除、插值）、糾正錯誤值（如邏輯矛盾）、去除重復記錄，確保數(shù)據(jù)完整性和準確性；（2）數(shù)據(jù)集成：合并多源數(shù)據(jù)，解決命名沖突、單位不一致等問題，形成統(tǒng)一數(shù)據(jù)集；（3）數(shù)據(jù)變換：包括標準化（Z-score）、歸一化（Min-Max）、離散化（分箱）、特征編碼（獨熱編碼、標簽編碼），提升模型對數(shù)據(jù)的適應性；（4）數(shù)據(jù)規(guī)約：通過降維（PCA、SVD）或抽樣（隨機抽樣、分層抽樣）減少數(shù)據(jù)規(guī)模，降低計算成本同時保留關(guān)鍵信息；（5）特征工程：構(gòu)造新特征（如時間差、比率特征）、選擇有效特征（過濾法、包裝法），增強模型的表征能力。2.對比隨機森林（RandomForest）與梯度提升樹（GradientBoostingTree,GBDT）的核心差異。答案：（1）集成方式：隨機森林是Bagging的代表，通過并行訓練多棵決策樹（基于樣本和特征的Bootstrap抽樣），最終結(jié)果通過投票或平均集成；GBDT是Boosting的代表，串行訓練多棵樹，每棵樹擬合前序模型的殘差（梯度），逐步減少誤差。（2）偏差與方差：隨機森林主要降低方差（通過多個獨立樹的平均減少過擬合）；GBDT主要降低偏差（通過逐步修正錯誤提升模型精度）。（3）過擬合風險：隨機森林對過擬合不敏感（樹之間獨立）；GBDT易過擬合（串行學習易放大噪聲），需通過限制樹深度、學習率等控制。（4）計算效率：隨機森林可并行訓練，適合大規(guī)模數(shù)據(jù)；GBDT依賴前序結(jié)果，難以并行，訓練時間較長。3.說明K-means與DBSCAN算法的優(yōu)缺點及適用場景。答案：K-means優(yōu)點：實現(xiàn)簡單、計算效率高、適用于凸形狀簇；缺點：需預設(shè)簇數(shù)k、對噪聲和離群點敏感、僅適用于數(shù)值型數(shù)據(jù)、無法發(fā)現(xiàn)非凸簇。適用場景：數(shù)據(jù)分布呈球狀、簇大小相近、無明顯噪聲的低維數(shù)據(jù)集。DBSCAN優(yōu)點：無需預設(shè)簇數(shù)、能發(fā)現(xiàn)任意形狀簇、對噪聲魯棒；缺點：參數(shù)（鄰域半徑ε、最小樣本數(shù)MinPts）敏感、高維數(shù)據(jù)中距離度量失效、計算復雜度較高（O(n2)）。適用場景：存在噪聲、簇形狀不規(guī)則（如環(huán)形）、需自動識別簇數(shù)的數(shù)據(jù)集。4.列舉至少5種分類模型的性能評估指標，并說明其含義。答案：（1）準確率（Accuracy）：正確分類樣本數(shù)占總樣本數(shù)的比例（(TP+TN)/(TP+TN+FP+FN)）；（2）精確率（Precision）：預測為正類的樣本中實際為正類的比例（TP/(TP+FP)），反映“查準”能力；（3）召回率（Recall/TPR）：實際為正類的樣本中被正確預測的比例（TP/(TP+FN)），反映“查全”能力；（4）F1分數(shù)：精確率與召回率的調(diào)和平均（2PR/(P+R)），平衡兩者的綜合指標；（5）AUC-ROC：ROC曲線下面積，衡量模型在不同閾值下的整體分類能力（取值0.5~1，越大越好）；（6）特異度（Specificity/TNR）：實際為負類的樣本中被正確預測的比例（TN/(TN+FP)），反映對負類的識別能力。5.解釋關(guān)聯(lián)規(guī)則中支持度（Support）、置信度（Confidence）、提升度（Lift）的定義及意義。答案：（1）支持度：規(guī)則“X→Y”的支持度=P(X∪Y)，即同時包含X和Y的事務占總事務的比例。支持度衡量規(guī)則的普遍程度，支持度過低的規(guī)則無實際應用價值（如僅出現(xiàn)1次的規(guī)則）。（2）置信度：置信度=P(Y|X)，即包含X的事務中同時包含Y的條件概率。置信度衡量規(guī)則的可靠性，置信度越高，規(guī)則的“推斷”越可信。（3）提升度：提升度=置信度/P(Y)，即規(guī)則的置信度與Y單獨出現(xiàn)的概率之比。提升度>1表示X的出現(xiàn)對Y的出現(xiàn)有正向促進作用（規(guī)則有效）；=1表示X與Y獨立；<1表示X的出現(xiàn)抑制Y的出現(xiàn)。四、算法題（每題10分，共20分）1.請用Python編寫一個簡單的KNN（K近鄰）分類器，要求包含以下步驟：（1）對特征數(shù)據(jù)進行Z-score標準化；（2）將數(shù)據(jù)集劃分為訓練集（70%）和測試集（30%）；（3）計算測試樣本與所有訓練樣本的歐氏距離；（4）根據(jù)k=3的近鄰樣本標簽，采用多數(shù)投票法預測測試樣本的類別。答案：```pythonimportnumpyasnpfromsklearn.model_selectionimporttrain_test_splitfromsklearn.preprocessingimportStandardScalerclassSimpleKNN:def__init__(self,k=3):self.k=kself.X_train=Noneself.y_train=Nonedeffit(self,X,y):self.X_train=Xself.y_train=ydefpredict(self,X_test):predictions=[]forxinX_test:計算歐氏距離distances=np.sqrt(np.sum((self.X_train-x)2,axis=1))獲取k個最近鄰的索引k_indices=np.argsort(distances)[:self.k]多數(shù)投票k_labels=self.y_train[k_indices]pred=np.argmax(np.bincount(k_labels.astype(int)))predictions.append(pred)returnnp.array(predictions)示例數(shù)據(jù)（假設(shè)X為特征，y為標簽）X=np.random.rand(100,5)100個樣本，5個特征y=np.random.randint(0,2,100)二分類標簽步驟1：標準化scaler=StandardScaler()X_scaled=scaler.fit_transform(X)步驟2：劃分訓練集和測試集X_train,X_test,y_train,y_test=train_test_split(X_scaled,y,test_size=0.3,random_state=42)步驟3-4：訓練與預測knn=SimpleKNN(k=3)knn.fit(X_train,y_train)y_pred=knn.predict(X_test)輸出前5個預測結(jié)果print("預測結(jié)果前5個：",y_pred[:5])```2.使用Scikit-learn實現(xiàn)基于隨機森林的分類任務，要求包含以下步驟：（1）加載Iris數(shù)據(jù)集（或其他分類數(shù)據(jù)集）；（2）進行特征重要性分析；（3）使用網(wǎng)格搜索（GridSearchCV）調(diào)優(yōu)超參數(shù)（至少包含n_estimators、max_depth）；（4）采用5折交叉驗證評估模型性能。答案：```pythonfromsklearn.datasetsimportload_irisfromsklearn.ensembleimportRandomForestClassifierfromsklearn.model_selectionimportGridSearchCV,train_test_split,cross_val_scorefromsklearn.metricsimportaccuracy_score步驟1：加載數(shù)據(jù)iris=load_iris()X,y=iris.data,iris.targetX_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)步驟2：特征重要性分析（基于訓練好的模型）rf=RandomForestClassifier(n_estimators=100,random_state=42)rf.fit(X_train,y_train)feature_importance=rf.feature_importances_print("特征重要性：",dict(zip(iris.feature_names,feature_importance)))步驟3：網(wǎng)格搜索調(diào)參param_grid={'n_estimators':[50,100,200],樹的數(shù)量'max_depth':[None,5,10],樹的最大深度'min_samples_split':[2,5]內(nèi)部節(jié)點分裂所需最小樣本數(shù)}grid_search=GridSearchCV(estimator=RandomForestClassifier(random_state=42),param_grid=param_grid,cv=5,5折交叉驗證scoring='accuracy')grid_search.fit(X_train,y_train)print("最優(yōu)參數(shù)：",grid_search.best_params_)print("最優(yōu)交叉驗證分數(shù)：",grid_search.best_score_)步驟4：5折交叉驗證評估（使用最優(yōu)模型）best_rf=grid_search.best_estimator_cv_scores=cross_val_score(best_rf,X_train,y_train,cv=5,scoring='accuracy')print("5折交叉驗證準確率：",cv_scores)print("平均準確率：",np.mean(cv_scores))測試集驗證y_pred=best_rf.predict(X_test)test_accuracy=accuracy_score(y_test,y_pred)print("測試集準確率：",test_accuracy)```五、應用題（20分）某電商平臺擁有用戶行為數(shù)據(jù)，包含以下字段：用戶ID、年齡、性別、注冊時長（月）、近30天瀏覽商品數(shù)、近30天下單次數(shù)、近30天平均客單價、是否復購（標簽，1=是，0=否）。平臺希望通過數(shù)據(jù)挖掘預測用戶是否會復購，設(shè)計完整的數(shù)據(jù)挖掘方案（需包含數(shù)據(jù)理解、預處理、模型選擇、結(jié)果評估等關(guān)鍵步驟）。答案：1.數(shù)據(jù)理解（1）目標：預測用戶復購行為（二分類問題），標簽為“是否復購”（1/0）。（2）特征分析：-結(jié)構(gòu)化數(shù)據(jù)，包含用戶基本屬性（年齡、性別）、行為特征（注冊時長、瀏覽商品數(shù)、下單次數(shù)、平均客單價）。-需檢查數(shù)據(jù)質(zhì)量：是否存在缺失值（如年齡為空）、異常值（如注冊時長為負數(shù)）、標簽分布（是否類別不平衡）。2.數(shù)據(jù)預處理（1）數(shù)據(jù)清洗：-缺失值處理：年齡缺失可采用均值/中位數(shù)填充；注冊時長異常值（如負數(shù)）修正為0或刪除。-異常值檢測：通過箱線圖或Z-score識別瀏覽商品數(shù)、下單次數(shù)的極端值，視情況保留（如高價值用戶）或