2025年人工智能工程師數(shù)據(jù)挖掘與分析考核試卷考試時間：______分鐘總分：______分姓名：______一、選擇題（每題2分，共20分）1.下列哪一項不屬于數(shù)據(jù)挖掘的常見任務(wù)？A.分類B.聚類C.關(guān)聯(lián)規(guī)則挖掘D.數(shù)據(jù)可視化2.在處理缺失值時，下列哪種方法屬于基于模型的方法？A.回代法B.插值法C.使用均值/中位數(shù)/眾數(shù)填充D.K最近鄰填充3.下列關(guān)于決策樹的描述，錯誤的是？A.決策樹模型具有較好的可解釋性B.決策樹容易過擬合，尤其是在數(shù)據(jù)量較小的情況下C.決策樹對輸入數(shù)據(jù)的順序敏感D.決策樹可以處理數(shù)值型和類別型特征4.在進(jìn)行聚類分析時，K-Means算法的主要缺點(diǎn)是？A.對初始聚類中心敏感B.只能發(fā)現(xiàn)球狀簇C.計算復(fù)雜度較高D.需要預(yù)先指定簇的數(shù)量K5.下列哪個指標(biāo)是衡量分類模型精確度的？A.召回率(Recall)B.F1分?jǐn)?shù)C.AUCD.決策樹深度6.邏輯回歸模型本質(zhì)上是一種？A.生成模型B.聚類模型C.回歸模型D.判別模型7.下列哪個方法不屬于降維技術(shù)？A.主成分分析(PCA)B.因子分析C.K-Means聚類D.線性判別分析(LDA)8.評估一個分類模型時，如果希望盡可能減少誤報，應(yīng)該側(cè)重于優(yōu)化哪個指標(biāo)？A.精確率(Precision)B.召回率(Recall)C.F1分?jǐn)?shù)D.準(zhǔn)確率(Accuracy)9.關(guān)聯(lián)規(guī)則挖掘中，"支持度"和"置信度"分別衡量什么？A.規(guī)則的普適性和強(qiáng)度B.規(guī)則的強(qiáng)度和普適性C.規(guī)則的有趣性和強(qiáng)度D.規(guī)則的有趣性和普適性10.以下哪個庫是Python中用于數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的常用庫？A.MatplotlibB.FlaskC.PandasD.Django二、填空題（每空1分，共15分）1.數(shù)據(jù)挖掘的過程通常包括數(shù)據(jù)準(zhǔn)備、______、模型評估和結(jié)果解釋四個主要階段。2.在處理類別型特征時，常用的方法是將每個類別映射到一個數(shù)值，例如使用______編碼。3.決策樹算法中，選擇分裂屬性時常用的準(zhǔn)則有信息增益（ID3）和______。4.聚類分析的目標(biāo)是將數(shù)據(jù)劃分為不同的組，使得同一組內(nèi)的數(shù)據(jù)對象相似度較高，不同組的數(shù)據(jù)對象相似度較低，常用的評估指標(biāo)有______和輪廓系數(shù)。5.在邏輯回歸中，模型的輸出通常是一個介于0和1之間的概率值，表示樣本屬于正類別的______。6.交叉驗(yàn)證是一種常用的模型評估方法，可以用來______模型選擇的偏差和方差。7.特征選擇的目標(biāo)是從原始特征集中選擇一個子集，以提升模型的性能、降低模型復(fù)雜度或減少數(shù)據(jù)維度，常用的方法有過濾法、包裹法和______。8.對于回歸問題，常用的評估指標(biāo)包括均方誤差（MSE）、均方根誤差（RMSE）和______。9.關(guān)聯(lián)規(guī)則挖掘中，找到所有滿足最小支持度和最小置信度閾值的規(guī)則是一個NP難問題，常用的算法是______。10.在使用Scikit-learn進(jìn)行模型訓(xùn)練時，通常使用`fit()`方法來訓(xùn)練模型，使用`predict()`方法來進(jìn)行______。三、簡答題（每題5分，共20分）1.簡述過擬合和欠擬合的概念，并分別說明可能導(dǎo)致這兩種情況的原因。2.解釋什么是特征工程，并列舉至少三種特征工程的常用方法。3.簡述交叉驗(yàn)證（Cross-Validation）的基本思想及其主要優(yōu)勢。4.描述關(guān)聯(lián)規(guī)則挖掘中“支持度”和“置信度”的含義，并解釋為什么通常需要設(shè)定最小支持度閾值。四、編程題（共25分）假設(shè)你已經(jīng)使用Python的Pandas庫加載了一個名為`data.csv`的數(shù)據(jù)集，該數(shù)據(jù)集包含以下幾列：`Age`（年齡，數(shù)值型）、`Gender`（性別，類別型：'Male','Female'）、`Income`（收入，數(shù)值型）、`Purchased`（是否購買，類別型：'Yes','No'）。請使用Pandas和Scikit-learn庫完成以下任務(wù)：1.（5分）對`Gender`列進(jìn)行獨(dú)熱編碼（One-HotEncoding）。2.（5分）將數(shù)據(jù)集劃分為訓(xùn)練集（80%）和測試集（20%），確保隨機(jī)性和可復(fù)現(xiàn)性（設(shè)置隨機(jī)種子為42）。3.（10分）使用邏輯回歸模型（`LogisticRegression`）對數(shù)據(jù)集進(jìn)行訓(xùn)練，以預(yù)測`Purchased`列。訓(xùn)練過程中，你需要處理缺失值（使用均值填充數(shù)值型特征），并使用訓(xùn)練集數(shù)據(jù)進(jìn)行模型訓(xùn)練。請輸出訓(xùn)練好的模型參數(shù)（系數(shù)和截距）。4.（5分）使用訓(xùn)練好的模型對測試集進(jìn)行預(yù)測，并計算預(yù)測的準(zhǔn)確率（Accuracy）。---試卷答案一、選擇題1.D2.D3.C4.B5.B6.D7.C8.B9.A10.C二、填空題1.模型構(gòu)建2.獨(dú)熱(One-Hot)3.基尼不純度(GiniImpurity)4.輪廓系數(shù)(SilhouetteCoefficient)5.概率(Probability)6.評估7.嵌入法(Embedded)8.決定系數(shù)(R-squared)/平均絕對誤差(MAE)9.Apriori10.預(yù)測(Prediction)三、簡答題1.過擬合：模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)非常好，但在未見過的新數(shù)據(jù)上表現(xiàn)很差。原因可能包括：模型復(fù)雜度過高（如決策樹過深）、訓(xùn)練數(shù)據(jù)量不足、噪聲數(shù)據(jù)過多。欠擬合：模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)就很差，無法捕捉到數(shù)據(jù)中的基本模式。原因可能包括：模型復(fù)雜度過低（如線性模型擬合非線性關(guān)系）、特征不足或質(zhì)量差、未進(jìn)行足夠的訓(xùn)練。2.特征工程是指通過領(lǐng)域知識對原始數(shù)據(jù)進(jìn)行轉(zhuǎn)換、組合、篩選等操作，創(chuàng)建新的、更有信息量的特征，以提升模型性能的過程。常用方法包括：特征編碼（如獨(dú)熱編碼、標(biāo)簽編碼）、特征縮放（如標(biāo)準(zhǔn)化、歸一化）、特征變換（如對數(shù)變換、平方）、特征選擇（如過濾法、包裹法、嵌入法）、特征構(gòu)造（如創(chuàng)建交互特征）。3.交叉驗(yàn)證的基本思想是將原始數(shù)據(jù)集劃分為k個不重疊的子集（稱為“折”）。輪流使用其中的k-1個子集作為訓(xùn)練集，剩下的1個子集作為驗(yàn)證集，進(jìn)行k次訓(xùn)練和驗(yàn)證。最后對k次驗(yàn)證結(jié)果（如準(zhǔn)確率）進(jìn)行平均，得到模型性能的估計。主要優(yōu)勢是：充分利用了所有數(shù)據(jù)參與訓(xùn)練和驗(yàn)證，能夠得到對模型泛化能力更可靠的估計，有助于進(jìn)行模型選擇和超參數(shù)調(diào)優(yōu)。4.支持度：衡量一個項集（或規(guī)則的前件/后件）在所有交易記錄中出現(xiàn)的頻率，表示該項集的普遍性。例如，規(guī)則“A->B”的支持度是同時包含A和B的交易記錄占總交易記錄的比例。置信度：衡量一個規(guī)則（A->B）的強(qiáng)度，即當(dāng)發(fā)現(xiàn)項集A時，項集B也在其中出現(xiàn)的概率。例如，規(guī)則“A->B”的置信度是同時包含A和B的交易記錄占包含A的交易記錄的比例。需要設(shè)定最小支持度閾值是為了過濾掉過于稀有的項集，這些項集可能只是偶然出現(xiàn)，并不具有實(shí)際的應(yīng)用價值或業(yè)務(wù)意義。只考慮置信度而不考慮支持度可能導(dǎo)致大量無意義的規(guī)則（如“購買面包的人一定不購買海豚”），因此必須同時限制支持度和置信度。四、編程題```pythonimportpandasaspdfromsklearn.model_selectionimporttrain_test_splitfromsklearn.linear_modelimportLogisticRegressionfromsklearn.imputeimportSimpleImputer#假設(shè)data.csv已加載到DataFramedf#1.對Gender列進(jìn)行獨(dú)熱編碼df_encoded=pd.get_dummies(df,columns=['Gender'],drop_first=True)#2.劃分訓(xùn)練集和測試集X=df_encoded.drop('Purchased',axis=1)#特征y=df_encoded['Purchased']#目標(biāo)變量X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#3.處理缺失值并訓(xùn)練邏輯回歸模型#使用均值填充數(shù)值型特征imputer=SimpleImputer(strategy='mean')X_train_imputed=imputer.fit_transform(X_train)X_test_imputed=imputer.transform(X_test)#使用同樣的均值進(jìn)行填充model=LogisticRegression()model.fit(X_train_imputed,y_train)#輸出模型參數(shù)coefficient