2025年數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)考試試題及答案一、單項選擇題（每題2分，共20分）1.以下哪種方法最適合處理時間序列數(shù)據(jù)中的周期性缺失值？A.均值填充B.前向填充（FFill）C.插值法（如線性插值）D.直接刪除缺失行答案：C2.在機器學(xué)習(xí)模型訓(xùn)練中，若驗證集準(zhǔn)確率遠高于測試集準(zhǔn)確率，最可能的原因是？A.模型過擬合B.驗證集與測試集數(shù)據(jù)分布不一致C.模型欠擬合D.學(xué)習(xí)率設(shè)置過高答案：B3.Spark中，以下哪個操作屬于轉(zhuǎn)換（Transformation）操作？A.collect()B.reduce()C.map()D.count()答案：C4.對于高維稀疏數(shù)據(jù)（如文本TF-IDF特征），最適合的聚類算法是？A.K-meansB.DBSCANC.層次聚類D.譜聚類答案：A（注：高維稀疏數(shù)據(jù)中，K-means在計算距離時效率更高，且對稀疏性不敏感）5.以下哪項不是Hadoop生態(tài)中HBase的特性？A.列式存儲B.支持SQL查詢C.基于HDFSD.適用于實時讀寫答案：B（HBase原生不支持SQL，需借助Phoenix等工具）6.在決策樹中，使用Gini指數(shù)作為分裂準(zhǔn)則時，節(jié)點的純度越高，Gini值越接近？A.0B.0.5C.1D.2答案：A7.以下哪種特征編碼方法最適合處理有序分類變量（如“低-中-高”）？A.獨熱編碼（One-Hot）B.標(biāo)簽編碼（LabelEncoding）C.序數(shù)編碼（OrdinalEncoding）D.目標(biāo)編碼（TargetEncoding）答案：C8.實時數(shù)據(jù)流處理場景中，若要求事件時間（EventTime）語義下的精確一次（Exactly-Once）處理，最適合的框架是？A.SparkStreaming（微批處理）B.FlinkC.StormD.KafkaStreams答案：B9.在邏輯回歸模型中，若某特征的系數(shù)為-2.3，說明該特征與目標(biāo)變量的關(guān)系是？A.正相關(guān)，系數(shù)絕對值越大相關(guān)性越強B.負(fù)相關(guān)，系數(shù)絕對值越大相關(guān)性越強C.正相關(guān)，系數(shù)符號與相關(guān)性無關(guān)D.負(fù)相關(guān)，系數(shù)符號與相關(guān)性無關(guān)答案：B10.以下哪項不屬于數(shù)據(jù)清洗的主要任務(wù)？A.處理缺失值B.消除重復(fù)數(shù)據(jù)C.特征標(biāo)準(zhǔn)化D.檢測并修正異常值答案：C（特征標(biāo)準(zhǔn)化屬于特征工程，非數(shù)據(jù)清洗）二、填空題（每空2分，共20分）1.數(shù)據(jù)標(biāo)準(zhǔn)化的常用方法包括Z-score標(biāo)準(zhǔn)化和______（填寫一種）。答案：Min-Max標(biāo)準(zhǔn)化2.K-means算法的目標(biāo)函數(shù)是最小化所有樣本到其所屬簇中心的______之和。答案：歐氏距離平方3.在HadoopMapReduce中，Reducer的輸入是______（填寫數(shù)據(jù)結(jié)構(gòu)）。答案：（鍵，值列表）4.信息熵的計算公式為______（用數(shù)學(xué)表達式表示）。答案：\(H(X)=-\sum_{i=1}^nP(x_i)\log_2P(x_i)\)5.深度學(xué)習(xí)中，LSTM網(wǎng)絡(luò)通過______門控機制解決長序列依賴問題。答案：遺忘門、輸入門、輸出門（或“三個門控”）6.關(guān)聯(lián)規(guī)則挖掘中，支持度（Support）的定義是______。答案：包含項集X和Y的事務(wù)數(shù)占總事務(wù)數(shù)的比例7.SparkRDD的兩個核心特性是______和______。答案：彈性分布式、不可變（或“容錯性”“可分區(qū)”）8.時間序列分解的常用模型包括加法模型和______。答案：乘法模型9.聯(lián)邦學(xué)習(xí)（FederatedLearning）的核心目標(biāo)是在______的前提下實現(xiàn)模型訓(xùn)練。答案：數(shù)據(jù)不出本地（或“保護數(shù)據(jù)隱私”）三、簡答題（每題8分，共40分）1.簡述過擬合（Overfitting）的定義及其主要解決方法。答案：過擬合指模型在訓(xùn)練集上表現(xiàn)良好，但在未見過的測試集上泛化能力差的現(xiàn)象。主要解決方法包括：①增加訓(xùn)練數(shù)據(jù)量；②降低模型復(fù)雜度（如減少決策樹深度、減少神經(jīng)網(wǎng)絡(luò)層數(shù)）；③正則化（L1/L2正則化）；④早停（EarlyStopping）；⑤交叉驗證選擇最優(yōu)模型；⑥丟棄法（Dropout，針對神經(jīng)網(wǎng)絡(luò)）。2.說明MapReduce中Shuffle階段的作用及關(guān)鍵步驟。答案：Shuffle階段是Map與Reduce之間的數(shù)據(jù)傳輸過程，作用是將Map輸出的鍵值對按鍵分組，發(fā)送到對應(yīng)的Reducer。關(guān)鍵步驟：①Map任務(wù)輸出數(shù)據(jù)分區(qū)（Partition）；②內(nèi)存排序（Sort）與合并（Combine，可選）；③數(shù)據(jù)溢寫（Spill）到磁盤；④Reducer拉取（Fetch）各Map輸出的對應(yīng)分區(qū)數(shù)據(jù)；⑤Reducer端對拉取的數(shù)據(jù)再次排序并合并。3.列舉特征工程的主要步驟，并說明各步驟的目的。答案：主要步驟及目的：①數(shù)據(jù)清洗（處理缺失值、異常值，確保數(shù)據(jù)質(zhì)量）；②特征提取（從原始數(shù)據(jù)中構(gòu)造新特征，如時間戳提取小時/星期）；③特征轉(zhuǎn)換（標(biāo)準(zhǔn)化、歸一化，消除量綱影響；編碼分類變量）；④特征選擇（篩選對目標(biāo)變量有預(yù)測能力的特征，降低維度、減少計算量、避免過擬合）；⑤特征構(gòu)造（組合或變換現(xiàn)有特征，如計算比率、差值）。4.解釋混淆矩陣（ConfusionMatrix）中TP、FN、FP、TN的含義，并寫出精確率（Precision）和召回率（Recall）的計算公式。答案：TP（真正例）：實際為正類，模型預(yù)測為正類；FN（假負(fù)例）：實際為正類，模型預(yù)測為負(fù)類；FP（假正例）：實際為負(fù)類，模型預(yù)測為正類；TN（真負(fù)例）：實際為負(fù)類，模型預(yù)測為負(fù)類。精確率\(P=\frac{TP}{TP+FP}\)，召回率\(R=\frac{TP}{TP+FN}\)。5.對比批處理（BatchProcessing）與流處理（StreamProcessing）的適用場景及技術(shù)差異。答案：適用場景：批處理適用于歷史數(shù)據(jù)的大規(guī)模離線計算（如每日用戶行為統(tǒng)計）；流處理適用于實時數(shù)據(jù)的低延遲處理（如實時風(fēng)控、實時推薦）。技術(shù)差異：批處理基于固定數(shù)據(jù)集，處理完成后輸出結(jié)果；流處理基于無界數(shù)據(jù)流，需持續(xù)處理并輸出實時結(jié)果。典型框架：批處理（HadoopMapReduce、SparkCore），流處理（Flink、SparkStreaming、KafkaStreams）。四、編程題（每題15分，共30分）1.給定PandasDataFrame`df`（包含列：'user_id'（用戶ID，整數(shù)）、'age'（年齡，含缺失值）、'gender'（性別，字符串，取值'男'/'女'）、'consumption'（消費金額，數(shù)值型）），請完成以下操作：（1）用年齡的中位數(shù)填充'age'列的缺失值；（2）將'gender'列編碼為數(shù)值（'男'→1，'女'→0）；（3）計算'age'與'consumption'的皮爾遜相關(guān)系數(shù)。答案：```pythonimportpandasaspdimportnumpyasnp假設(shè)df已定義（1）填充缺失值median_age=df['age'].median()df['age']=df['age'].fillna(median_age)（2）性別編碼df['gender']=df['gender'].map({'男':1,'女':0})（3）計算皮爾遜相關(guān)系數(shù)corr=df[['age','consumption']].corr(method='pearson').iloc[0,1]print(f"年齡與消費金額的皮爾遜相關(guān)系數(shù)：{corr:.4f}")```2.使用Scikit-learn的邏輯回歸模型（LogisticRegression）訓(xùn)練一個二分類模型，要求：（1）使用`train_test_split`劃分訓(xùn)練集（70%）和測試集（30%），隨機種子設(shè)為42；（2）對特征進行標(biāo)準(zhǔn)化處理；（3）輸出測試集的準(zhǔn)確率（Accuracy）和F1分?jǐn)?shù)（F1-score）。答案：```pythonfromsklearn.datasetsimportmake_classificationfromsklearn.model_selectionimporttrain_test_splitfromsklearn.preprocessingimportStandardScalerfromsklearn.linear_modelimportLogisticRegressionfromsklearn.metricsimportaccuracy_score,f1_score提供模擬數(shù)據(jù)（假設(shè)X為特征，y為目標(biāo)變量）X,y=make_classification(n_samples=1000,n_features=10,random_state=42)（1）劃分?jǐn)?shù)據(jù)集X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=42)（2）特征標(biāo)準(zhǔn)化scaler=StandardScaler()X_train_scaled=scaler.fit_transform(X_train)X_test_scaled=scaler.transform(X_test)（3）訓(xùn)練模型并評估m(xù)odel=LogisticRegression()model.fit(X_train_scaled,y_train)y_pred=model.predict(X_test_scaled)accuracy=accuracy_score(y_test,y_pred)f1=f1_score(y_test,y_pred)print(f"測試集準(zhǔn)確率：{accuracy:.4f}")print(f"測試集F1分?jǐn)?shù)：{f1:.4f}")```五、綜合分析題（20分）某電商平臺需分析用戶復(fù)購行為（目標(biāo)變量`is_rebuy`，1表示復(fù)購，0表示未復(fù)購），提供的數(shù)據(jù)集包含以下字段：`user_id`（用戶ID）、`age`（年齡）、`avg_order_amount`（平均訂單金額）、`days_since_last_order`（距上次下單天數(shù)）、`category`（購買品類，如'服飾'/'3C'）、`coupon_used`（是否使用優(yōu)惠券，0/1）。請設(shè)計完整的分析流程，并說明各步驟的關(guān)鍵操作及理由。答案：分析流程及關(guān)鍵操作：1.數(shù)據(jù)理解與探索（EDA）-關(guān)鍵操作：統(tǒng)計各字段缺失率（如`days_since_last_order`是否有大量缺失）；分析目標(biāo)變量分布（是否存在類別不平衡）；計算數(shù)值型特征的描述統(tǒng)計（均值、標(biāo)準(zhǔn)差、分位數(shù)）；繪制類別特征（`category`）的分布柱狀圖；繪制數(shù)值特征與目標(biāo)變量的箱線圖（如`avg_order_amount`在復(fù)購/未復(fù)購用戶中的差異）。-理由：識別數(shù)據(jù)質(zhì)量問題（如缺失值、異常值），明確目標(biāo)變量分布（若不平衡需采用SMOTE過采樣等方法），初步判斷特征與目標(biāo)的相關(guān)性。2.數(shù)據(jù)清洗-關(guān)鍵操作：對缺失值，若`days_since_last_order`缺失率<5%，用中位數(shù)填充；若缺失率高且與用戶活躍性相關(guān)，可構(gòu)造新特征（如`is_missing_last_order`）。對異常值（如`avg_order_amount`超過99%分位數(shù)），采用蓋帽法（Winsorize）或視為極值保留（需結(jié)合業(yè)務(wù)判斷）。-理由：確保數(shù)據(jù)完整性和合理性，避免異常值影響模型訓(xùn)練。3.特征工程-類別特征處理：`category`為多分類變量，采用目標(biāo)編碼（TargetEncoding）或獨熱編碼（若類別數(shù)少）；`coupon_used`為二分類，直接保留0/1。-數(shù)值特征處理：`days_since_last_order`可離散化為區(qū)間（如“0-7天”“8-30天”）；`avg_order_amount`進行對數(shù)變換（消除右偏分布）；構(gòu)造交叉特征（如`avg_order_amountcoupon_used`，反映優(yōu)惠券對高消費用戶的影響）。-標(biāo)準(zhǔn)化：對`age`、`avg_order_amount`等數(shù)值特征進行Z-score標(biāo)準(zhǔn)化，消除量綱影響。-理由：提升特征的可解釋性和模型性能，挖