2025年數(shù)據(jù)挖掘實操案例練習題及答案1.單選題（每題2分，共20分）1.1在Python中使用pandas讀取CSV文件時，若文件編碼為GBK，應使用的參數(shù)是A.encoding='utf8'B.encoding='gbk'C.encoding='ascii'D.encoding='latin1'答案：B1.2下列指標中，對類別不平衡最不敏感的是A.AccuracyB.F1scoreC.AUCROCD.Precision答案：C1.3在Kmeans聚類中，若初始質心隨機選擇導致結果不穩(wěn)定，可采取的改進算法是A.DBSCANB.GaussianMixtureC.Kmeans++D.Agglomerative答案：C1.4使用Apriori算法時，若最小支持度閾值設置過高，最可能出現(xiàn)的后果是A.頻繁項集數(shù)量爆炸B.無法生成任何頻繁項集C.規(guī)則置信度降低D.計算時間指數(shù)增長答案：B1.5在XGBoost中控制過擬合的核心參數(shù)是A.subsampleB.colsample_bytreeC.max_depthD.eta答案：C1.6對高基數(shù)類別變量進行目標編碼時，為降低過擬合風險，應使用A.留一法編碼B.均值編碼C.貝葉斯目標編碼D.獨熱編碼答案：C1.7在SparkMLlib中，用于特征標準化的類是A.StandardScalerB.MinMaxScalerC.MaxAbsScalerD.Normalizer答案：A1.8若時間序列呈現(xiàn)線性增長且季節(jié)性周期為7，應選用的baseline模型是A.簡單指數(shù)平滑B.HoltWinters加法模型C.ARIMA(0,1,0)D.Prophet線性增長+年度季節(jié)答案：B1.9在深度召回模型中，YouTubeDNN召回網(wǎng)絡最后一層激活函數(shù)通常選用A.ReLUB.SigmoidC.SoftmaxD.Tanh答案：C1.10使用孤立森林檢測異常時，異常樣本的平均路徑長度A.遠高于正常樣本B.遠低于正常樣本C.與正常樣本相等D.與樣本維度無關答案：B2.多選題（每題3分，共15分，每題至少有兩個正確答案，多選少選均不得分）2.1下列屬于特征選擇過濾法的是A.方差選擇B.卡方檢驗C.遞歸特征消除D.互信息答案：ABD2.2關于LightGBM的直方圖算法，以下說法正確的是A.將連續(xù)特征離散化為k個桶B.顯著降低內(nèi)存占用C.支持類別特征直接輸入D.桶數(shù)量越多訓練越快答案：ABC2.3在文本分類任務中，使用BERT微調時需注意A.學習率預熱B.最大序列長度不宜過長C.凍結全部底層參數(shù)D.使用AdamW優(yōu)化器答案：ABD2.4下列可用于評估聚類算法穩(wěn)定性的指標有A.AdjustedRandIndexB.NormalizedMutualInformationC.SilhouetteCoefficientD.JaccardDistance答案：ABC2.5在構建實時特征平臺時，為做到端到端exactlyonce，需依賴A.Kafka冪等生產(chǎn)者B.FlinkcheckpointC.Redis事務D.SparkStreamingWAL答案：AB3.填空題（每空2分，共20分）3.1在Python中，使用sklearn的Pipeline時，若需對數(shù)值和類別列分別處理，應采用的復合轉換器類名為________。答案：ColumnTransformer3.2假設某電商用戶行為表結構為(user_id,item_id,behavior,ts)，計算用戶最近7天點擊去重商品數(shù)目的SQL語句中，過濾條件應寫ts≥________。答案：current_timestampinterval7day3.3在XGBoost中，若設置scale_pos_weight=10，則正樣本權重被放大為原來的________倍。答案：103.4使用TensorFlow2.x保存SavedModel時，模型簽名默認方法名為________。答案：serving_default3.5在Prophet模型中，若節(jié)假日效應窗口設為±3天，則每個節(jié)假日將額外引入________個回歸變量。答案：73.6在Spark中，DataFrame的repartition(200)操作會導致數(shù)據(jù)產(chǎn)生________個分區(qū)。答案：2003.7使用孤立森林時，若樹數(shù)量為t，每棵樹采樣樣本數(shù)為s，則總時間復雜度為________。答案：O(t·s·logs)3.8在協(xié)同過濾中，若用戶物品矩陣為R∈?^{m×n}，采用隱語義模型分解為P∈?^{m×k}與Q∈?^{n×k}，則預測矩陣R?=________。答案：PQ^T3.9在深度CTR模型DeepFM中，F(xiàn)M部分與Deep部分共享的輸入是________。答案：embedding向量3.10使用pandas的merge函數(shù)時，若需保留左表全部記錄，參數(shù)how應設為________。答案：left4.簡答題（共25分）4.1（封閉型，6分）簡述GBDT與隨機森林在偏差方差權衡上的差異。答案：GBDT通過boosting串行降低偏差，每棵樹擬合殘差，模型復雜度高，方差較低；隨機森林通過bagging并行降低方差，每棵樹為強分類器，偏差較高，方差低。因此GBDT更關注降低偏差，隨機森林更關注降低方差。4.2（開放型，9分）某視頻平臺擬構建“下一個視頻推薦”實時召回系統(tǒng)，日活1億，平均每人刷新30次，每次需返回200候選。請給出技術方案，包括特征、模型、線上服務及冷啟動策略，并估算資源。答案：特征：用戶側近200條行為序列（視頻id、時長、完播率）、上下文（時間、網(wǎng)絡、設備）、視頻側（標簽、作者、熱度、freshness）。模型：雙塔DNN，用戶塔輸入行為序列經(jīng)SelfAttention池化后接3層MLP，視頻塔輸入多模態(tài)特征經(jīng)3層MLP，輸出64維embedding，內(nèi)積得分。負采樣采用batch內(nèi)負樣本+隨機負樣本1:5。訓練：TensorFlow2.x，GPUA100×8，分布式參數(shù)服務器，每日增量訓練，學習率0.001，batch=8192，訓練3小時。線上：FaissIVF1024,PQ64索引，內(nèi)存≈200萬視頻×64×4B≈512MB，復制32副本，每臺64GB內(nèi)存可存128副本，需256臺。召回鏈路：用戶請求→Redis取用戶embedding→Faiss檢索→粗排200→精排模型→返回。冷啟動：新用戶采用熱門+地域+人群embedding平均；新視頻采用作者歷史均值+內(nèi)容語義embedding。QPS：1億×30/86400≈35000，單副本Faiss可扛2000QPS，需18副本，遠小于32，冗余充足。4.3（封閉型，5分）給定二分類問題，正負樣本比1:99，若采用邏輯回歸，寫出代價敏感損失函數(shù)并解釋權重設置。答案：L=?∑_{i=1}^N[w_1y_ilogp_i+w_0(1?y_i)log(1?p_i)]設w_1=99，w_0=1，使正樣本權重放大99倍，等價于在損失層面將正樣本復制99次，從而抵消類別不平衡導致的梯度偏置。4.4（開放型，5分）解釋在聯(lián)邦學習場景下，F(xiàn)edAvg算法為何在NonIID數(shù)據(jù)上收斂變慢，并提出兩種改進思路。答案：NonIID導致本地更新方向與全局最優(yōu)方向差異大，局部模型偏離全局，平均后產(chǎn)生“權重漂移”。改進：1)FedProx，在本地目標加入近端項μ‖w?w^t‖2，限制本地更新幅度；2)客戶端層級動量矯正，如FedNova，將本地更新量按樣本數(shù)歸一化后再聚合，消除異質性帶來的尺度差異。5.應用題（共40分）5.1計算類（12分）某電商促銷期間，用戶轉化率從2%提升到5%，日均流量100萬，客單價200元，毛利率20%。若促銷補貼為每單10元，計算單日凈利潤變化，并給出盈虧平衡所需最低轉化率。答案：原利潤：100萬×2%×200×20%=80萬元新利潤：100萬×5%×(200×20%?10)=100萬×5%×30=150萬元凈利潤變化：150?80=+70萬元盈虧平衡：設轉化率為x，100萬×x×(40?10)≥80萬→x≥80/30/100=2.67%5.2分析類（14分）給定用戶會話序列數(shù)據(jù)（已脫敏），字段：user_id,session_id,ts,page,action。要求：1)統(tǒng)計每小時跳出率（僅1次action的會話占比）；2)找出連續(xù)3頁訪問間隔均<30秒的會話；3)輸出Top20%用戶按總會話時長排名的平均跳出率。請寫出完整PySpark腳本并解釋關鍵步驟。答案：```pythonfrompyspark.sqlimportWindowfrompyspark.sql.functionsimportcol,count,lag,unix_timestamp,sumas_sumdf=spark.read.parquet("sessions.parquet")1)每小時跳出率hourly=df.groupBy(df.ts.substr(12,2).alias("hr"),"session_id")\.agg(count("").alias("acts"))\.groupBy("hr")\.agg((count(col("acts")==1)/count("")).alias("bounce_rate"))\.orderBy("hr")hourly.show()2)連續(xù)3頁間隔<30秒w=Window.partitionBy("session_id").orderBy("ts")df2=df.withColumn("prev_ts",lag("ts",1).over(w))\.withColumn("diff",unix_timestamp("ts")unix_timestamp("prev_ts"))\.filter(col("diff")<30)連續(xù)3行滿足w2=Window.partitionBy("session_id").orderBy("ts")df3=df2.withColumn("grp",sum(when(col("diff")<30,1).otherwise(0)).over(w2))valid=df3.groupBy("session_id")\.agg(max("grp").alias("max_grp"))\.filter(col("max_grp")>=3)\.select("session_id").distinct()valid.show()3)Top20%用戶按總會話時長排名的平均跳出率session_dur=df.groupBy("session_id")\.agg((max(unix_timestamp("ts"))min(unix_timestamp("ts"))).alias("dur"))user_dur=session_dur.join(df.select("session_id","user_id").distinct(),"session_id")\.groupBy("user_id")\.agg(_sum("dur").alias("total_dur"))top20=user_dur.orderBy(col("total_dur").desc())\.limit(int(user_dur.count()0.2))\.select("user_id")df_top=df.join(top20,"user_id")bounce_top=df_top.groupBy("session_id").agg(count("").alias("acts"))\.agg((count(col("acts")==1)/count("")).alias("avg_bounce"))bounce_top.show()```5.3綜合類（14分）某城城市出租車GPS數(shù)據(jù)字段：vehicle_id,longitude,lat