(2025年)大數(shù)據(jù)競賽題庫(含答案)一、數(shù)據(jù)清洗與預(yù)處理1.某新能源汽車用戶行為數(shù)據(jù)集包含字段：用戶ID、注冊時間、最近一次充電時間、日均行駛里程（km）、電池健康度（%）。其中“電池健康度”字段缺失率為18%，且缺失數(shù)據(jù)集中出現(xiàn)在車齡超過5年的車輛記錄中。請設(shè)計缺失值處理方案，并說明理由。答案：采用基于車齡分組的中位數(shù)填充法。具體步驟：①按車齡（≤5年、>5年）將數(shù)據(jù)集分為兩組；②分別計算兩組的電池健康度中位數(shù)（≤5年組中位數(shù)92%，>5年組中位數(shù)78%）；③用對應(yīng)組的中位數(shù)填充缺失值。理由：缺失數(shù)據(jù)與車齡強相關(guān)（車齡越長，電池健康度自然越低），分組填充可保留數(shù)據(jù)的真實分布特征，避免全局均值填充導(dǎo)致的偏差。2.某電商平臺訂單數(shù)據(jù)中，“支付金額”字段存在異常值：一條記錄的支付金額為-150元，另一條為99999元（該平臺歷史最大正常支付金額為20000元）。請設(shè)計異常值檢測與處理方案。答案：①檢測方法：使用IQR（四分位距）法，計算支付金額的Q1（25%分位數(shù)）=320元，Q3（75%分位數(shù)）=1800元，IQR=Q3-Q1=1480元，定義下限為Q1-1.5IQR=-1900元，上限為Q3+1.5IQR=3920元。-150元在下限以上（非異常），99999元遠超上限（異常）。②處理方案：-150元可能為退款記錄（需結(jié)合“訂單狀態(tài)”字段驗證，若為“已退款”則保留，否則修正為0或刪除）；99999元為錄入錯誤，若存在相鄰時間同用戶的正常訂單（如20000元），則修正為20000元；若無參考，標(biāo)記為缺失值并后續(xù)用隨機森林模型預(yù)測填充。3.某社交平臺用戶注冊表存在重復(fù)數(shù)據(jù)：用戶A（手機號1381234，姓名“張三”）與用戶B（手機號1381234，姓名“張叁”）被標(biāo)記為重復(fù)。請設(shè)計重復(fù)數(shù)據(jù)識別與去重策略。答案：①識別策略：以“手機號”為主鍵（唯一性最高），結(jié)合“姓名”模糊匹配（編輯距離≤1視為同一人）、“注冊IP”（相同或同運營商）輔助判斷。②去重策略：優(yōu)先保留“最后注冊時間”的記錄（假設(shè)后續(xù)注冊信息更準(zhǔn)確）；若注冊時間相同，保留“實名認(rèn)證狀態(tài)”為已認(rèn)證的記錄；若均未認(rèn)證，合并其他字段（如“興趣標(biāo)簽”取并集）后保留一條。二、SQL與數(shù)據(jù)查詢1.表結(jié)構(gòu)：用戶表（user_id,reg_time）、訂單表（order_id,user_id,order_time,amount）。要求計算2024年每個月的新用戶首單轉(zhuǎn)化率（首單轉(zhuǎn)化率=當(dāng)月新用戶中產(chǎn)生首單的用戶數(shù)/當(dāng)月新用戶總數(shù)）。答案：WITHnew_usersAS(SELECTuser_id,DATE_TRUNC('month',reg_time)ASreg_monthFROMuserWHEREreg_timeBETWEEN'2024-01-01'AND'2024-12-31'),first_ordersAS(SELECTuser_id,MIN(DATE_TRUNC('month',order_time))ASfirst_order_monthFROMorderGROUPBYuser_id)SELECTnu.reg_monthASmonth,COUNT(DISTINCTfo.user_id)ASfirst_order_users,COUNT(DISTINCTnu.user_id)AStotal_new_users,COUNT(DISTINCTfo.user_id)::FLOAT/COUNT(DISTINCTnu.user_id)ASconversion_rateFROMnew_usersnuLEFTJOINfirst_ordersfoONnu.user_id=fo.user_idANDnu.reg_month=fo.first_order_monthGROUPBYnu.reg_monthORDERBYnu.reg_month;2.表結(jié)構(gòu)：商品表（sku_id,category）、銷售表（order_id,sku_id,sale_time,qty）。要求查詢2024年Q3各品類（category）中，銷售額（qty單價，單價存儲在商品表的隱藏字段price）排名前3的商品（需顯示品類、商品ID、銷售額、排名）。答案：WITHsalesAS(SELECTs.sku_id,g.category,SUM(s.qtyg.price)AStotal_salesFROMsalesJOINgoodsgONs.sku_id=g.sku_idWHEREs.sale_timeBETWEEN'2024-07-01'AND'2024-09-30'GROUPBYs.sku_id,g.category),ranked_salesAS(SELECTcategory,sku_id,total_sales,ROW_NUMBER()OVER(PARTITIONBYcategoryORDERBYtotal_salesDESC)ASrnkFROMsales)SELECTcategory,sku_id,total_sales,rnkFROMranked_salesWHERErnk<=3;三、數(shù)據(jù)分析與可視化1.某短視頻平臺用戶行為數(shù)據(jù)顯示，2024年Q2用戶日均使用時長同比增長15%，但月活用戶（MAU）同比下降8%。請分析可能原因，并設(shè)計驗證方案。答案：可能原因：①用戶粘性提升（高活躍用戶使用時長增加），但新用戶增長不足或老用戶流失；②內(nèi)容同質(zhì)化導(dǎo)致部分低活躍用戶退出，但核心用戶更沉浸；③統(tǒng)計口徑變化（如剔除機器人賬號）。驗證方案：①拆分用戶分層（按使用時長分高/中/低活躍），計算各層MAU變化（若高活躍層MAU增長，低活躍層下降，說明粘性提升但覆蓋變窄）；②分析新用戶次日留存率（若下降，說明拉新效率降低）；③對比同時段的內(nèi)容發(fā)布量與互動率（若互動率提升但內(nèi)容多樣性下降，支持同質(zhì)化假設(shè)）。2.某生鮮電商需預(yù)測2025年1月的日訂單量，已有2022-2024年的歷史訂單數(shù)據(jù)（含日期、訂單量、是否為節(jié)假日）。請設(shè)計時間序列預(yù)測方案，說明模型選擇與特征工程步驟。答案：方案步驟：①數(shù)據(jù)預(yù)處理：提取日期特征（年、月、日、周幾、是否節(jié)假日），計算移動平均（7日、30日）作為滯后特征；②模型選擇：優(yōu)先使用LightGBM（處理混合類型特征）或Prophet（內(nèi)置節(jié)假日效應(yīng)）；③特征工程：構(gòu)造滯后項（如前7日、前14日訂單量）、滾動統(tǒng)計（前30日的最大/最小/平均訂單量）、趨勢特征（時間戳的線性/二次項）；④驗證：按時間劃分訓(xùn)練集（2022-2023）、驗證集（2024-01-2024-06）、測試集（2024-07-2024-12），使用MAE和MAPE評估；⑤調(diào)優(yōu)：若存在周季節(jié)性，添加傅里葉項（周期=7，階數(shù)=3）；若節(jié)假日效應(yīng)顯著，單獨編碼（如“春節(jié)前3天”“雙11當(dāng)天”）。四、機器學(xué)習(xí)與模型應(yīng)用1.某銀行需構(gòu)建信用卡欺詐檢測模型，數(shù)據(jù)集正負(fù)樣本比為1:1000（正樣本為欺詐）。請設(shè)計解決方案，包括數(shù)據(jù)層面、模型層面的優(yōu)化策略，并說明評估指標(biāo)選擇理由。答案：①數(shù)據(jù)層面：采用SMOTE過采樣提供正樣本（需控制過采樣比例，避免過擬合）；或欠采樣負(fù)樣本（保留關(guān)鍵負(fù)樣本，如高金額交易）；②特征工程：提取交易時間間隔（與上一筆交易的時間差）、交易地點變化（經(jīng)緯度距離）、歷史欺詐關(guān)聯(lián)特征（同設(shè)備/IP的歷史欺詐率）；③模型層面：使用XGBoost（內(nèi)置樣本權(quán)重參數(shù)scale_pos_weight=1000）或LightGBM（設(shè)置is_unbalance=True），采用集成方法（如隨機森林）降低過擬合；④評估指標(biāo)：選擇F1-score（平衡精確率與召回率）和AUC-ROC（衡量模型區(qū)分能力），避免使用準(zhǔn)確率（因類別不平衡會高估性能）；若業(yè)務(wù)更關(guān)注減少漏檢（欺詐未被識別），重點優(yōu)化召回率。2.基于某電商用戶行為數(shù)據(jù)（點擊、加購、收藏、購買），需構(gòu)建用戶購買意圖預(yù)測模型（目標(biāo)變量：未來7天是否購買）。請設(shè)計特征工程方案，列舉至少8個有效特征，并說明其業(yè)務(wù)意義。答案：特征示例：①近7天點擊次數(shù)（反映興趣強度）；②近30天加購-購買轉(zhuǎn)化率（加購后實際購買的比例，反映決策果斷性）；③末次行為到當(dāng)前時間間隔（間隔越短，意圖越強）；④不同品類的點擊偏好熵（熵越低，偏好越集中，購買概率越高）；⑤平均停留時長（頁面停留時間越長，興趣越濃厚）；⑥收藏-加購比例（收藏但未加購，可能猶豫）；⑦歷史購買周期（如用戶每15天購買一次，當(dāng)前處于周期內(nèi)則概率高）；⑧活動參與次數(shù)（如領(lǐng)取優(yōu)惠券數(shù)量，反映對促銷的敏感度）。五、分布式計算與大數(shù)據(jù)技術(shù)1.利用Spark處理100GB的日志數(shù)據(jù)（格式：時間戳、用戶ID、URL、狀態(tài)碼），需統(tǒng)計2024年每個小時內(nèi)，各URL的成功訪問次數(shù)（狀態(tài)碼200）。請寫出核心Spark代碼（使用Scala），并說明如何優(yōu)化計算性能。答案：核心代碼：vallogData=spark.read.textFile("hdfs://path/to/logs").filter(line=>line.contains("2024"))//過濾非2024年數(shù)據(jù)valhourlyUrlCounts=logData.map{line=>valparts=line.split("")valtimestamp=parts(0)//假設(shè)時間戳格式為"2024-01-0112:34:56"valhour=timestamp.substring(0,13)//提取到小時（如"2024-01-0112"）valurl=parts(2)valstatus=parts(3).toInt(hour,url,status)}.filter{case(_,_,status)=>status==200}.map{case(hour,url,_)=>((hour,url),1)}.reduceByKey(_+_).map{case((hour,url),count)=>(hour,url,count)}hourlyUrlCounts.write.csv("hdfs://path/to/result")性能優(yōu)化：①增加分區(qū)數(shù)（通過repartition或coalesce），匹配集群CPU核心數(shù)；②使用廣播變量緩存常用URL白名單（減少shuffle數(shù)據(jù)量）；③將textFile改為使用Parquet等列式存儲（提高讀取效率）；④啟用壓縮（如Snappy）減少磁盤IO。2.某企業(yè)需用HadoopMapReduce統(tǒng)計用戶行為數(shù)據(jù)中的“連續(xù)活躍天數(shù)”（用戶連續(xù)登錄的最大天數(shù)）。請設(shè)計Mapper和Reducer邏輯，寫出關(guān)鍵步驟。答案：①Mapper階段：輸入（user_id,login_date），輸出鍵為user_id，值為login_date（排序后）。例如，輸入（A,2024-01-01）、（A,2024-01-02），Mapper輸出（A,2024-01-01）、（A,2024-01-02）。②Shuffle階段：按user_id分組，將同一用戶的所有日期排序（如[2024-01-01,2024-01-02,2024-01-0