(2025年)大數(shù)據(jù)競賽簡單試題及答案一、單項選擇題（每題2分，共20分）1.以下哪項不屬于大數(shù)據(jù)清洗的常見操作？A.填充缺失值的均值B.對類別型變量進行獨熱編碼C.檢測并刪除超過3倍標準差的異常值D.合并重復記錄2.在Hadoop生態(tài)中，負責資源管理和任務調度的組件是？A.HDFSB.MapReduceC.YARND.HBase3.某電商平臺用戶行為日志數(shù)據(jù)量為500GB，存儲格式為CSV，若需優(yōu)化存儲效率并支持快速查詢，最合理的轉換方案是？A.轉換為JSON格式，按用戶ID分桶存儲B.轉換為Parquet列式存儲，按日期分區(qū)C.保持CSV格式，按商品類別分目錄存儲D.轉換為文本文件，按小時時間戳分片4.SQL語句中，若要計算每個用戶近30天的消費總額（包含當天），且用戶可能存在多天無消費的情況，應優(yōu)先使用以下哪種窗口函數(shù)？A.ROW_NUMBER()B.RANK()C.SUM()OVER(PARTITIONBYuser_idORDERBYdateROWSBETWEEN29PRECEDINGANDCURRENTROW)D.AVG()OVER(PARTITIONBYuser_idORDERBYdateRANGEBETWEENINTERVAL'30'DAYPRECEDINGANDCURRENTROW)5.以下哪種場景最適合使用SparkStreaming處理？A.歷史用戶行為數(shù)據(jù)的月度匯總報表B.實時監(jiān)控某城市共享單車的位置變化（每秒10萬條數(shù)據(jù)）C.批量處理去年全年的銷售發(fā)票數(shù)據(jù)D.離線訓練用戶購買意愿的機器學習模型6.某數(shù)據(jù)集包含“用戶ID”“登錄時間”“退出時間”字段，若需計算用戶單次會話的平均時長，正確的處理步驟是？A.按用戶ID分組，直接計算退出時間與登錄時間的差值的平均值B.先過濾掉登錄時間晚于退出時間的異常記錄，再計算差值的平均值C.將登錄時間和退出時間轉換為時間戳，按用戶ID排序后計算差值，最后取平均D.對登錄時間和退出時間進行歸一化處理，再計算差值的平均值7.關于分布式文件系統(tǒng)（如HDFS）的特點，以下描述錯誤的是？A.數(shù)據(jù)存儲在多臺機器上，具備高容錯性B.適合存儲大量小文件（如單個文件小于1MB）C.支持流式數(shù)據(jù)訪問，一次寫入多次讀取D.通過副本機制保證數(shù)據(jù)可靠性8.在機器學習中，若訓練集的準確率為95%，測試集的準確率為60%，最可能的原因是？A.模型欠擬合B.模型過擬合C.數(shù)據(jù)存在嚴重類別不平衡D.特征工程遺漏關鍵變量9.某數(shù)據(jù)集包含“溫度”（連續(xù)型）和“設備狀態(tài)”（正常/故障，二分類）字段，若需分析溫度對設備狀態(tài)的影響，應優(yōu)先選擇以下哪種方法？A.計算溫度與設備狀態(tài)的皮爾遜相關系數(shù)B.繪制溫度的箱線圖，對比正常與故障狀態(tài)的分布差異C.對溫度進行分箱處理，統(tǒng)計每個箱內的故障占比D.使用主成分分析（PCA）降維后可視化10.以下哪項不屬于數(shù)據(jù)可視化的核心原則？A.準確傳達數(shù)據(jù)信息B.盡可能使用3D效果提升美觀度C.保持圖表的簡潔性D.明確圖表的目標受眾二、編程題（每題25分，共50分）11.Python數(shù)據(jù)處理（使用Pandas）給定一個CSV文件“user_behavior.csv”，包含以下字段：-user_id（用戶ID，整數(shù)）-event_time（事件時間，格式為“2025-03-1514:30:00”）-event_type（事件類型，字符串，取值為“view”“cart”“purchase”）-product_id（商品ID，整數(shù)）要求：（1）讀取文件，將event_time列轉換為datetime類型；（2）過濾掉event_time早于2025年3月1日或晚于2025年3月31日的數(shù)據(jù)；（3）統(tǒng)計3月內每個用戶的“purchase”事件次數(shù)，輸出前10名用戶（按次數(shù)降序排列）；（4）計算3月內每日的“purchase”事件總數(shù)，提供一個包含“日期”和“購買次數(shù)”的DataFrame。12.SQL查詢（基于Hive或MySQL）某電商數(shù)據(jù)庫有兩張表：-orders（訂單表）：order_id（訂單ID）、user_id（用戶ID）、order_time（下單時間，日期類型）、total_amount（訂單總金額，數(shù)值型）-users（用戶表）：user_id（用戶ID）、register_time（注冊時間，日期類型）、city（城市，字符串）要求：（1）查詢2025年第一季度（1-3月）每個城市的總訂單金額，以及該城市的用戶注冊數(shù)量（注冊時間在2025年1月1日前的用戶）；（2）計算每個用戶的“首單時間”（即該用戶最早的order_time），并關聯(lián)用戶的注冊時間，輸出user_id、注冊時間、首單時間、首單時間與注冊時間的時間差（單位：天）。三、分析題（30分）13.某智能家電企業(yè)用戶行為分析企業(yè)擁有2025年1-6月的用戶行為數(shù)據(jù)，包含以下字段：-user_id（用戶ID）-login_date（登錄日期，日期類型）-device_type（設備類型，如“智能空調”“智能冰箱”）-action（操作行為，如“查看狀態(tài)”“調節(jié)溫度”“故障報修”）-duration（操作時長，單位：秒）業(yè)務需求：（1）識別6月的活躍用戶（定義為6月至少登錄3天的用戶），并分析這些用戶的設備使用偏好（如最常操作的設備類型和行為）；（2）計算1-6月用戶的月留存率（例如，1月注冊用戶在2月、3月…6月的留存情況）；（3）提出一個可落地的業(yè)務優(yōu)化建議（需基于數(shù)據(jù)支持）。答案一、單項選擇題1.B（獨熱編碼屬于特征工程，非數(shù)據(jù)清洗）2.C（YARN負責資源管理和任務調度）3.B（Parquet列式存儲壓縮率高，按日期分區(qū)便于時間范圍查詢）4.C（ROWSBETWEEN明確前29行，適合處理連續(xù)日期無缺失的場景）5.B（SparkStreaming適合實時流數(shù)據(jù)處理）6.B（需先過濾異常記錄，避免負時長干擾結果）7.B（HDFS不適合大量小文件，會占用NameNode內存）8.B（訓練集準確率高、測試集低，典型過擬合）9.B（箱線圖可直觀對比不同類別下連續(xù)變量的分布差異）10.B（3D效果可能扭曲數(shù)據(jù)，非核心原則）二、編程題11.Python數(shù)據(jù)處理答案```pythonimportpandasaspd（1）讀取文件并轉換時間格式df=pd.read_csv('user_behavior.csv')df['event_time']=pd.to_datetime(df['event_time'])（2）過濾時間范圍start_date=pd.to_datetime('2025-03-01')end_date=pd.to_datetime('2025-03-31')filtered_df=df[(df['event_time']>=start_date)&(df['event_time']<=end_date)]（3）統(tǒng)計用戶purchase次數(shù)并取前10purchase_df=filtered_df[filtered_df['event_type']=='purchase']user_purchase=purchase_df.groupby('user_id')['event_type'].count().reset_index()user_purchase.columns=['user_id','purchase_count']top10_users=user_purchase.sort_values('purchase_count',ascending=False).head(10)（4）每日購買次數(shù)統(tǒng)計purchase_df['date']=purchase_df['event_time'].dt.datedaily_purchase=purchase_df.groupby('date')['event_type'].count().reset_index()daily_purchase.columns=['日期','購買次數(shù)']輸出結果（實際競賽中需打印或返回）print("前10名購買用戶：")print(top10_users)print("\n每日購買次數(shù)：")print(daily_purchase)```12.SQL查詢答案（1）城市總訂單金額與注冊用戶數(shù)查詢：```sqlSELECTu.city,SUM(o.total_amount)AStotal_order_amount,COUNT(DISTINCTCASEWHENu.register_time<'2025-01-01'THENu.user_idEND)ASregistered_usersFROMordersoLEFTJOINusersuONo.user_id=u.user_idWHEREo.order_timeBETWEEN'2025-01-01'AND'2025-03-31'GROUPBYu.city;```（2）用戶首單時間與注冊時間差計算：```sqlWITHfirst_orderAS(SELECTuser_id,MIN(order_time)ASfirst_order_timeFROMordersGROUPBYuser_id)SELECTf.user_id,u.register_time,f.first_order_time,DATEDIFF(f.first_order_time,u.register_time)ASdays_betweenFROMfirst_orderfJOINusersuONf.user_id=u.user_id;```三、分析題答案（1）6月活躍用戶識別與偏好分析步驟：-篩選6月登錄記錄，按user_id分組統(tǒng)計登錄天數(shù)，篩選登錄天數(shù)≥3的用戶；-對活躍用戶的device_type和action字段進行分組計數(shù)，取頻次最高的設備類型和操作行為。結論示例：6月活躍用戶共12,345人，其中78%的操作集中在“智能空調”，最常進行的行為是“調節(jié)溫度”（占比62%）。（2）月留存率計算步驟：-定義“注冊用戶”為首次登錄時間所在月（如1月注冊用戶為首次登錄在1月的用戶）；-對每個注冊月（1-6月），計算后續(xù)各月仍有登錄的用戶數(shù)與注冊用戶數(shù)的比值。公式：留存率（注冊月m，留存月n）=（注冊月m且在月n登錄的用戶數(shù)）/