2025年(工科)大數(shù)據(jù)技術(shù)(數(shù)據(jù)分析方向)試題及答案1.單項(xiàng)選擇題（每題2分，共20分）1.1在HDFS中，NameNode的主要職責(zé)是A.存儲(chǔ)實(shí)際數(shù)據(jù)塊B.維護(hù)文件與數(shù)據(jù)塊的映射關(guān)系C.執(zhí)行Map任務(wù)D.執(zhí)行Reduce任務(wù)答案：B1.2下列Python語(yǔ)句執(zhí)行后，df.groupby('city')['sales'].agg(['sum','mean']).shape的第二個(gè)維度是A.1B.2C.3D.4答案：B1.3在SparkSQL中，以下操作不會(huì)觸發(fā)寬依賴的是A.groupByKeyB.reduceByKeyC.mapD.distinct答案：C1.4若隨機(jī)變量X服從參數(shù)λ=3的泊松分布，則P(X=0)等于A.e^(3)B.3e^(3)C.9e^(3)/2D.1e^(3)答案：A1.5在Kmeans算法中，若初始中心點(diǎn)選擇不當(dāng)，最可能導(dǎo)致的后果是A.收斂速度變慢B.聚類結(jié)果陷入局部最優(yōu)C.內(nèi)存溢出D.維度災(zāi)難答案：B1.6下列關(guān)于Flink窗口機(jī)制的描述正確的是A.滾動(dòng)窗口允許元素重復(fù)出現(xiàn)在不同窗口B.滑動(dòng)窗口長(zhǎng)度必須等于滑動(dòng)步長(zhǎng)C.會(huì)話窗口根據(jù)間隙時(shí)間動(dòng)態(tài)合并D.計(jì)數(shù)窗口只能基于處理時(shí)間答案：C1.7在MySQL中，建立列式存儲(chǔ)引擎Table以支持高效分析查詢，應(yīng)選用A.InnoDBB.MyISAMC.MEMORYD.ColumnStore答案：D1.8若邏輯回歸模型使用L2正則，當(dāng)正則系數(shù)C→0時(shí)，模型權(quán)重將A.趨近于0B.趨近于無(wú)窮大C.不變D.先增后減答案：A1.9在Kafka中，保證消息全局有序需A.單分區(qū)+單消費(fèi)者B.多分區(qū)+多消費(fèi)者C.開(kāi)啟冪等生產(chǎn)D.開(kāi)啟事務(wù)消息答案：A1.10下列評(píng)價(jià)指標(biāo)對(duì)類別不平衡最不敏感的是A.AccuracyB.F1scoreC.AUCROCD.Precision答案：C2.多項(xiàng)選擇題（每題3分，共15分；多選少選均不得分）2.1下列屬于Hadoop生態(tài)組件且可直接提供SQL接口的有A.HiveB.PigC.ImpalaD.HBaseE.Drill答案：ACE2.2在Pythonpandas中，能用于檢測(cè)缺失值的函數(shù)包括A.isnaB.isnullC.notnaD.dropnaE.fillna答案：ABC2.3關(guān)于PCA降維，正確的有A.主成分方向由協(xié)方差矩陣特征向量決定B.各主成分之間線性無(wú)關(guān)C.保留方差最大方向D.必須標(biāo)準(zhǔn)化原始變量E.可用于非線性流形降維答案：ABCD2.4以下屬于時(shí)間序列平穩(wěn)性檢驗(yàn)方法的有A.ADFB.KPSSC.LjungBoxD.JarqueBeraE.PP答案：ABE2.5在TensorFlow2.x中，可用來(lái)實(shí)現(xiàn)模型訓(xùn)練早停的策略有A.EarlyStoppingcallbackB.ReduceLROnPlateauC.ModelCheckpointD.TensorBoardE.CSVLogger答案：AB3.填空題（每空2分，共20分）3.1在Spark中，RDD的________操作會(huì)觸發(fā)實(shí)際計(jì)算，而________操作僅記錄轉(zhuǎn)換關(guān)系。答案：行動(dòng)，轉(zhuǎn)換3.2若某電商訂單表order(order_id,user_id,amount,order_time)需按用戶最近30天消費(fèi)總額進(jìn)行統(tǒng)計(jì)，SQL中過(guò)濾條件應(yīng)寫作order_time>=date_sub(current_date,________)。答案：303.3在Pythonsklearn中，使用________函數(shù)可對(duì)數(shù)值特征做MinMax歸一化，使得結(jié)果落在區(qū)間________內(nèi)。答案：MinMaxScaler，[0,1]3.4若隨機(jī)森林模型中基樹(shù)數(shù)量為n，每棵樹(shù)采用平方誤差，則回歸預(yù)測(cè)的最終輸出為所有基樹(shù)預(yù)測(cè)的________。答案：平均值3.5在Hive中，開(kāi)啟________屬性可使查詢結(jié)果顯示列名，提升可讀性。答案：hive.cli.print.header3.6若某分類模型在測(cè)試集上TP=80，F(xiàn)P=20，TN=90，F(xiàn)N=10，則其精確率P=________，召回率R=________。答案：0.8，0.88893.7在Kafka2.8之后，若需棄用Zookeeper，應(yīng)啟用________模式。答案：KRaft3.8在FlinkTableAPI中，將流表注冊(cè)為臨時(shí)視圖使用的語(yǔ)句為tableEnv.createTemporaryView("view_name",________)。答案：table4.簡(jiǎn)答題（共25分）4.1（封閉型，5分）簡(jiǎn)述數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖在數(shù)據(jù)模式、存儲(chǔ)格式及典型使用場(chǎng)景上的三點(diǎn)差異。答案：1.數(shù)據(jù)模式：數(shù)據(jù)倉(cāng)庫(kù)采用寫時(shí)模式（SchemaonWrite），數(shù)據(jù)湖采用讀時(shí)模式（SchemaonRead）。2.存儲(chǔ)格式：數(shù)據(jù)倉(cāng)庫(kù)以結(jié)構(gòu)化、列式存儲(chǔ)為主（如ORC、Parquet），數(shù)據(jù)湖可保存原始格式（如JSON、CSV、圖像、視頻）。3.使用場(chǎng)景：數(shù)據(jù)倉(cāng)庫(kù)面向BI報(bào)表、固定分析；數(shù)據(jù)湖面向探索式分析、機(jī)器學(xué)習(xí)、實(shí)時(shí)計(jì)算。4.2（開(kāi)放型，5分）某互聯(lián)網(wǎng)APP日活1000萬(wàn)，平均每人產(chǎn)生200條日志，每條日志約0.5KB。請(qǐng)估算原始日志每日存儲(chǔ)量（GB），并給出采用Parquet+Snappy壓縮后的預(yù)期壓縮比及最終存儲(chǔ)量。答案：原始量=1×10^7×200×0.5KB=1×10^9KB≈976562MB≈953.7GB。Parquet+Snappy對(duì)日志類數(shù)據(jù)常見(jiàn)壓縮比5:1～8:1，取6:1，則壓縮后≈953.7/6≈159GB。4.3（封閉型，5分）寫出在SparkDataFrame中完成“缺失值用中位數(shù)填充+標(biāo)準(zhǔn)化”的完整Python代碼片段，假設(shè)列名為"score"。答案：frompyspark.ml.featureimportImputer,StandardScalerfrompyspark.mlimportPipelineimputer=Imputer(inputCols=["score"],outputCols=["score_imp"],strategy="median")scaler=StandardScaler(inputCol="score_imp",outputCol="score_scaled",withMean=True,withStd=True)pipeline=Pipeline(stages=[imputer,scaler])model=pipeline.fit(df)df_clean=model.transform(df)4.4（開(kāi)放型，5分）說(shuō)明在A/B測(cè)試中，為何不能僅比較兩組均值差異，還需計(jì)算p值或置信區(qū)間，并指出若樣本量極大時(shí)可能出現(xiàn)的問(wèn)題。答案：僅比較均值無(wú)法量化隨機(jī)波動(dòng)帶來(lái)的不確定性；p值或置信區(qū)間可判斷差異是否統(tǒng)計(jì)顯著。樣本量極大時(shí)，即使微小差異也會(huì)獲得極低p值，導(dǎo)致“統(tǒng)計(jì)顯著但實(shí)際無(wú)業(yè)務(wù)價(jià)值”的誤判，需結(jié)合效應(yīng)量與業(yè)務(wù)閾值綜合評(píng)估。4.5（封閉型，5分）列舉Flink實(shí)現(xiàn)端到端exactlyonce語(yǔ)義所需的三要素，并簡(jiǎn)要解釋。答案：1.可重放的數(shù)據(jù)源：如Kafka，支持按offset重新消費(fèi)。2.狀態(tài)一致性快照：通過(guò)分布式快照（checkpoint）保存算子狀態(tài)。3.冪等或兩階段提交的外部Sink：確保故障恢復(fù)時(shí)不會(huì)重復(fù)寫入。5.應(yīng)用題（共60分）5.1計(jì)算類（15分）某零售連鎖提供2024年1月每日銷售額數(shù)據(jù)（單位：萬(wàn)元）如下：[280,300,310,290,320,330,340,350,360,370,380,390,400,410,420,430,440,450,460,470,480,490,500,510,520,530,540,550,560,570,580]（1）采用3日移動(dòng)平均法預(yù)測(cè)第4日銷售額，并給出平均絕對(duì)誤差MAE（保留兩位小數(shù)）。（2）若使用指數(shù)平滑法，α=0.3，初始值S1=280，求第5日預(yù)測(cè)值。（3）比較兩種方法在第2～31日預(yù)測(cè)上的MAE，指出哪種更優(yōu)并解釋原因。答案：（1）第4日預(yù)測(cè)=(280+300+310)/3=296.67，實(shí)際290，誤差=6.67；同理計(jì)算2～31日全部預(yù)測(cè)，得MAE=18.92萬(wàn)元。（2）S2=0.3300+0.7280=286；S3=0.3310+0.7286=293.2；S4=0.3290+0.7293.2=292.24；第5日預(yù)測(cè)=S4=292.24萬(wàn)元。（3）指數(shù)平滑MAE=17.35萬(wàn)元，小于移動(dòng)平均，故指數(shù)平滑更優(yōu)；原因：數(shù)據(jù)呈單調(diào)上升趨勢(shì)，指數(shù)平滑給予近期數(shù)據(jù)更高權(quán)重，能更快跟蹤趨勢(shì)。5.2分析類（15分）給定用戶行為表behavior(uid,item_id,category,behavior_type,ts)，其中behavior_type包含pv、buy、cart、fav。請(qǐng)用SQL完成：（1）計(jì)算20240501當(dāng)日各品類轉(zhuǎn)化率（buy/pv）。（2）找出轉(zhuǎn)化率排名前三的品類，并輸出其carttobuy率（buy/cart）。（3）指出上述結(jié)果在業(yè)務(wù)上的兩點(diǎn)可解釋現(xiàn)象，并提出一條改進(jìn)建議。答案：（1）SELECTcategory,SUM(CASEWHENbehavior_type='buy'THEN1ELSE0END)/NULLIF(SUM(CASEWHENbehavior_type='pv'THEN1ELSE0END),0)ASbuy_rateFROMbehaviorWHEREDATE(ts)='20240501'GROUPBYcategory;（2）WITHtAS(SELECTcategory,SUM(CASEWHENbehavior_type='buy'THEN1ELSE0END)1.0/NULLIF(SUM(CASEWHENbehavior_type='pv'THEN1ELSE0END),0)ASbuy_rate,SUM(CASEWHENbehavior_type='buy'THEN1ELSE0END)1.0/NULLIF(SUM(CASEWHENbehavior_type='cart'THEN1ELSE0END),0)AScart_buy_rateFROMbehaviorWHEREDATE(ts)='20240501'GROUPBYcategory)SELECTcategory,buy_rate,cart_buy_rateFROMtORDERBYbuy_rateDESCLIMIT3;（3）現(xiàn)象：a.高轉(zhuǎn)化品類通常cart_buy率也高，說(shuō)明用戶決策路徑短；b.個(gè)別品類pv高但轉(zhuǎn)化低，可能存在價(jià)格或體驗(yàn)壁壘。建議：對(duì)低轉(zhuǎn)化品類推出限時(shí)滿減，縮短決策鏈路，并優(yōu)化詳情頁(yè)加載速度。5.3綜合類（30分）某市地鐵閘機(jī)每分鐘記錄一次乘客OD數(shù)據(jù)表trip(card_id,enter_station,exit_station,enter_time,exit_time)。數(shù)據(jù)量日均5億條，保存兩年。要求：1.構(gòu)建離線+實(shí)時(shí)數(shù)倉(cāng)，給出分層模型（ODS、DWD、DWS、ADS）各層表設(shè)計(jì)、分區(qū)策略、存儲(chǔ)格式與壓縮方式。2.設(shè)計(jì)實(shí)時(shí)計(jì)算鏈路，統(tǒng)計(jì)過(guò)去5分鐘各站點(diǎn)出站客流，延遲<30秒，寫出Flink主流程偽代碼。3.建立預(yù)測(cè)模型，預(yù)測(cè)未來(lái)1小時(shí)各站點(diǎn)進(jìn)站客流，給出特征工程、算法選擇、評(píng)估指標(biāo)及潛在難點(diǎn)。4.若需支持“一鍵查詢?nèi)我釵D對(duì)在2024年任一小時(shí)客流量”，請(qǐng)給出ADS表核心字段、索引設(shè)計(jì)與預(yù)計(jì)存儲(chǔ)量估算。答案：1.分層設(shè)計(jì)：ODS：trip_raw（保持原始字段），按天分區(qū)，存儲(chǔ)為Parquet+Snappy，壓縮后約1.2TB/日。DWD：trip_clean（脫敏、字段標(biāo)準(zhǔn)化），增加station維表外鍵，仍按天分區(qū)，Parquet+Snappy。DWS：a.station_outflow_5min(station,window_start,window_end,outflow_cnt)，按小時(shí)分區(qū)+桶排序station，ORC+Zlib，壓縮比8:1。b.station_inflow_5min同理。ADS：a.od_hourly(enter_station,exit_station,year,month,day,hour,passenger_cnt)，主鍵(enter_station,exit_station,hour)，分區(qū)(year,month)，Parquet+Snappy，預(yù)聚合后約30GB/年。2.Flink偽代碼：env.setParallelism(512)tEnv.executeSql("""CREATETABLEsrc(card_idSTRING,exit_stationSTRING,exit_timeTIMESTAMP(3),WATERMARKFORexit_timeASexit_timeINTERVAL'5'SECOND)WITH('connector'='kafka','topic'='trip_realtime','properties.bootstrap.servers'='kafka:9092','format'='json')""")tEnv.executeSql("""CREATETABLEsink(stationSTRING,window_startTIMESTAMP(3),window_endTIMESTAMP(3),outflowBIGINT,PRIMARYKEY(station,window_start)NOTENFORCED)WITH('connector'='jdbc','url'='jdbc:mysql://mysql:3306/realtime','tablename'='station_outflow_5min','driver'='com.mysql.c