2025年數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)能力測評試題及答案一、單項選擇題（每題2分，共30分）1.在Hadoop生態(tài)中，負責(zé)資源調(diào)度與任務(wù)管理的組件是A.HDFS??B.YARN??C.MapReduce??D.Hive答案：B解析：YARN（YetAnotherResourceNegotiator）是Hadoop2.x引入的資源管理系統(tǒng)，負責(zé)集群資源調(diào)度與任務(wù)生命周期管理。2.某電商日志文件大小為120GB，采用128MB的HDFS塊大小存儲，理論上需要占用多少個塊（含副本因子3）A.960??B.2880??C.960×3??D.128×3答案：B解析：120GB=120×1024MB，塊數(shù)=120×1024/128=960；副本因子3，故總塊數(shù)=960×3=2880。3.在SparkSQL中，下列操作會觸發(fā)寬依賴的是A.map??B.filter??C.reduceByKey??D.collect答案：C解析：reduceByKey需要按key重新分區(qū)，導(dǎo)致shuffle，屬于寬依賴；map、filter為窄依賴；collect為行動算子，不區(qū)分依賴類型。4.使用Python進行特征縮放時，下列哪種方法對異常值最穩(wěn)健A.StandardScaler??B.MinMaxScaler??C.RobustScaler??D.Normalizer答案：C解析：RobustScaler基于中位數(shù)與IQR，不受極端異常值影響。5.在Kafka中，保證同一分區(qū)消息全局有序的最佳實踐是A.增加分區(qū)數(shù)??B.使用自定義分區(qū)器隨機打散??C.單分區(qū)+單消費者組內(nèi)單線程??D.啟用冪等生產(chǎn)者答案：C解析：單分區(qū)天然有序；單線程消費避免并發(fā)重排。6.某時序數(shù)據(jù)采用Prophet模型預(yù)測，若節(jié)假日效應(yīng)在組件中被設(shè)置為multiplicative，則節(jié)假日效應(yīng)與趨勢的關(guān)系為A.相加??B.相乘??C.對數(shù)相加??D.無影響答案：B解析：multiplicative模式下，節(jié)假日效應(yīng)以乘法方式作用于趨勢。7.在Flink中，下列窗口類型屬于“全局窗口”的是A.TumblingWindow??B.SlidingWindow??C.SessionWindow??D.GlobalWindow答案：D解析：GlobalWindow需自定義觸發(fā)器，否則永不觸發(fā)計算。8.使用XGBoost時，為了控制過擬合，應(yīng)優(yōu)先調(diào)節(jié)的超參是A.n_estimators??B.learning_rate??C.max_depth??D.subsample答案：C解析：max_depth直接控制單棵樹復(fù)雜度，對過擬合影響最顯著。9.在Hive中，執(zhí)行語句`SELECTexplode(array(1,2,3))ASval;`的返回行數(shù)為A.0??B.1??C.3??D.報錯答案：C解析：explode將數(shù)組拆成多行，返回3行。10.在PostgreSQL中，對JSONB字段創(chuàng)建GIN索引的主要目的是A.加速精確匹配??B.加速全文檢索??C.加速鍵存在性與路徑查詢??D.壓縮存儲答案：C解析：GIN索引支持jsonb_ops，優(yōu)化@>、?等操作符。11.在深度學(xué)習(xí)中，BatchNormalization放在激活函數(shù)之前或之后均可，但原論文推薦的位置是A.激活之后??B.激活之前??C.線性層之前??D.無要求答案：B解析：原論文指出BN應(yīng)置于Wx+b之后、激活之前，使分布更穩(wěn)定。12.使用Scikit-learn的GridSearchCV時，參數(shù)`cv=5`表示A.5折分層交叉驗證??B.5次隨機劃分??C.5次留一法??D.5次bootstrap答案：A解析：cv=5默認StratifiedKFold，分層采樣。13.在AWSS3中，以下請求最能利用S3TransferAcceleration的是A.同區(qū)域EC2上傳大文件??B.跨境低帶寬客戶端上傳大文件??C.下載冷歸檔對象??D.使用VPCEndpoint答案：B解析：TransferAcceleration利用CloudFront邊緣網(wǎng)絡(luò)，優(yōu)化跨境上傳。14.在Python內(nèi)存分析中，使用`tracemalloc.take_snapshot()`得到的快照對象可直接調(diào)用哪個方法查看前10大內(nèi)存塊A.top_stats??B.statistics??C.compare_to??D.dump答案：B解析：snapshot.statistics('lineno')可排序輸出內(nèi)存占用。15.在Gartner2024年數(shù)據(jù)治理成熟度模型中，最高級“自適應(yīng)級”的核心特征為A.元數(shù)據(jù)集中存儲??B.數(shù)據(jù)質(zhì)量人工審核??C.AI驅(qū)動的自修復(fù)策略??D.主數(shù)據(jù)孤島答案：C解析：自適應(yīng)級通過AI自動發(fā)現(xiàn)與修復(fù)數(shù)據(jù)問題。二、多項選擇題（每題3分，共30分，多選少選均不得分）16.關(guān)于HDFS寫入流程，下列說法正確的是A.客戶端先向NameNode申請block??B.數(shù)據(jù)流先寫入第一個DataNode再管道轉(zhuǎn)發(fā)??C.默認副本策略為同機架兩副本、異機架一副本??D.寫入完成需等待所有副本ACK??E.支持客戶端緩存數(shù)據(jù)到本地磁盤再上傳答案：ABCD解析：E錯誤，HDFS客戶端流式寫入，不緩存本地磁盤。17.在Spark3.x中，自適應(yīng)查詢執(zhí)行（AQE）可動態(tài)優(yōu)化A.Join策略??B.Reducer數(shù)量??C.分區(qū)傾斜處理??D.列式存儲格式??E.廣播閾值答案：ABCE解析：D為靜態(tài)存儲格式，不可動態(tài)改變。18.以下屬于列式存儲格式的有A.ORC??B.Parquet??C.Avro??D.Arrow??E.JSON答案：ABD解析：Avro為行式；JSON為文本。19.在Python中，使用pandas處理超過內(nèi)存的數(shù)據(jù)集，可采用的策略有A.分塊讀取chunksize??B.使用dask.dataframe??C.轉(zhuǎn)換為PySparkDataFrame??D.使用vaex??E.直接調(diào)用pd.read_csv(engine='c')答案：ABCD解析：E無法解決內(nèi)存不足。20.關(guān)于Kafka的exactly-once語義，以下必要條件包括A.啟用冪等生產(chǎn)者??B.事務(wù)API??C.消費者開啟isolation.level=read_committed??D.單分區(qū)??E.消費者手動commitSync答案：ABC解析：D非必須；E可為自動提交。21.在深度學(xué)習(xí)中，以下技術(shù)可用于緩解過擬合A.Dropout??B.L2正則??C.EarlyStopping??D.BatchNormalization??E.增加網(wǎng)絡(luò)深度答案：ABCD解析：E可能加劇過擬合。22.關(guān)于數(shù)據(jù)湖與數(shù)據(jù)倉庫，下列說法正確的是A.數(shù)據(jù)湖支持schema-on-read??B.數(shù)據(jù)倉庫通常采用星型模型??C.數(shù)據(jù)湖適合存儲原始日志??D.數(shù)據(jù)倉庫不支持半結(jié)構(gòu)化數(shù)據(jù)??E.數(shù)據(jù)湖查詢性能一定優(yōu)于數(shù)據(jù)倉庫答案：ABC解析：D錯誤，現(xiàn)代數(shù)倉支持JSON等；E錯誤，湖查詢性能通常低于優(yōu)化后的倉。23.在PostgreSQL中，使用窗口函數(shù)計算移動平均，可結(jié)合A.ROWSBETWEEN??B.RANGEBETWEEN??C.GROUPBY??D.ORDERBY??E.PARTITIONBY答案：ABDE解析：C與窗口函數(shù)互斥。24.以下屬于NoSQL數(shù)據(jù)庫CAP定理中“CP”系統(tǒng)的有A.MongoDB（強一致性）??B.HBase??C.Cassandra（可調(diào)一致性）??D.ZooKeeper??E.RedisCluster（哨兵模式）答案：BD解析：A默認最終一致；C可犧牲一致性；E側(cè)重可用。25.在機器學(xué)習(xí)特征選擇中，基于模型的方法包括A.L1正則邏輯回歸??B.RandomForestfeature_importances_??C.遞歸特征消除RFE??D.方差閾值??E.卡方檢驗答案：ABC解析：D、E為過濾法。三、判斷題（每題1分，共10分，正確寫“T”，錯誤寫“F”）26.在Spark中，RDD的lineage信息在checkpoint后被清空。答案：T解析：checkpoint將RDD物化到可靠存儲，切斷l(xiāng)ineage。27.HBase的RowKey設(shè)計應(yīng)避免熱點，可采用哈希前綴+時間戳倒序。答案：T解析：哈希打散，倒序避免最新數(shù)據(jù)集中寫入單一region。28.使用Python的multiprocessing.Pool時，子進程可共享全局變量無需加鎖。答案：F解析：子進程擁有獨立內(nèi)存空間，需使用Manager或共享內(nèi)存。29.在TensorFlow2.x中，tf.function裝飾的函數(shù)第一次執(zhí)行時會生成一張計算圖，后續(xù)調(diào)用直接復(fù)用。答案：T解析：圖執(zhí)行模式優(yōu)勢。30.數(shù)據(jù)治理僅關(guān)注數(shù)據(jù)質(zhì)量，與合規(guī)無關(guān)。答案：F解析：合規(guī)是核心維度。31.Kafka的consumergroup再均衡期間，所有消費者暫停拉取消息。答案：T解析：rebalancebarrier機制。32.在深度卷積網(wǎng)絡(luò)中，使用1×1卷積只能改變通道數(shù)，不能改變特征圖寬高。答案：T解析：1×1卷積無空間聚合。33.使用Scikit-learn的train_test_split時，設(shè)置stratify參數(shù)可保證分類任務(wù)訓(xùn)練集與測試集類別比例一致。答案：T解析：分層采樣。34.在Hive中，使用ORC格式并啟用bloomfilter可加速like'%abc'查詢。答案：F解析：bloomfilter僅支持等值查詢。35.數(shù)據(jù)血緣描述的是數(shù)據(jù)從產(chǎn)生到消亡的完整生命周期，包括業(yè)務(wù)含義變化。答案：T解析：廣義血緣包含語義。四、填空題（每空2分，共20分）36.在Linux中，查看當前文件夾下各子目錄磁盤占用大小的命令是（du-h--max-depth=1）。37.SparkSQL中，將字符串'2025-06-01'轉(zhuǎn)換為日期類型的函數(shù)是（to_date）。38.XGBoost的目標函數(shù)由（損失函數(shù)）與（正則項）兩部分組成。39.在Python中，使用（__slots__）魔法變量可以限制類實例動態(tài)添加屬性并節(jié)省內(nèi)存。40.HBase中，（WAL）機制保證了寫操作的原子性與持久性。41.在FlinkCEP庫中，模式序列后使用（within）關(guān)鍵字定義事件總時長上限。42.PostgreSQL的（VACUUM）操作用于回收死元組存儲空間并更新統(tǒng)計信息。43.在KafkaConnect中，負責(zé)將源系統(tǒng)數(shù)據(jù)導(dǎo)入Kafka的組件角色稱為（SourceConnector）。44.使用pandas將DataFrame寫入MySQL時，推薦通過（SQLAlchemy）引擎建立連接。45.在深度學(xué)習(xí)中，（GradientClipping）技術(shù)用于解決梯度爆炸問題。五、簡答題（每題8分，共40分）46.描述一次完整的MapReduce作業(yè)提交過程，包括客戶端、ResourceManager、NodeManager、HDFS的交互時序。答案：1)客戶端提交job，本地計算inputsplit，生成staging目錄并上傳jar、split元數(shù)據(jù)到HDFS；2)客戶端向ResourceManager申請applicationID；3)RM選擇一臺NodeManager啟動ApplicationMaster；4)AM向RM申請container列表；5)RM返回可用NM列表；6)AM與NM通信啟動YARNChild進程運行Map/Reduce任務(wù)；7)任務(wù)從HDFS讀取split，處理后將中間結(jié)果寫入本地磁盤；8)Shuffle階段拉取數(shù)據(jù)；9)Reduce任務(wù)輸出到HDFS；10)AM向RM注銷并清理臨時目錄。47.解釋Spark中的Catalyst優(yōu)化器如何進行謂詞下推，并給出一段SQL示例說明優(yōu)化前后執(zhí)行計劃差異。答案：Catalyst將過濾條件盡可能推到數(shù)據(jù)源端，減少IO。優(yōu)化前：Scanparquet→Filter(age>30)→Project(name)優(yōu)化后：DataSourceScanparquet(age>30)→Project(name)示例SQL：SELECTnameFROMuserWHEREage>30;通過explain()可見PushedFilters:[GreaterThan(age,30)]。48.列舉三種處理數(shù)據(jù)傾斜的Spark實戰(zhàn)技巧，并給出代碼片段。答案：1)加鹽+局部聚合：rdd.map(x=>(x._1+"_"+Random.nextInt(5),x._2)).reduceByKey(_+_).map(x=>(x._1.split("_")(0),x._2)).reduceByKey(_+_)2)兩階段聚合：先隨機前綴，再去除前綴二次聚合；3)自定義分區(qū)：對熱點key單獨分區(qū)，其余哈希。49.說明在PostgreSQL中如何使用BRIN索引加速時間戳范圍查詢，并給出建表、建索引、查詢SQL及執(zhí)行計劃。答案：CREATETABLElog(tstimestamp,msgtext);CREATEINDEXbrin_idxONlogUSINGbrin(ts);EXPLAIN(ANALYZE,BUFFERS)SELECTFROMlogWHEREtsBETWEEN'2025-06-01'AND'2025-06-02';執(zhí)行計劃顯示BitmapHeapScan，索引條件使用brin_idx，I/O顯著減少。50.給出一種基于Django+Airflow+DBT的輕量級DataOps流水線設(shè)計，說明各組件職責(zé)與交互接口。答案：Django提供數(shù)據(jù)門戶與元數(shù)據(jù)管理；Airflow負責(zé)調(diào)度，每日觸發(fā)DBTCLI；DBT執(zhí)行SQL模型轉(zhuǎn)換并回寫倉庫；Django通過AirflowRESTAPI監(jiān)聽任務(wù)狀態(tài)，前端實時展示；模型血緣由DBTdocs生成，Django嵌入iframe展示。六、編程與綜合應(yīng)用題（共70分）51.（15分）使用PySpark實現(xiàn)WordCount并輸出到HDFS，要求：a)過濾長度小于3的單詞；b)統(tǒng)計結(jié)果按頻次降序取前20；c)保存為單個文本文件。答案：frompyspark.sqlimportSparkSessionspark=SparkSession.builder.appName("WordCount2025").getOrCreate()lines=spark.read.text("/data/corpus").rdd.map(lambdar:r[0])counts=lines.flatMap(lambdaline:line.split())\.filter(lambdaw:len(w)>=3)\.map(lambdaw:(w.lower(),1))\.reduceByKey(lambdaa,b:a+b)\.sortBy(lambdax:x[1],ascending=False)\.take(20)spark.sparkContext.parallelize(counts).coalesce(1)\.saveAsTextFile("/output/wc2025")spark.stop()52.（15分）使用Python實現(xiàn)一個自定義Transformer，繼承sklearn.base.BaseEstimator,TransformerMixin，完成“對數(shù)值列取對數(shù)后標準化”，要求兼容Pipeline并支持inverse_transform。答案：importnumpyasnpfromsklearn.baseimportBaseEstimator,TransformerMixinfromsklearn.preprocessingimportStandardScalerclassLogStandardScaler(BaseEstimator,TransformerMixin):def__init__(self):self.scaler=StandardScaler()deffit(self,X,y=None):Xlog=np.log1p(X)self.scaler.fit(Xlog)returnselfdeftransform(self,X):returnself.scaler.transform(np.log1p(X))definverse_transform(self,X):returnnp.expm1(self.scaler.inverse_transform(X))53.（20分）某電商公司2024年12月用戶行為日志字段：user_id,item_id,category,behavior,ts。請用SQL計算“用戶連續(xù)三天及以上有下單行為（behavior='buy'）”的用戶列表，并給出HiveSQL。答案：WITHbuyAS(SELECTuser_id,TO_DATE(ts)ASdtFROMlogWHEREbehavior='buy'GROUPBYuser_id,TO_DATE(ts)),rankedAS(SELECTuser_id,dt,ROW_NUMBER()OVER(PARTITIONBYuser_idORDERBYdt)ASrnFROMbuy),grpAS(SELECTuser_id,dt,DATE_SUB(dt,rn)ASgrpFROMranked),consecAS(SELECTuser_id,grp,COUNT()AScntFROMgrpGROUPBYuser_id,grpHAVINGcnt>=3)SELECTDISTINCTuser_idFROMconsec;54.（20分）使用TensorFlow2.x構(gòu)建一個LSTM模型，預(yù)測某傳感器未來10步的溫度值，輸入為過去60步單變量序列。要求：a)使用tf.dataAPI構(gòu)建滑動窗口數(shù)據(jù)集；b)模型含兩層LSTM+Dropout+Dense；c)給出訓(xùn)練、評估、預(yù)測代碼及結(jié)果可視化。答案：importtensorflowastfimportmatplotlib.pyplotasplt構(gòu)造模擬數(shù)據(jù)T=10000series=tf.sin(tf.range(T,dtype=tf.float32)/10.0)+tf.random.normal([T],stddev=0.1)defwindow_dataset(series,window_size,batch_size):ds=tf.data.Dataset.from_tensor_slices(series)ds=ds.window(window_size+10,shift=1,drop_remainder=True)ds=ds.flat_map(lambdaw:w.batch(window_size+10))ds=ds.map(lambdaw:(w[:-10],w[-10:]))returnds.batch(batch_size).prefetch(1)window_size=60batch_size=32train_ds=window_dataset(series[:8000],window_size,batch_size)val_ds=window_dataset(series[8000:9000],window_size,batch_size)model=tf.keras.Sequential([tf.keras.layers.LSTM(64,return_sequences=True,input_shape=[None,1]),tf.keras.layers.Dropout(0.2),tf.keras.layers.LSTM(64),tf.keras.layers.Dropout(0.2),tf.keras.layers.Dense(10)])pile(loss='mse',optimizer='adam')history=model.fit(train_ds,epochs=5,validation_data=val_ds)預(yù)測sample=series[np.newaxis,:window_size,np.newaxis]pred=model.predict(sample)[0]plt.plot(np.arange(window_size,window_size+10),pred,label='pred')plt.plot(series[window_size:window_size+10],label='true')plt.legend();plt.show()七、案例分析題（共50分）55.（25分）背景：某視頻平臺每日新增500GB用戶觀看日志，字段含user_id,video_id,play_duration,ts。需求：1)實時統(tǒng)計過去1分鐘各視頻播放量（PV）與播放完成率（完播次數(shù)/PV）；2)每分鐘輸出一次結(jié)果到Redis，key格式“video:{video_id}:1min”，value為JSON；3)給出FlinkSQL+UDTF實現(xiàn)方案，并說明并行度、檢查點、Exactly-Once配置。答案：FlinkSQL:CREATETABLEsource_log(user_idSTRING,video_idSTRING,play_durationDOUBLE,tsBIGINT,proc_timeASPROCTIME())WITH('connector'='kafka','topic'='play_log','properties.bootstrap.servers'='kafka:9092','format'='json');CREATETABLEsink_redis(video_idSTRING,pvBIGINT,completion_rateDOUBLE,PRIMARYKEY(video_id)