2025年數(shù)據(jù)開(kāi)發(fā)工程師筆試題庫(kù)及答案一、單項(xiàng)選擇題（每題2分，共20分）1.某電商公司訂單表order_info包含字段order_id（bigint）、user_id（bigint）、order_time（timestamp）、amount（decimal(10,2)）?，F(xiàn)需統(tǒng)計(jì)2024年每個(gè)用戶最后一次下單的金額，下列SQL寫法正確且性能最優(yōu)的是A.SELECTuser_id,amountFROMorder_infoWHEREorder_time>='20240101'GROUPBYuser_idHAVINGorder_time=MAX(order_time);B.SELECTuser_id,amountFROM(SELECT,ROW_NUMBER()OVER(PARTITIONBYuser_idORDERBYorder_timeDESC)rnFROMorder_infoWHEREorder_time>='20240101')tWHERErn=1;C.SELECTuser_id,amountFROMorder_infoo1WHEREorder_time=(SELECTMAX(order_time)FROMorder_infoo2WHEREo2.user_id=o1.user_idANDorder_time>='20240101');D.SELECTuser_id,MAX(amount)KEEP(DENSE_RANKLASTORDERBYorder_time)FROMorder_infoWHEREorder_time>='20240101'GROUPBYuser_id;答案：B解析：窗口函數(shù)ROW_NUMBER()在分區(qū)后排序，取rn=1即可拿到每個(gè)用戶最新一行，避免自關(guān)聯(lián)，執(zhí)行計(jì)劃僅一次全表掃描。2.在Hadoop3.3.4集群中，某目錄/user/hive/warehouse/log_text/下存儲(chǔ)了300個(gè)1GB的文本文件，文件格式為L(zhǎng)ZO壓縮?，F(xiàn)需將其轉(zhuǎn)為ORC格式并減少小文件，下列做法最合理的是A.直接執(zhí)行hive?e"INSERTINTOTABLElog_orcSELECTFROMlog_text;"B.先執(zhí)行hive?e"ALTERTABLElog_textCONCATENATE;"再INSERTC.使用HiveMSCKREPAIRTABLE后，設(shè)置hive.merge.smallfiles.avgsize=256000000并INSERTOVERWRITED.使用Spark提交作業(yè)，設(shè)置spark.sql.adaptive.coalescePartitions.enabled=true，讀取log_text后repartition(100)再write.mode("overwrite").format("orc")答案：D解析：SparkAQE可動(dòng)態(tài)合并小分區(qū)，repartition(100)把300個(gè)文件合并成100個(gè)ORC文件，避免HiveINSERT產(chǎn)生過(guò)多小文件。3.Flink1.17作業(yè)消費(fèi)Kafka，checkpoint間隔30s，作業(yè)并行度為120。某次checkpoint持續(xù)超時(shí)，排查發(fā)現(xiàn)Kafka單partition最大lag為5萬(wàn)條，單條平均2KB。最可能的原因是A.checkpoint超時(shí)與lag無(wú)關(guān)，需增大execution.checkpointing.timeoutB.單并行度subtask處理的數(shù)據(jù)量過(guò)大，導(dǎo)致barrier對(duì)齊慢，需提高并行度或keyBy打散C.Kafkatopic分區(qū)數(shù)遠(yuǎn)小于并行度，空轉(zhuǎn)task多，需減少并行度D.網(wǎng)絡(luò)帶寬不足，需調(diào)大work.memory.fraction答案：B解析：lag大說(shuō)明單subtask處理5萬(wàn)×2KB≈100MB數(shù)據(jù)，barrier需等待該批數(shù)據(jù)全部處理完，對(duì)齊時(shí)間拉長(zhǎng)，超時(shí)。4.某MySQL8.0表user_login(login_idbigint,user_idbigint,login_timedatetime,ipvarchar(64))，數(shù)據(jù)量8億行，需按user_id做范圍查詢。下列索引設(shè)計(jì)最佳的是A.單獨(dú)索引(login_time)B.聯(lián)合索引(user_id,login_time)C.聯(lián)合索引(login_time,user_id)D.哈希索引(user_id)答案：B解析：范圍查詢條件為user_id=？且login_timebetween，需把user_id放左側(cè)，login_time放右側(cè)，形成最左前綴。5.數(shù)據(jù)倉(cāng)庫(kù)星型模型中，事實(shí)表sales(uuid,order_date_key,customer_key,product_key,quantity,price)關(guān)聯(lián)日期維度表dim_date(date_key,year,month,day,week_of_year)?，F(xiàn)需計(jì)算2024年每周銷售額，下列說(shuō)法正確的是A.直接在事實(shí)表按order_date_key分組即可，無(wú)需關(guān)聯(lián)dim_dateB.必須關(guān)聯(lián)dim_date，否則無(wú)法識(shí)別跨年的周C.事實(shí)表存儲(chǔ)的order_date_key為yyyyMMdd格式整數(shù)，可直接用substr得到周D.若dim_date中week_of_year字段已按ISO8601計(jì)算，則關(guān)聯(lián)后按week_of_year分組即可答案：D解析：ISO周可能跨年，維度表已預(yù)計(jì)算，直接關(guān)聯(lián)后分組結(jié)果正確。6.Spark3.4SQL中，表employee(idint,namestring,deptstring,salarydecimal(10,2))，數(shù)據(jù)量5億行。執(zhí)行SELECTdept,MAX(salary)FROMemployeeGROUPBYdept，下列hint能避免傾斜且效率最高的是A./+REPARTITION(100)/B./+MERGE/C./+SKEW('employee','dept')/D./+ADAPTIVE/答案：D解析：Spark3AQE可在運(yùn)行時(shí)檢測(cè)傾斜并拆分重分區(qū)，無(wú)需手動(dòng)指定列。7.某Lambda架構(gòu)項(xiàng)目，批層用Spark每日凌晨重算，速度層用Flink實(shí)時(shí)更新。今日批層結(jié)果與速度層結(jié)果在HBase中匯總時(shí)發(fā)現(xiàn)金額差異。下列排查順序最合理的是A.先校驗(yàn)Kafkatopic是否丟失消息，再比對(duì)批層源表與Kafka消息是否一致，最后檢查HBase列族版本B.先重啟Flink作業(yè)，再重啟Spark作業(yè)C.直接刪除HBase表重建D.修改Flink作業(yè)并行度后重跑答案：A解析：差異根因多為源數(shù)據(jù)不一致或消費(fèi)丟數(shù)，需按數(shù)據(jù)鏈路逐層比對(duì)。8.數(shù)據(jù)湖Iceberg1.3中，表log_event采用隱藏分區(qū)方式按event_time天分區(qū)。執(zhí)行DELETEFROMlog_eventWHEREevent_time='20240601'，下列說(shuō)法正確的是A.將直接刪除底層所有Parquet文件B.將生成新的deletefile，查詢時(shí)合并basefile與deletefileC.僅修改元數(shù)據(jù)，不改動(dòng)數(shù)據(jù)文件D.需要執(zhí)行rewrite_data_files動(dòng)作才會(huì)真正刪除答案：B解析：Iceberg采用MVCC，DELETE寫入deletefile，讀時(shí)合并。9.某ClickHouse集群，本地表user_behavior(user_idUInt64,event_timeDateTime,event_typeString)ENGINE=MergeTree()PARTITIONBYtoYYYYMM(event_time)ORDERBY(user_id,event_time)?，F(xiàn)需查詢2024060100:00:00至2024060200:00:00期間event_type='pay'的去重用戶數(shù)，下列SQL最優(yōu)的是A.SELECTCOUNT(DISTINCTuser_id)FROMuser_behaviorWHEREevent_time>='20240601'ANDevent_time<'20240602'ANDevent_type='pay';B.SELECTuniqCombined(user_id)FROMuser_behaviorWHEREtoYYYYMM(event_time)=202406ANDevent_type='pay';C.SELECTCOUNT()FROM(SELECTuser_idFROMuser_behaviorWHEREevent_time>='20240601'ANDevent_time<'20240602'ANDevent_type='pay'GROUPBYuser_id);D.SELECTuniqExact(user_id)FROMuser_behaviorWHEREevent_type='pay'ANDevent_timeIN('20240601','20240602');答案：A解析：A利用分區(qū)裁剪與主鍵索引，且ClickHouse對(duì)COUNTDISTINCT自動(dòng)優(yōu)化為uniqExact或uniqCombined，無(wú)需再寫子查詢。10.數(shù)據(jù)治理平臺(tái)需對(duì)Hive表做自動(dòng)分級(jí)打標(biāo)，規(guī)則：若字段名含"id_card"或"phone"且字段類型為string，則標(biāo)記為L(zhǎng)4敏感。下列實(shí)現(xiàn)方式最可維護(hù)的是A.在每個(gè)ETL腳本里硬編碼判斷B.在Hivemetastore監(jiān)聽(tīng)事件，調(diào)用ApacheAtlasAPI打標(biāo)C.每天全量掃描information_schema.COLUMNS，用shell腳本altertablesetpropertiesD.讓開(kāi)發(fā)人員在建表時(shí)手動(dòng)注釋答案：B解析：Atlas支持基于元數(shù)據(jù)與標(biāo)簽的策略，可自動(dòng)化、版本化、審計(jì)。二、多項(xiàng)選擇題（每題3分，共15分，多選少選均不得分）11.關(guān)于KafkaProducer冪等性，下列說(shuō)法正確的有A.需設(shè)置enable.idempotence=trueB.必須配置acks=allC.重試次數(shù)retries必須大于0D.冪等性保證單分區(qū)單會(huì)話內(nèi)不重復(fù)E.冪等性依賴broker端transactioncoordinator答案：ABCD解析：冪等producer在單會(huì)話、單分區(qū)級(jí)別去重，無(wú)需事務(wù)。12.使用dbt構(gòu)建數(shù)據(jù)模型時(shí)，以下哪些做法可以提升CI/CD效率A.使用dbtrun??selectconfig.tags:dailyB.在pullrequest階段執(zhí)行dbtcompile代替dbtrunC.啟用dbtincremental_strategy='merge'on_schema_change='sync_all_columns'D.把dbtdocsgenerate放在每次merge后E.使用state:modified+selection方法僅運(yùn)行變更模型答案：ACE解析：增量策略與狀態(tài)選擇可顯著減少運(yùn)行時(shí)長(zhǎng)。13.某SparkStructuredStreaming作業(yè)以Kafka為源，checkpoint目錄為hdfs:///checkpoints/etl。下列操作可能導(dǎo)致消息重復(fù)的有A.手動(dòng)刪除checkpoint目錄后重啟作業(yè)B.升級(jí)Spark版本從3.3到3.4，保持checkpoint目錄C.修改輸出模式從append到completeD.修改KafkastartingOffsets從earliest到latestE.在代碼里添加dropDuplicates("id")后重啟答案：AC解析：刪除checkpoint丟失偏移量；complete模式會(huì)全量輸出，若下游系統(tǒng)無(wú)主鍵可能重復(fù)。14.關(guān)于數(shù)據(jù)倉(cāng)庫(kù)緩慢變化維SCDType2，下列說(shuō)法正確的有A.需增加代理鍵、生效時(shí)間、失效時(shí)間B.同一業(yè)務(wù)鍵在同一時(shí)刻最多一條記錄生效C.更新維度屬性時(shí)，舊記錄失效時(shí)間置為當(dāng)前時(shí)間，新記錄插入D.可直接用Merge語(yǔ)句在Snowflake中實(shí)現(xiàn)E.事實(shí)表必須存儲(chǔ)維度代理鍵答案：ABCDE解析：Type2完整實(shí)現(xiàn)需以上全部。15.某ClickHouse分布式表all_log本地表log，寫入時(shí)采用INSERTINTOall_logSELECTFROMkafka_engine，發(fā)現(xiàn)數(shù)據(jù)分布不均。下列優(yōu)化可行的有A.設(shè)置distributed_foreground_insert=1B.寫入前對(duì)分布式表做rand()分桶C.改寫成INSERTINTOlogSELECTFROMkafka_engine，由Distributed表自動(dòng)轉(zhuǎn)發(fā)D.增加sharding_key采用hash(user_id)E.提高background_distributed_schedule_pool_size答案：AD解析：A強(qiáng)制同步寫避免積壓，D讓相同user落到同一分片，減少跨片查詢。三、判斷題（每題1分，共10分，正確打"√"，錯(cuò)誤打"×"）16.ORC文件格式支持lightweightupdate，因此適合高頻單行更新場(chǎng)景。答案：×解析：ORC為列式，更新需重寫stripe，不適合高頻單行更新。17.FlinkSQL的TemporalTableJoin要求維度表必須定義PRIMARYKEY。答案：√解析：Flink需主鍵來(lái)關(guān)聯(lián)版本。18.在MySQL中，使用索引下推ICP可以減少回表次數(shù)。答案：√解析：ICP把where條件下推到存儲(chǔ)引擎，提前過(guò)濾。19.Snowflake的TimeTravel保留期默認(rèn)1天，可手動(dòng)改為最多90天。答案：√解析：企業(yè)版支持90天。20.HDFS的NameNodeHA基于QJM時(shí)，JournalNode節(jié)點(diǎn)失敗一半以上仍可正常寫editlog。答案：×解析：需多數(shù)即≥(n/2+1)存活。21.Kafka的log.retention.bytes配置優(yōu)先級(jí)高于log.retention.hours。答案：×解析：兩個(gè)條件任一觸發(fā)即刪除。22.Spark的wholestagecodegeneration把多個(gè)物理算子拼成一段Java代碼，減少虛函數(shù)調(diào)用。答案：√解析：Tungsten核心優(yōu)化。23.Hive的CBO基于Calcite，可自動(dòng)選擇mapjoin。答案：√解析：Calcite代價(jià)模型。24.DeltaLake的OPTIMIZE命令只能壓縮小文件，不能改變數(shù)據(jù)順序。答案：×解析：OPTIMIZE可ZORDER重排。25.數(shù)據(jù)血緣圖中，若節(jié)點(diǎn)A到B為"insertintoBselectfromA"，則A是B的父節(jié)點(diǎn)。答案：√解析：血緣方向與數(shù)據(jù)流向一致。四、填空題（每空2分，共20分）26.在Linux中，查看某進(jìn)程打開(kāi)文件句柄數(shù)的命令是________。答案：lsof?p<pid>|wc?l27.SparkSQL中，將DataFrame列col的null替換為0的函數(shù)表達(dá)式為_(kāi)_______。答案：coalesce(col,lit(0))28.FlinkCheckpoint的底層實(shí)現(xiàn)基于________算法。答案：ChandyLamport29.MySQL8.0中，查看InnoDB行鎖等待的元數(shù)據(jù)表是________。答案：data_lock_waits30.HDFS默認(rèn)塊大小在2.10.x版本為_(kāi)_______MB。答案：12831.Kafka的consumergroupcoordinator選舉依賴Zookeeper的________節(jié)點(diǎn)。答案：/consumers32.ClickHouse中，用于近似去重的函數(shù)是________。答案：uniqCombined33.dbt的宏定義文件默認(rèn)放在項(xiàng)目的________目錄。答案：macros34.Iceberg的manifest文件存儲(chǔ)在表目錄的________子目錄。答案：metadata35.Airflow中，任務(wù)實(shí)例狀態(tài)為"up_for_retry"時(shí)，下次重試時(shí)間由字段________決定。答案：next_retry五、簡(jiǎn)答題（每題10分，共30分）36.描述一次SparkSQL大表join小表出現(xiàn)OOM的完整排查與解決過(guò)程。答案：1)查看driverlog定位OOM在driver還是executor；2)若為driver，檢查是否collect()過(guò)多數(shù)據(jù)，改為write；3)若為executor，查看stage詳情發(fā)現(xiàn)join采用SortMergeJoin，小表>10MB廣播閾值；4)調(diào)大spark.sql.autoBroadcastJoinThreshold至200MB，并確保小表cache；5)若小表仍超限，采用mapsidejoinhint或bucketjoin；6)加內(nèi)存配置executor.memoryOverhead；7)重新提交，GC時(shí)間下降，任務(wù)成功。37.說(shuō)明Flink端到端exactlyonce需滿足的條件，并以Kafka到HDFS為例給出配置。答案：條件：a)source可重放，Kafka需保存offset；b)sink支持事務(wù)或冪等，HDFS需用TwoPhaseCommitSink；c)checkpoint開(kāi)啟且間隔合理；d)業(yè)務(wù)邏輯無(wú)外部副作用。配置：enable.checkpointing=true,checkpoint間隔60s,exactlyonce模式,sink.hdfs.roll_interval=0,roll_size=128MB,使用BucketingSink并開(kāi)啟partfilerecoverable。38.解釋數(shù)據(jù)湖"時(shí)間旅行"與"版本回退"差異，并給出IcebergSQL示例。答案：時(shí)間旅行：查詢歷史某個(gè)時(shí)刻快照，只讀；版本回退：把當(dāng)前表狀態(tài)回退到舊快照，寫操作。示例：查詢SELECTFROMprod.db.tableTIMESTAMPASOF'2024060110:00:00';回退CALLprod.system.rollback_to_snapshot('db','table',8723817381);六、編程與實(shí)戰(zhàn)題（共55分）39.（15分）編寫PySpark程序，完成以下需求：輸入：Hive表user_event(user_idbigint,event_timestring,event_typestring,ipstring)，分區(qū)字段dtstring，數(shù)據(jù)量3億行/天。輸出：統(tǒng)計(jì)近30天每天首次登錄用戶名單（event_type='login'），寫入Hive表first_login(dtstring,user_idbigint)。要求：a)增量計(jì)算，每天僅處理當(dāng)天分區(qū)；b)去重邏輯不依賴全量歷史，只掃描當(dāng)天與昨天結(jié)果；c)代碼需含注釋，并給出submit命令。答案：```pythonfrompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportcol,minasfminimportsysspark=SparkSession.builder.appName("first_login_inc").enableHiveSupport().getOrCreate()dt=sys.argv[1]格式202406011.讀取當(dāng)天分區(qū)today=spark.table("user_event").filter(col("dt")==dt).filter(col("event_type")=="login")\.select("user_id","event_time")2.讀取昨天輸出的首次登錄用戶，用于去重yesterday_df=spark.table("first_login").filter(col("dt")==spark.sql("selectdate_sub({},1)".format(dt)).head()[0])\.select("user_id").distinct()3.左反連接，去掉已出現(xiàn)用戶new_users=today.join(yesterday_df,"user_id","left_anti")\.groupBy("user_id")\.agg(fmin("event_time").alias("first_time"))4.寫入new_users.select(col("user_id"),col("first_time").cast("date").alias("dt"))\.write.mode("append").insertInto("first_login")```submit:sparksubmitmasteryarndeploymodeclusterfirst_login_inc.py2024060140.（20分）編寫Flink1.17SQL作業(yè)，實(shí)現(xiàn)實(shí)時(shí)GMV計(jì)算：source:Kafkatopicorder_stream，字段order_idstring,user_idstring,amountdecimal(10,2),order_timetimestamp_ltz(3)需求：a)1分鐘滾動(dòng)窗口，輸出窗口結(jié)束時(shí)間、GMV、訂單數(shù)；b)結(jié)果寫入Kafkatopicgmv_minute；c)支持exactlyonce，checkpoint到HDFS；d)給出完整DDL與提交命令。答案：```sqlCREATETABLEorder_stream(order_idSTRING,user_idSTRING,amountDECIMAL(10,2),order_timeTIMESTAMP_LTZ(3),WATERMARKFORorder_timeASorder_timeINTERVAL'5'SECOND)WITH('connector'='kafka','topic'='order_stream','properties.bootstrap.servers'='kafka:9092','scan.startup.mode'='latestoffset','format'='json');CREATETABLEgmv_minute(window_endTIMESTAMP_LTZ(3),gmvDECIMAL(18,2),order_cntBIGINT,PRIMARYKEY(window_end)NOTENFORCED)WITH('connector'='kafka','topic'='gmv_minute','properties.bootstrap.servers'='kafka:9092','format'='json','sink.semantic'='exactlyonce');INSERTINTOgmv_minuteSELECTTUMBLE_END(order_time,INTERVAL'1'MINUTE)ASwindow_end,SUM(amount)ASgmv,COUNT()ASorder_cntFROMorder_streamGROUPBYTUMBLE(order_time,INTERVAL'1'MINUTE);```提交：bin/flinkrun?d?corg.apache.flink.table.client.SqlClient?pyarchflinksqlrunner.py?confcheckpointing.enable=true?confstate.checkpoints.dir=hdfs:///flink/checkpoints41.（20分）數(shù)據(jù)質(zhì)量監(jiān)控：需求：對(duì)MySQL表payment(payment_id,user_id,amount,status,create_time)設(shè)計(jì)一套實(shí)時(shí)監(jiān)控，規(guī)則：1)amount>0；2)statusin('success','fail')；3)延遲5分鐘內(nèi)到達(dá)；4)單用戶單分鐘>1000筆觸發(fā)告警。技術(shù)棧：Debezium→Kafka→Flink→Prometheus→Grafana。任務(wù)：a)給出Debeziumconnector配置片段；b)給出FlinkCEP或SQL核心邏輯；c)給出Prometheus告警規(guī)則；d)說(shuō)明如何防止告警風(fēng)暴。答案：a)Debeziumconfig:```json{"connector.class":"io.debezium.connector.mysql.MySqlConnector","database.hostname":"mysql","database.port":"3306","database.user":"debezium","data