2025年(大數(shù)據(jù)管理)大數(shù)據(jù)管理與應(yīng)用試題及答案1.單項(xiàng)選擇題（每題1分，共20分）1.1在Hadoop生態(tài)中，負(fù)責(zé)資源管理與任務(wù)調(diào)度的核心組件是A.HDFS?B.YARN?C.MapReduce?D.Hive答案：B1.2下列哪項(xiàng)技術(shù)最適合實(shí)現(xiàn)毫秒級(jí)交互式OLAP查詢A.SparkRDD?B.Presto?C.Flume?D.Sqoop答案：B1.3關(guān)于數(shù)據(jù)湖與數(shù)據(jù)倉庫的差異，描述錯(cuò)誤的是A.數(shù)據(jù)湖保存原始格式數(shù)據(jù)?B.數(shù)據(jù)倉庫采用寫時(shí)模式?C.數(shù)據(jù)湖不支持事務(wù)?D.數(shù)據(jù)倉庫通常基于SchemaonRead答案：D1.4在Kafka中，保證同一分區(qū)消息全局有序的關(guān)鍵配置是A.acks=all?B.retries=0?C.max.in.flight.requests.per.connection=1?D.enable.idempotence=false答案：C1.5使用SparkMLlib訓(xùn)練邏輯回歸模型時(shí)，默認(rèn)的優(yōu)化算法是A.LBFGS?B.SGD?C.Adam?D.CoordinateDescent答案：B1.6某電商表user_order(order_id,user_id,sku_id,order_date,amount)需按user_id做分桶，同時(shí)保證同一用戶訂單按order_date有序，應(yīng)選擇的Hive表存儲(chǔ)格式為A.ORC+SortMergeBucket?B.Parquet+HashBucket?C.TextFile+RangePartition?D.Avro+ListBucket答案：A1.7在Flink中，窗口函數(shù)apply()與process()的主要區(qū)別是A.能否訪問窗口元數(shù)據(jù)?B.能否使用狀態(tài)?C.能否輸出側(cè)流?D.能否設(shè)置延遲標(biāo)記答案：C1.8下列哪項(xiàng)不是HDFSNameNode高可用方案A.QJM?B.NFS?C.ZKFC?D.HDFSFederation答案：D1.9關(guān)于數(shù)據(jù)血緣，正確的是A.只能追蹤表級(jí)依賴?B.無法與元數(shù)據(jù)系統(tǒng)解耦?C.可用于影響分析?D.不適用于實(shí)時(shí)鏈路答案：C1.10在數(shù)據(jù)質(zhì)量管理框架中，屬于“唯一性”指標(biāo)的是A.主鍵重復(fù)率?B.缺失率?C.及時(shí)率?D.合規(guī)率答案：A1.11某Spark任務(wù)設(shè)置spark.sql.shuffle.partitions=200，但實(shí)際數(shù)據(jù)量僅50MB，最可能出現(xiàn)的性能問題是A.網(wǎng)絡(luò)IO過高?B.小文件過多?C.GC時(shí)間過長?D.磁盤溢出答案：B1.12在ClickHouse中，最適合做高基數(shù)去重的數(shù)據(jù)結(jié)構(gòu)是A.MergeTree?B.SummingMergeTree?C.AggregatingMergeTree?D.ReplacingMergeTree答案：C1.13數(shù)據(jù)資產(chǎn)目錄中，業(yè)務(wù)術(shù)語“GMV”最適合掛在哪一層A.技術(shù)元數(shù)據(jù)?B.操作元數(shù)據(jù)?C.業(yè)務(wù)元數(shù)據(jù)?D.管理元數(shù)據(jù)答案：C1.14關(guān)于數(shù)據(jù)主權(quán)，下列說法符合中國《數(shù)據(jù)安全法》的是A.境內(nèi)收集的個(gè)人信息可無條件出境?B.重要數(shù)據(jù)出境需安全評(píng)估?C.跨境傳輸由企業(yè)自行備案即可?D.境外司法調(diào)取可直接提供答案：B1.15在DeltaLake中，哪項(xiàng)操作會(huì)生成新的事務(wù)日志版本A.查詢?B.緩存?C.UPDATE?D.CACHETABLE答案：C1.16某模型AUC從0.81提升到0.83，但線上AB實(shí)驗(yàn)轉(zhuǎn)化率下降2%，最可能原因是A.訓(xùn)練集過擬合?B.特征穿越?C.樣本權(quán)重失衡?D.實(shí)驗(yàn)分流不均答案：B1.17使用Airflow時(shí)，某任務(wù)設(shè)置retries=3、retry_delay=timedelta(minutes=5)，最多可能延遲A.5min?B.10min?C.15min?D.20min答案：C1.18在數(shù)據(jù)治理成熟度模型DGI中，第3級(jí)“定義級(jí)”核心標(biāo)志是A.建立數(shù)據(jù)治理辦公室?B.制定數(shù)據(jù)標(biāo)準(zhǔn)?C.實(shí)施數(shù)據(jù)質(zhì)量監(jiān)控?D.實(shí)現(xiàn)數(shù)據(jù)自治答案：B1.19下列哪項(xiàng)技術(shù)組合可實(shí)現(xiàn)端到端“Lambda架構(gòu)”批流一體A.Spark+Storm?B.Flink+Hive?C.Kafka+SparkStructuredStreaming+Delta?D.Flume+Impala答案：C1.20關(guān)于數(shù)據(jù)資產(chǎn)估值，描述正確的是A.只能用成本法?B.收益法需預(yù)測未來現(xiàn)金流?C.市場法需同類交易案例?D.數(shù)據(jù)資產(chǎn)不可折舊答案：C2.多項(xiàng)選擇題（每題2分，共20分，多選少選均不得分）2.1下列哪些屬于數(shù)據(jù)治理核心域A.元數(shù)據(jù)管理?B.主數(shù)據(jù)管理?C.數(shù)據(jù)生命周期?D.數(shù)據(jù)倫理?E.數(shù)據(jù)定價(jià)答案：ABCD2.2導(dǎo)致Kafka消費(fèi)者重平衡的原因包括A.新消費(fèi)者加入?B.消費(fèi)者崩潰?C.分區(qū)數(shù)增加?D.消費(fèi)位移提交失敗?E.修改topic副本因子答案：ABC2.3在Spark中，以下操作會(huì)引起寬依賴的是A.groupByKey?B.reduceByKey?C.distinct?D.map?E.filter答案：ABC2.4數(shù)據(jù)質(zhì)量規(guī)則庫常用的技術(shù)實(shí)現(xiàn)包括A.Drools?B.ApacheGriffin?C.GreatExpectations?D.dbttest?E.Airflowsensor答案：ABCD2.5下列哪些算法可用于異常檢測A.IsolationForest?B.DBSCAN?C.OneClassSVM?D.XGBoost?E.LSTMAutoEncoder答案：ABCE2.6關(guān)于數(shù)據(jù)脫敏，說法正確的是A.可逆加密屬于脫敏?B.掩碼需保持格式?C.哈希可防重放?D.脫敏后無需再授權(quán)?E.動(dòng)態(tài)脫敏在查詢時(shí)生效答案：BCE2.7在HDFS聯(lián)邦架構(gòu)下，以下正確的是A.多NameNode共享DataNode?B.每個(gè)NameNode管理獨(dú)立命名空間?C.客戶端需掛載表路由?D.支持跨Namespace重命名?E.單點(diǎn)故障風(fēng)險(xiǎn)完全消除答案：ABC2.8數(shù)據(jù)網(wǎng)格(DataMesh)四大原則包括A.領(lǐng)域所有權(quán)?B.數(shù)據(jù)即產(chǎn)品?C.自助平臺(tái)?D.聯(lián)邦治理?E.集中倉庫答案：ABCD2.9下列指標(biāo)可用于衡量數(shù)據(jù)資產(chǎn)健康度A.數(shù)據(jù)新鮮度?B.查詢響應(yīng)時(shí)間?C.合規(guī)評(píng)分?D.血緣覆蓋率?E.存儲(chǔ)成本占比答案：ACDE2.10關(guān)于GDPR與《個(gè)人信息保護(hù)法》差異，正確的是A.GDPR無數(shù)據(jù)出境安全評(píng)估?B.個(gè)保法引入“敏感個(gè)人信息”?C.兩者均設(shè)72小時(shí)泄露通知?D.個(gè)保法無高額罰款?E.均賦予數(shù)據(jù)主體刪除權(quán)答案：BCE3.填空題（每空1分，共20分）3.1HDFS默認(rèn)塊大小為________MB，若存儲(chǔ)1個(gè)128MB文件，實(shí)際占用________個(gè)塊。答案：128，13.2Spark中，DataFrame的join操作若未指定列，默認(rèn)采用________連接，結(jié)果會(huì)出現(xiàn)________問題。答案：笛卡爾，數(shù)據(jù)爆炸3.3在Kafka2.8版本之后，如使用KRaft模式，可去掉對(duì)外部組件________的依賴。答案：ZooKeeper3.4數(shù)據(jù)質(zhì)量維度中，Timeliness對(duì)應(yīng)中文________。答案：及時(shí)性3.5某Hive表分區(qū)字段為dt，格式y(tǒng)yyyMMdd，若需刪除20240101分區(qū)，SQL為ALTERTABLEtDROPPARTITION(dt=’________’);答案：202401013.6FlinkCheckpoint的底層一致性協(xié)議是________協(xié)議。答案：ChandyLamport3.7在Pythonpandas中，將DataFramedf的列col做zscore標(biāo)準(zhǔn)化，代碼為df[‘col’]=(df[‘col’]df[‘col’].________)/df[‘col’].std()答案：mean()3.8數(shù)據(jù)資產(chǎn)估值的收益法公式V=∑(Rt/(1+r)^t)，其中r代表________率。答案：折現(xiàn)3.9某ClickHouse表使用MergeTree引擎，按dt分區(qū)，按id排序，SQL中強(qiáng)制走分區(qū)裁剪的寫法為WHEREdt________toDate(’20240101’)答案：=3.10在數(shù)據(jù)治理平臺(tái)中，負(fù)責(zé)將技術(shù)名映射到業(yè)務(wù)名的元數(shù)據(jù)類型稱為________元數(shù)據(jù)。答案：業(yè)務(wù)3.11數(shù)據(jù)安全等級(jí)分類中，國家核心數(shù)據(jù)實(shí)行________保護(hù)制度。答案：更加嚴(yán)格3.12某Spark任務(wù)讀取ORC文件出現(xiàn)小文件過多，可使用Hive參數(shù)________合并小文件。答案：merge.smallfiles.avgsize3.13在數(shù)據(jù)血緣圖譜中，節(jié)點(diǎn)出度表示該節(jié)點(diǎn)被________的次數(shù)。答案：引用3.14數(shù)據(jù)網(wǎng)格中，領(lǐng)域數(shù)據(jù)產(chǎn)品需對(duì)外提供________文檔，以降低溝通成本。答案：SLA/Schema3.15根據(jù)《網(wǎng)絡(luò)數(shù)據(jù)安全管理?xiàng)l例（征求意見稿）》，處理超過________萬人個(gè)人信息應(yīng)設(shè)數(shù)據(jù)安全負(fù)責(zé)人。答案：1003.16某模型訓(xùn)練集正負(fù)樣本比例1:9，采用SMOTE過采樣后，正負(fù)比例變?yōu)開_______。答案：1:13.17在Airflow中，任務(wù)task_a完成后觸發(fā)task_b，應(yīng)設(shè)置trigger_rule=’________’答案：all_success3.18數(shù)據(jù)質(zhì)量監(jiān)控告警升級(jí)策略中，連續(xù)________次觸發(fā)同一規(guī)則未恢復(fù)，則短信通知總監(jiān)。答案：33.19某企業(yè)采用DataVault建模，其中Hub表主鍵采用________鍵策略，避免業(yè)務(wù)變更沖擊。答案：代理3.20在DeltaLake中，查看表歷史版本的SQL為DESCRIBEHISTORYtable_name________答案：空（無需額外參數(shù)）4.簡答題（共6題，每題8分，共48分）4.1（封閉型）列舉并簡要說明數(shù)據(jù)治理活動(dòng)“數(shù)據(jù)標(biāo)準(zhǔn)化”包含的五個(gè)子任務(wù)。答案：1)制定數(shù)據(jù)標(biāo)準(zhǔn)框架，明確范圍與原則；2)業(yè)務(wù)術(shù)語標(biāo)準(zhǔn)化，統(tǒng)一指標(biāo)定義；3)代碼值域標(biāo)準(zhǔn)化，建立主數(shù)據(jù)代碼表；4)命名與格式規(guī)范，統(tǒng)一庫表字段命名；5)標(biāo)準(zhǔn)發(fā)布與宣貫，建立評(píng)審與迭代流程。4.2（開放型）某金融公司計(jì)劃將核心風(fēng)控模型從離線T+1升級(jí)為實(shí)時(shí)T+0，請(qǐng)給出技術(shù)選型與實(shí)施步驟，并指出最大風(fēng)險(xiǎn)點(diǎn)。答案：技術(shù)選型：Kafka+Flink+Ceph+Redis+API網(wǎng)關(guān)；步驟：1)業(yè)務(wù)事件埋點(diǎn)改造，統(tǒng)一Kafkatopic；2)Flink流處理完成特征實(shí)時(shí)拼接；3)模型PMML轉(zhuǎn)ONNX，嵌入Flink異步推理；4)結(jié)果寫入Redis集群，API網(wǎng)關(guān)暴露服務(wù)；5)灰度發(fā)布，對(duì)比離線AUC與線上KS。最大風(fēng)險(xiǎn)：特征穿越，需確保離線特征與實(shí)時(shí)特征同源同口徑，采用特征快照版本管理。4.3（封閉型）說明HiveORC文件在存儲(chǔ)層實(shí)現(xiàn)謂詞下推的三個(gè)必要條件。答案：1)表屬性設(shè)置orc.pushdown=true；2)查詢列建立BloomFilter或Min/Max索引；3)where條件為等值或范圍查詢，且字段類型與索引一致。4.4（開放型）某省政務(wù)數(shù)據(jù)共享平臺(tái)需構(gòu)建“數(shù)據(jù)主權(quán)沙箱”，請(qǐng)?jiān)O(shè)計(jì)一套可落地的數(shù)據(jù)出境管控流程，包含技術(shù)、管理、法律三層。答案：技術(shù)層：部署API網(wǎng)關(guān)+數(shù)據(jù)脫敏網(wǎng)關(guān)，采用格式保留加密+數(shù)字水印，日志接入?yún)^(qū)塊鏈存證；管理層：建立數(shù)據(jù)出境評(píng)審委員會(huì)，實(shí)行分級(jí)審批，敏感數(shù)據(jù)需省長辦公會(huì)簽；法律層：與境外接收方簽署SCC標(biāo)準(zhǔn)合同，約定數(shù)據(jù)用途、刪除期限、爭議仲裁地，違約方承擔(dān)營業(yè)額5%罰款。4.5（封閉型）解釋Flink“精確一次”端到端語義的三要素，并給出KafkaProducer實(shí)現(xiàn)代碼片段（Java偽代碼）。答案：三要素：1)可重放數(shù)據(jù)源（Kafka可設(shè)置偏移）；2)狀態(tài)一致性Checkpoint；3)冪等或事務(wù)輸出。偽代碼：FlinkKafkaProducer<String>sink=newFlinkKafkaProducer<>(??"topic",??newSimpleStringSchema(),??properties,??FlinkKafkaProducer.Semantic.EXACTLY_ONCE);4.6（開放型）某視頻平臺(tái)日均新增PB級(jí)日志，需保存7年，冷數(shù)據(jù)訪問頻率低于1次/月，請(qǐng)給出分層存儲(chǔ)與成本優(yōu)化方案，并計(jì)算三年TCO。答案：方案：1)熱層采用SSDHDFS，存放最近7天，副本數(shù)2；2)溫層采用HDD，副本數(shù)2，啟用EC4+2；3)冷層遷移至對(duì)象存儲(chǔ)歸檔型，單價(jià)0.03元/GB/月；4)計(jì)算分離，Spot節(jié)點(diǎn)跑批。TCO：假設(shè)日增量1PB，三年1095PB，熱層10PB×0.8元/GB×12月=96萬元，溫層200PB×0.25元×12=600萬元，冷層785PB×0.03×36=848萬元，總計(jì)約1544萬元，較全SSD節(jié)省68%。5.計(jì)算與分析題（共4題，共52分）5.1（計(jì)算類，12分）某電商大促期間，Kafkatopicorder_topic共12分區(qū)，峰值寫入速率180MB/s，每條消息平均2KB，副本因子3，計(jì)算所需網(wǎng)絡(luò)帶寬與磁盤寫入IOPS，并給出集群規(guī)模建議。答案：單分區(qū)峰值吞吐=180/12=15MB/s；單Broker網(wǎng)卡需承載副本同步，峰值網(wǎng)卡=180×(31)=360MB/s≈2.88Gb/s，建議10Gb網(wǎng)卡；磁盤順序?qū)慖OPS=(180×1024)/2=92160條/s，假設(shè)單盤200MB/s，需磁盤數(shù)=180/200≈1，考慮副本同時(shí)寫，磁盤數(shù)=3，故最少3塊盤；集群規(guī)模：按單機(jī)網(wǎng)卡上限900MB/s，需Broker數(shù)=360/900≈1，考慮高可用至少3臺(tái)；結(jié)論：3Broker，每節(jié)點(diǎn)12×1TBSSD，10Gb網(wǎng)卡。5.2（分析類，12分）給定用戶行為表user_log(user_id,event_time,event_type,page_id)，需計(jì)算每日留存率（次日、7日、30日）。請(qǐng)寫出SparkSQL完整腳本，并指出性能優(yōu)化點(diǎn)。答案：腳本：WITHfirst_loginAS(?SELECTuser_id,MIN(event_time)ASfst?FROMuser_log?GROUPBYuser_id),tmpAS(?SELECTa.user_id,DATE(a.fst)ASfst_date,DATE(b.event_time)ASevt_date,??DATEDIFF(DATE(b.event_time),DATE(a.fst))ASdiff?FROMfirst_logina?JOINuser_logbONa.user_id=b.user_id)SELECTfst_date,?COUNT(DISTINCTIF(diff=1,user_id,NULL))/COUNT(DISTINCTuser_id)ASd1_retention,?COUNT(DISTINCTIF(diff=6,user_id,NULL))/COUNT(DISTINCTuser_id)ASd7_retention,?COUNT(DISTINCTIF(diff=29,user_id,NULL))/COUNT(DISTINCTuser_id)ASd30_retentionFROMtmpGROUPBYfst_date;優(yōu)化：1)first_login落盤為分區(qū)表，按dt寫入；2)啟用BroadcastHint，小表廣播；3)事件表按user_id分桶，避免shuffle；4)采用ORC+ZSTD壓縮。5.3（綜合類，14分）某市衛(wèi)健委整合30家醫(yī)院電子病歷，需建立主數(shù)據(jù)管理系統(tǒng)（MDM），請(qǐng)完成：1)畫出主數(shù)據(jù)識(shí)別流程圖（文字描述）；2)設(shè)計(jì)患者主數(shù)據(jù)模型（含字段、主鍵、匹配規(guī)則）；3)給出GoldenRecord合并沖突解決策略；4)評(píng)估上線后數(shù)據(jù)質(zhì)量提升指標(biāo)。答案：1)流程：源系統(tǒng)摸底→數(shù)據(jù)探查→主數(shù)據(jù)候選→業(yè)務(wù)確權(quán)→元數(shù)據(jù)注冊(cè)→發(fā)布。2)模型：Patient(pid,id_card,passport,name,gender,birth_date,phone,addr,create_time,update_time,source_system,status)，主鍵pid為UUID，業(yè)務(wù)鍵id_card+passport聯(lián)合唯一。3)沖突策略：可信度打分，來源權(quán)重三甲醫(yī)院>二甲>社區(qū)；時(shí)間戳最新優(yōu)先；人工審核兜底。4)指標(biāo)：主鍵重復(fù)率由2.3%降至0.01%，字段完整率由87%升至98%，同一患者跨院就診識(shí)別率由78%升至96%。5.4（綜合類，14分）某物流公司有運(yùn)單表waybill(wb_id,order_id,src_city,dst_city,weight,create_time)，需預(yù)測未來7天各線路貨量，請(qǐng)完成：1)特征工程方案；2)模型選型與理由；3)訓(xùn)練窗口與標(biāo)簽構(gòu)造；4)線上推理架構(gòu)；5)效果評(píng)估指標(biāo)與基線。答案：1)特征：日期維度（節(jié)假日、星期、節(jié)氣），線路維度（src_dst編碼、距離、歷史同期均值），外部（天氣、疫情等級(jí)），聚合特征（近1/3/7天貨量、滑動(dòng)標(biāo)準(zhǔn)差）。2)模型：Prophet處理節(jié)假日效應(yīng)+LightGBM捕捉非線性，Stacking融合。3)訓(xùn)練窗口：滾動(dòng)窗口，每天回溯365天，標(biāo)簽為未來7天每日貨量序列。4)推理：Airflow每日凌晨觸發(fā)特征ETL→Redis緩存→TensorFlowServing加載模型→API返回預(yù)測JSON。5)指標(biāo)：MAPE基線12%，上線后降至7.8%；WAPE<8