2026年騰訊公司大數(shù)據(jù)工程師面試題及解析一、編程題（共3題，每題20分，總分60分）1.題目：編寫一個Python函數(shù)，實現(xiàn)以下功能：給定一個包含多個字符串的列表，返回一個新列表，其中包含原列表中所有字符串的長度。如果字符串為空，則在新列表中對應(yīng)位置為0。示例輸入：`["hello","world","","data","engineer"]`示例輸出：`[5,5,0,4,9]`要求：-不能使用內(nèi)置的`len()`函數(shù)。-代碼需考慮性能優(yōu)化，避免不必要的重復(fù)計算。答案與解析：答案：pythondefstring_lengths(strings):result=[]forsinstrings:ifnots:result.append(0)else:count=0for_ins:count+=1result.append(count)returnresult解析：-題目要求不使用`len()`函數(shù)，因此需要手動統(tǒng)計字符串長度。-通過遍歷每個字符并計數(shù)實現(xiàn)長度統(tǒng)計。-判斷空字符串時直接返回0，避免無效計算。-時間復(fù)雜度為O(nm)，其中n是列表長度，m是字符串的平均長度。對于大數(shù)據(jù)場景，需注意長字符串的處理效率。2.題目：使用HadoopMapReduce的偽代碼（Python模擬）實現(xiàn)以下邏輯：給定一個文本文件，統(tǒng)計每行中單詞出現(xiàn)的次數(shù)，并輸出結(jié)果。示例輸入：helloworldworldhellohello示例輸出：hello3world2要求：-Map階段和Reduce階段需分別實現(xiàn)。-忽略大小寫和標(biāo)點符號（可簡化為直接刪除空格分隔）。答案與解析：答案：pythonMap階段defmap_phase(line):words=line.lower().split()return[(word,1)forwordinwords]Reduce階段defreduce_phase(mapped_data):counts={}forword,countinmapped_data:ifwordincounts:counts[word]+=countelse:counts[word]=countreturncounts模擬輸入input_data=["helloworld","worldhello","hello"]mapped=[map_phase(line)forlineininput_data]flattened_mapped=[itemforsublistinmappedforiteminsublist]result=reduce_phase(flattened_mapped)print(result)解析：-Map階段：將每行文本轉(zhuǎn)為小寫并按空格分隔，生成鍵值對（單詞，1）。-Reduce階段：合并相同鍵的值并累加。-HadoopMapReduce的核心思想是分布式處理，這里用Python模擬簡化了并行邏輯。-實際場景中需考慮多行輸入和分布式存儲（如HDFS）。3.題目：使用SparkSQL實現(xiàn)以下功能：給定一個DataFrame，包含列`id`（用戶ID）、`score`（分數(shù)）和`category`（分類），篩選出`category`為"VIP"且`score`大于80的用戶，并按`score`降序排序，最后返回前10條記錄。示例輸入：|id|score|category||-|-|-||1|85|VIP||2|90|VIP||3|78|VIP||4|92|Normal||5|88|VIP|示例輸出：|id|score|category||-|-|-||2|90|VIP||5|88|VIP||1|85|VIP|要求：-使用SparkSQL語法。-代碼需考慮大數(shù)據(jù)量下的性能。答案與解析：答案：pythonfrompyspark.sqlimportSparkSession初始化Sparkspark=SparkSession.builder.appName("example").getOrCreate()示例數(shù)據(jù)data=[(1,85,"VIP"),(2,90,"VIP"),(3,78,"VIP"),(4,92,"Normal"),(5,88,"VIP"),]columns=["id","score","category"]創(chuàng)建DataFramedf=spark.createDataFrame(data,columns)使用SparkSQL篩選并排序result=df.sql("SELECTFROM(SELECTid,score,categoryFROMdfWHEREcategory='VIP'ANDscore>80ORDERBYscoreDESC)subWHERErow_number()OVER(ORDERBYscoreDESC)<=10")result.show()解析：-使用`row_number()`窗口函數(shù)實現(xiàn)TopN篩選，適用于大數(shù)據(jù)量場景。-先按`score`降序排序，再取前10條。-SparkSQL的`OVER()`語法適用于復(fù)雜排序和分組需求。-注意實際場景中需考慮分區(qū)和廣播優(yōu)化。二、系統(tǒng)設(shè)計題（共2題，每題25分，總分50分）1.題目：設(shè)計一個高并發(fā)的短鏈接系統(tǒng)，要求支持百萬級QPS，并滿足以下需求：-輸入任意長URL，生成固定長度（如6位）的短鏈接。-支持通過短鏈接快速跳轉(zhuǎn)回原URL。-系統(tǒng)需具備高可用性和分布式擴展能力。要求：-說明核心組件設(shè)計。-提出至少兩種優(yōu)化方案。答案與解析：答案：核心組件設(shè)計：1.URL編碼服務(wù)（分布式）-使用哈希算法（如SHA256）將長URL生成唯一標(biāo)識，再通過Base62編碼壓縮為6位短碼。-可用Redis集群存儲映射關(guān)系，支持快速讀寫。2.反向解析服務(wù)（負載均衡）-用戶訪問短鏈接時，通過DNS輪詢或負載均衡器分發(fā)請求到多個后端節(jié)點。-后端節(jié)點查詢Redis緩存，若無則查詢數(shù)據(jù)庫。3.數(shù)據(jù)庫（分片）-使用MySQL或TiKV分片存儲長鏈接數(shù)據(jù)，按短碼前綴分片。-索引優(yōu)化：短碼作為主鍵。優(yōu)化方案：1.緩存預(yù)熱-預(yù)先加載熱點短鏈接到Redis，減少數(shù)據(jù)庫查詢。-可結(jié)合用戶訪問日志動態(tài)調(diào)整緩存策略。2.異步寫入-使用Kafka或Pulsar緩沖URL映射請求，后端異步批量寫入數(shù)據(jù)庫。解析：-分布式Redis集群保證高并發(fā)讀寫能力。-Base62編碼（a-z,A-Z,0-9）減少短碼沖突概率。-分片數(shù)據(jù)庫提升擴展性，適合百萬級數(shù)據(jù)量。-異步寫入緩解高峰壓力，Kafka可應(yīng)對突發(fā)流量。2.題目：設(shè)計一個實時用戶行為分析系統(tǒng)，要求滿足以下需求：-輸入來源：用戶訪問日志（每秒數(shù)萬條）、點擊流（每秒數(shù)百萬條）。-處理流程：實時統(tǒng)計UV、PV、熱門商品Top10等指標(biāo)。-輸出：支持分鐘級數(shù)據(jù)查詢和實時大屏展示。要求：-描述數(shù)據(jù)處理架構(gòu)。-說明如何保證數(shù)據(jù)準確性。答案與解析：答案：數(shù)據(jù)處理架構(gòu)：1.數(shù)據(jù)采集（Kafka）-日志和點擊流接入Kafka集群，按來源分區(qū)。-生產(chǎn)者端設(shè)置批處理+異步發(fā)送，防超載。2.實時計算（Flink/Flink）-使用Flink進行窗口計算：-UV/PV統(tǒng)計：滑動窗口（5秒）去重統(tǒng)計。-熱門商品：TopN算法（維護有序數(shù)組）。-結(jié)果緩存到Redis，支持快速查詢。3.離線補全（Hadoop/ClickHouse）-滾動日志存入HDFS或ClickHouse，用于全量分析。-每小時觸發(fā)離線計算，更新Redis指標(biāo)。數(shù)據(jù)準確性保障：1.冪等寫入-Kafka生產(chǎn)者開啟冪等性，防重復(fù)數(shù)據(jù)。2.校驗機制-Flink檢查數(shù)據(jù)完整性（如統(tǒng)計數(shù)是否等于輸入數(shù)）。-定時校準Redis與數(shù)據(jù)庫數(shù)據(jù)。解析：-Flink的窗口計算適合實時指標(biāo)統(tǒng)計，支持狀態(tài)管理。-ClickHouse優(yōu)化了寬表查詢，適合分鐘級數(shù)據(jù)聚合。-冪等性設(shè)計防寫入失敗導(dǎo)致數(shù)據(jù)丟失。-離線與實時結(jié)合兼顧時效性和準確性。三、綜合題（共1題，25分）1.題目：假設(shè)騰訊云某業(yè)務(wù)需要處理海量用戶畫像數(shù)據(jù)（每用戶約1GB，包含標(biāo)簽、消費、社交等多維信息），要求實現(xiàn)以下功能：-每日生成用戶畫像報告，包含“高價值用戶”（消費金額Top10%）和“活躍用戶”（近期交互頻次Top20%）名單。-報告需支持動態(tài)更新：當(dāng)有新數(shù)據(jù)接入時，實時重新計算指標(biāo)。要求：-描述數(shù)據(jù)處理方案。-比較實時與離線方案的優(yōu)缺點。答案與解析：答案：數(shù)據(jù)處理方案：1.實時方案（Flink+Redis）-用戶行為數(shù)據(jù)接入Kafka，F(xiàn)link實時聚合：-消費金額：使用窗口函數(shù)計算Top10%用戶。-交互頻次：滑動窗口統(tǒng)計最近7天請求。-結(jié)果存入Redis，支持定時觸發(fā)報告生成。2.離線方案（Spark+ClickHouse）-每日全量數(shù)據(jù)存入HDFS，SparkMR處理：-分區(qū)計算消費金額Top10%和交互頻次Top20%。-結(jié)果寫入ClickHouse，支持SQL查詢。實時vs離線方案對比：|方案|優(yōu)點|缺點|||--|--||實時|及時性高，動態(tài)