軟件工程大數(shù)據(jù)公司數(shù)據(jù)工程師實(shí)習(xí)報(bào)告一、摘要2023年7月1日至2023年8月31日，我在一家軟件工程大數(shù)據(jù)公司擔(dān)任數(shù)據(jù)工程師實(shí)習(xí)生。核心工作成果包括搭建并優(yōu)化了3個(gè)實(shí)時(shí)數(shù)據(jù)管道，日均處理約500GB日志數(shù)據(jù)，將數(shù)據(jù)延遲從小時(shí)級縮短至分鐘級；構(gòu)建了2個(gè)數(shù)據(jù)質(zhì)量監(jiān)控看板，通過Python腳本實(shí)現(xiàn)自動化檢測，錯誤率下降至0.3%。專業(yè)技能應(yīng)用上，熟練運(yùn)用ApacheSpark進(jìn)行分布式計(jì)算，結(jié)合SQL和Python（Pandas）完成數(shù)據(jù)清洗與特征工程，并使用Kafka實(shí)現(xiàn)數(shù)據(jù)流同步。提煉出可復(fù)用的方法論：采用分層數(shù)據(jù)架構(gòu)與CI/CD流程提升開發(fā)效率，通過元數(shù)據(jù)管理工具確保數(shù)據(jù)溯源與一致性，這些實(shí)踐有效支持了業(yè)務(wù)方的實(shí)時(shí)分析需求。二、實(shí)習(xí)內(nèi)容及過程1.實(shí)習(xí)目的去2023年7月1號開始實(shí)習(xí)那會兒，主要想法就是看看大數(shù)據(jù)這塊兒在實(shí)際工作里到底是個(gè)啥樣，能不能把我學(xué)校學(xué)的那些理論玩意兒用上，順便熟悉下業(yè)界常用的那些工具和流程。2.實(shí)習(xí)單位簡介我所在的團(tuán)隊(duì)是個(gè)做大數(shù)據(jù)分析的公司，主要是幫客戶處理和分析海量數(shù)據(jù)，搞出點(diǎn)有價(jià)值的洞察出來。他們用的是挺多主流的技術(shù)棧，像Spark、Hadoop、Flink啥的，環(huán)境也挺新的。3.實(shí)習(xí)內(nèi)容與過程我跟著一個(gè)項(xiàng)目組干，主要是搭數(shù)據(jù)管道和處理數(shù)據(jù)。開始的時(shí)候就是熟悉環(huán)境，看他們現(xiàn)成的系統(tǒng)怎么跑的，然后接手一個(gè)小模塊優(yōu)化。我負(fù)責(zé)的部分是用戶行為數(shù)據(jù)的實(shí)時(shí)處理，用的主要是SparkStreaming和Kafka。每天看著那些數(shù)據(jù)點(diǎn)從Kafka里流過來，再被Spark算出來，最后存到HDFS或者直接給前端用，感覺挺有意思的。后來又接觸了點(diǎn)數(shù)據(jù)倉庫的搭建，用SQL搞ETL，把分散在幾個(gè)地方的數(shù)據(jù)搞到一起。有個(gè)挑戰(zhàn)是剛開始不太懂他們那套數(shù)據(jù)治理的流程，好多表沒文檔，字段啥的也不統(tǒng)一，搞得我數(shù)據(jù)處理的時(shí)候老出錯。還有就是實(shí)時(shí)計(jì)算延遲有點(diǎn)大，有時(shí)候得幾分鐘才能算出來，影響用戶體驗(yàn)。4.實(shí)習(xí)成果與收獲我最后把那個(gè)實(shí)時(shí)處理鏈路優(yōu)化了一下，把幾個(gè)Spark作業(yè)合并成一個(gè)大作業(yè)，加了一些緩存機(jī)制，延遲從平均5分鐘降到了1分鐘出頭，每天的吞吐量也提到了700GB左右。還搞了個(gè)數(shù)據(jù)質(zhì)量監(jiān)控的小系統(tǒng)，用Python定時(shí)跑腳本，把錯誤率從之前的1%多降到了0.2%以下。最大的收獲是看他們怎么規(guī)范地管理數(shù)據(jù)，從采集、處理到分析整個(gè)流程是怎么跑的，學(xué)到了不少實(shí)際操作里的細(xì)節(jié)，比如怎么在Spark里調(diào)優(yōu)內(nèi)存，怎么設(shè)計(jì)表結(jié)構(gòu)才高效。5.問題與建議有個(gè)問題是他們那套培訓(xùn)機(jī)制吧，感覺對新來的實(shí)習(xí)生的引導(dǎo)不太夠，好多東西都得自己摸索，要是能有個(gè)更系統(tǒng)的帶教計(jì)劃就好了。另外，我感覺我們那兒的數(shù)倉設(shè)計(jì)有點(diǎn)老舊，還在用兩層的架構(gòu)，現(xiàn)在都流行三層或者湖倉一體了，有點(diǎn)跟不上趨勢。建議他們可以考慮引入更多云上服務(wù)，像AWS或者Azure的那些湖倉一體方案，或者用Flink代替部分Spark做實(shí)時(shí)計(jì)算，效率可能會更高。還有就是團(tuán)隊(duì)管理上，有時(shí)候任務(wù)分配不太清晰，好幾個(gè)人可能都在做重復(fù)的工作，要是能搞個(gè)更明確的分工就好了。三、總結(jié)與體會1.實(shí)習(xí)價(jià)值閉環(huán)這8周，從7月1號到8月31號，感覺像是把學(xué)校里那些零零散散的理論知識串起來了。一開始對著那些實(shí)際業(yè)務(wù)需求數(shù)據(jù)懵懵的，搞不清怎么下手，后來慢慢跟著項(xiàng)目走，從搭實(shí)時(shí)數(shù)據(jù)管道到優(yōu)化Spark作業(yè)，再到搞數(shù)據(jù)質(zhì)量監(jiān)控，每一步都挺扎實(shí)的。最讓我覺得值的是，看到自己寫的代碼跑起來，把幾百GB的數(shù)據(jù)從幾分鐘延遲降到一分鐘左右，這感覺挺直接的。這些經(jīng)歷讓我明白，光會理論不行，得知道怎么在真實(shí)場景下解決問題，怎么讓系統(tǒng)跑得快、跑得穩(wěn)。2.職業(yè)規(guī)劃聯(lián)結(jié)這次實(shí)習(xí)讓我更確定了自己想走數(shù)據(jù)工程師這條路。之前在學(xué)校，對未來的想法有點(diǎn)模糊，現(xiàn)在清楚了，想繼續(xù)深耕這個(gè)領(lǐng)域。實(shí)習(xí)里接觸到的那些技術(shù)，像Spark、Flink、Kafka，還有數(shù)據(jù)管道、數(shù)倉、數(shù)據(jù)治理這些概念，都成了我接下來學(xué)習(xí)的目標(biāo)。我打算接下來先把Spark的基礎(chǔ)打牢，看看能不能把Flink也學(xué)進(jìn)去，順便考證，比如個(gè)CDA或者CKA，給自己加把勁。感覺這段經(jīng)歷成了我簡歷上挺硬核的一塊，找下一份實(shí)習(xí)或者工作的時(shí)候，應(yīng)該能派上用場。3.行業(yè)趨勢展望在實(shí)習(xí)里，能感覺到現(xiàn)在大數(shù)據(jù)這行挺卷的，但也好玩。大家都在搞實(shí)時(shí)計(jì)算，說湖倉一體是未來，還有AI、大數(shù)據(jù)結(jié)合的玩法越來越多。我們那兒的系統(tǒng)雖然不算最前沿的，但也用到了不少新東西，比如用Flink做流批一體化處理。我覺得未來數(shù)據(jù)工程師不光要懂?dāng)?shù)據(jù)處理，還得懂點(diǎn)機(jī)器學(xué)習(xí)，至少得知道怎么把算法搭進(jìn)去，怎么給模型準(zhǔn)備數(shù)據(jù)。所以接下來打算拓展下學(xué)習(xí)范圍，看看機(jī)器學(xué)習(xí)這塊能學(xué)到啥。4.心態(tài)轉(zhuǎn)變剛開始那會兒，遇到點(diǎn)問題就容易慌，或者覺得這太難了那太難了。但真動手做了，發(fā)現(xiàn)好多事沒想象中那么復(fù)雜，主要是得多嘗試，多查資料，或者跟同事問問，總會解決?，F(xiàn)在看問題心態(tài)平和多了，抗壓能力也強(qiáng)了點(diǎn)。這種從學(xué)生到稍微有點(diǎn)職場人感覺的轉(zhuǎn)變，挺重要的。以后再遇到啥坎，估計(jì)