技術(shù)創(chuàng)新技術(shù)創(chuàng)新公司實(shí)習(xí)報(bào)告一、摘要

2023年7月10日至9月5日，我在一家專注于人工智能技術(shù)研發(fā)的創(chuàng)新公司擔(dān)任數(shù)據(jù)分析師實(shí)習(xí)生。核心工作成果包括完成3個(gè)機(jī)器學(xué)習(xí)模型的優(yōu)化，使預(yù)測(cè)準(zhǔn)確率提升12%，并開發(fā)1份涵蓋2000條數(shù)據(jù)的行業(yè)分析報(bào)告。期間，應(yīng)用Python進(jìn)行數(shù)據(jù)處理，使用TensorFlow構(gòu)建神經(jīng)網(wǎng)絡(luò)，通過SQL查詢提取500GB數(shù)據(jù)庫(kù)信息。提煉出可復(fù)用的方法論：采用交叉驗(yàn)證法提升模型魯棒性，利用KMeans聚類算法實(shí)現(xiàn)數(shù)據(jù)降維。專業(yè)技能得到強(qiáng)化，包括自動(dòng)化腳本編寫、數(shù)據(jù)可視化工具使用及跨部門協(xié)作流程掌握。

二、實(shí)習(xí)內(nèi)容及過程

實(shí)習(xí)目的主要是想把學(xué)校學(xué)的機(jī)器學(xué)習(xí)理論用上，看看實(shí)際工作里怎么搞。

實(shí)習(xí)單位是家搞AI算法的，主要做智能推薦和圖像識(shí)別，技術(shù)氛圍挺濃，但節(jié)奏快得有點(diǎn)跟不上。

實(shí)習(xí)內(nèi)容分兩塊，一塊是跟著師傅做項(xiàng)目，另一塊是獨(dú)立負(fù)責(zé)數(shù)據(jù)整理。剛開始被分配到自然語(yǔ)言處理那組，要做個(gè)評(píng)論情感分析的模型，但上手發(fā)現(xiàn)數(shù)據(jù)挺亂的，臟數(shù)據(jù)特別多，準(zhǔn)確率一開始就卡在65%，離上線標(biāo)準(zhǔn)差遠(yuǎn)了。師傅讓我先別急著搭模型，先搞數(shù)據(jù)清洗。

我花了大概兩周，用Python寫了個(gè)自動(dòng)化腳本，搞了各種預(yù)處理，像分詞、去停用詞、還有用LDA主題模型把無標(biāo)簽數(shù)據(jù)聚成50個(gè)類，篩出來的有效數(shù)據(jù)大概占了原始樣本的60%。重新跑模型后，準(zhǔn)確率飚到了82%，師傅挺滿意。這事兒讓我明白，有時(shí)候模型調(diào)半天不如把數(shù)據(jù)搞扎實(shí)。

后期獨(dú)立負(fù)責(zé)的是用戶行為數(shù)據(jù)整理，要給產(chǎn)品組做可視化報(bào)表。那份數(shù)據(jù)有5個(gè)表加起來2T，一開始用Excel直接卡死，后來學(xué)了SQL，寫了個(gè)優(yōu)化的查詢語(yǔ)句，把數(shù)據(jù)分天導(dǎo)出來，再合并。最后做的報(bào)告里用了2000個(gè)數(shù)據(jù)點(diǎn)，按周環(huán)比做了20張圖表，產(chǎn)品組說挺直觀。

遇到的困難有倆，一個(gè)是跨部門溝通，技術(shù)組說話直，產(chǎn)品組要細(xì)節(jié)多，好幾次方案改來改去，后來我學(xué)著先列個(gè)大綱，把技術(shù)限制和業(yè)務(wù)需求都寫清楚，效率高點(diǎn)。另一個(gè)是工具不熟，剛開始用TensorFlow調(diào)試模型老是報(bào)錯(cuò)，花了兩周時(shí)間看官方文檔，現(xiàn)在寫新模型比以前快了至少一半時(shí)間。

成果的話，那8周里獨(dú)立完成了3個(gè)模型調(diào)優(yōu)，平均準(zhǔn)確率提升12%，做了5份行業(yè)分析報(bào)告，數(shù)據(jù)量最大的那份有2000條記錄。最大的收獲是知道怎么把理論落地，比如之前覺得過擬合挺抽象的，現(xiàn)在真數(shù)據(jù)一跑就知道過擬合啥樣了。

單位管理上，感覺新人培訓(xùn)有點(diǎn)隨緣，分配任務(wù)靠師傅心情，要是能有更系統(tǒng)的入職流程就好了。建議可以搞個(gè)內(nèi)部知識(shí)庫(kù)，把常用代碼片段和踩過的坑都記著，省得大家總重復(fù)犯錯(cuò)。崗位匹配度方面，初期覺得做算法離自己專業(yè)挺近，但實(shí)際工作里數(shù)據(jù)工程這塊占了挺大比例，要是學(xué)校多教教數(shù)據(jù)庫(kù)和腳本語(yǔ)言，現(xiàn)在可能沒那么手忙腳亂。

三、總結(jié)與體會(huì)

這8周，從2023年7月10日到9月5日，像在另一個(gè)課堂，但老師是電腦屏幕和實(shí)際數(shù)據(jù)。實(shí)習(xí)的價(jià)值在于把學(xué)校畫餅的理論，變成了能點(diǎn)亮的燈泡。比如調(diào)那個(gè)評(píng)論情感分析模型，一開始65%的準(zhǔn)確率讓我急得不行，后來發(fā)現(xiàn)是數(shù)據(jù)里亂入太多廣告詞，用LDA主題模型篩了50個(gè)無效主題，數(shù)據(jù)質(zhì)量直接拉升，模型準(zhǔn)到上線標(biāo)準(zhǔn)，這讓我真真切切感受到技術(shù)改變業(yè)務(wù)的路徑。不是空喊的AI賦能，是真刀真槍的數(shù)變智。

對(duì)我職業(yè)規(guī)劃的影響挺具體的。以前覺得算法工程師就是調(diào)參，現(xiàn)在明白數(shù)據(jù)采集、清洗、可視化同樣重要，甚至更基礎(chǔ)。下學(xué)期打算補(bǔ)CDA數(shù)據(jù)分析師那套認(rèn)證，把SQL和Python腳本再錘煉下，畢竟那段時(shí)間導(dǎo)2T數(shù)據(jù)真把我逼瘋了。另外，看到團(tuán)隊(duì)怎么用敏捷開發(fā)迭代模型快速響應(yīng)產(chǎn)品需求，突然覺得學(xué)校那套按部就班的課程設(shè)計(jì)有點(diǎn)落伍，后續(xù)項(xiàng)目要是能多接觸些實(shí)際場(chǎng)景，肯定成長(zhǎng)更快。

行業(yè)趨勢(shì)上，現(xiàn)在特別卷的AIGC，但背后還是得靠扎實(shí)的NLP和計(jì)算機(jī)視覺做基礎(chǔ)。那段時(shí)間跟著師傅看論文，發(fā)現(xiàn)很多新模型都在拼命優(yōu)化推理速度，像什么量化訓(xùn)練、知識(shí)蒸餾，感覺未來算力成本和實(shí)時(shí)性會(huì)成關(guān)鍵卡點(diǎn)。公司現(xiàn)在搞的那個(gè)推薦系統(tǒng)，底層用的深度學(xué)習(xí)框架都快3年沒更新了，效率瓶頸明顯，估計(jì)明年就得換新的。這提醒我，技術(shù)這東西不是學(xué)完就一勞永逸，得像追劇一樣隨時(shí)補(bǔ)最新集。

心態(tài)轉(zhuǎn)變是最大的收獲。以前寫個(gè)代碼跑通就行，現(xiàn)在得考慮成本、可維護(hù)性，那段時(shí)間為了優(yōu)化模型，對(duì)著GPU跑了一周，中間差點(diǎn)把自己搞崩潰，但看到最終82%的準(zhǔn)確率，覺得值了。這種扛住壓力解決問題的感覺，跟學(xué)?？荚嚥閭€(gè)95分完全不一樣，是能真切感受到自己創(chuàng)造價(jià)值的踏實(shí)。接下來要學(xué)的，就是怎么把這種“責(zé)任在肩”的勁兒保持下去，畢竟技術(shù)這行，松懈了立馬就被淘汰。

四、致謝

感謝那家公司提供實(shí)習(xí)機(jī)會(huì)，讓我知道技術(shù)怎么落地。特別感