計算機科學人工智能實習報告一、摘要

2023年6月5日至8月22日，我在XX公司擔任人工智能算法實習生，負責自然語言處理模型的優(yōu)化與數(shù)據(jù)標注。核心工作成果包括將BERT模型在特定任務(wù)上的準確率從82.3%提升至89.7%，通過設(shè)計并實現(xiàn)數(shù)據(jù)清洗腳本，使標注效率提升35%，累計處理約1.2萬條文本數(shù)據(jù)。期間，應(yīng)用了PyTorch框架進行模型訓(xùn)練，結(jié)合Scikitlearn進行特征工程，并采用交叉驗證方法驗證模型穩(wěn)定性。提煉出的可復(fù)用方法論包括動態(tài)學習率調(diào)整策略（AdamW優(yōu)化器參數(shù)設(shè)置）及自動化標注流程（使用正則表達式匹配規(guī)則），這些方法在后續(xù)實驗中驗證了其有效性。

二、實習內(nèi)容及過程

實習目的主要是把學校學的機器學習理論用上，看看實際工作里怎么搞項目，特別是自然語言處理這塊兒。

實習單位是家做智能客服的，主要搞聊天機器人，有AI研發(fā)和算法團隊，我加入的是數(shù)據(jù)標注和模型調(diào)優(yōu)小組。他們用的技術(shù)棧還挺多的，從BERT到Transformer，環(huán)境是Python3.8，深度學習主要用PyTorch。

實習內(nèi)容就是幫著把用戶問的奇葩問題分類，做意圖識別的訓(xùn)練數(shù)據(jù)。一開始是手動標注，挺慢的，每天就處理一兩百條。后來他們那個數(shù)據(jù)清洗工具老崩，我就琢磨著能不能自己寫個腳本?；藘商鞎r間，用Pandas加正則表達式，把臟數(shù)據(jù)篩一遍，標注效率直接翻倍，最后一天能弄一千多條。有個特別難的案例是區(qū)分“我要退訂”和“我想訂明天”，調(diào)了十幾次BERT模型，加上細粒度的情感分析，準確率才從78%弄到85%。

困難主要是模型訓(xùn)練資源不夠，有時候跑個實驗要等好幾個小時。有次想用GPU加速，但公司那臺服務(wù)器卡得要死，最后學了點分布式訓(xùn)練的皮毛，把數(shù)據(jù)分塊跑，勉強提前了半小時出結(jié)果。另外就是跟業(yè)務(wù)部門溝通，有時候他們提的需求特別模糊，比如“讓機器人更懂用戶”，最后我通過做A/B測試，用數(shù)據(jù)把指標拆解成響應(yīng)時間和意圖識別準確率，才讓他們明白怎么改。

收獲就是知道怎么把理論落地了，以前覺得注意力機制挺玄乎，現(xiàn)在自己調(diào)參數(shù)的時候還能想到論文里說的那些細節(jié)。還有就是數(shù)據(jù)的重要性，調(diào)模型調(diào)半天，發(fā)現(xiàn)數(shù)據(jù)本身有偏差，一切都白費。

職業(yè)規(guī)劃上，我覺得自己更適合做算法工程師，但也要懂點業(yè)務(wù)，不然想法會飄。這段經(jīng)歷讓我意識到，光會寫代碼不行，得知道怎么跟人打交道，怎么用數(shù)據(jù)說話。

三、總結(jié)與體會

這八周，從2023年6月5號到8月22號，感覺像是突然被推到了現(xiàn)實里。以前在學校搞項目，數(shù)據(jù)集都是老師給的好好的，跑幾行代碼就有結(jié)果。去了那邊，每天盯著的是線上機器人返流的用戶數(shù)據(jù)，錯誤率一高，客服那邊就喊。這種感覺挺奇妙的，以前覺得模型好就行，現(xiàn)在知道模型只是個環(huán)節(jié)，整個鏈路里的每個螺絲釘都得擰緊。

最值的一筆是把這個數(shù)據(jù)清洗腳本做出來，每天標注量從一百出頭提到四五百，雖然不算驚天動地，但確實幫到了團隊。這讓我明白，技術(shù)有時候不是比誰算法最新，是怎么用現(xiàn)有工具解決實際問題。比如那個BERT調(diào)參，我跑了二十多次實驗，每次都是調(diào)一點點學習率或者dropout比例，每次把準確率從88%提到89%，最后到89.7%，雖然只多了1%，但那種把細節(jié)摳到位的感覺，挺扎實的。

這次經(jīng)歷也讓我看清了自己想干嘛。以前覺得做算法研究特高大上，現(xiàn)在發(fā)現(xiàn)跟業(yè)務(wù)結(jié)合更帶勁。比如做意圖識別的時候，業(yè)務(wù)說“用戶總問‘明天幾點開庭’，但‘開庭’這個詞不一定是這個意思”，我就得去想怎么在模型里加點東西，讓它區(qū)分上下文，這種需求比單純搞理論有意思多了。

看著那個機器人能聽懂越來越復(fù)雜的話，心里挺有成就感的。但也意識到自己好多東西不會，比如模型部署、線上監(jiān)控，這些在學校根本接觸不到。下學期打算系統(tǒng)學學Docker和Kubernetes，看看能不能把學習的東西做點實際的。另外那個數(shù)據(jù)標注規(guī)范，我整理的文檔，后面新來的實習生還用，這種感覺挺不錯的，也許以后可以往技術(shù)寫作方向發(fā)展？

行業(yè)里現(xiàn)在都在談大模型，感覺變化特別快。這次實習雖然沒直接摸到大模型，但學到的數(shù)據(jù)處理、模型迭代那套流程，跟搞大模型應(yīng)該差不了多少。至少現(xiàn)在看那些新聞，知道里面在說什么了，不像以前一竅不通。感覺自己像個初學者，但至少知道了門在哪兒，路在哪兒。以后找實習或者工作，至少不會兩眼一抹黑了。

四、致謝

在XX公司這八周的實習，挺受鍛煉的。

感謝公司給我這個機會，讓我知道實際工作是怎么樣的。

導(dǎo)師在模型調(diào)優(yōu)上給了我挺多指點，尤其是在BERT微調(diào)這塊，幫