大語言模型通識微課

數(shù)據(jù)標(biāo)注的執(zhí)行常識性標(biāo)注的規(guī)則比較簡單，標(biāo)注一部分樣本即可總結(jié)出較通用的規(guī)則，但專業(yè)性標(biāo)注的規(guī)則比較復(fù)雜，制定專業(yè)的標(biāo)注規(guī)則需要遵循的原則主要如下。（1）多維分析與綜合分析相結(jié)合。簡歷與職位的匹配度影響因素肯定是多維的，不能只參考工作經(jīng)歷或?qū)I(yè)要求一個因子，或者某幾個因子，要多維分析，最終再給出綜合評分結(jié)果。簡歷與職位的匹配標(biāo)注也不可能一上來就能給出綜合的評分。要先給單一因子打分，然后參考每個因子的評分結(jié)果，最終再進(jìn)行綜合分析，給出評分結(jié)果。微課4.2數(shù)據(jù)標(biāo)注的執(zhí)行（2）因子權(quán)重影響因素場景化。簡歷與職位匹配度評估需要給每個因子打分，要結(jié)合具體場景把所有因子進(jìn)行歸類分析，比如設(shè)定一些重要因子，如果重要因子不匹配可能就直接不給分，比如工作經(jīng)歷代表的是一個人的勝任力，如果該候選人不具備該崗位的勝任力，總分肯定是0分。還有一些因子雖然不是很重要，但會影響評分，有些因子時而重要時而不重要，比如年齡，人力資源經(jīng)理想要1~3年經(jīng)驗(yàn)的行政專員，候選人40歲，該情況肯定會影響最終評分且很有可能總分是0分。所以把所有影響因子結(jié)合場景進(jìn)行歸類分析是十分必要的。4.2.1制定標(biāo)注規(guī)則（3）問題類型標(biāo)簽化、結(jié)構(gòu)化。一般情況下標(biāo)注結(jié)果會以分?jǐn)?shù)的形式展示。前期制定標(biāo)注規(guī)則時，要把原因分析考慮進(jìn)去，列出不匹配的原因，形成結(jié)構(gòu)化的原因標(biāo)簽，有利于最終分析壞樣例的分類與占比，然后，算法或者策略團(tuán)隊(duì)在優(yōu)化時可以優(yōu)先解決占比高或影響惡劣的樣例。數(shù)據(jù)標(biāo)注是一項(xiàng)看似簡單實(shí)際卻十分繁雜的工作，涉及標(biāo)注分類、標(biāo)注規(guī)則制定、標(biāo)注原因分析、標(biāo)注系統(tǒng)搭建、標(biāo)注團(tuán)隊(duì)管理等，尤其涉及到專業(yè)領(lǐng)域的標(biāo)注則更困難。4.2.1制定標(biāo)注規(guī)則圖像標(biāo)注專家阿德拉·巴里烏索在實(shí)踐中積累了豐富的標(biāo)注工作經(jīng)驗(yàn)，她記錄了標(biāo)注過程中曾遇到的困難和采用的解決方案，以便得到一致性高的注釋。巴里烏索在數(shù)據(jù)標(biāo)注中的主要心得如下。（1）在標(biāo)注圖像時，首先對圖像進(jìn)行整體評估，衡量標(biāo)注難度。有些乍一看標(biāo)注難度較大的圖像，實(shí)際上圖中的元素很少，很容易標(biāo)記。（2）標(biāo)注時，通常由大到小進(jìn)行標(biāo)注。比如開放空間中先標(biāo)注天空，封閉空間內(nèi)先標(biāo)注天花板，然后再繼續(xù)添加其他東西。4.2.2執(zhí)行數(shù)據(jù)標(biāo)注（3）標(biāo)記順序不重要，但標(biāo)注時最好一行行地進(jìn)行，將一行內(nèi)所有類型相同的對象全都標(biāo)注上，降低標(biāo)簽寫錯的可能。（4）一般不標(biāo)注鏡子里反射的物體，這很容易造成誤導(dǎo)。（5）在圖像中有很多線條性物體時需要特別注意，有可能標(biāo)注出與所需完全相反的內(nèi)容（如孔內(nèi)被標(biāo)記為對象）。4.2.2執(zhí)行數(shù)據(jù)標(biāo)注（6）標(biāo)注圖像中出現(xiàn)打開的門窗等情況時，不僅僅是標(biāo)注門窗，也應(yīng)將門窗內(nèi)的物體也標(biāo)注上，這有助于增加深度感。（7）標(biāo)注時的標(biāo)注線條要好看一些，盡量避免弄成一塊一塊的。

4.2.2執(zhí)行數(shù)據(jù)標(biāo)注（8）對于過于復(fù)雜的圖片，如果對圖中的內(nèi)容不夠熟悉，就干脆跳過。（9）如果一個物體被另一個物體遮擋，在給兩個物體做標(biāo)注時，給兩個物體貼上標(biāo)簽，確保它們的邊緣重合。

4.2.2執(zhí)行數(shù)據(jù)標(biāo)注（10）標(biāo)注時有時需要放大和縮小。放大有助于標(biāo)注一些小細(xì)節(jié)，但在標(biāo)注之后需縮放至原始大小進(jìn)行審核。（11）標(biāo)注室內(nèi)空間時，一般單獨(dú)標(biāo)記不同方向的墻。（12）如圖，圖像的復(fù)雜性是由于墻壁和拱門形成的不同深度平面造成的，在標(biāo)記時需要給拱門內(nèi)的元素進(jìn)行標(biāo)記。首先從兩堵墻開始，然后給墻壁和容易分辨的大物體進(jìn)行標(biāo)注，最后再去標(biāo)注小的一些細(xì)節(jié)。4.2.2執(zhí)行數(shù)據(jù)標(biāo)注（13）有時候某些容器是透明的，比如透明的容器內(nèi)裝著一些餅干，這時候是標(biāo)注“容器”還是“餅干”呢？一般標(biāo)注為容器，重點(diǎn)在于要保持標(biāo)注原則的前后一致。（14）有時候標(biāo)注標(biāo)簽并非自己的母語，當(dāng)標(biāo)注的目標(biāo)物種類較多時，一定要建立一個標(biāo)簽的對應(yīng)關(guān)系，方便查找，如“bed：床”。4.2.2執(zhí)行數(shù)據(jù)標(biāo)注數(shù)據(jù)標(biāo)注團(tuán)隊(duì)主要由標(biāo)注師和質(zhì)檢員組成，在完成標(biāo)注后，數(shù)據(jù)交給算法工程師，他們會用數(shù)據(jù)對大模型做測試?？纯茨男┓矫孢€有不足，再有針對性的做下一輪標(biāo)注和調(diào)試。通常，大模型標(biāo)注員崗位的要求比普通標(biāo)注員要高很多。除了對專業(yè)能力或綜合能力要求，有時會要求具有專業(yè)領(lǐng)域工作經(jīng)驗(yàn)。4.2.3標(biāo)注團(tuán)隊(duì)管理未來，大模型流水線上還會出現(xiàn)更多細(xì)分崗位，例如模型評估師（指導(dǎo)大模型調(diào)優(yōu)方向）、指令工程師（研究與大模型交互更高效的方式）、視頻音頻標(biāo)注