第六章數(shù)據(jù)標注實訓全流程項目實訓“數(shù)據(jù)標注”人才培養(yǎng)系列叢書01標注項目的基本操作流程標注項目的基本操作流程從項目的角度來說，完成一個標注項目大致可分成3個階段，即項目前、項目中、項目后。項目前主要涉及需求整理及商務溝通等事項；項目中主要是項目實施過程，例如數(shù)據(jù)準備、數(shù)據(jù)處理、項目配置等；項目后則是驗收和質(zhì)量保證。本節(jié)的全流程項目實訓主要針對項目中階段，主要包括6個環(huán)節(jié)，即原始數(shù)據(jù)獲取、數(shù)據(jù)處理或培訓、項目創(chuàng)建或立項、項目配置、標注實施、結(jié)果導出及后處理，如圖所示。標注項目的基本操作流程標注項目一般有兩種組織形式：一種是個人自主實施標注項目；另一種是標注團隊實施標注項目。如圖6-1所示的標注項目的基本操作流程兼顧了這兩種實施情況。圖中兩側(cè)的灰色部分分別代表項目前和項目后階段，中間部分代表項目中階段。從圖6-1可以看出，無論是個人實施的標注項目還是團隊實施的標注項目，其環(huán)節(jié)在項目中階段基本不會發(fā)生巨大的變化，而區(qū)別主要是在項目前和項目后階段。如圖6-1所示的每個環(huán)節(jié)中，如果有括號，則表示該環(huán)節(jié)屬于個人實施項目的流程；如不帶括號，則表示個人實施與團隊實施均可采用此流程。此外，由于是初學階段，本節(jié)將訓練重點放在整個項目的核心部分，即項目中階段。只要掌握了該階段的工作流程及操作，便能夠很好地組織和實施標注項目。標注項目的基本操作流程01原始數(shù)據(jù)獲取無論是個人標注項目還是團隊標注項目，都會涉及原始數(shù)據(jù)獲取的過程。如果是個人實施標注，原始數(shù)據(jù)獲取主要是通過采集方法得到；而團隊標注項目則很少會涉及數(shù)據(jù)采集，因為其主要是從需求方接收現(xiàn)成的數(shù)據(jù)。對于原始數(shù)據(jù)而言，數(shù)據(jù)的格式并不受限制，所有原始數(shù)據(jù)都可以在數(shù)據(jù)處理環(huán)節(jié)被處理成需要的格式。標注項目的基本操作流程02數(shù)據(jù)處理或培訓數(shù)據(jù)處理是標注項目實施不可缺少的一步。在獲取原始數(shù)據(jù)后，需要對數(shù)據(jù)進行一系列處理。這一步的主要任務有兩個：一是對原始數(shù)據(jù)進行特征及數(shù)據(jù)分布分析，明確數(shù)據(jù)本身的特點，以便根據(jù)數(shù)據(jù)特點確定標注實施方式；二是對原始數(shù)據(jù)進行校驗、清洗及格式處理。校驗的目的主要是篩除不符合要求或存在缺陷的數(shù)據(jù)，使原始數(shù)據(jù)純化；格式處理主要是通過腳本等方式將原始數(shù)據(jù)轉(zhuǎn)換成標注系統(tǒng)或工具適用的格式，從而為項目創(chuàng)建及配置做好準備。03項目創(chuàng)建或立項項目創(chuàng)建是在標注系統(tǒng)內(nèi)完成的，主要是指在標注系統(tǒng)內(nèi)建立一條記錄，將項目相關(guān)的信息錄入系統(tǒng)，為數(shù)據(jù)標注人員提供一個項目實施的入口。標注項目的基本操作流程04項目配置在項目創(chuàng)建之后，需要針對項目進行項目配置，要將完成標注項目所需的所有條件配置完整。一般來說，配置的內(nèi)容包括導入待標注數(shù)據(jù)（若系統(tǒng)支持，還可導入標注說明或規(guī)范，以便于數(shù)據(jù)標注人員實時查看），配置數(shù)據(jù)標注人員，配置標簽、工具或其他輔助工具等。標注項目的基本操作流程05標注實施標注實施是標注項目的核心流程，項目相關(guān)的所有標注、質(zhì)量及進度把控都在這一過程中進行。標注實施環(huán)節(jié)并非我們想象的那樣簡單，它并不僅僅包括標注和質(zhì)檢，標注和質(zhì)檢只是呈現(xiàn)出來的基本步驟，是主線。在這條主線上，會涉及很多分支流程，如圖所示。從圖可以看出，無論是標注還是質(zhì)檢都會涉及反復的質(zhì)檢、審核、反饋、修改、培訓、淘汰的過程。同樣，由于標注流程的復雜性，在標注中還會涉及多種質(zhì)量保證方法的靈活運用。標注項目的基本操作流程06結(jié)果導出及后處理在標注任務完成后，需要將標注結(jié)果從工具或系統(tǒng)中導出。導出后的結(jié)果并不能直接提交給需求方，而是要通過腳本等轉(zhuǎn)換成需求方需要的格式。在實際任務中，常見的結(jié)果格式有JSON、XML、表格、文本文檔等。同時，若有必要，還需要在系統(tǒng)外對標注結(jié)果進行篩查，從而發(fā)現(xiàn)結(jié)果中存在遺留錯誤或誤操作導致的無效數(shù)據(jù)，并及時予以修改。02全流程標注項目實操步驟詳解全流程標注項目實操步驟詳解實操過程依托于數(shù)據(jù)標注實訓平臺，平臺設(shè)計了從數(shù)據(jù)獲取開始到結(jié)果導出及后處理的全部流程。在標準流程的基礎(chǔ)上，額外增加了進入全流程項目練習頁面和查看任務要求部分，目的是讓學習者能夠找到練習入口并了解每個全流程訓練任務的要求。此外，還需要說明的是，系統(tǒng)中對于各環(huán)節(jié)的設(shè)計僅僅是為了讓學習者了解基本項目流程，實際的項目實施流程會與該流程相似，但不代表所有標注項目都會采用該固定流程?，F(xiàn)對各環(huán)節(jié)在系統(tǒng)中的具體操作流程及步驟介紹如下。全流程標注項目實操步驟詳解01進入全流程項目練習頁并查看任務要求要想開啟全流程項目訓練，首先需要找到練習入口，即進入全流程項目練習頁。操作方法如下：登錄數(shù)據(jù)標注實訓平臺→【實訓中心】（一般為默認頁）→【全流程項目訓練】，如圖所示。全流程標注項目實操步驟詳解01進入全流程項目練習頁并查看任務要求要想開啟全流程項目訓練，首先需要找到練習入口，即進入全流程項目練習頁。操作方法如下：登錄數(shù)據(jù)標注實訓平臺→【實訓中心】（一般為默認頁）→【全流程項目訓練】，如圖所示。全流程標注項目實操步驟詳解01進入全流程項目練習頁并查看任務要求要想開啟全流程項目訓練，首先需要找到練習入口，即進入全流程項目練習頁。操作方法如下：登錄數(shù)據(jù)標注實訓平臺→【實訓中心】（一般為默認頁）→【全流程項目訓練】，如圖所示。全流程標注項目實操步驟詳解01進入全流程項目練習頁并查看任務要求找到入口后，在進行項目訓練之前，需要了解具體的項目需求。在每個全流程任務模塊的頁面上，給出了對每個任務要求的描述。將鼠標光標移動到每個模塊右上角的圖標上，即可浮現(xiàn)出具體的任務要求。任務要求的描述會說明該條任務要求針對哪個標注類型進行全流程訓練，任務要配置的標簽有哪些，要在多長時間內(nèi)完成等一系列要求，如圖所示。全流程標注項目實操步驟詳解02原始數(shù)據(jù)獲取在了解項目需求的基礎(chǔ)上，學習者需要按照項目需求來準備標注所需的數(shù)據(jù)。正常情況下，原始數(shù)據(jù)是需要需求方或標注者自行準備的。但為了使任務簡單化，系統(tǒng)內(nèi)特意將教師模擬為需求方，為需求方發(fā)布數(shù)據(jù)提供一個渠道。如果教師已提供原始數(shù)據(jù)，學習者可到相應的任務中去領(lǐng)取。操作方法如下：在相應的全流程訓練任務模塊上單擊【進入學習】按鈕，進入創(chuàng)建項目頁面，如圖所示。全流程標注項目實操步驟詳解02原始數(shù)據(jù)獲取學習者在該任務下所創(chuàng)建的所有項目都會在該頁面上顯示，頁面上方設(shè)有【下載原始數(shù)據(jù)】按鈕，如圖所示，單擊該按鈕可以下載該任務的原始數(shù)據(jù)和規(guī)范。全流程標注項目實操步驟詳解03數(shù)據(jù)處理在創(chuàng)建項目后，將待標注數(shù)據(jù)導入系統(tǒng)前，需要對原始數(shù)據(jù)進行處理，一方面檢查數(shù)據(jù)本身是否存在不符合標注需求的點，從而進行清洗或修改；另一方面，也要將原始數(shù)據(jù)處理為導入標注系統(tǒng)所需的樣式。平臺中，針對數(shù)據(jù)的導入格式給出了樣例文檔，學習者可自行下載。操作步驟如下：在每個項目的【數(shù)據(jù)管理】下拉列表中，單擊【標注數(shù)據(jù)上傳】按鈕，會彈出數(shù)據(jù)導入頁面，頁面上有【下載導入模板】按鈕，單擊下載即可，如圖所示。全流程標注項目實操步驟詳解03數(shù)據(jù)處理在下載相應的數(shù)據(jù)導入模板之后，即可根據(jù)模板要求對數(shù)據(jù)進行處理，之后將數(shù)據(jù)導入相應的項目中。當然，如果原始數(shù)據(jù)已做過格式處理，學習者也可將數(shù)據(jù)直接導入。全流程標注項目實操步驟詳解04項目創(chuàng)建在了解了項目需求并獲取原始數(shù)據(jù)后，首先需要在系統(tǒng)內(nèi)創(chuàng)建項目。具體操作步驟如下：【全流程訓練】→選擇某一具體任務，單擊【進入學習】→【新建項目】按鈕，如圖所示。全流程標注項目實操步驟詳解04項目創(chuàng)建單擊【新建項目】按鈕后，即可進入項目創(chuàng)建頁面，在頁面內(nèi)填入項目相關(guān)的信息，單擊【創(chuàng)建】按鈕，如圖所示。全流程標注項目實操步驟詳解04項目創(chuàng)建新建完成后，在項目列表會顯示出當前已創(chuàng)建的項目，如圖所示。標注前，需要將數(shù)據(jù)導入標注系統(tǒng)，方法為：單擊所創(chuàng)建項目后的【數(shù)據(jù)管理】選項，選擇下拉列表中的【標注數(shù)據(jù)上傳】選項，進入數(shù)據(jù)導入頁面，如圖所示。全流程標注項目實操步驟詳解05項目配置（1）數(shù)據(jù)導入單擊【標注任務原始文件上傳】按鈕，按照步驟將處理好的待標注數(shù)據(jù)導入即可，如圖所示。全流程標注項目實操步驟詳解05項目配置（1）數(shù)據(jù)導入全流程標注項目實操步驟詳解05項目配置（2）標簽及工具配置項目實施頁面上所呈現(xiàn)的標簽和工具類型都是通過此環(huán)節(jié)的配置來完成的。本書所訓練的4種標注類型均會涉及標簽配置。單擊項目后的【工具配置】選項即可進入標簽配置頁面，填入具體標簽信息即可。當然，不同標注類型的標簽配置頁所涉及的信息是不同的。在項目配置中，除了要配置標簽，還需配置標注工具。例如，2D拉框標注需要選擇框線形狀是多邊形還是矩形。各項目配置頁面如下圖所示。全流程標注項目實操步驟詳解05項目配置（2）標簽及工具配置全流程標注項目實操步驟詳解05項目配置（2）標簽及工具配置全流程標注項目實操步驟詳解05項目配置（2）標簽及工具配置全流程標注項目實操步驟詳解05項目配置（2）標簽及工具配置全流程標注項目實操步驟詳解05項目配置（3）人員配置一般來說，標注項目的配置不僅涉及標簽工具的配置，還涉及參與項目人員的配置。人員配置主要包括對標注實施人員以及質(zhì)檢人員的配置。本實訓平臺對標注流程進行了簡化，僅允許將本人配置成數(shù)據(jù)標注人員和質(zhì)檢人員，所以特將人員配置一項設(shè)置到項目創(chuàng)建環(huán)節(jié)中。全流程標注項目實操步驟詳解05項目配置（3）人員配置在【新建項目】頁面，有【標注人員】選項，可以在該位置選擇要配置的標注人員，如圖所示。全流程標注項目實操步驟詳解05項目配置（3）人員配置在新建項目時，除了可配置數(shù)據(jù)標注人員以外，還可以配置質(zhì)檢人員，如圖所示。全流程標注項目實操步驟詳解05項目配置（3）人員配置在新建項目時，可根據(jù)具體情況來決定是否需要設(shè)置質(zhì)檢環(huán)節(jié)。如無須質(zhì)檢，可調(diào)節(jié)【質(zhì)檢環(huán)節(jié)】選項的開關(guān)按鈕，將質(zhì)檢環(huán)節(jié)關(guān)閉，此時不會顯示質(zhì)檢人員的配置項，如圖所示。全流程標注項目實操步驟詳解06標注實施需要注意的是，質(zhì)檢并不是全流程項目訓練中必要的流程，這主要取決于對流程的設(shè)置。如在項目創(chuàng)建時開啟了質(zhì)檢，則需要質(zhì)檢過程；如不開啟，則標注完成后直接導出結(jié)果即可。系統(tǒng)中進入標注實施的流程如下：標注質(zhì)檢在全流程項目列表頁面找到已創(chuàng)建的項目，單擊【標注】按鈕，進入標注實施頁面，如圖所示。全流程標注項目實操步驟詳解06標注實施質(zhì)檢的進入流程與標注相似，即在全流程項目列表頁面找到已創(chuàng)建好的項目，單擊【質(zhì)檢】選項，如圖所示，即可進入質(zhì)檢頁面。需要注意的是，質(zhì)檢頁面必須在有題目標注完成之后才能進入。全流程標注項目實操步驟詳解06標注實施質(zhì)檢頁面與標注頁面相似，其基本操作也相似。與標注頁面相比質(zhì)檢頁面的不同之處在于，質(zhì)檢頁面所顯示的任務是帶有原始標注結(jié)果的；另外，在質(zhì)檢環(huán)節(jié)還需要對原始標注結(jié)果做出評價和反饋，如圖所示。全流程標注項目實操步驟詳解06標注實施全流程標注項目實操步驟詳解06標注實施上圖所示為質(zhì)檢實施頁面，由圖可見，頁面上已顯示了標注環(huán)節(jié)給出的初始標注結(jié)果。質(zhì)檢過程中，首先需要判斷該條給出的標注結(jié)果是否正確，如果正確，單擊【通過】按鈕即可，如右圖所示。全流程標注項目實操步驟詳解06標注實施如果結(jié)果有嚴重錯誤，則單擊【退回】按鈕，并在退回意見處添加意見反饋；如果結(jié)果問題不大，也可以直接在頁面上將原始結(jié)果取消后再進行修改，如圖所示。全流程標注項目實操步驟詳解07標注結(jié)果導出項目實施完成，要將標注結(jié)果從系統(tǒng)中導出，操作步驟如下：單擊進入項目列表頁面→找到已創(chuàng)建的項目，單擊【數(shù)據(jù)管理】→【結(jié)果導出】選項，如圖所示。03全流程標注項目案例演示全流程標注項目案例演示01查看任務要求進入實訓中心頁面，找到【全流程項目實體訓練】選項→將鼠標光標定位到任務模塊頁面圖標上，呈現(xiàn)出任務描述信息如下：本任務要求創(chuàng)建全流程實體標注項目，原始數(shù)據(jù)和標注規(guī)范可通過項目列表頁面的【下載原始數(shù)據(jù)】按鈕進行下載，本任務要求設(shè)置質(zhì)檢環(huán)節(jié)，請在15日前完成任務，如圖所示。全流程標注項目案例演示02創(chuàng)建項目在相應任務模塊上單擊【進入學習】→【新建項目】→在項目創(chuàng)建頁面填入信息，如圖所示。全流程標注項目案例演示03下載原始數(shù)據(jù)和規(guī)范創(chuàng)建項目后，單擊項目列表頁面的【下載原始數(shù)據(jù)】按鈕來下載待標注的原始數(shù)據(jù)和規(guī)范，如圖所示。全流程標注項目案例演示03下載原始數(shù)據(jù)和規(guī)范單擊所創(chuàng)建項目中的【數(shù)據(jù)管理】→【標注數(shù)據(jù)上傳】→在導入頁面找到模板，單擊【導入模板】按鈕下載模板，如圖所示。系統(tǒng)外，按照系統(tǒng)下載的模板處理數(shù)據(jù)。然后在系統(tǒng)內(nèi)將處理完成的數(shù)據(jù)導入系統(tǒng)。操作步驟為：單擊所創(chuàng)建項目中的【數(shù)據(jù)管理】→【標注數(shù)據(jù)上傳】→在數(shù)據(jù)上傳頁面單擊【標注任務原始文件上傳】按鈕，如圖所示，選擇待導入數(shù)據(jù)，單擊【確定】按鈕。全流程標注項目案例演示04導入待標注數(shù)據(jù)全流程標注項目案例演示05導入規(guī)范文件單擊所創(chuàng)建項目中的【數(shù)據(jù)管理】→