《數(shù)據(jù)標(biāo)注實(shí)訓(xùn)》課程教案課題：圖像標(biāo)注—2D拉框教學(xué)目的：了解語(yǔ)音切割轉(zhuǎn)寫(xiě)相關(guān)知識(shí)。掌握音頻文件的切割轉(zhuǎn)寫(xiě)。課型：新授課課時(shí)：本章安排8個(gè)課時(shí)。教學(xué)重點(diǎn)：重點(diǎn)：了解2D拉框相關(guān)知識(shí)，掌握2D人體拉框標(biāo)注教學(xué)難點(diǎn)：難點(diǎn)：掌握2D人體拉框標(biāo)注及相關(guān)規(guī)范教學(xué)過(guò)程：教學(xué)形式：講授課，教學(xué)組織采用課堂整體講授和演示。教學(xué)媒體：采用啟發(fā)式教學(xué)、案例教學(xué)等教學(xué)方法。教學(xué)手段采用多媒體課件、視頻等媒體技術(shù)。板書(shū)設(shè)計(jì)：本課標(biāo)題圖像標(biāo)注—2D拉框課次4授課方式理論課□討論課□習(xí)題課□其他□課時(shí)安排8學(xué)分共2分授課對(duì)象普通高等院校學(xué)生任課教師教材及參考資料1.《數(shù)據(jù)標(biāo)注實(shí)訓(xùn)》；電子工業(yè)出版社。2.本教材配套視頻教程及學(xué)習(xí)檢查等資源。3.與本課程相關(guān)的其他資源。教學(xué)基本內(nèi)容教學(xué)方法及教學(xué)手段課程引入在圖像標(biāo)注中，最易學(xué)的當(dāng)屬2D拉框，而2D拉框的標(biāo)準(zhǔn)及工具的基本操作也是一名數(shù)據(jù)標(biāo)注人員必須掌握的技能。在深入學(xué)習(xí)2D拉框標(biāo)注之前，學(xué)習(xí)者需要先了解什么是2D拉框。參考以下形式：1.銜接導(dǎo)入2.懸念導(dǎo)入3.情景導(dǎo)入4.激疑導(dǎo)入5.演示導(dǎo)入6.實(shí)例導(dǎo)入7.其他形式5.1認(rèn)識(shí)2D拉框2D拉框是圖像標(biāo)注中最簡(jiǎn)單的任務(wù)類型，通常需要拉一個(gè)貼合的矩形框，以框選出待檢測(cè)物體（目標(biāo)對(duì)象）。在2D拉框任務(wù)中，目標(biāo)對(duì)象有很多，例如，人、動(dòng)物、車(chē)輛、物件等一切事物都可能需要畫(huà)框。一般來(lái)說(shuō)，框選出待檢測(cè)物體之后還需要對(duì)框添加一個(gè)或多個(gè)標(biāo)簽作為類別標(biāo)記。以人為例，可能需要標(biāo)注出人的性別、年齡、膚色；如是框選動(dòng)物，則可能需要標(biāo)注出動(dòng)物的名稱、顏色等。如圖5-1所示為對(duì)地面車(chē)輛的拉框標(biāo)注。需要了解的是，在2D拉框中，目標(biāo)對(duì)象分為有效對(duì)象和無(wú)效對(duì)象。所謂有效對(duì)象是指各部位展示都清晰可辨、無(wú)嚴(yán)重遮擋且外觀大小合適的對(duì)象。反之，展示不清晰、遮擋嚴(yán)重或外形大小達(dá)不到標(biāo)準(zhǔn)值的對(duì)象即為無(wú)效對(duì)象。一般來(lái)說(shuō)，在拉框時(shí)，無(wú)效對(duì)象需要用忽略框（也稱為無(wú)效框）來(lái)標(biāo)記。例如圖中的紅色框，由于其遮擋過(guò)于嚴(yán)重或目標(biāo)尺寸過(guò)小，則可能會(huì)被標(biāo)成忽略框。當(dāng)然，是否需要作為忽略對(duì)象還需要按照需求者的規(guī)定作出判斷，不同的需求者可能會(huì)給出不同的規(guī)定。在2D拉框標(biāo)注時(shí)，拉框也是有標(biāo)準(zhǔn)的。例如，為使模型訓(xùn)練效果更好，往往會(huì)要求框線與對(duì)象邊緣盡量貼合，避免框內(nèi)空白區(qū)域過(guò)多，這也就解釋了為什么在2D拉框時(shí)，常常需要對(duì)框的角度進(jìn)行調(diào)整或旋轉(zhuǎn)。這一現(xiàn)象在人體拉框標(biāo)注中最為常見(jiàn)，人體拉框不同角度框的效果對(duì)比如圖5-2所示。在圖5-2中，右圖的拉框角度明顯好于左圖，用肉眼即可看清，右圖中的框與對(duì)象更為貼合，有效地減少了空白區(qū)域。另外，如果圖片中的人物未顯示完整，數(shù)據(jù)標(biāo)注人員還需要根據(jù)要求進(jìn)行腦補(bǔ)，這種情況在2D拉框中很常見(jiàn)。上述要求僅僅是列舉了一個(gè)簡(jiǎn)單的例子，在實(shí)際的拉框標(biāo)注中，類似的要求還有很多。同時(shí)，拉框標(biāo)注任務(wù)的難易程度也會(huì)與圖片本身的質(zhì)量有關(guān)。例如，圖片中待標(biāo)注對(duì)象的密集程度、對(duì)象的遮擋、圖片的角度等對(duì)于標(biāo)注效率及效果都會(huì)有直接的影響。接下來(lái)，我們從實(shí)踐的角度來(lái)對(duì)2D拉框任務(wù)進(jìn)行了解。5.2拉框標(biāo)注之2D人體拉框標(biāo)注5.2.12D人體拉框標(biāo)注規(guī)范（一）任務(wù)目標(biāo)本任務(wù)的主要目標(biāo)是：用規(guī)則的方框標(biāo)識(shí)出圖片中的所有人物。本任務(wù)的標(biāo)注框分為兩種，即有效框和無(wú)效框。對(duì)于圖中所有的有效人物拉有效框（本規(guī)范中為綠色框）；所有無(wú)效人物拉無(wú)效框（本規(guī)范中為紅色框）。（二）術(shù)語(yǔ)定義本任務(wù)涉及術(shù)語(yǔ)定義如下：1.有效人物圖像中人物外形尺寸合適，主體顯示清晰，無(wú)遮擋或無(wú)嚴(yán)重遮擋，如圖5-3所示。2.無(wú)效人物圖像中人物外形尺寸過(guò)小、主體顯示不清晰或遮擋過(guò)于嚴(yán)重，如圖5-4所示。3.人物主體清晰圖像中人物能清晰體現(xiàn)出人體特征，標(biāo)注者從直覺(jué)上可判斷其為人物。一般來(lái)說(shuō)，能清晰分辨出四肢和人物正反面者即可被認(rèn)定為主體顯示清晰，如圖5-5所示。4.遮擋嚴(yán)重若人體遮擋占比超過(guò)80%即可認(rèn)定為遮擋嚴(yán)重，如圖5-6所示。（三）基本標(biāo)注原則本任務(wù)標(biāo)注應(yīng)遵循如下原則：（1）標(biāo)注過(guò)程中應(yīng)仔細(xì)辨別，不可出現(xiàn)漏標(biāo)情況。如圖5-7所示，右側(cè)圖片黃色框線內(nèi)即為該圖中存在的明顯漏標(biāo)情況，仔細(xì)觀察會(huì)發(fā)現(xiàn)圖片中靠近門(mén)店位置還有很多無(wú)效人物也被漏標(biāo)，這里不一一標(biāo)注。（2）距離過(guò)近的無(wú)效人物同框標(biāo)注，有效人物單獨(dú)用框標(biāo)注。如圖5-8所示，無(wú)效人物較為密集時(shí)，統(tǒng)一用一個(gè)紅框來(lái)標(biāo)注。（3）無(wú)效人物用無(wú)效框標(biāo)注，有效人物用有效框標(biāo)注，不可出現(xiàn)框線屬性錯(cuò)誤。如圖5-9所示，右圖中誤將綠色框線畫(huà)成紅色框線，又將紅色框線畫(huà)成綠色框線。（4）對(duì)于部分遮擋圖像，如在圖片內(nèi)，需適當(dāng)想象不可見(jiàn)部位進(jìn)行補(bǔ)全。但超出圖片邊緣則無(wú)須腦補(bǔ)，將可見(jiàn)部分人體畫(huà)出即可，如圖5-10所示。（5）本任務(wù)要標(biāo)注所有真實(shí)人物，對(duì)于動(dòng)漫等虛擬人物無(wú)須標(biāo)注，如圖5-11所示。（6）所有框線要位置適中，以剛好貼合輪廓為宜，不可過(guò)大或過(guò)小，如圖5-12所示。（四）具體說(shuō)明針對(duì)本標(biāo)注任務(wù)的具體說(shuō)明如下：1.有效框標(biāo)注（1）對(duì)有效人物拉有效框，本規(guī)范例子中均為綠色框。拉框應(yīng)盡量緊貼人物輪廓，不可過(guò)大或過(guò)小。圖5-12中的人物框應(yīng)處理為如圖5-13所示樣式。（2）有效框的重疊：有效框可以與有效框重疊，也可以跟無(wú)效框重疊，如圖5-14所示。（3）輕度遮擋的人物，如在圖片內(nèi)，需要腦補(bǔ)遮擋部位，如已超出圖片邊緣則無(wú)須做整體補(bǔ)全，如圖5-10所示。2.無(wú)效框標(biāo)注（1）對(duì)于遮擋嚴(yán)重、尺寸過(guò)小、過(guò)于模糊的人物標(biāo)無(wú)效框，框線僅針對(duì)顯示部位標(biāo)注即可，無(wú)須進(jìn)行腦補(bǔ)，如圖5-15所示。（2）無(wú)效框的重疊：無(wú)效框可以和有效框重疊，但無(wú)效框之間不能重疊，因此本任務(wù)要求距離較近的無(wú)效人物用一個(gè)框整體標(biāo)注，如圖5-16所示。（3）無(wú)效框的標(biāo)注也要緊貼輪廓，對(duì)于顯示部位必須框全且不能拉框過(guò)大，如圖5-17所示，兩幅圖中所表示的即為無(wú)效框過(guò)大及過(guò)小的情況。特殊情況（1）若圖片中沒(méi)有人物，則整張圖片跳過(guò)，如圖5-18所示。（2）對(duì)于車(chē)窗、后視鏡等透露出來(lái)的人物，需要按照無(wú)效人物來(lái)處理，拉忽略框。但若是人物出現(xiàn)在車(chē)門(mén)口，且車(chē)門(mén)開(kāi)啟或正在上、下車(chē)，則需按照有效人物來(lái)標(biāo)注，否則按照無(wú)效人物來(lái)標(biāo)注。如圖5-19所示，左側(cè)圖片車(chē)門(mén)開(kāi)啟，應(yīng)標(biāo)為有效人物；右側(cè)圖片為車(chē)窗透出人影，按照無(wú)效人物來(lái)標(biāo)注。（3）對(duì)于廣告牌、公交車(chē)車(chē)身、墻壁、圖畫(huà)、假人雕塑等呈現(xiàn)出的真人畫(huà)面，按照無(wú)效人物來(lái)處理，拉無(wú)效框，如圖5-20所示。（4）密集人群、遮擋不嚴(yán)重者，按照有效人物來(lái)處理，其余標(biāo)注為無(wú)效人物，如圖5-21所示。（五）注意事項(xiàng)（1）對(duì)于無(wú)效人物的判斷不能單純地依賴于80%的指標(biāo)，需要根據(jù)實(shí)際情況來(lái)確定。例如，被自帶物品遮擋的部位，因?yàn)樽詭锲范驾^小，因此不構(gòu)成嚴(yán)重遮擋，此時(shí)需要按照有效人物來(lái)處理，同時(shí)將遮擋部分補(bǔ)全，如圖5-22所示。（2）被欄桿等其他物體遮擋的部位，如果遮擋未過(guò)胸，且透過(guò)空隙等大體能判斷出人體輪廓，則按照有效人物來(lái)標(biāo)注，如圖5-23所示。（3）對(duì)于車(chē)窗、縫隙等透出的人物肢體，無(wú)須進(jìn)行標(biāo)注。（六）系統(tǒng)使用本實(shí)訓(xùn)任務(wù)通過(guò)數(shù)據(jù)標(biāo)注實(shí)訓(xùn)平臺(tái)完成，關(guān)于系統(tǒng)登錄的具體事項(xiàng)已在本書(shū)第2章中詳細(xì)說(shuō)明，因此本規(guī)范僅對(duì)進(jìn)入實(shí)訓(xùn)任務(wù)的步驟以及具體的頁(yè)面操作過(guò)程進(jìn)行講解。需要特別說(shuō)明的是，此處所給出的所有標(biāo)注內(nèi)容均為按照項(xiàng)目經(jīng)驗(yàn)總結(jié)的模擬數(shù)據(jù)。從系統(tǒng)登錄到標(biāo)注完成的操作流程及步驟如下：1.進(jìn)入任務(wù)實(shí)施頁(yè)面（1）進(jìn)入實(shí)訓(xùn)中心頁(yè)面登錄后自動(dòng)進(jìn)入實(shí)訓(xùn)中心頁(yè)面，如圖5-24所示。（2）進(jìn)入任務(wù)實(shí)施頁(yè)面進(jìn)入實(shí)訓(xùn)中心頁(yè)面后，單擊頁(yè)面上的2D拉框標(biāo)注模塊下的【進(jìn)入學(xué)習(xí)】按鈕，進(jìn)入任務(wù)列表頁(yè)面，如圖5-25所示。在2D拉框標(biāo)注任務(wù)列表頁(yè)面單擊任意一個(gè)任務(wù)模塊下的【進(jìn)入學(xué)習(xí)】按鈕，如圖5-26所示，進(jìn)入2D拉框標(biāo)注實(shí)施頁(yè)面。單擊后，進(jìn)入2D拉框標(biāo)注實(shí)施頁(yè)面，如圖5-27所示。2D拉框標(biāo)注實(shí)施頁(yè)面大體可分為3個(gè)區(qū)，即黃色框線的畫(huà)框工具區(qū)，包括畫(huà)框要使用的框線選擇、“十”字線、跳過(guò)、顯示隱藏標(biāo)簽、一鍵清除、輔助“十”字線等；紅色框線的編輯區(qū)，主要是畫(huà)布區(qū)，所有畫(huà)框以及修改操作均在此區(qū)域內(nèi)進(jìn)行；綠色框線的任務(wù)列表區(qū)，用于顯示待完成的所有題目?，F(xiàn)對(duì)標(biāo)注時(shí)的具體操作說(shuō)明如下。2．標(biāo)注頁(yè)面操作詳解在本任務(wù)中，要完成標(biāo)注操作，需要用到如下按鈕和步驟，按順序說(shuō)明如下：（1） 標(biāo)注任務(wù)領(lǐng)取打開(kāi)任務(wù)實(shí)施頁(yè)面后，頁(yè)面會(huì)默認(rèn)加載第一條題目，因此不需要額外做任務(wù)領(lǐng)取操作，此時(shí)，右側(cè)列表中第一條題目編號(hào)會(huì)自動(dòng)加深底色，呈選中狀態(tài)，如圖5-28所示。（2）拉框操作單擊標(biāo)注實(shí)施頁(yè)面左側(cè)的【矩形】拉框工具，在圖片上要畫(huà)框的位置按住鼠標(biāo)左鍵拖曳即可針對(duì)目標(biāo)對(duì)象實(shí)現(xiàn)畫(huà)框操作，如圖5-29和圖5-30所示。在進(jìn)行拉框操作前，可打開(kāi)頁(yè)面右上角的【十字線】按鈕，從而輔助確定邊緣和拉框起點(diǎn)，保證框線與人體邊緣的貼合性，如圖5-31所示。如感覺(jué)圖片過(guò)小，也可采取【鼠標(biāo)滾輪向上】的方式將圖片放大，如放大顯示不全，可打開(kāi)工具欄的【拖曳開(kāi)關(guān)】，通過(guò)拖曳來(lái)查看圖片，如圖5-32所示。（3）隱藏/顯示標(biāo)注結(jié)果由于部分圖片中可能存在多個(gè)待拉框標(biāo)注目標(biāo)，所以在標(biāo)注過(guò)程中，已標(biāo)注的框線可能會(huì)影響對(duì)未標(biāo)注對(duì)象范圍的確定，這時(shí)需要單擊【隱藏/顯示標(biāo)注結(jié)果】按鈕，隱藏已有的框線，如圖5-33和圖5-34所示。（4）跳過(guò)當(dāng)前任務(wù)在標(biāo)注過(guò)程中，有些任務(wù)可能會(huì)因某種原因而不需標(biāo)注，此時(shí)應(yīng)單擊【跳過(guò)】按鈕，可直接進(jìn)入下一條任務(wù)，如圖5-35所示。（5）刪除單個(gè)標(biāo)注結(jié)果如果出現(xiàn)錯(cuò)標(biāo)或因其他原因需要?jiǎng)h除單個(gè)標(biāo)注結(jié)果，可以在標(biāo)注實(shí)施區(qū)右側(cè)單擊【】按鈕，如圖5-36所示。（6）刪除全部標(biāo)注結(jié)果如需刪除全部標(biāo)注結(jié)果，可以使用【】按鈕，如圖5-37所示。（7） 保存單擊標(biāo)簽區(qū)下方的【保存】按鈕可保存當(dāng)前標(biāo)注結(jié)果。保存的主要作用是，保存標(biāo)注中狀態(tài)下題目的中間結(jié)果，以免標(biāo)注一半的結(jié)果意外丟失。單擊【保存】按鈕后，按鈕會(huì)變成橙色并提示保存成功，如圖5-38所示。（8） 提交單擊【提交】按鈕即為提交當(dāng)前任務(wù)。單擊【提交】按鈕后，除了提交當(dāng)前標(biāo)注結(jié)果，還會(huì)呈現(xiàn)答案對(duì)比頁(yè)面。答案對(duì)比頁(yè)面會(huì)給出參考答案與學(xué)習(xí)者所提交答案的對(duì)比，明確給出錯(cuò)誤提示，如圖5-39所示。（9）切換至下一題單擊【提交】按鈕后，可單擊答案對(duì)比頁(yè)的【】按鈕后手動(dòng)切換至下一題。對(duì)于已提交的題目，不能再進(jìn)行修改。（10）查看答案單擊標(biāo)注頁(yè)面上方的【參考答案】按鈕可以查看參考答案。但如當(dāng)前題目的結(jié)果尚未提交，則不允許查看參考答案，如圖5-40和圖5-41所示。（11）查看標(biāo)注規(guī)范單擊頁(yè)面上的【規(guī)范文件預(yù)覽】按鈕，可查看當(dāng)前最新的完整標(biāo)注規(guī)范，如圖5-42和圖5-43所示。此外，為了更好地指導(dǎo)學(xué)習(xí)者操作，平臺(tái)還在每個(gè)標(biāo)注類型模塊中與【進(jìn)入學(xué)習(xí)】入口并列提供了相應(yīng)的【學(xué)習(xí)引導(dǎo)】，如需查看2D拉框?qū)W習(xí)引導(dǎo)，可隨時(shí)單擊查看，如圖5-44所示。對(duì)于學(xué)習(xí)引導(dǎo)操作，可以選擇按照指定步驟完成，也可選擇中途退出，如想退出，單擊頁(yè)面中的【關(guān)閉】按鈕即可。（七）標(biāo)注樣例圖5-48至圖5-51所示為數(shù)據(jù)標(biāo)注人員對(duì)人體進(jìn)行2D拉框后的結(jié)果，供參考。5.2.2項(xiàng)目案例分析對(duì)2D拉框標(biāo)注的規(guī)范和標(biāo)注原則以及注意事項(xiàng)清楚的基礎(chǔ)上，我們通過(guò)實(shí)例來(lái)進(jìn)行詳細(xì)講解。如圖5-52所示為登山場(chǎng)景，我們的任務(wù)目標(biāo)即為利用方框標(biāo)注出圖5-52中的人物。解析：在圖5-52中，身著全身黑色衣服的女生和身著白色半袖（未戴帽子）的男生是整張圖中最為清晰的，完美地體現(xiàn)了人體特征，且無(wú)遮擋，故而用有效框（綠色框）來(lái)標(biāo)注；同時(shí)，兩者前面還存在2個(gè)人物，這2個(gè)人物的主體遮擋過(guò)于嚴(yán)重，不足以達(dá)到有效拉框的標(biāo)準(zhǔn)，因此需要用無(wú)效框來(lái)標(biāo)注，這樣就可以得出如圖5-53所示標(biāo)注結(jié)果。5.3.3實(shí)訓(xùn)習(xí)題隨堂練習(xí)1：請(qǐng)按照本節(jié)所給規(guī)范對(duì)圖5-54至圖5-63中圖片進(jìn)行人體拉框標(biāo)注。隨堂練習(xí)2：判斷下列說(shuō)法是否正確。（1） 2D拉框標(biāo)注并無(wú)統(tǒng)一的硬性規(guī)則，只要將目標(biāo)對(duì)象畫(huà)到框內(nèi)即可。（2）拉框標(biāo)注任務(wù)中，有時(shí)候需要腦補(bǔ)，有時(shí)候不需要，這主要取決于需求方的需求。（3）拉框標(biāo)注可用矩形框也可用不規(guī)則形狀的框。（4）在計(jì)算機(jī)視覺(jué)技術(shù)中，拉框標(biāo)注主要用于目標(biāo)檢測(cè)。（5） 拉框標(biāo)注過(guò)程中，框線的邊緣要與目標(biāo)對(duì)象邊緣盡量貼合。（6）對(duì)密集人群進(jìn)行標(biāo)注時(shí)，將多人標(biāo)為同一個(gè)框即可。（7） 在拉框標(biāo)注時(shí)，不可出現(xiàn)漏標(biāo)和類別混淆的情況。（8） 在拉框標(biāo)注中，經(jīng)常會(huì)遇到無(wú)須標(biāo)注的圖片。（9）在人體拉框任務(wù)中，只要是人物便按照有效人物來(lái)標(biāo)注，無(wú)論是否清晰或是不是真實(shí)人物。（10）在人體拉框標(biāo)注中，車(chē)門(mén)或車(chē)窗透出的人物，有時(shí)需標(biāo)注，有時(shí)無(wú)須標(biāo)注。隨堂練習(xí)3：選擇正確答案填入括號(hào)內(nèi)（可能是一個(gè)選項(xiàng)，也可能是多個(gè)選項(xiàng)）。（1） 對(duì)下列圖片，拉框標(biāo)注錯(cuò)誤的是（）。（2）按照本節(jié)所給規(guī)范要求，下列哪張圖片是無(wú)須標(biāo)注的？（）（3）按照本節(jié)所給規(guī)范要求，下列哪張圖片標(biāo)注是正確的？（）（4）按照本節(jié)所給規(guī)范要求，下列哪張圖片中的人物是需要標(biāo)注為有效人物的？