1、You Only Look Once,Unified, Real-Time Object Detection,2016,YOLO,1,2,3,4,目 錄,研究背景,實(shí)現(xiàn)方法,性能比較,總結(jié)分析,問(wèn)題牽引 只需一眼，人類便可識(shí)別眼前物體及其關(guān)系，快速識(shí)別不同模式、根據(jù)早前知識(shí)進(jìn)行歸納、以及適應(yīng)不同的圖像環(huán)境一直都是人類的專屬技能，機(jī)器尚未獲得 計(jì)算機(jī)如何實(shí)現(xiàn)類似人類視覺(jué)系統(tǒng)快速、準(zhǔn)確的檢測(cè)？ 如何提升目標(biāo)檢測(cè)的速度？,研究背景,YOLO,研究現(xiàn)狀 普遍使用分類器classifier執(zhí)行檢測(cè) 過(guò)程復(fù)雜，速度較慢，訓(xùn)練耗時(shí),研究背景,YOLO,Detection Systems DPM Deform

2、able Parts Models（DPM），采用sliding window 檢測(cè) R-CNN、Fast R-CNN 采用 region proposals 的方法，先生成一些可能包含待檢測(cè)物體的 potential bounding box，再通過(guò)一個(gè) classifier (SVM) 去判斷每個(gè) bounding box 里是否包含有物體，以及物體所屬類別的 probability 或者 confidence,YOLO 將檢測(cè)變?yōu)橐粋€(gè) regression problem，YOLO 從輸入的圖像，僅僅經(jīng)過(guò)一個(gè) neural network，直接得到 bounding boxes 以及每個(gè)

3、 bounding box 所屬類別的概率。正因?yàn)檎麄€(gè)的檢測(cè)過(guò)程僅僅有一個(gè)網(wǎng)絡(luò)，所以它可以直接 end-to-end 的優(yōu)化。 YOLO 結(jié)構(gòu)十分的快，標(biāo)準(zhǔn)版YOLO 每秒可以實(shí)時(shí)地處理 45 幀圖像。一個(gè)較小版本Fast YOLO，可以每秒處理 155 幀圖像，它的 mAP（mean Average Precision） 依然可以達(dá)到其他實(shí)時(shí)檢測(cè)算法的兩倍。,研究背景,YOLO,實(shí)現(xiàn)方法,YOLO,核心思想 輸入：利用整張圖作為網(wǎng)絡(luò)的輸入， 輸出：直接在輸出層回歸bounding box的位置和bounding box所 屬的類別。,這個(gè)confidence代表了所預(yù)測(cè)的box中含有obje

4、ct的置信度和這個(gè)box預(yù)測(cè)的有多準(zhǔn)兩重信息 其中如果有object落在一個(gè)grid cell里，第一項(xiàng)取1，否則取0。 第二項(xiàng)是預(yù)測(cè)的bounding box和實(shí)際的ground truth之間的IOU值。,實(shí)現(xiàn)方法,YOLO,核心思想,將一幅圖像分成SxS個(gè)網(wǎng)格(grid cell)，如果某個(gè)object的中心落在這個(gè)網(wǎng)格中，則這個(gè)網(wǎng)格負(fù)責(zé)預(yù)測(cè)這個(gè)object。 每個(gè)網(wǎng)格要預(yù)測(cè)B個(gè)bounding box，每個(gè)bounding box除了要回歸自身的位置之外，還要附帶預(yù)測(cè)一個(gè)confidence值，即每個(gè)box要預(yù)測(cè)(x, y, w, h)和confidence共5個(gè)值。,實(shí)現(xiàn)方法,YOL

5、O,核心思想,每個(gè)bounding box要預(yù)測(cè)(x, y, w, h)和confidence共5個(gè)值，每個(gè)網(wǎng)格還要預(yù)測(cè)一個(gè)類別信息，記為C類。則SxS個(gè)網(wǎng)格，每個(gè)網(wǎng)格要預(yù)測(cè)B個(gè)bounding box還要預(yù)測(cè)C個(gè)categories。輸出S x S x (5*B+C)的一個(gè)tensor。 注意：class信息是針對(duì)每個(gè)網(wǎng)格的，confidence信息是針對(duì)每個(gè)bounding box的。 在test的時(shí)候，每個(gè)網(wǎng)格預(yù)測(cè)的class信息和bounding box預(yù)測(cè)confidence信息相乘，就得到每個(gè)bounding box的class-specific confidence score:

6、 等式左邊第一項(xiàng)就是每個(gè)網(wǎng)格預(yù)測(cè)的類別信息，第二三項(xiàng)就是每個(gè)bounding box預(yù)測(cè)的confidence。這個(gè)乘積即表示了預(yù)測(cè)的b-box屬于某一類的概率，也有該box準(zhǔn)確度的信息。,Pr Class i Object Pr Object IOU pred truth = Pr Class i IOU pred truth,實(shí)現(xiàn)方法,YOLO,核心思想,圖像分成 77 個(gè)網(wǎng)格(grid cell)，檢測(cè)20個(gè)類別，每個(gè)網(wǎng)格要預(yù)測(cè)2個(gè)b-box 一個(gè)b-box輸出張量為 1(5+5+20） 得到 20(772) 的矩陣,NMS方法去除重復(fù)率大的b-box,實(shí)現(xiàn)方法,YOLO,核心思想,輸出

7、7730張量,輸入448448圖像,GoogleNet,24個(gè)卷積層+2個(gè)全連接層,實(shí)現(xiàn)方法,YOLO,損失函數(shù),誤差 = 定位誤差 + 分類誤差,誤差 = 定位誤差 + 置信度誤差 + 分類誤差,誤差 = 定位誤差 + 包含目標(biāo)的框置信度誤差 + 不包含目標(biāo)的框置信度誤差 + 分類誤差,Output：S x S x (5*B+C)的一個(gè)tensor B：(x, y, w, h, confidence) C：Pi(C) of Category,不能等值加權(quán),置信度有兩類,實(shí)現(xiàn)方法,YOLO,損失函數(shù),采用平方根之差兼顧大框和小框的誤差,實(shí)現(xiàn)方法,YOLO,損失函數(shù),性能比較,YOLO,1. 與

8、其它一些實(shí)時(shí)檢測(cè)系統(tǒng)性能比較,性能比較,YOLO,2. 誤差來(lái)源分析,Corret: 正確檢測(cè) Loc：類判別正確但定位錯(cuò)誤 Sim：類相似 Other：類判別錯(cuò)誤 Background：判斷為背景,性能比較,YOLO,3. 結(jié)合fast RCNN的YOLO,思想：通過(guò)YOLO來(lái)消除fast RCNN中較大的背景誤差 方法：對(duì)RCNN預(yù)測(cè)的每個(gè)邊界框，檢查YOLO是否預(yù)測(cè)類似的框。如果是，我們基于由YOLO預(yù)測(cè)的概率和兩個(gè)框之間的重疊，使得該預(yù)測(cè)增強(qiáng),性能比較,YOLO,4. 藝術(shù)品中的人檢測(cè),在Picasso和People-Art數(shù)據(jù)集上的綜合結(jié)果,性能比較,YOLO,4. 藝術(shù)品中的人檢測(cè),YOLO優(yōu)點(diǎn) 網(wǎng)絡(luò)簡(jiǎn)單，容易構(gòu)建 速度快，實(shí)時(shí)性最好 檢測(cè)性能好，背景誤差小,總結(jié)分析,YOLO,YOLO缺點(diǎn) 對(duì)圖像上的小目標(biāo)檢測(cè)性能不佳 對(duì)臨近物體及很小的群體，檢測(cè)效果不好 定位誤