第十二章目標(biāo)檢測與識別Lecture12ObjectDetectionandRecognition4/24/20231目標(biāo)檢測和識別怎樣檢測和識別圖像中物體，如汽車、牛等？4/24/20232目標(biāo)識別的應(yīng)用4/24/20233難點之一:如何魯棒識別？4/24/20234類內(nèi)差異（intra-classvariability）4/24/20235類間相似性（inter-classsimilarity）4/24/20236難點之二：計算量大一幅圖像中像素個數(shù)多，目前每秒約產(chǎn)生300G像素的圖像/視頻數(shù)據(jù)。 -Google圖片搜索中已有幾十億幅圖像 -全球數(shù)字照相機一年產(chǎn)生180億張以上的圖片（2004年） -全球一年銷售約3億部照相手機（2005）人的物體識別能力是強大的 -靈長類動物約使用大腦皮層的一半來處理視覺信息[FellemanandvanEssen1991] -可以識別3,000-30,000種物體 -物體姿態(tài)可允許30度以上的自由度。4/24/20237難點之三：如何在小樣本條件下學(xué)習(xí)4/24/20238物體識別方法檢測(detection)vs.不檢測表示(representation) -顏色、紋理、邊緣、梯度、局部特征、深度、運動等等。分類(classificationorcategorization) -K近鄰（KNN） -神經(jīng)網(wǎng)絡(luò)（NN） -支持向量機（SVM） -Boosting(Adaboost等) -隱馬爾科夫模型（HMM） -其他生成學(xué)習(xí)（Generativelearning）vs.判別學(xué)習(xí)（discriminativelearning）4/24/20239生成學(xué)習(xí)vs.判別學(xué)習(xí)兩種分類器學(xué)習(xí)模式生成學(xué)習(xí)

---目標(biāo)是學(xué)習(xí)到符合訓(xùn)練數(shù)據(jù)的類別模型 ---如EM算法(MaximumLikelihood)判別學(xué)習(xí)在訓(xùn)練階段即考慮類別之間的判別信息包括SupportVectorMachines(SVMs),Boosting,MinimumClassificationError(MCE),MaximumMutualInformation(MMI),LagerMargin(LM),andetc.判別學(xué)習(xí)算法比生成學(xué)習(xí)算法表現(xiàn)出更好的分類性能。4/24/202310判別學(xué)習(xí)方法4/24/202311第二節(jié)人臉檢測與識別4/24/202312131.物體檢測Car/non-carClassifierYes,car.No,notacar.基于二分類器4/24/202314物體檢測Car/non-carClassifier在復(fù)雜背景下，通過滑動窗口（slidingwindows）搜索感興趣的物體。4/24/2023物體檢測Step1.獲取訓(xùn)練數(shù)據(jù)Step2.提取特征Step3.訓(xùn)練分類器Step4.利用分類器進行檢測4/24/202315人臉檢測（Facedetection）Viola-Jones人臉檢測算法（基于AdaBoost）4/24/202316Viola-Jones人臉檢測算法(2004)4/24/202317濾波器設(shè)計4/24/202318AdaboostAdaboost是一種迭代算法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強的最終分類器(強分類器)。其算法本身是通過改變數(shù)據(jù)分布來實現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來確定每個樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來，作為最后的決策分類器。使用adaboost分類器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特徵，并將關(guān)鍵放在關(guān)鍵的訓(xùn)練數(shù)據(jù)上面。

4/24/202319BoostingExample4/24/202320BoostingExample4/24/202321BoostingExample4/24/202322BoostingExample4/24/202323BoostingExample4/24/202324BoostingExample4/24/202325Adaboost學(xué)習(xí)目標(biāo)：選擇能夠最有效地區(qū)分人臉與非人臉的矩形特征及其閾值4/24/202326Adaboost組合弱分類器（weaklearners），得到更為精確的集成分類器（ensembleclassifier）。弱分類器：性能僅比隨機分類稍好根據(jù)矩形特征定義弱分類器:4/24/202327Adaboost算法步驟初始給每個訓(xùn)練樣本以同等權(quán)重循環(huán)執(zhí)行以下步驟：根據(jù)當(dāng)前加權(quán)訓(xùn)練集，選擇最佳弱分類器提升被當(dāng)前弱分類器錯分的訓(xùn)練樣本的權(quán)重按照各弱分類器分類精度對其加權(quán)，然后將各個弱分類器形成線性組合，得到最終分類器。4/24/202328Viola-Jones算法中的AdaBoost每一次boosting迭代如下:評價每一個樣本上的每一種矩形特征為每一種矩形特征選擇最佳分類閾值選擇最優(yōu)的矩形特征及其閾值組合改變樣本權(quán)重計算復(fù)雜度:O(MNT)

M：特征數(shù)，N：樣本數(shù),T：閾值數(shù)4/24/2023294/24/202330級聯(lián)分類器（CascadingClassifiers）4/24/202331訓(xùn)練級聯(lián)分類器4/24/202332Viola-Jones檢測算法-總體流程用5K正樣本，350M反樣本學(xué)習(xí)得到38層（共使用6060個特征）級聯(lián)分類獲得實時性4/24/202333Viola-Jones人臉檢測結(jié)果4/24/202334Viola-Jones人臉檢測結(jié)果4/24/202335Viola-Jones人臉檢測結(jié)果4/24/2023362.人臉識別（facerecogntion）Zhaoetal.,FaceRecogniton:aliteraturesurvey.ACMComputingsurvey,20034/24/202337FaceRecognition:2-Dand3-D4/24/202338圖像=像素的集合將由n個像素構(gòu)成的圖像視為n維空間中的點4/24/202339最近鄰分類器4/24/202340Eigenfaces使用主成分分析技術(shù)（PrincipleComponentAnalysis,PCA)減少維數(shù)4/24/202341主成分分析(PCA,K-L變換)降低特征向量的維數(shù)獲得最主要特征分量，減少相關(guān)性；避免維數(shù)災(zāi)難4/24/202342主成分分析(PCA,K-L變換)4/24/202343主成分分析(PCA,K-L變換)4/24/202344Eigenfaces學(xué)習(xí)1.計算訓(xùn)練圖像的均值和協(xié)方差矩陣.2.計算協(xié)方差矩陣的特征值，取前k個最大特征值對應(yīng)的特征矢量.3.將圖像投影到k-維特征空間（Eigenspace）。識別1.將測試圖像投影到Eigenspace.2.在特征圖像上執(zhí)行分類.4/24/202345Eigenfaces:訓(xùn)練圖像4/24/202346Eigenfaces4/24/202347PCA方法的不足可能損失重要的細(xì)節(jié)信息方差最小的方向也可能是重要的沒有考慮判別任務(wù)希望得到最具判別能力的特征但判別能力最佳并不等同于方差最大4/24/202348Fisherfaces：類特定的線性投影4/24/202349PCA&Fisher的線性判別函數(shù)4/24/202350PCA&Fisher的線性判別函數(shù)4/24/202351Fisherfaces示例（ORLDatabase）4/24/202352基于eigenfaces/fisherfaces的識別訓(xùn)練：-根據(jù)訓(xùn)練圖像，利用PCA或Fisher方法確定投影矩陣-將每個訓(xùn)練圖像投影到子空間（eigenspace或fisherspace）。識別：-將測試圖像投影到eigenspace或fisherspace。-子空間中距離測試圖像最近的訓(xùn)練圖像對應(yīng)的類別為識別結(jié)果。4/24/202353Project5：人臉合成平均人臉平均就是美4/24/202354Project5：人臉合成4/24/202355Project5：人臉合成4/24/2023562023/4/2457Project5：人臉合成4/24/202358Project5：人臉合成4/24/202359Project5：人臉合成FantaMorph，人臉合成軟件4/24/202360Project5：人臉合成FantaMorph，人臉合成軟件手動標(biāo)定人臉4/24/202361Project5：人臉合成FantaMorph，人臉合成軟件手動標(biāo)定人臉4/24/202362Project5：人臉合成FantaMorph，人臉合成軟件產(chǎn)生多張合成圖像，隨機或者平均輸出4/24/202363Project5：人臉合成Task：利用人臉檢測算法，將上述過程改為自動完成，實現(xiàn)自動人類合成。4/24/202364第三節(jié)深度學(xué)習(xí)導(dǎo)引4/24/202365第三節(jié)深度學(xué)習(xí)導(dǎo)引4/24/202366第三節(jié)深度學(xué)習(xí)導(dǎo)引4/24/202367第三節(jié)深度學(xué)習(xí)導(dǎo)引4/24/202368第三節(jié)深度學(xué)習(xí)導(dǎo)引4/24/202369第三節(jié)深度學(xué)習(xí)導(dǎo)引4/24/202370第三節(jié)深度學(xué)習(xí)導(dǎo)引4/24/202371第三節(jié)深度學(xué)習(xí)導(dǎo)引4/24/202372神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)4/24/202373神經(jīng)網(wǎng)絡(luò)的大量參數(shù)4/24/202374神經(jīng)網(wǎng)絡(luò)的表現(xiàn)能力4/24/202375神經(jīng)網(wǎng)絡(luò)的表現(xiàn)能力4/24/202376神經(jīng)網(wǎng)絡(luò)的表現(xiàn)能力4/24/202377神經(jīng)網(wǎng)絡(luò)的表現(xiàn)能力4/24/202378卷積神經(jīng)網(wǎng)絡(luò)4/24/202379卷積神經(jīng)網(wǎng)絡(luò)4/24/202380卷積神經(jīng)網(wǎng)絡(luò)4/24/202381卷積神經(jīng)網(wǎng)絡(luò)4/24/202382卷積神經(jīng)網(wǎng)絡(luò)4/24/202383卷積神經(jīng)網(wǎng)絡(luò)卷積層的作用4/24/202384卷積神經(jīng)網(wǎng)絡(luò)4/24/202385卷積神經(jīng)網(wǎng)絡(luò)4/24/202386卷積神經(jīng)網(wǎng)絡(luò)池化層的作用4/24/202387卷積神經(jīng)網(wǎng)絡(luò)4/24/202388卷積神經(jīng)網(wǎng)絡(luò)激活函數(shù)4/24/202389卷積神經(jīng)網(wǎng)絡(luò)4/24/202390卷積神經(jīng)網(wǎng)絡(luò)4/24/202391卷積神經(jīng)網(wǎng)絡(luò)4/24/202392卷積神經(jīng)網(wǎng)絡(luò)Softmax層的作用4/24/202393卷積神經(jīng)網(wǎng)絡(luò)4/24/202394卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的預(yù)處理4/24/202395卷積神經(jīng)網(wǎng)絡(luò)的實例Alexnet4/24/202396卷積神經(jīng)網(wǎng)絡(luò)的實例Alexnet4/24/202397卷積神經(jīng)網(wǎng)絡(luò)的實例FCN網(wǎng)絡(luò)4/24/202398卷積神經(jīng)網(wǎng)絡(luò)的實例FCN網(wǎng)絡(luò)4/24/202399卷積神經(jīng)網(wǎng)絡(luò)的實例FCN網(wǎng)絡(luò)4/24/2023100卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法4/24/2023101卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法4/24/2023