ComputerVision第8章

計算機視覺2035主講：王紅梅目錄CONTENTS8.18.28.38.4計算機視覺那些事計算機視覺概述人臉識別原理*人臉識別實現8.506擴展：空間智能討論：在眾多的生物識別技術中如：指紋、聲紋、掌紋、虹膜、人臉識別、DNA等生物識別技術中，為什么人臉識別最受待見？人臉識別由于其方便、友好、符合人類傳統(tǒng)識別方式（人與人之間就是通過觀察面孔信息來識別對方身份的）、非接觸、成本較低、穩(wěn)定性高等優(yōu)點，在眾多生物識別技術中脫穎而出。討論：人如何分辨面孔？大腦中有個梭狀回的特殊腦區(qū)，負責面孔辨識如果人的梭狀回區(qū)天生較弱，或受過腦損傷，有可能分辨不出人臉，俗稱“臉盲癥”。

要完成人臉識別，一般的處理過程可分為圖像采集、人臉定位、特征提取和特征對比等過程。8.3.1人臉識別基本流程是什么？1.圖像采集是指通過傳感器如攝像頭等把客觀世界中的信息采集到計算機上。8.3.1人臉識別基本流程是什么？2.人臉定位是指檢測到人臉并確定人臉的位置。8.3.1人臉識別基本流程是什么？3.特征提取是從圖像中提出特征，如人臉的輪廓、嘴、眼、鼻的位置等，好方便下一步的分類或識別。8.3.1人臉識別基本流程是什么？4.特征對比就是根據已經訓練的特征模型，從特征庫中找出和提供的人臉相似的人臉，當相似度到達一直閾值，就認為是相同的臉。8.3.1人臉識別基本流程是什么？

不同的應用場景對相似度的要求也不盡相同。如家里的門鎖、手機支付相似度要求就很高，而普通的簽到對人臉識別可能就會要求低一些。8.3.1人臉識別基本流程是什么？用專業(yè)術語叫什么？閾值

實際上在人臉識別前，還有個模型訓練的過程，模型訓練的過程和人臉識別過程很像，也有圖像采集、預處理，特征提取過程，不同的是在特征提取時：數據集不同。模型訓練的特征提取一般會用專門的訓練數據集，而人臉識別的特征提取用的是測試數據集，這個測試數據集也可以理解為就是要識別的對象。8.3.1人臉識別基本流程是什么？8.3.1人臉識別基本流程是什么？人臉識別要提取特征，你覺得應該提取什么特征呢？怎么提取呢？我們會發(fā)現關于圖像特征的提取無非是顏色特征、形狀特征、紋理特征、空間關系特征等等，每一種特征都有相應的檢測和提取方法。

實際上提取什么特征決定于要識別什么，假如要進行人臉識別則需要提取人臉的輪廓，眼、嘴、鼻等的特征。而在提取特征之前，必須先檢測到人臉；在特征提取之后，又需要根據提取的特征進行識別。我們把整個過程通常成為檢測方法。

下面將詳細介紹人臉檢測方法中的Haar級聯檢測器方法（HaarFeature-basedCascadeClassifier，簡稱Haar級聯檢測器）8.3.1人臉識別基本流程是什么？8.3.2

Haar級聯檢測器人臉檢測方法基于知識的檢測方法基于統(tǒng)計的檢測方法基于深度學習的檢測方法檢測器官特征和器官之間的幾何關系檢測的是像素之間的相似度，根據相似度量來判斷人臉是否存在通過對大量的臉部樣品集和非臉部樣品集的學習產生分類器8.3.2

Haar級聯檢測器

目前，檢測技術（目標檢測）已經進入深度學習時代，但傳統(tǒng)的方法還有必要了解，一方面由于深度學習也是基于傳統(tǒng)方法，如級聯CNN，就基于VJ檢測器（ViolaJonesDetector，簡稱VJ檢測器）中的級聯結構，另一方面，傳統(tǒng)方法由于不需要復雜軟、硬件環(huán)境支持，有一定的應用場景。8.3.2

Haar級聯檢測器在VJ檢測器基礎上，發(fā)展出了OpenCV中的Haar級聯檢測器，Haar級聯檢測器是廣泛使用的檢測器之一。Haar級聯檢測器是基于統(tǒng)計的方法，將人臉看作一個整體，也就是二維像素矩陣，從統(tǒng)計的觀點通過大量人臉圖像樣本來構造人臉模式空間，從而根據相似度來判斷人臉是否存在。如通過分析5000張人臉照片，發(fā)現“眼睛比臉頰暗”、“鼻梁比兩側亮”、“嘴巴比周圍暗”這樣的規(guī)律。8.3.2

Haar級聯檢測器Haar級聯檢測器由Haar特征、積分圖、AdaBoost算法和級聯分類器組成，可表示為：Haar級聯檢測器=Haar特征+積分圖+AdaBoost算法+級聯分類器1.使用Haar特征做檢測，提供基礎特征；2.使用積分圖對Haar特征求值進行加速；3.使用AdaBoost算法，訓練區(qū)分人臉和非人臉的強分類器；4.使用級聯把強分類器聯到一起，提高準確率。8.3.2

Haar級聯檢測器Haar特征想象你是一位偵探，要在茫茫人海中找到目標人物。Haar級聯檢測器就像一支訓練有素的偵探小分隊，通過層層篩選快速鎖定嫌疑人。積分圖AdaBoost算法級聯分類器把目標人物畫個像Haar級聯檢測器偵探小分隊模板發(fā)明家偵探的“速算神器”偵探的“層層安檢”“精英偵探團”類比8.3.3使用Haar特征進行檢測

1.Haar特征模板Haar是一種特征描述，這種描述用Haar特征模板來實現，這種特征模板用于描述圖像局部灰度變化。

X2

Y2

X3

Y3

X2-Y2

邊緣特征

邊緣特征

線性特征

線性特征

對角特征8.3.3使用Haar特征進行檢測

1.Haar特征模板

如我們要檢測人臉中的輪廓，就可以用邊緣特征，通過計算模板兩邊白色像素框和黑色像素框的像素的灰度差值，就知道是輪廓（差值大）。8.3.3使用Haar特征進行檢測

2.進行檢測

怎么檢測呢？在實際中，Haar特征模板可以在檢測子窗口，通過縮放+平移產生一系列子特征。舉個現實中類似套娃找匹配的例子8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

（1）首先把原圖像按一定尺寸，劃分成子窗口（這里劃分為9個子窗口），子窗口按一定步長在圖像中滑動。8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

（1）首先把原圖像按一定尺寸，劃分成子窗口（這里劃分為9個子窗口），子窗口按一定步長在圖像中滑動。8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

（1）首先把原圖像按一定尺寸，劃分成子窗口（這里劃分為9個子窗口），子窗口按一定步長在圖像中滑動。8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

（1）首先把原圖像按一定尺寸，劃分成子窗口（這里劃分為9個子窗口），子窗口按一定步長在圖像中滑動。8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

（1）首先把原圖像按一定尺寸，劃分成子窗口（這里劃分為9個子窗口），子窗口按一定步長在圖像中滑動。8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

（1）首先把原圖像按一定尺寸，劃分成子窗口（這里劃分為9個子窗口），子窗口按一定步長在圖像中滑動。8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

（1）首先把原圖像按一定尺寸，劃分成子窗口（這里劃分為9個子窗口），子窗口按一定步長在圖像中滑動。8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

（1）首先把原圖像按一定尺寸，劃分成子窗口（這里劃分為9個子窗口），子窗口按一定步長在圖像中滑動。8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

（1）首先把原圖像按一定尺寸，劃分成子窗口（這里劃分為9個子窗口），子窗口按一定步長在圖像中滑動。8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

X2

Y2

X3

Y3

X2-Y2

邊緣特征

邊緣特征

線性特征

線性特征

對角特征X3的不同比例

（2）然后在每一個固定子窗口內，通過該層所有特征模以不同比例進行匹配。（3）在匹配過程中，基本特征模板會嘗試檢測不同的位置。8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

（2）然后在每一個固定子窗口內，通過該層所有特征模以不同比例進行匹配。（3）在匹配過程中，基本特征模板會嘗試檢測不同的位置。

X2

Y2

X3

Y3

X2-Y2

邊緣特征

邊緣特征

線性特征

線性特征

對角特征X3的不同比例8.3.3使用Haar特征進行檢測

2.進行檢測檢測過程

最后對該層級所有匹配結果進行綜合統(tǒng)計。8.3.3使用Haar特征進行檢測

2.進行檢測模版1倍2倍3倍4倍5倍6倍7倍8倍X2√√√√√√√√Y2√√√√√√√√X3√√√√√

Y3√√√√√

X2-Y2√√√√√√√√縮放倍數的問題：舉例：對于16×16子窗口，Haar特征模板以自己小于等于16×16子窗口的任何倍數為基準滑動過一遍。8.3.3使用Haar特征進行檢測

2.進行檢測對于X3特征模版，原始大小為3×1，在24×24的子圖像窗口上進行滑動。水平可滑動22步，垂直可滑動24步，共有22×24個特征值，8.3.3使用Haar特征進行檢測

2.進行檢測

一個模板可以以不同的比例在不同的位置上進行滑動，每滑動一次會產生一個特征值。這樣產生的特征值就會有模版類型（目前有5種類型的模板，實際更多）、大小和位置三個要素來決定。不同子窗口大小內，Haar特征的總數量窗口大小36×3630x3024x2420x2016x16特征數量8162643947251623667846032384檢測出這樣大量的值，怎么處理呢？？？8.3.4Haar特征值的計算和積分圖

1.Haar特征值Haar子特征值=白色矩形像素灰度值之和-黑色矩形像素灰度值之和如果是X3或Y3模版，黑色要乘以2，以平衡各個部分的比例。特征值的正負和大小反映了矩形區(qū)域之間的亮度差異：正值：白色區(qū)域比黑色區(qū)域更亮。負值：白色區(qū)域比黑色區(qū)域更暗。絕對值大?。毫炼炔町惖膹姸?。8.3.4Haar特征值的計算和積分圖

1.Haar特征值Haar特征值反映了圖像的灰度值變化情況，如眼睛要比臉頰顏色深，鼻子兩側顏色要比鼻梁顏色深，嘴巴要比周圍顏色深等。因此可以把特征模版“蒙”在要識別的圖像上，通過水平和垂直滑動的來確定對象的特征輪廓。8.3.4Haar特征值的計算和積分圖

1.Haar特征值

類別不同的模版，再改變大小、位置的變化，在子窗口中滑動，每滑動一次就會產生一個特征值，如X3在6*6像素大小的子窗口移動就可以產生24個特征值。25392035100115503865112102050259025603060407040508.3.4Haar特征值的計算和積分圖

1.Haar特征值

要是在24*24像素大小的檢測窗口內矩形特征值就達16萬之多。這么多特征值，計算量（計算是為了得到特征）自然很大，為提高計算速度引入了積分圖，為提高選取效率引入了AdaBoost級聯分類器。8.3.4Haar特征值的計算和積分圖

2.積分圖

在上面特征模板的移動過程中，會產生大量的特征值，然后每次都要對這些值進行遍歷才能找到對應的特征值。

積分圖是提高圖像特征值計算效率的方法。8.3.4Haar特征值的計算和積分圖

2.積分圖

主要的思想是圖像某點積分圖的值，是某點與起點作為對角點所形成的矩形區(qū)域像素之和。（a）原特征值

（b）積分圖特征值8.3.4Haar特征值的計算和積分圖

2.積分圖502=25+3+9+35+100+115+38+65+112287=25+3+9+35+100+115（a）原特征值

（b）積分圖特征值8.3.4Haar特征值的計算和積分圖

3.計算Haar特征值

積分圖一旦計算完成，就可以輕易求出原圖像任意區(qū)域的像素之和，就是對象的特征值。比如計算I部分的特征值：

I特征值=I(I)+I(E)?I(H)?I(F)。

這里的I特征值指的是對應I位置的積分圖值。ABCDEFGHI8.3.4Haar特征值的計算和積分圖

3.計算Haar特征值利用這種方法，可以把積分圖特征值計算出來，原特征值

積分圖特征值

計算出來的最終特征值（邊緣特種）100=163+25-60-2810011550-3006511210-225502590-185-218-261-170767這個表的計算位置并不是從第一個開始，因為是子窗口。8.3.4Haar特征值的計算和積分圖

4.Haar特征值的含義

在人臉檢測中，左側特征可對應人眼區(qū)域，右邊則無意義（因為人臉中，眼睛、眉毛、鼻子、嘴巴的特征都沒有和右圖特征一致的）。8.3.4Haar特征值的計算和積分圖

4.Haar特征值的含義

通過這種的方法，我們可以逐步根據各個特征模版在子窗口的滑動進而提取各個部分的特征，從而得到人臉的特征。

上面的方法是通過修改特征模版的比例，來進行滑動產生特征值。其實也可以通過縮放圖像，形成不同大小的圖像金字塔如圖8.3.8所示，讓模版不變，在不同大小的圖像上同樣通過滑動來產生特征。8.3.4Haar特征值的計算和積分圖

其實不論是滑動模板，還是滑動圖像，其目的都是為了能找到特征。

你可以想象，你有一套俄羅斯套娃和一個球，球的大小比最大的俄羅斯套娃小，比最小的俄羅斯套娃大，為了找到球剛剛好可以放進的那個俄羅斯套娃，你可以從最小的套娃開始，一個一個的試，當最小的不行，就換一個大一點點的，如果不行，繼續(xù)換一個再大一點點的，總能找到剛剛好能放進去的那個。8.3.4Haar特征值的計算和積分圖討論：這種縮放是隨意的嗎？如果不是，是否有比例呢？如果有比例，比例一般是多少？你一般解決復雜問題的方法是什么？8.3.5AdaBoost級聯分類器要對圖像目標進行檢測和識別時需要對多個特征（多個條件）進行判斷，直接判斷過程復雜，分類器很難設計，所以才用級聯的方式容易實現。例如，在識別一個圖片中的動物是否是狗時，簡單而快速的方法是先看是否有四條腿，再進一步看看是否有一個頭，最后看看是否長有毛等，每一個判斷都很簡單，逐步深入，很快就能完成對狗的識別。8.3.5AdaBoost級聯分類器1.AdaBoost算法AdaBoost算法是將弱學習算法提升為強學習算法的過程，主要思想是“三個臭皮匠頂個諸葛亮”。8.3.5AdaBoost級聯分類器1.AdaBoost算法AdaBoost算法的核心思想是針對不同的訓練數據集訓練同一弱分類器，再把這些弱分類器集合在一起，構成一個強分類器。8.3.5AdaBoost級聯分類器腿頭毛AdaBoost算法通過調整訓練數據集的權重，使得每個弱分類器專注于之前分類器未能正確分類的樣本，從而逐步提高整體的分類性能?。8.3.5AdaBoost級聯分類器----1.AdaBoost算法隨意畫一條分類線弱分類器1AdaBoost算法通過調整訓練數據集的權重，使得每個弱分類器專注于之前分類器未能正確分類的樣本，從而逐步提高整體的分類性能?。8.3.5AdaBoost級聯分類器----1.AdaBoost算法加大未能正確分類的樣本的權重弱分類器1AdaBoost算法通過調整訓練數據集的權重，使得每個弱分類器專注于之前分類器未能正確分類的樣本，從而逐步提高整體的分類性能?。8.3.5AdaBoost級聯分類器----1.AdaBoost算法再繪制一條分類線弱分類器1弱分類器2AdaBoost算法通過調整訓練數據集的權重，使得每個弱分類器專注于之前分類器未能正確分類的樣本，從而逐步提高整體的分類性能?。8.3.5AdaBoost級聯分類器----1.AdaBoost算法弱分類器1弱分類器2加大未能正確分類的樣本的權重AdaBoost算法通過調整訓練數據集的權重，使得每個弱分類器專注于之前分類器未能正確分類的樣本，從而逐步提高整體的分類性能?。8.3.5AdaBoost級聯分類器----1.AdaBoost算法弱分類器1弱分類器2再繪制一條分類線弱分類器3AdaBoost算法通過調整訓練數據集的權重，使得每個弱分類器專注于之前分類器未能正確分類的樣本，從而逐步提高整體的分類性能?。8.3.5AdaBoost級聯分類器----1.AdaBoost算法弱分類器1弱分類器2弱分類器構成了強分類器弱分類器38.3.5AdaBoost級聯分類器----1.AdaBoost算法弱分類器1弱分類器2弱分類器構成了強分類器弱分類器3思考問題,怎么確定實線問題（強分類器）？激活函數（分段函數）？？？？8.3.5AdaBoost級聯分類器----1.AdaBoost算法思考問題,怎么確定實線問題？激活函數（分段函數）旋轉一下角度，就可以了后一個模型的訓練永遠是在前一個模型的基礎上完成！策略是通過提高前一輪分類器分類錯誤的樣本的權值，降低分類正確的樣本權值，對于那些沒有分類正確的樣本會得到后面分類器更多的關注。然后可以產生很多的弱分類器，通過多數加權投票組合這些弱分類器，加大誤差率小的分類器，減少誤差率大的分類器，使其在表決中起到較少的作用。8.3.5AdaBoost級聯分類器----1.AdaBoost算法8.3.5AdaBoost級聯分類器----1.AdaBoost算法練習一下，這個怎么尋找弱分類和強分類器AdaBoost算法的基本步驟：（1）?初始化權重?：為每個訓練樣本分配相等的初始權重。（2）?訓練弱分類器?：根據當前樣本權重訓練一個弱分類器，并計算其錯誤率。（3）?更新權重?：增加錯分類樣本的權重，使后續(xù)弱分類器更關注這些樣本，減少正確分類樣本的權重。（4）?組合分類器?：將所有弱分類器的加權結果組合起來，形成最終的強分類器。（5）?迭代?：反復執(zhí)行以上步驟，直到達到所需的迭代次數或滿足其他停止條件?8.3.5AdaBoost級聯分類器----1.AdaBoost算法訓練數據結合策略強學習器模型1帶權重1的訓練集弱學習器1基于學習的誤差率1更新學習器權重1模型2帶權重2的訓練集弱學習器2基于學習的誤差率2更新學習器權重2模型n帶權重n的訓練集弱學習器n基于學習的誤差率n更新學習器權重n根據權重1更新樣本權重2根據權重n-1更新樣本權重n8.3.5AdaBoost級聯分類器----1.AdaBoost算法

弱分類器對所有區(qū)域完整計算，效率低，為提升效率，采用基于決策樹的級聯分類器。8.3.5A