1、非結(jié)構(gòu)化道路圖像理解非結(jié)構(gòu)化道路圖像理解一一.道路圖像理解綜述道路圖像理解綜述1. 道路檢測(cè)道路檢測(cè)2. 連續(xù)幀道路檢測(cè)3. 道路偏離檢測(cè)4. 道路識(shí)別與跟蹤1.道路檢測(cè)1.1 基于特征的方法基于特征的方法1.1.1 道路區(qū)域檢測(cè)道路區(qū)域檢測(cè) 1.1.2 道路邊緣檢測(cè)1.2 基于模型的方法1.2.1 建立道路模型 1.2.2 提取車道線像素 1.2.3 擬合車道模型 1.1 基于特征的方法基于特征的方法基于特征的方法不需要道路的幾何結(jié)構(gòu)信息, 主要利用圖像中道路區(qū)域的顏色、紋理、邊緣等低級(jí)特征從圖像中檢測(cè)出路區(qū)域或路邊緣。1.1.1 道路區(qū)域檢測(cè) 灰度直方圖 聚類的方法 用顏色特征檢測(cè)道路 紋

2、理特征 概率 道路區(qū)域檢測(cè)可以看成是一個(gè)圖像分割問(wèn)題。圖像預(yù)處理：選定感興趣區(qū)域, 消除噪聲，邊緣增強(qiáng)邊緣抽?。撼Ｓ玫倪吘壦阕影–anny、Roberts、Laplace、Prewitt、Sobel等算子二值化:閾值的選取Hough變換可以得到連續(xù)的道路直線1.1.2 道路邊緣檢測(cè)1.2 基于模型的方法1)建立道路模型對(duì)道路形狀的假設(shè)2)提取車道線像素邊緣檢測(cè)、哈夫變換、模板匹配3)擬合車道模型直接擬合、哈夫變換和似然函數(shù)方法。2.連續(xù)幀道路檢測(cè) 將圖像處理限制在上一幀圖像的結(jié)果的鄰域可以顯著提高道路檢測(cè)的速度, 降低對(duì)硬件的要求, 滿足實(shí)時(shí)性要求。感興趣區(qū)域上幀邊緣k鄰域作為下次邊緣檢測(cè)的

3、區(qū)域在感興趣區(qū)域進(jìn)行邊緣檢測(cè)3.道路偏離檢測(cè) 道路偏離檢測(cè)是在道路檢測(cè)的基礎(chǔ)上, 不僅給出道路信息, 還要給出車輛偏離道路中心的信息。基于偏移距離的方法： 車體中心與道路中心的準(zhǔn)確偏移距離基于偏移角度的方法： 車輛行進(jìn)的方向偏離車道線方向4.道路識(shí)別與跟蹤 道路識(shí)別與跟蹤系統(tǒng)建立在道路模型、運(yùn)動(dòng)學(xué)模型和動(dòng)力學(xué)模型的基礎(chǔ)上, 系統(tǒng)不僅要給出道路參數(shù), 還要給出車輛相對(duì)于道路的位置信息和運(yùn)動(dòng)信息。道路識(shí)別與跟蹤常用的方法：卡爾曼濾波、粒子濾波二二.非結(jié)構(gòu)化道路圖像理解非結(jié)構(gòu)化道路圖像理解結(jié)構(gòu)化：高速公路、城市道路非結(jié)構(gòu)化：越野環(huán)境、鄉(xiāng)村道路非結(jié)構(gòu)化環(huán)境理解更具挑戰(zhàn)性：1. 道路形狀不規(guī)則2. 沒(méi)有

4、明確的邊緣3. 光照、景物、天氣復(fù)雜多變 形狀的不規(guī)則，邊緣的模糊，決定了非結(jié)構(gòu)化環(huán)境理解只能采用-基于特征的區(qū)域檢測(cè)方法非結(jié)構(gòu)化環(huán)境地形分類 基于顏色特征的地形分類 基于紋理特征的地形分類 顏色紋理特征融合 主動(dòng)學(xué)習(xí)1.基于顏色特征的地形分類基于顏色特征的地形分類Manduchi提出一種方法，采用大量且多樣化的特征數(shù)據(jù)來(lái)訓(xùn)練，以消除光照所產(chǎn)生的影響。使用高斯混合模型進(jìn)行分類。該算法可以消除光照陰影的影響但是對(duì)50米以外的場(chǎng)景，會(huì)有錯(cuò)誤的分類Buluswar等人提出使用多變量決策樹來(lái)學(xué)習(xí)不同的地形所占據(jù)的RGB顏色空間區(qū)域。隨后，Manduchi又提出了一種僅用一個(gè)典型光源下的地形圖像來(lái)訓(xùn)練模

5、型的方法。使用典型光源下的每一類顏色統(tǒng)計(jì)的知識(shí)來(lái)預(yù)測(cè)在新場(chǎng)景下的光照類型。已有人證明，錯(cuò)誤分類不能僅僅依靠顏色特征而被去掉。2.基于紋理特征的地形分類基于紋理特征的地形分類Castano提出了一種基于紋理特征的地形分類方法，使用基于多尺度-多方向的Gabor濾波器組提取的特征基于Garbor紋理特征的分類效果一般，但是涉及到大量的濾波，對(duì)于計(jì)算具有較高的要求。a.原圖b.手動(dòng)標(biāo)記c.混合高斯模型d.直方圖模型另外，還有其它的基于紋理特征的道路圖像理解算法： 基于小波變換 基于離散余弦變換(DCT) 基于灰度共生矩陣3.顏色紋理特征融合顏色紋理特征融合由于使用單一的特征對(duì)地形分類無(wú)法取得令人滿意

6、的結(jié)果。Shi等人提出顏色特征與紋理特征結(jié)合的方法。基于高斯混合模型的非結(jié)構(gòu)復(fù)雜環(huán)境地形分類3.1 特征提取顏色特征：采用YIQ顏色空間 計(jì)算每個(gè)特征窗口的顏色平均值及協(xié)方差，得到9維顏色特征向量每幅圖像分割成無(wú)重疊的16*16 大小的子圖像，稱為特征窗口紋理特征： 對(duì)特征窗口先進(jìn)行離散余弦變換。 在每個(gè)區(qū)域內(nèi)按下式計(jì)算能量值，選擇N=4可得到 13維的特征向量，對(duì)于一個(gè)2N*2N的特征窗口將顏色特征與紋理特征合并，可得到22維的顏色紋理特征。GMM：類條件似然密度模型的參數(shù)是由高斯分布的均值向量和協(xié)方差矩陣決定的。一般采用迭代方法，建立訓(xùn)練數(shù)據(jù)的最大似然方程，然后采用EM算法對(duì)類參數(shù)進(jìn)行評(píng)估

7、一種分類策略一種分類策略選定任一特征窗口，與周圍鄰域的8個(gè)特征窗口可以形成一個(gè)33的小矩形。設(shè)每個(gè)小窗口屬于最大類條件似然概率這一類。通過(guò)GMM求出每個(gè)特征窗口屬于某一地形類別的最大類條件概率密度。對(duì)于9個(gè)特征窗口，選擇屬于類別k (k=1,2,.T)的個(gè)數(shù)Jk及類條件似然概率Pj，j=1,2, Jk。其中J1 + J2 + Jk =9。然后計(jì)算屬于各個(gè)類別k的平均類條件概率kJjjkkPJP11如果kiPPik,那么，當(dāng)前中心窗口就歸為k類。除了GMM+顏色紋理特征算法，還有SVM+顏色紋理特征等方法，也能得到較為滿意的結(jié)果。4. 面向可通行區(qū)域分類的主動(dòng)學(xué)習(xí)算法面向可通行區(qū)域分類的主動(dòng)學(xué)習(xí)

8、算法有監(jiān)督學(xué)習(xí)的方法，需要大量有標(biāo)記的樣本作為訓(xùn)練樣本。然而在實(shí)際情況中，對(duì)大量樣本進(jìn)行人工標(biāo)記是極其繁瑣和費(fèi)時(shí)的。主動(dòng)學(xué)習(xí)正是為有大量未標(biāo)記樣本服務(wù)的，它能自動(dòng)決定哪些樣本需要標(biāo)記，以用較少的標(biāo)記樣本達(dá)到良好的學(xué)習(xí)效果。Dima首先將主動(dòng)學(xué)習(xí)用于可通行區(qū)域分類中，篩選最有“興趣”的1020幅圖像交由專家標(biāo)記。Tong提出交互式SVM主動(dòng)學(xué)習(xí)算法，即SVMactive。初始化初始化L用用L訓(xùn)練訓(xùn)練SVM分類器分類器用用SVM去分類去分類U是否符合要求是否符合要求結(jié)束結(jié)束是是選擇距離超平面最近的樣本交選擇距離超平面最近的樣本交由專家標(biāo)記由專家標(biāo)記否否L是空集，U包含所有未標(biāo)記樣本SVMactiv

9、e的原理圖KSVMactive:為了解決樣本數(shù)不平衡問(wèn)題，采用SVM超平面位置校正算法，根據(jù)上次迭代中專家標(biāo)記與當(dāng)前SVM分類結(jié)果的差值，調(diào)整本次迭代過(guò)程中超平面的位置。在超平面附近，聚集大量相似程度很高的樣本，SVMactive的方法是：按距離超平面最近的樣本交由專家標(biāo)記的方法，效率較低。KSVMactive采用非監(jiān)督的K均值聚類選取最有代表性的樣本。聚類中選擇的樣本需要滿足三個(gè)條件：1.樣本與SVM超平面距離要近2.樣本間的相似程度要高3.與已標(biāo)記樣本的相似性程序要低)()(1 ()()(ioutiiniixSimxSimxDisxScore具有最小得分值的樣本被認(rèn)為最有代表性的樣本，選出交由專家標(biāo)記。KSVMactive的原理圖L是空集，U包含所有未標(biāo)記樣本用用SVM去分類去分類U超平面位置校正超平面位置校正重新分類重新分類U是否符合要是否符合要求求結(jié)束結(jié)束是是聚類選出最有代表性的樣聚類選出最有代表性的樣本交由專家標(biāo)記本交由專家標(biāo)記否否初始化初始化L用用L訓(xùn)練訓(xùn)練SVM分類器分類器使用三種不同方法的平