基于智能手機的路面圖像標(biāo)準(zhǔn)化分析案例目錄TOC\o"1-3"\h\u14557基于智能手機的路面圖像標(biāo)準(zhǔn)化分析案例 1288971.1基于智能手機采集路面數(shù)據(jù) 289071.2路面區(qū)域邊緣檢測 315661.2.1目標(biāo)區(qū)域選取 372021.2.2圖像預(yù)處理 4226701.2.3邊緣檢測 5114071.3基于透視變換的路面圖像標(biāo)準(zhǔn)化 6180971.3.1Hough變換直線檢測 6245881.3.2透視變換坐標(biāo)點動態(tài)確定 777201.3.3路面區(qū)域畸變矯正 9智能手機采集的全景數(shù)據(jù)，路面以外的環(huán)境部分較為復(fù)雜，會造成破損的誤檢，并且由于視角原因，破損特征發(fā)生了變化，造成較遠(yuǎn)區(qū)域特征不明顯破損的漏檢，同時為了下一章對破損進(jìn)行量化處理，測量破損參數(shù)和路面損壞狀況指數(shù)PCI，需要將原始全景圖像中的路面區(qū)域識別出來并矯正為正射圖。本章主要分為三節(jié)，流程圖如圖1.1所示。第一節(jié)詳細(xì)介紹了路面數(shù)據(jù)采集，包括采樣間距、分辨率和智能手機的安裝高度等參數(shù)；第二節(jié)是路面區(qū)域邊緣檢測，目的是準(zhǔn)確地確定道路的邊緣部分，包括目標(biāo)區(qū)域的選取、圖像預(yù)處理和邊緣檢測；第三節(jié)為基于透視變換的路面圖像標(biāo)準(zhǔn)化，包括Hough變換直線檢測、透視變換坐標(biāo)點的確定以及畸變矯正。路面圖像標(biāo)準(zhǔn)化流程1.1基于智能手機采集路面數(shù)據(jù)快速路面檢測裝備利用硬件優(yōu)勢在汽車高速行駛狀態(tài)下可以獲取清晰的路面正射圖像，在利用智能手機進(jìn)行路面正射圖像采集工作時發(fā)現(xiàn)，當(dāng)汽車移動速度超過15km/h時，圖像會出現(xiàn)較大程度的模糊，人工識別路面損壞都存在偏差，因此，在較高速度下利用智能手機采集清晰正射圖像數(shù)據(jù)存在困難。通過調(diào)整手機至一定高度和拍攝角度，如圖1.2所示，使手機相機視野恰好不會被引擎蓋遮擋，其中h為手機與地面垂直距離（不同車型一般為1.3m至1.5m），α為相機視野下界線與地面的角度，一般為25°至35°，本文中h為1.3m，α為25°，此時汽車能在最大約40km/h的速度下獲取清晰的路面圖像數(shù)據(jù)。人工觀察數(shù)據(jù)發(fā)現(xiàn)，圖片中前方約10m的路面清晰度較高，可以作為后續(xù)處理的目標(biāo)區(qū)域，因此，在利用Fast300Shots應(yīng)用軟件采集數(shù)據(jù)時，設(shè)置相機采集頻率為1張/秒，采集分辨率為4000×3000像素的路面圖像，同時記錄下GPS定位信息。為了滿足之后路面破損的跟蹤與預(yù)測，數(shù)據(jù)采集以一個星期為周期采集時間序列數(shù)據(jù)，所有圖像數(shù)據(jù)均在湖北省潛江市境內(nèi)的農(nóng)村公路上拍攝完成，以龍灣鎮(zhèn)的龍福路、龍徐線、老荻線以及張金鎮(zhèn)的張齊路為主，共計約132km，道路里程長，取景豐富，數(shù)據(jù)充足。智能手機數(shù)據(jù)采集1.2路面區(qū)域邊緣檢測1.2.1目標(biāo)區(qū)域選取通過觀察智能手機采集的全景數(shù)據(jù)發(fā)現(xiàn)，對于路面檢測而言，較遠(yuǎn)區(qū)域的路面已出現(xiàn)模糊不清、破損形狀特征變化程度較大的現(xiàn)象，同時由于智能手機本身數(shù)據(jù)采集精度受限，較遠(yuǎn)區(qū)域路面上的破損無法被準(zhǔn)確呈現(xiàn)，即使后續(xù)完成畸變矯正，路面破損失真程度嚴(yán)重，直接影響識別精度，因此，考慮從原圖中選取一個目標(biāo)區(qū)域作為下一步工作的輸入。經(jīng)過人工觀察，圖片中最前方約10m的路面清晰度較高，且破損變化程度小，可以作為后續(xù)處理的目標(biāo)區(qū)域，如圖1.3所示。目標(biāo)區(qū)域選取1.2.2圖像預(yù)處理目標(biāo)區(qū)域的選取使得處理區(qū)域縮小，有利于道路邊界的提取。加權(quán)最小二乘濾波器是一種保邊濾波器[63]，目標(biāo)是使濾波后的圖像盡可能接近原圖，同時使圖像中一些梯度變化較大區(qū)域的邊緣保持良好，而其他小梯度區(qū)域盡可能平滑。記原圖為g，濾波后結(jié)果為u，、分別是x和y方向梯度權(quán)值矩陣，則定義損失函數(shù)為：(1.1)權(quán)值、是一個隨梯度增大而減小的函數(shù)，如式(1.2)所示，這樣小梯度區(qū)域分配高權(quán)重會迫使濾波后結(jié)果u在原來平滑的地方更平滑，令導(dǎo)數(shù)為0，即可求得目標(biāo)u的解。其中是一個平滑參數(shù)，增大會使目標(biāo)圖像更加平滑，參數(shù)與梯度權(quán)值有關(guān)，增大會使邊緣更加銳利。(1.2)對于道路邊界提取而言，道路邊界是有效信息且屬于大梯度區(qū)域，而其他邊緣屬于噪聲，大小梯度區(qū)域共存，因此，將加權(quán)最小二乘濾波引入，對圖像進(jìn)行預(yù)處理以減少小梯度區(qū)域噪聲，其中參數(shù)=3，=2，濾波結(jié)果如圖1.4所示，路面上接縫、裂縫以及環(huán)境中的小梯度區(qū)域得到了較大程度的平滑，路面上大坑槽和大修補、道路邊界以及環(huán)境中的大梯度區(qū)域得以保留。加權(quán)最小二乘濾波預(yù)處理1.2.3邊緣檢測經(jīng)過加權(quán)最小二乘濾波預(yù)處理后，道路邊界更加明顯，有利于準(zhǔn)確檢測道路邊緣。經(jīng)典的邊緣檢測算法有Sobel、Roberts、Prewitt、Laplacian、LoG和Canny等，其中Canny算法[64]在實際應(yīng)用中最為廣泛，檢測效果最好。本文采用Canny邊緣檢測算法檢測道路邊緣，原理如下：⑴對圖像進(jìn)行高斯濾波通過一個二維高斯核對原始圖像卷積即可實現(xiàn)高斯濾波，高斯核如下所示：(1.3)⑵計算梯度的幅值和方向(1.4)(1.5)其中G為梯度強度，表示梯度方向，為反正切函數(shù)。⑶對梯度幅值進(jìn)行非極大值抑制在高斯濾波的過程中，邊緣有可能被放大了，這個步驟使用一個規(guī)則來過濾不是邊緣的像素點，使邊緣的寬度盡可能為一個像素。如果一個像素點屬于邊緣，則將這個像素點在梯度方向上的梯度值是最大的，否則不是邊緣，將灰度值置為0。非極大值抑制公式如下：(1.6)⑷用雙閾值算法檢測和連接邊緣通過設(shè)置兩個閾值，高閾值和低閾值，其中大于高閾值的點都被視為邊緣，而低于低閾值的點都被視為非邊緣，對于中間值的像素點，如果與確定為邊緣的點相連，則判定為邊緣，否則為非邊緣。算法高低閾值參數(shù)分別設(shè)置為0.35、0.14，標(biāo)準(zhǔn)差參數(shù)設(shè)置為，檢測效果如圖1.5所示，道路邊緣基本被完整檢測出來，不同環(huán)境、不同路面情況下的噪聲邊緣各不相同。加權(quán)最小二乘濾波預(yù)處理1.3基于透視變換的路面圖像標(biāo)準(zhǔn)化1.3.1Hough變換直線檢測Canny邊緣檢測后的邊緣圖像中，道路邊界大致呈現(xiàn)為一條直線，而其他噪聲邊緣呈現(xiàn)出不規(guī)則的曲線狀態(tài)，利用這一特征可進(jìn)一步去除噪聲邊緣，因此，采用Hough變換[65]直線檢測技術(shù)完成對路面邊緣的檢測。Hough變換直線檢測的原理如下：在圖像x-y坐標(biāo)空間中，經(jīng)過點(,)的直線可以表示為(1.7)其中參數(shù)a為斜率，b為截距，通過點(,)的直線有無數(shù)條，且對應(yīng)于不同的a、b值，若將和當(dāng)作常數(shù)，而原本的參數(shù)a和b當(dāng)作變量，則式(1.8)可以表示為(1.8)這樣就將x-y坐標(biāo)空間變換到了參數(shù)平面a-b，x-y坐標(biāo)空間中的一點對應(yīng)于a-b參數(shù)平面中的一條直線，x-y坐標(biāo)空間中的一條直線對應(yīng)于a-b參數(shù)平面中的無數(shù)條直線的交點，利用這一原理完成對邊緣圖像的直線檢測，檢測效果如圖1.6所示，噪聲邊緣得以消除，道路邊界的檢測結(jié)果是幾條離散的線段，但大致都位于一條直線上，每一條線段都有兩個端點，本文利用最小二乘法將每條道路邊界上的線段端點進(jìn)行直線擬合，擬合結(jié)果如圖所示，可以看到，道路邊界基本被完整的檢測出來，為接下來的畸變矯正奠定基礎(chǔ)。Hough變換直線檢測1.3.2透視變換坐標(biāo)點動態(tài)確定根據(jù)透視變換原理，只要得到路面區(qū)域中畸變圖像的四個坐標(biāo)點以及正射圖像中對應(yīng)的四個坐標(biāo)點即可求解透視變換線性方程組，得到透視變換參數(shù)。經(jīng)過Hough變換直線檢測并做擬合處理形成完整的路面邊緣后，其與圖像的四個交點可用于確定畸變圖坐標(biāo)點，但是在實際工作中發(fā)現(xiàn)，這四個點并不能完全代表畸變坐標(biāo)點，需要視車輛的行駛情況而確定，同時農(nóng)村公路即使是同一路段，也會出現(xiàn)路寬不一致的情況，正射圖坐標(biāo)點也會發(fā)生變化，因此，可分為以下三種情況進(jìn)行分析：⑴車輛位于正中間行駛從路面邊界線上能夠很容易得到畸變圖像的四個點，如圖1.6所示，陰影部分為道路區(qū)域。最理想的情況就是車輛剛好處于道路正中間，如圖1.7所示，四邊形ABCD為等腰梯形，此時畸變圖像中的四個點即為A、B、C、D，等腰梯形ABCD在正射圖中的矩形長寬比可通過人工測量得到(例如路寬CD=4m,路長AD=8m，長寬比即為2:1)，CD線段所占像素為4000，測量精度即為4000/4000=1(mm)，根據(jù)比例正射圖尺寸可以設(shè)定為8000×4000，相應(yīng)的正射圖坐標(biāo)點即為(1,1)、(1,4000)、(8000,1)、(8000,4000)，求得透視參數(shù)。車輛位于正中間示意圖⑵車輛偏左或偏右行駛在實際情況中，檢測車輛基本不會剛好位于車道正中間行駛，根據(jù)我國的交通規(guī)則，車輛需位于右車道行駛，大多數(shù)情況如圖1.8所示，車輛偏向于右車道，路面區(qū)域在圖像中呈現(xiàn)的狀態(tài)為D點上移，C點下移，正射圖長寬比(AD:AB)動態(tài)變化，坐標(biāo)點難以確認(rèn)。針對這種情況，本文利用道路邊界線趨勢來確定畸變坐標(biāo)點，基本思想就是固定正射圖尺寸(車輛位于道路正中間時的計算值)，在動態(tài)的路面區(qū)域中找到相應(yīng)的畸變坐標(biāo)點。以圖1.8(a)中A、B、C、D四個點作為參考點，通過延長圖1.8(b)中AD與EF(EF與圖1.8(a)中CD處于同一位置)交于點F，此時畸變坐標(biāo)點即為A、B、E、F，正射圖尺寸仍為4000×8000，正射圖坐標(biāo)點不變，從而可求得透視變換參數(shù)。車輛偏向左車道行駛時的情況如圖1.9所示，與右車道類似，通過延長另一邊得到畸變坐標(biāo)點。a)車輛位于正中間b)車輛偏右行駛車輛偏右行駛示意圖車輛偏右行駛示意圖⑶不同路寬下坐標(biāo)點確定農(nóng)村公路由于受到經(jīng)濟、地形、地質(zhì)和其他條件等因素的影響，在修建過程一般采用因地制宜的策略進(jìn)行，無法像城市公路一樣嚴(yán)格按照標(biāo)準(zhǔn)執(zhí)行，導(dǎo)致即使是同一路段也會出現(xiàn)路寬不等的情況。如圖1.10所示，當(dāng)?shù)缆纷儗挄r，路面邊緣會向上移動，如圖中紅色虛線所示，當(dāng)?shù)缆纷冋瓡r，路面邊緣會向下移動，如圖中藍(lán)色虛線所示，AB段的變大或變小會直接影響正射圖長寬比，進(jìn)而改變正射圖坐標(biāo)點，因為本文方法中路長AD始終保持不變，這在數(shù)據(jù)采集前可通過標(biāo)定手機的位置高度和角度確定。不同路寬示意圖1.3.3路面區(qū)域畸變矯正根據(jù)透視變換原理[32]，只要得到路面區(qū)域中畸變圖像的四個坐標(biāo)點以及正射圖像中對應(yīng)的四個坐標(biāo)點即可求解透視變換線性方程組，得到透視變換參數(shù)。透視變換公式為式(1.9)：(1.9)其中(x1,y1)(x2,y2)(x3,y3)(x4,y4)是畸變圖的像素坐標(biāo)，(u1,v1)(u2,v2)(u3,v3)(u4,v4)是正射圖的像素坐標(biāo)，a，b，c，d，e，f，g，h是透視變換參數(shù)。1.3.2中已確定了畸變圖、正射圖坐標(biāo)點，代入透視變換公式，求得透視變換參數(shù)。根據(jù)透視變換