1、圖像處理與計(jì)算機(jī)視覺(jué)期末作業(yè)專業(yè)：計(jì)算機(jī)軟件與理論年級(jí)：2018級(jí)學(xué)號(hào)：12018000758姓名：何勇2019年8月21日車牌識(shí)別系統(tǒng)（VLRP）實(shí)驗(yàn)報(bào)告一、實(shí)驗(yàn)?zāi)康?、了解車牌識(shí)別系統(tǒng)及其應(yīng)用；2、結(jié)合本門(mén)課程所學(xué)內(nèi)容，設(shè)計(jì)一個(gè)車牌識(shí)別系統(tǒng)并實(shí)現(xiàn)。二、實(shí)驗(yàn)原理1、圖像預(yù)處理：針對(duì)車牌的顏色特征，利用hsv色域進(jìn)行二值化，并進(jìn)行膨脹和去噪處理。 攝像時(shí)的光照條件，牌照的整潔程度，攝像機(jī)的狀態(tài)（焦距，角度和鏡頭的光學(xué) 畸變），以及車速的不穩(wěn)定等因素都會(huì)不同程度的影響圖像效果，出現(xiàn)圖像模糊， 歪斜或缺損，車牌字符邊界模糊不清，細(xì)節(jié)不清，筆畫(huà)斷開(kāi)，粗細(xì)不均等現(xiàn)象， 從而影響車牌區(qū)域的分割與字符識(shí)別

2、的工作，所以識(shí)別之前要進(jìn)行預(yù)處理。2、車牌定位：對(duì)預(yù)處理后的圖片進(jìn)行區(qū)域標(biāo)記，根據(jù)各連通量的長(zhǎng)寬比以及黑色像素所占 比例定位車牌位置。從背景中準(zhǔn)確地確定牌照區(qū)域是整個(gè)識(shí)別過(guò)程的關(guān)鍵。首先 對(duì)采集到的圖像進(jìn)行大范圍相關(guān)搜索，找到符合汽車牌照特征的若干區(qū)域作為候 選區(qū)，然后對(duì)這些侯選區(qū)域做進(jìn)一步分析、評(píng)判，最后選定一個(gè)最佳的區(qū)域作為 牌照區(qū)域，并將其從圖象中分割出來(lái)。3、字符分割：完成牌照區(qū)域的定位后，再將牌照區(qū)域分割成單個(gè)字符，然后進(jìn)行識(shí)別。在 本次系統(tǒng)開(kāi)發(fā)中，字符分割采用垂直投影法。由于字符在垂直方向上的投影必然 在字符間或字符內(nèi)的間隙處取得局部最小值的附近，并且這個(gè)位置應(yīng)滿足牌照的 字符書(shū)寫(xiě)

3、格式、字符尺寸限制和一些其他條件，利用垂直投影法對(duì)復(fù)雜環(huán)境下的 汽車圖像中的字符分割有較好的效果。4、字符識(shí)別：用圖像分類和識(shí)別中的所學(xué)內(nèi)容對(duì)字符識(shí)別，比如基于模板匹配算法、基于 支持向量機(jī)或基于神經(jīng)網(wǎng)絡(luò)的方法。我選擇的是基于BP的神經(jīng)網(wǎng)絡(luò)算法。將分 割出來(lái)的字符做n等分分割，統(tǒng)計(jì)個(gè)等分塊內(nèi)的黑像素比例，并與特征庫(kù)比對(duì)， 識(shí)別字符。三、系統(tǒng)流程圖四、實(shí)驗(yàn)步驟4.1基于顏色的BP神經(jīng)網(wǎng)絡(luò)車牌定位車牌底色庫(kù)I.I訓(xùn)練BP神經(jīng)網(wǎng) 1絡(luò)區(qū)分車牌像素是否藍(lán)色L圖4-1車牌定位流程圖圖4-2車牌底色庫(kù)部分樣本建立車牌底色庫(kù)，在本論文中僅對(duì)藍(lán)底白字車牌進(jìn)行研究。對(duì)于這些車牌樣 本，將其從RGB色彩空間轉(zhuǎn)換為

4、得到其CR CB紅色及藍(lán)色分量。對(duì)車牌樣本每 個(gè)像素，均可得到其CR CB。而我們關(guān)心的只是兩種像素，即藍(lán)色非藍(lán)色像素。 對(duì)于藍(lán)色的像素，在轉(zhuǎn)換為CR CB后其對(duì)應(yīng)的BP神經(jīng)網(wǎng)絡(luò)映射關(guān)系為輸出為 1。非藍(lán)色的像素，在轉(zhuǎn)換為CR CB后相對(duì)應(yīng)的BP映射為輸出為0。由于BP 神經(jīng)網(wǎng)絡(luò)要求輸入值0到1，所以CR CB還需作簡(jiǎn)單的處理，把它轉(zhuǎn)為符合要 求的輸入。到此，用于進(jìn)行車牌定位的BP神經(jīng)網(wǎng)絡(luò)模型有了輸入層及輸出層。即，輸 入層含兩個(gè)神經(jīng)結(jié)點(diǎn)（某像素的CR CB分量），輸出層僅一個(gè)神經(jīng)結(jié)點(diǎn)（對(duì)應(yīng)邏 輯關(guān)系為這個(gè)像素在視覺(jué)上是否為藍(lán)色），中間層設(shè)計(jì)為僅含4結(jié)點(diǎn)的一層。設(shè)計(jì)好BP神經(jīng)網(wǎng)絡(luò)模型后，將車牌

5、的底色投入訓(xùn)練，在網(wǎng)絡(luò)收斂后可用。 這時(shí)的神經(jīng)網(wǎng)絡(luò)可以認(rèn)為是已具備區(qū)分藍(lán)色及非藍(lán)色的能力了（對(duì)于訓(xùn)練得到的 權(quán)值保存到一個(gè)文件CharBpNet.txt中，以便在恢復(fù)網(wǎng)絡(luò)時(shí)直接讀取而節(jié)省大量 的訓(xùn)練時(shí)間）。然后對(duì)任意的一張含車牌的圖像每個(gè)像素，將它投入網(wǎng)絡(luò)當(dāng)中， 如果網(wǎng)絡(luò)認(rèn)為是藍(lán)色的（結(jié)點(diǎn)輸出為范圍在0.8-1.0間的），那么將此像素映射 成255；如果網(wǎng)絡(luò)認(rèn)為非藍(lán)色的（結(jié)點(diǎn)輸出范圍在0-0.8間），那么將此像素映 射成0。這樣我們可以得到除了一張二值圖像外，還可以將車牌從復(fù)雜的自然圖 像分離開(kāi)來(lái)（當(dāng)然這是從十分理想的角度出發(fā)的，實(shí)際上當(dāng)車輛顏色也是藍(lán)色的 時(shí)候是無(wú)法分離的）。圖4圖4-3左圖

6、為自然車輛圖像，右圖為經(jīng)BP神經(jīng)網(wǎng)絡(luò)后得到的二值圖像4.2基于圖像投影技術(shù)的車牌分割圖像投影技術(shù)一般分為水平投影和垂直投影。所謂投影就是對(duì)圖像的某種特 征的統(tǒng)計(jì)，然后以直方圖形式反映其特征強(qiáng)度。一般是對(duì)二值圖像而用的，水平 方向的投影就是每行的非零像素值的個(gè)數(shù)，在這里就是1或者255,垂直投影就 是每列圖像數(shù)據(jù)中非零像素值的個(gè)數(shù)。由于車牌字符在車牌上，所以這部分可以認(rèn)為是對(duì)字符的粗定位或車牌的精 確定位。在設(shè)計(jì)上算法上可以這樣做。對(duì)二值圖像分別作水平和垂直方向的投影， 得到其直方圖分布，然后分別在波峰的地方作直線，這樣水平方向和垂直方向共 計(jì)四條直線，它們相交形成一矩形，此矩形即為車牌的大概位

7、置。圖4圖4-4將要進(jìn)行投影的二值圖像4.2.1水平投影技術(shù)逐行統(tǒng)計(jì)白點(diǎn)直方圖顯示投影統(tǒng)計(jì)結(jié)果波峰即車牌上下邊緣逐行統(tǒng)計(jì)白點(diǎn)直方圖顯示投影統(tǒng)計(jì)結(jié)果波峰即車牌上下邊緣圖4圖4-5車牌水平投影效果圖按行累加每個(gè)像素點(diǎn)的灰度值做投影，橫坐標(biāo)為灰度累加的和，縱坐標(biāo)為圖 像的行數(shù)，即可確定車牌區(qū)域上下邊緣。水平分析算法如下：1）從下向上逐行掃描圖像，記下每行中灰度值為255的像素點(diǎn)的個(gè)數(shù)；2）找到第一個(gè)灰度值為255的像素點(diǎn)的個(gè)數(shù)大于某個(gè)閾值的行（并且緊挨著的若 干行都滿足個(gè)數(shù)大于某閾值），記錄下行號(hào)，即為車輛牌照最下邊緣；3）然后繼續(xù)掃描，找到第一個(gè)灰度值為255的像素點(diǎn)的個(gè)數(shù)小于閾值的行（并且 緊挨

8、著的若干行都滿足個(gè)數(shù)大于某閾值），記錄下行號(hào)，即為車輛牌照的最上邊 緣；4）這時(shí)不再繼續(xù)掃描，根據(jù)記錄的兩個(gè)行號(hào)，對(duì)原始圖像進(jìn)行裁剪；5）得到裁剪后的圖像，即為水平方向定位的牌照?qǐng)D像區(qū)域。4.2.2垂直投影技術(shù)逐列統(tǒng)計(jì)白點(diǎn)直方圖顯示投影統(tǒng)計(jì)結(jié)果波峰即車牌左右邊緣圖4-6逐列統(tǒng)計(jì)白點(diǎn)直方圖顯示投影統(tǒng)計(jì)結(jié)果波峰即車牌左右邊緣圖4-6車牌垂直投影個(gè)效果圖按列累加每個(gè)像素點(diǎn)的灰度值做投影，橫坐標(biāo)為灰度累加的和，縱坐標(biāo)為圖 像的行數(shù)，即可確定車牌區(qū)域左右邊緣。垂直分析算法如下：1）從左向右逐列掃描圖像，記下每行中灰度值為255的像素點(diǎn)的個(gè)數(shù)；2）找到第一個(gè)灰度值為255的像素點(diǎn)的個(gè)數(shù)大于某個(gè)閾值的列（并

9、且緊挨著的若 正列都滿足個(gè)數(shù)數(shù)大于某閾值），記錄下列號(hào)，即為車輛牌照最右邊緣；3）然后繼續(xù)掃描，找到第一個(gè)灰度值為255的像素點(diǎn)的個(gè)數(shù)小于閾值的列（并且緊挨著的若干列滿足個(gè)數(shù)大于某閾值），記錄下列號(hào)，即為車輛牌照的最左邊緣;4）這時(shí)不再繼續(xù)掃描，根據(jù)記錄的兩個(gè)列號(hào)，對(duì)原始圖像進(jìn)行裁剪；5）得到裁剪后的圖像，即為垂直方向定位的牌照?qǐng)D像區(qū)域。分別投影后效果如圖4-7所示：圖4-7分別投影后效果圖值得一提的是并不是所有的自然車輛圖像經(jīng)BP神經(jīng)網(wǎng)絡(luò)動(dòng)作后都那么完美 的，這也是為什么在求車牌各個(gè)邊緣的時(shí)候設(shè)定一個(gè)閾值（并且緊挨著的若干行 都滿足個(gè)數(shù)大于某閾值）的原因。如圖4-8所示：圖4-8示例圖經(jīng)過(guò)對(duì)

10、車牌的二值圖像的水平和垂直投影后，我們已經(jīng)得到了車牌的精確位 置，也即字符的所在區(qū)域。至此，我們可以把注意力從原始的二值圖像集中到二 值圖像中的車牌局部區(qū)域來(lái)（即如何從車牌中分割出每個(gè)字符）。除了可用比例的方法來(lái)進(jìn)行字符分割外，本文采用一種適應(yīng)性更好的基于投影技術(shù)來(lái)進(jìn)行分割。字符分割處理采用基于投影特征值的方法，對(duì)于數(shù)字及字符， 由于它們都屬于連體字，因此只需在字符或數(shù)字之間找到一條無(wú)邊的空白區(qū)（窄 的區(qū)域），即可實(shí)現(xiàn)數(shù)字及字符之間的分割處理。圖4影技術(shù)來(lái)進(jìn)行分割。字符分割處理采用基于投影特征值的方法，對(duì)于數(shù)字及字符， 由于它們都屬于連體字，因此只需在字符或數(shù)字之間找到一條無(wú)邊的空白區(qū)（窄 的

11、區(qū)域），即可實(shí)現(xiàn)數(shù)字及字符之間的分割處理。圖4-9即將進(jìn)行字符分割的車牌圖像顯然要在上圖中分割出字符，只需在車牌內(nèi)（白色矩形）對(duì)字符作像素為 255的垂直投影，具體方法如下：逐列統(tǒng)計(jì)黑點(diǎn)直方圖顯示投影統(tǒng)計(jì)結(jié)果波峰即字符邊緣逐列統(tǒng)計(jì)黑點(diǎn)直方圖顯示投影統(tǒng)計(jì)結(jié)果波峰即字符邊緣按列累加每個(gè)像素點(diǎn)的灰度值做投影，橫坐標(biāo)為灰度累加的和，縱坐標(biāo)為圖 像的行數(shù)，即可確定車牌區(qū)域左右邊緣。垂直分析算法如下：1）從左向右逐列掃描圖像，記下每行中灰度值為0的像素點(diǎn)的個(gè)數(shù)；2）找到第一個(gè)灰度值為0的像素點(diǎn)的個(gè)數(shù)大于某個(gè)閾值的列（并且緊挨著的若正 列都滿足個(gè)數(shù)數(shù)大于某閾值），記錄下列號(hào)，即為車輛牌照最右邊緣；3）然后繼

12、續(xù)掃描，找到第一個(gè)灰度值為0的像素點(diǎn)的個(gè)數(shù)小于閾值的列（并且緊 挨著的若干列滿足個(gè)數(shù)大于某閾值），記錄下列號(hào)，即為車輛牌照的最左邊緣；4）這時(shí)不再繼續(xù)掃描，根據(jù)記錄的兩個(gè)列號(hào)，對(duì)原始圖像進(jìn)行裁剪；5）得到裁剪后的圖像，即為垂直方向定位的牌照?qǐng)D像區(qū)域；6）保存每個(gè)字符的區(qū)域坐標(biāo)。效果如圖4-10所示：圖4圖4-10字符分割效果示意圖4.3基于BP神經(jīng)網(wǎng)絡(luò)的車牌字符識(shí)別4.3.1車牌字符庫(kù)的建立字符庫(kù)的建立是為字符的識(shí)別作準(zhǔn)備的，字符庫(kù)要求每個(gè)字符按一定標(biāo)準(zhǔn)保 存，如保存格式一致，大小規(guī)格相同，每個(gè)字符的數(shù)目相同等等。在本次車牌識(shí) 別系統(tǒng)研究中，只對(duì)數(shù)字及字母作研究，對(duì)漢字不作研究，所以共計(jì)34個(gè)

13、不同 各類的字符。數(shù)字0和字母o,數(shù)字1和i為均認(rèn)為是同一字符，每個(gè)字符用程 序獲取10個(gè)不盡相同的字符，字符庫(kù)的建立是為了訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)的樣本。4.3.2圖像的縮放技術(shù)在計(jì)算機(jī)圖像處理中，圖像縮放是指對(duì)數(shù)字圖像的大小進(jìn)行調(diào)整的過(guò) 程。圖像縮放是一種非平凡的過(guò)程，需要在處理效率以及結(jié)果的平滑度和 清晰度上做一個(gè)權(quán)衡。當(dāng)一個(gè)圖像的大小增加之后，組成圖像的像素的可 見(jiàn)度將會(huì)變得更高，從而使得圖像表現(xiàn)得更“軟”。相反，縮小一個(gè)圖像將會(huì) 增強(qiáng)它的平滑度與清晰度。本次系統(tǒng)開(kāi)發(fā)中，我采用最鄰近插值法將每個(gè)字符都?xì)w一化到 6*12的 統(tǒng)一規(guī)格中去，所謂的最近鄰插值，通俗理解就是將每一個(gè)原像素原封不動(dòng) 地復(fù)

14、制映射到擴(kuò)展后對(duì)應(yīng)四個(gè)像素中，效果圖 4-11所示：tlj5Fl52|圖4-11歸一化前的各字符歸一化后各字符一次為：岬4.3.3字符的保存首先給字符編號(hào)，0-9分別編號(hào)為00-09, A-Z分別編號(hào)為10-33。在本文中， 字符的保存格式為raw原始圖像數(shù)據(jù)文件，命名依次為000raw到339raw。即不 超過(guò)340的三位數(shù)加格式名raw，前兩位數(shù)代表這個(gè)字符的編號(hào)，第三位數(shù)n代 表這字符是第n張字符，如某字符某名為089raw即意味著這字符代表數(shù)字8， 它在庫(kù)中是第9張（從第0張開(kāi)始計(jì)數(shù)）。又如330raw代表著這字符為字母Z，它 是第0張。為了使字符庫(kù)的字符和待識(shí)別的字符盡量保持一致性，

15、字符的建立是 通過(guò)程序的方法獲得的。具體做法如下：1）分割車牌中的每個(gè)字符；2）將各個(gè)字符逐一歸一化到6*12統(tǒng)一標(biāo)準(zhǔn)；3）將歸一化的字符按一定的標(biāo)準(zhǔn)命名保存即可。最后得到了 340張不同的共34種的格式為.raw的文件，用程序顯示這些字符庫(kù) 如圖4-12所示：2n0000n001II1iI2n0000n001II1iI1I11212222233333335344Jj日A5Es555耳E5566&bgS67771771777忘aS3SSflegg999g999A3GAAAAA0RS厚EBBRrrCCcccc0u0nDn(uD0ErEEEEEEFFFFFFFFFGGGGGGGGGHH甘yN甘N甘

16、甘JJJJJJJJJKhPtKHKHHKK0rL N 口 s u w YM p p T V vfl -2圖4-12字符庫(kù)示意圖4.3.4字符識(shí)別建立字符庫(kù)后，設(shè)計(jì)識(shí)別字符的神經(jīng)網(wǎng)絡(luò)。首先設(shè)計(jì)輸入層及輸出層。字符庫(kù)中每個(gè)標(biāo)本，均是6*12的標(biāo)準(zhǔn)二值圖像。 對(duì)字符的特征，我采用像素法，即某個(gè)字符的像素是255時(shí)，神經(jīng)結(jié)點(diǎn)輸入為 0.9，像素值是0時(shí)，神經(jīng)結(jié)點(diǎn)輸入為0.1，這樣輸入層就有6*12共72個(gè)結(jié)點(diǎn)。 輸出層采用了 34結(jié)點(diǎn)，如當(dāng)導(dǎo)師信號(hào)為A編號(hào)10時(shí)，就在第10個(gè)結(jié)點(diǎn)設(shè)為0.9, 其他均為0.1。至此，用于進(jìn)行車牌定位的BP神經(jīng)網(wǎng)絡(luò)模型有了輸入層及輸出 層。即，輸入層含72個(gè)神經(jīng)結(jié)點(diǎn)（對(duì)應(yīng)

17、字符的每個(gè)像素），輸出層34個(gè)神經(jīng)結(jié) 點(diǎn)（對(duì)應(yīng)邏輯關(guān)系為屬于編號(hào)第N個(gè)字符）。中間層設(shè)計(jì)為僅含50結(jié)點(diǎn)的一層。設(shè)計(jì)好BP神經(jīng)網(wǎng)絡(luò)模型后，將車牌的字符投入訓(xùn)練，在網(wǎng)絡(luò)收斂后可用（實(shí) 際在論文完成的過(guò)程中，并沒(méi)有出現(xiàn)收斂，而是達(dá)到訓(xùn)練次數(shù)后停止訓(xùn)練，這個(gè) 次數(shù)10000*72是在實(shí)驗(yàn)過(guò)程中測(cè)試后決定的，同樣不保證最優(yōu)）。這時(shí)的神經(jīng)網(wǎng) 絡(luò)可以認(rèn)為是已具備區(qū)分34個(gè)不同字符的能力了。然后對(duì)任意的一個(gè)從車牌分 割得到的字符進(jìn)行歸一化之理后，依次假設(shè)其分別是編號(hào)0到33，并且求出每 個(gè)編號(hào)對(duì)應(yīng)的誤差，最后在34個(gè)不同的誤差中找出最小的那個(gè)編號(hào)，找到的編 號(hào)即對(duì)應(yīng)的字符了。如某分割的字符投入網(wǎng)絡(luò)后得到的最小

18、誤差編號(hào)為10，那 么認(rèn)為這個(gè)字符為A。把從車牌分割下來(lái)的字符全部投入動(dòng)作后得到的字符串即車牌的號(hào)碼了。效 果如圖4-12所示：圖4-13字符識(shí)別效果圖五、實(shí)驗(yàn)結(jié)果分析本次基于顏色和BP神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別系統(tǒng)已基本完成，實(shí)驗(yàn)也達(dá)到預(yù)期 的效果。但是問(wèn)題仍舊存在。實(shí)驗(yàn)結(jié)果顯示如表5-1所示：車牌定位車牌分割車牌識(shí)別識(shí)別2個(gè)字符以內(nèi)錯(cuò)誤測(cè)試圖片數(shù)16151515正確圖片數(shù)151557正確率93.8%100%33.3%46.7%表5-1部分實(shí)驗(yàn)結(jié)果在車牌定位方面，由于采用基于顏色定位方法，要求要定位的車牌圖像質(zhì)量 較清晰，車牌底色為藍(lán)色或和標(biāo)準(zhǔn)藍(lán)色相差不大，這時(shí)BP網(wǎng)絡(luò)能非常有效地區(qū) 分藍(lán)色與非藍(lán)色，從而實(shí)施定