第第頁(yè)錯(cuò)題識(shí)別與錄入系統(tǒng)的原理分析案例概述目錄TOC\o"1-3"\h\u1990錯(cuò)題識(shí)別與錄入系統(tǒng)的原理分析案例概述 194741.1手寫(xiě)體和印刷體區(qū)分 130751.1.1形態(tài)學(xué)算法 1166611.1.2形狀測(cè)量 4125611.2顏色識(shí)別及去除 528701.3BP神經(jīng)網(wǎng)絡(luò) 6圖像文字提取又分為動(dòng)態(tài)圖像文字提取和靜態(tài)圖像文字提取兩種，其中，靜態(tài)圖像文字提取是動(dòng)態(tài)圖像文字提取的基礎(chǔ)，其應(yīng)用范圍更為廣泛，對(duì)它的研究具有基礎(chǔ)性，所以本文主要討論靜態(tài)圖像的文字提取技術(shù)。靜態(tài)圖像中的文字可分成兩大類(lèi)：一種是圖像中場(chǎng)景本身包含的文字，稱(chēng)為場(chǎng)景文字；另一種是圖像后期制作中加入的文字，稱(chēng)為人工文字。場(chǎng)景文字由于其出現(xiàn)的位置、小、顏色和形態(tài)的隨機(jī)性，一般難于檢測(cè)和提取；而人工文字則字體較規(guī)范、大小有一定的限度且易辨認(rèn)，顏色為單色，相對(duì)與前者更易被檢測(cè)和提取，又因其對(duì)圖像內(nèi)容起到說(shuō)明總結(jié)的作用，故適合用來(lái)做圖像的索引和檢索關(guān)鍵字。1.1手寫(xiě)體和印刷體區(qū)分文字信息采集、信息分析與處理、信息分類(lèi)判別是文字識(shí)別技術(shù)的主要步驟。信息采集是將紙中的文字信息轉(zhuǎn)換成電流信號(hào)，并自動(dòng)輸入到計(jì)算機(jī)。信息分析與處理是對(duì)電信號(hào)進(jìn)行消噪及偏轉(zhuǎn)、粗細(xì)、大小等潤(rùn)色處理。信息分類(lèi)判別是對(duì)處理后的文字信息進(jìn)行分類(lèi)判別，輸出識(shí)別結(jié)果。下面分別介紹兩種以文字形態(tài)學(xué)算法為基礎(chǔ)和以形狀測(cè)量為基礎(chǔ)的方法的對(duì)于文字識(shí)別和處理的方法。1.1.1形態(tài)學(xué)算法形態(tài)學(xué)通常是使用二值圖像，提取邊界，骨架提取，孔洞填充，角點(diǎn)提取，圖像重建?；镜乃惴ǎ号蛎浉g，開(kāi)操作，閉操作。幾種算法進(jìn)行組合，就可以實(shí)現(xiàn)一些非常復(fù)雜的功能。以B結(jié)構(gòu)中心點(diǎn)為準(zhǔn)心。腐蝕：在A中找能滿(mǎn)足B結(jié)構(gòu)的點(diǎn)。膨脹：把A結(jié)構(gòu)的每個(gè)點(diǎn)放到B中心點(diǎn)，以B結(jié)構(gòu)外擴(kuò)。開(kāi)操作是先腐蝕后膨脹；閉操作是先膨脹后腐蝕。腐蝕操作的主要目的是使邊界縮小，腐蝕能夠消融物體的邊界，具體的腐蝕結(jié)果與圖像本身和結(jié)構(gòu)元素的形狀有關(guān)。腐蝕：結(jié)構(gòu)A被結(jié)構(gòu)B腐蝕的定義為：A?B={z|(B)z?A}（2-1）可以理解為，移動(dòng)結(jié)構(gòu)B，如果結(jié)構(gòu)B與結(jié)構(gòu)A的交集完全屬于結(jié)構(gòu)A的區(qū)域內(nèi)，則保存該位置點(diǎn)，所有滿(mǎn)足條件的點(diǎn)構(gòu)成結(jié)構(gòu)A被結(jié)構(gòu)B腐蝕的結(jié)果。腐蝕操作的主要目的是使邊界縮小，腐蝕能夠消融物體的邊界，具體的腐蝕結(jié)果與圖像本身和結(jié)構(gòu)元素的形狀有關(guān)。圖2-1腐蝕操作結(jié)果示意圖膨脹：結(jié)構(gòu)A被結(jié)構(gòu)B膨脹的定義為，A?B={z|(B^)z?A≠?}（2-2）可以理解為，將結(jié)構(gòu)B在結(jié)構(gòu)A上進(jìn)行卷積，如果移動(dòng)結(jié)構(gòu)B的過(guò)程中，與結(jié)構(gòu)A存在重疊區(qū)域，則記錄該位置，所有移動(dòng)結(jié)構(gòu)B與結(jié)構(gòu)A存在交集的位置的集合為結(jié)構(gòu)A在結(jié)構(gòu)B作用下的膨脹結(jié)果。膨脹操作是與腐蝕操作相反的過(guò)程，經(jīng)過(guò)運(yùn)算之后可以使圖像變大，內(nèi)部空洞變小。在圖像二值化的過(guò)程中，很容易出現(xiàn)連通區(qū)域斷裂或孔洞較多的情況，可以用于合并裂縫、填充孔洞。圖2-2膨脹操作結(jié)果示意圖3.開(kāi)操作

：

先腐蝕后膨脹的操作稱(chēng)之為開(kāi)操作。它具有消除細(xì)小物體，在纖細(xì)處分離物體和平滑較大物體邊界的作用。

圖2-3開(kāi)操作結(jié)果示意圖4.閉操作

：先膨脹后腐蝕稱(chēng)為閉操作。它具有填充物體內(nèi)細(xì)小空洞，連接鄰近物體和平滑邊界的作用。圖2-4閉操作結(jié)果示意圖圖2-5所示為二值圖片腐蝕，膨脹，開(kāi)操作，閉操作的結(jié)果對(duì)比。去除小的亮細(xì)節(jié)，同時(shí)保持總體灰度級(jí)和較大的明亮區(qū)不變是開(kāi)操作的效果。原因是腐蝕操作會(huì)去除亮細(xì)節(jié)，但會(huì)使得圖片變暗，接下來(lái)的膨脹操作會(huì)提高圖像亮度且不會(huì)把已經(jīng)去除的細(xì)節(jié)重新引入。閉操作通常會(huì)去除細(xì)節(jié)中的暗細(xì)節(jié)，而相對(duì)保持明亮部分不受影響。圖2-5圖像各種形態(tài)學(xué)處理對(duì)比圖像處理是通過(guò)對(duì)圖像中的文本區(qū)域進(jìn)行定位，文本分割也是同理，從而分離真實(shí)文本，進(jìn)行識(shí)別；識(shí)別處理部分是對(duì)分離的文本圖像信息進(jìn)行篩別，去除信號(hào)中的黑點(diǎn)、空白等無(wú)效部分，再對(duì)文本圖像信息進(jìn)行增強(qiáng)[1]。并根據(jù)一定的標(biāo)準(zhǔn)忽略掉一些不必要的信號(hào)，獲得相同大小、位置及筆畫(huà)的信號(hào)，從而降低判斷的復(fù)雜性。特征提取部分是將識(shí)別出的信號(hào)的特有部分進(jìn)行提取，為后續(xù)識(shí)別提供模版；學(xué)習(xí)部分則是通過(guò)提取出的信號(hào)特征優(yōu)化模板庫(kù)的內(nèi)容，并存儲(chǔ)到指定位置[2]。圖2-6文字識(shí)別原理圖[3]基于形態(tài)學(xué)算法的文字識(shí)別是在二值圖像的基礎(chǔ)上進(jìn)行操作。通常會(huì)有離散的黑點(diǎn)存在于放大的二值圖像?？梢詫?duì)圖像分別進(jìn)行橫與縱向腐蝕膨脹處理。并把圖片中的文字分割，保存在文件夾中，創(chuàng)建字符集，后續(xù)匹配時(shí)調(diào)字符匹配采用模板匹配算法，將與現(xiàn)有字符相減誤差最小的模版字符作為匹配字符[3]。然而，此種算法有以下幾個(gè)缺點(diǎn)：（1）算法具有識(shí)別局限性。對(duì)于左右結(jié)構(gòu)的字符（如：川）容易造成誤識(shí)別，“川”字將會(huì)被識(shí)別成三部分。當(dāng)圖片中文字有一定傾斜角度時(shí)，這將造成識(shí)別困難。（2）模板匹配效率低。（3）伸縮范圍比較小。1.1.2形狀測(cè)量形狀測(cè)量方法應(yīng)用于字體識(shí)別，主要是基于形態(tài)學(xué)處理圖片的方法之上。此算法的原理是通過(guò)識(shí)別圖中的連通區(qū)域，鎖定連通區(qū)域后，通過(guò)計(jì)算連通區(qū)域的面積并對(duì)比，來(lái)達(dá)到對(duì)手寫(xiě)字體的區(qū)分。Matlab中這一功能的實(shí)現(xiàn)可以采用regionprops函數(shù)，它是用來(lái)度量圖像區(qū)域?qū)傩缘暮瘮?shù)。通常用來(lái)統(tǒng)計(jì)被標(biāo)記的區(qū)域的面積分布，顯示區(qū)域總數(shù)。其語(yǔ)法通常為S=regionprops(L，properties)。其中，L為任意維數(shù)的數(shù)值數(shù)組。標(biāo)注為0的像素構(gòu)成背景。標(biāo)注為1的像素構(gòu)成一個(gè)對(duì)象，標(biāo)注為2的像素構(gòu)成第二個(gè)對(duì)象，以此類(lèi)推。連續(xù)區(qū)域也稱(chēng)為對(duì)象、連通分量或斑點(diǎn)。包含連續(xù)區(qū)域的標(biāo)注圖像L看起來(lái)可能像下面這樣：圖2-7連續(xù)區(qū)域LL中等于1的元素屬于第一個(gè)連續(xù)區(qū)域或連通分量，L中等于2的元素屬于第二個(gè)連通分量，以此類(lèi)推。不連續(xù)區(qū)域是可以包含多個(gè)連通分量的區(qū)域。包含不連續(xù)區(qū)域的標(biāo)注圖像看起來(lái)可能像下面這樣：圖2-8不連續(xù)區(qū)域的LL中等于1的元素屬于第一個(gè)區(qū)域，該區(qū)域是不連續(xù)的，包含兩個(gè)連通分量。L中等于2的元素屬于第二個(gè)區(qū)域，它是單個(gè)連通分量。Properties里會(huì)包含各種屬性字符串，包含計(jì)算出在圖像各個(gè)區(qū)域中像素總個(gè)數(shù)的字符串和1行ndims(L)*2列的向量，即包含相應(yīng)區(qū)域的最小矩形。圖2-9boundingbox的示例如圖2-9為boundingbox在生活中運(yùn)用到的示例，也就是包含相應(yīng)區(qū)域的最小矩陣。Boundingbox(x，y，w，h）分別表示窗口左上角坐標(biāo)和寬和高。然而在圖片文字識(shí)別處理中，我們可以通過(guò)開(kāi)運(yùn)算閉運(yùn)算后，對(duì)于連通區(qū)域的鎖定，通過(guò)計(jì)算窗口的面積的大小代替字體大小來(lái)進(jìn)行比對(duì)，給定一個(gè)判定范圍，在范圍內(nèi)的我們認(rèn)為是手寫(xiě)痕跡和手寫(xiě)字體。從而達(dá)到對(duì)于手寫(xiě)字體和印刷體的區(qū)分的目的[4]。然而，這種算法雖然相比形態(tài)學(xué)算法來(lái)說(shuō)，對(duì)手寫(xiě)和印刷體字體的識(shí)別，簡(jiǎn)潔了很多，但不足之處也很明顯：由于是通過(guò)比對(duì)面積的計(jì)算方法，對(duì)于稍小的手寫(xiě)痕跡是識(shí)別不到的。例如手寫(xiě)的逗號(hào)，句號(hào)和其他比較細(xì)小的痕跡來(lái)說(shuō)，識(shí)別無(wú)疑是一種困難。但也可通過(guò)開(kāi)運(yùn)算閉運(yùn)算的處理，把稍小的區(qū)域與其他大塊區(qū)域連通，以此來(lái)解決此類(lèi)問(wèn)題。1.2顏色識(shí)別及去除圖像的顏色識(shí)別：先設(shè)定一個(gè)顏色對(duì)應(yīng)區(qū)間，再將圖片有色彩的圖片，通常是RGB圖，進(jìn)行每個(gè)像素點(diǎn)的對(duì)應(yīng)顏色區(qū)間的判斷。事實(shí)上，顏色的描述是十分復(fù)雜的。例如RGB三基色加光系統(tǒng)就不能涵蓋所有可能的顏色，出于各種色彩表達(dá)，以及色彩變換和軟硬件應(yīng)用的需求，存在各種各樣的顏色模型及色彩空間的表達(dá)方式。這些顏色模型，根據(jù)不同的劃分標(biāo)準(zhǔn)，可以按不同的原則劃分為不同的類(lèi)別。圖2-6可見(jiàn)光所需的三原色光比例曲線(xiàn)對(duì)于處理圖像中的色彩時(shí)，可以先讀取顏色在對(duì)應(yīng)區(qū)間中的任意數(shù)量的顏色圖像，讀取圖像像素點(diǎn)的顏色區(qū)間值來(lái)規(guī)定顏色區(qū)間范圍，再將學(xué)習(xí)到的顏色區(qū)間值編寫(xiě)進(jìn)程序再對(duì)顏色進(jìn)行判斷。要想對(duì)顏色空間的圖像進(jìn)行的有效處理相對(duì)簡(jiǎn)單，可以在HSV空間進(jìn)行[5]。不同顏色的HSV閾值如圖2-7可見(jiàn)。圖2-7十種基礎(chǔ)顏色對(duì)應(yīng)的HSV顏色分量范圍[6]圖2-7為十種基礎(chǔ)顏色分別是黑、灰、白、紅、橙、黃、綠、青、藍(lán)、紫的HSV對(duì)應(yīng)區(qū)間數(shù)值范圍。此次主要用到紅、藍(lán)、黑三種顏色。從圖2-7中可以清楚的看到紅、藍(lán)、黑三種顏色的HSV對(duì)應(yīng)區(qū)間。分別是：黑（H：0-180；S：0-255；V：0-46），紅（H：0-10&156-180；S：43-255；V：46-255），藍(lán)（H：100-124；S：43-255；V：46-255）[6]。通過(guò)根據(jù)不同的顏色設(shè)定不同的閾值，從而達(dá)到對(duì)顏色識(shí)別的目的。1.3BP神經(jīng)網(wǎng)絡(luò)BP（Back

Propagation）網(wǎng)絡(luò)，是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出的，一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作。網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的的判決，則通過(guò)網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。其網(wǎng)絡(luò)模型如圖2-8所示。圖2-8神經(jīng)網(wǎng)絡(luò)模型圖[7]首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予（0，1）區(qū)間內(nèi)的隨機(jī)值，將“A”所對(duì)應(yīng)的圖象模式輸入網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門(mén)限比較、再進(jìn)行非線(xiàn)性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說(shuō)是完全隨機(jī)的。這時(shí)如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時(shí)，仍然能作出正確的判斷[7]。如果輸出為“0”（即結(jié)果錯(cuò)誤），就把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時(shí)，減小犯同樣錯(cuò)誤的可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫(xiě)字母“A”、“B”后，按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。以上說(shuō)明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠作出迅速、準(zhǔn)確的判斷和識(shí)別。一般說(shuō)來(lái)，網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別的模式也就越多[8]。BP網(wǎng)絡(luò)的算法核心是將輸出和預(yù)期輸出之間的差值歸納為權(quán)數(shù)和臨界值的“偏差”，然后通過(guò)反向傳播將差值“分派”給各個(gè)神經(jīng)元的權(quán)數(shù)和臨界值，權(quán)值和臨界值進(jìn)行具體推導(dǎo)。本課題將采用Matlab神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)數(shù)字圖片庫(kù)的訓(xùn)練和識(shí)別，包括基本數(shù)學(xué)符號(hào)和數(shù)字，以實(shí)現(xiàn)簡(jiǎn)單數(shù)學(xué)計(jì)算題目的識(shí)別與錄入[9]。然而，在數(shù)據(jù)降維時(shí)，運(yùn)用到了PCA（principalcomponentsanalysis）。PCA主要用于數(shù)據(jù)降維，降維就是一種對(duì)高維度特征數(shù)據(jù)預(yù)處理方法[9]。降維：將高維數(shù)據(jù)中的最重要的一些特征保留下來(lái)，去除不重要的特征和干擾噪聲，從而對(duì)數(shù)據(jù)處理速度加以提升[10]。對(duì)于由各種例子的特征組成的多維