第五章綜合案例任務(wù)5.1車牌識別系統(tǒng)的設(shè)計任務(wù)5.2音頻傳輸系統(tǒng)的設(shè)計

任務(wù)5.1車牌識別系統(tǒng)的設(shè)計

學習目標（1）掌握數(shù)字信號處理的基本概念、基本理論和基本方法。（2）掌握圖像處理的常用算法。（3）掌握字符識別的應(yīng)用及字符識別使用的基本算法。（4）了解DSP，結(jié)合具體應(yīng)用學會DSP的使用，掌握DSP的程序設(shè)計方法。任務(wù)分析對獲取的車牌圖像，利用圖像處理算法把車牌從圖像中定位出來，利用字符識別算法識別出其中的字符。首先使圖像通過灰度化、二值化、邊緣檢測、傾斜字符校正等方法實現(xiàn)車牌的預(yù)處理過程；經(jīng)過預(yù)處理方法以后，車牌目標已經(jīng)明顯區(qū)別于背景區(qū)域，根據(jù)車牌自身固有特征，選擇恰當?shù)姆椒ǘㄎ蛔址趫D像中的位置，并給出數(shù)字在圖像中的外接矩形；根據(jù)字符區(qū)域特征，選擇合適的方法進行字符分割，并實現(xiàn)對字符的識別。5.1.1彩色圖像灰度化處理待處理的圖像是一幅24位真彩圖像。對于RGB圖像，其中每一幅紅、綠、藍圖像都是一幅8比特圖像。在這種條件下，每一個RGB彩色像素要用24比特來表示?？梢韵胂?，表示一幅彩色圖像需要多大的數(shù)據(jù)量，而對這樣一幅彩色圖像進行處理，則需要很大的運算量。因此直接對彩色圖像進行處理達不到快速、實時的要求。所以預(yù)處理第一步就是把彩色圖像轉(zhuǎn)化為灰度圖像。（a）所示為原彩色圖像，（b）所示為灰度化圖像。5.1.2增強圖像對比度圖像在產(chǎn)生、傳輸和變換的過程中，由于受到各種條件的限制和干擾，圖像的灰度值往往與實際景物不完全匹配，這種差異叫變劣或退化。比如被攝物體的遠近不同，使得圖像中央?yún)^(qū)域和邊緣區(qū)域的灰度失衡；由于攝像頭在掃描時各點的靈敏度的差異較大而產(chǎn)生的圖像失真；由于光照條件不同，因而采集到的汽車圖像背景復(fù)雜，車牌部分灰度變化不均勻，提供的梯度信息、紋理信息不夠等。若直接對車輛圖像進行邊緣提取則效果很不理想。對退化的圖像進行灰度校正處理，使處理后的圖像更適于人眼觀察或有利于從中提取信息，這種處理被稱為圖像增強。針對圖像的某種變劣特征，應(yīng)選擇合適的增強處理方法。因為對一幅圖像適用的增強處理方法，可能對另一幅圖像完全不適用，所以要根據(jù)圖像自身的特點選擇合適的處理方法。根據(jù)圖像處理知識，利用圖像灰度線性變換將灰度范圍擴展，這樣可以使圖像動態(tài)范圍增大，圖像變得清晰，特征變得明顯。通過實驗和觀測可知，多數(shù)車輛照片的灰度值范圍是（50，150），總體上灰度偏低，圖像較暗。根據(jù)人眼的視覺要求和圖像處理方法，利用圖像灰度線性變換將灰度范圍擴展到（0，255）?；叶葓D像進行線性變換后，其結(jié)果如圖所示?？梢钥闯鼋?jīng)過圖像增強后，原來偏暗圖像的整體灰度值有所提高，灰度層次變得豐富，突出了車牌信息，更利于后面的車牌定位和識別。5.1.3用改進的Bernsen算法進行圖像二值化車牌圖像二值化是車牌識別系統(tǒng)中的一個關(guān)鍵步驟，在車牌圖像識別的各個階段，經(jīng)常用到圖像二值化。所謂二值化就是利用圖像中所要提取的目標物和背景在灰度值特征上的差異，把圖像視為具有不同灰值級的兩類區(qū)域。常用的局部閾值法有Bernsen法、Chow和Kaneko法、Yanowitz和Buckstein法、Sauvola法以及Pietikainen法。對于目標和背景比較清楚的圖像，全局閾值法可以取得較好結(jié)果。但是如果圖像的背景不均勻，或者目標灰度變化率比較大，則一般用局部閾值法。在車牌識別系統(tǒng)中常用的二值化算法有ptile法、Otsu法和Bernsen法。而實際中，由于復(fù)雜光照（不均勻光線、光異常反射等）的影響導(dǎo)致車牌圖像降質(zhì)嚴重。如何確定有效的、能適應(yīng)不同光照條件的閾值直接關(guān)系到定位的準確性。本節(jié)針對不均勻光照下的車牌圖像，采用了同態(tài)濾波處理來去掉車牌圖像的不均勻光照的影響，然后使用一種改進的Bernsen算法對車牌圖像進行二值化。在實際圖像處理中，經(jīng)常遇到光線不均勻或光線異常反射的情況，二值化后圖像不清晰，難以進行后續(xù)的處理，因此對光線不均造成的降質(zhì)車牌圖像進行增晰是非常必要的。1.光照的反射成像模型傳統(tǒng)的一些空域方法，如局部對比度修正、局部直方圖均衡和統(tǒng)計局部增強等，是根據(jù)圖像的局部對比度特點進行亮度修正的，具有較好的局部增強性能。但這一類方法沒有考慮圖像信息的頻率特征，因而不能達到突出高頻信息、衰減由光照不均引起的低頻信息的目的?；谡彰鞣瓷淠Ｐ偷耐瑧B(tài)濾波同時考慮照明和反射特性，并且兼顧圖像的高頻細節(jié)和低頻分量，因而可以得到較為滿意的效果。照明反射模型如圖，可以通過壓縮亮度范圍和增強對比度來增強圖像、改善圖像。圖像與二維光強度函數(shù)有關(guān)，用f（x，y）表示。入射光強可以用i（x，y）（照明分量）表示，景物被物體的反射率用r（x，y）（反射分量）來表示，則有2.同態(tài)濾波算法同態(tài)濾波是一種圖像亮度范圍壓縮和對比度增強的頻域方法。整個同態(tài)濾波增強算法的流程圖如圖所示。對式兩邊取對數(shù)，得對兩邊進行傅里葉變換，得記為可用高通濾波函數(shù)H（u，v），以減少低頻成分。H（u，v）常采用Butterworth高通濾波器：n=2，d=3。濾波后輸出為進行反傅里葉變換，得將式的結(jié)果進行反對數(shù)變換exp［s（x，y）］，就能獲得同態(tài)濾波的結(jié)果。3.改進的Bernsen二值化算法利用基于全局的二值化思想對Bernsen算法進行了一些改進，并采用一種快速算法尋找局部窗口極值，使得此方法更加具有實用價值。實驗證明該算法一般情況下優(yōu)于單獨采用Otsu法或Bernsen法。該算法實現(xiàn)步驟如下：5.1.4去噪處理由于天氣、光照等因素影響，得到的汽車圖像中不可避免地存在干擾。通過平滑處理可以減少噪聲和干擾的影響。比較快速有效的平滑方法主要有均值濾波和中值濾波兩種。1.均值濾波均值濾波也叫鄰域平均法濾波，是將每個像素點灰度值用其周圍各點的灰度平均值來取代。設(shè)原圖像為f（x，y），平滑后的圖像為g（x，y），它的每一個像素的灰度級由包含（x，y）鄰域的幾個像素的灰度級的平均值決定，即圖像鄰域平均法的平滑效果與所用的鄰域半徑有關(guān)。半徑愈大，則圖像的模糊程度越大。鄰域平均法算法簡單，計算速度快，主要缺點是降低噪聲的同時使圖像產(chǎn)生模糊。這種方法特別適用于消除麻點噪聲。2.中值濾波中值濾波方法是一種非線性的圖像平滑方法，其原理非常簡單，用一個滑動窗口在圖像上進行掃描，把窗口內(nèi)包含的圖像像素按灰度級升（或降）序排列起來，取灰度值居中的像素灰度為窗口中心像素的灰度，若窗口中有偶數(shù)個像素，則取兩個中間值的平均?；瑒哟翱谥辛炼鹊闹兄挡皇軅€別噪聲毛刺的影響，因此中值濾波相當好地消除了沖激噪聲。中值濾波可以很好地消除孤立噪聲點的干擾，更重要的是還能有效地保護邊界信息，因此可以迭代使用。但算法實現(xiàn)比均值濾波要復(fù)雜一些，尤其是當處理圖像的尺寸較大時，耗時比均值濾波長。在目標和背景的邊界處的像素，當其鄰域中大多數(shù)為目標點時，它取目標的灰度值，當其鄰域中大多數(shù)為背景點時，它取背景的灰度值，不會造成圖像模糊。當滑動窗口內(nèi)有一類目標時，它們的均值和中值可以認為是相等的；當有兩類目標時，它們的均值就沒有意義，但中值能保證取到多的那一類。當窗口不大的時候，可以假定最多有兩類目標。中值濾波的效果依賴于兩個要素：鄰域的空間范圍和中值計算中涉及的像素數(shù)，當空間范圍較大時，一般只取若干稀疏分布的像素作抽樣中值計算。3.快速中值濾波按照中值濾波的定義，在每個像素位置上都要對一個矩形鄰域內(nèi)部的所有像素進行排序，顯然，當原圖像過大時，時間開銷必定很大。一種比較有效的方法是：當窗口沿著行移動一列時，窗口內(nèi)容的變化只是丟掉了最左邊的列而被右側(cè)列取代，對于i行j列的中值窗口，i·j-2i個像素沒有變化，不需要重新排列，從而避免了對大量沒有變動像素的比較?？焖偎惴▽崿F(xiàn)過程如下：（1）計算第一個窗口灰度直方圖H（i）、中值m和窗口中小于中值的像素個數(shù)L。（2）當窗口沿列或者行的方向移動的時候，考慮移出的像素和移入的像素，重新修正窗口內(nèi)直方圖和L的大?。河梢瞥龅南袼赜校篐（i）=（i）-1；若i≤m，則L=L-1；由移入的像素有：H（i）=（i）+1；若i≤m，則L=L+1。這樣得到了當前窗口的直方圖H（i）和窗口中小于前一個窗口中值的像素個數(shù)L。為了求出此時的中值，令K=（hw-1）/2，h、w為窗口的高度和寬度。（3）若L＞K，則m=m-1，L=L-H（m），直到L≤K。（4）檢驗此時L+H（m）≤K成立與否，不成立，此時的中值為當前窗口的中值；否則L=L+H（m），m=m+1，然后再對上式進行檢驗。這里采用8鄰域的均值濾波法和3×3窗口的中值濾波方法對原始車牌圖像進行平滑去噪處理。如圖5-1-7所示，采用8鄰域的均值濾波對原始圖像進行平滑處理，圖像會產(chǎn)生模糊。而經(jīng)過3×3的中值濾波后，能有效地去除圖像中的沖激噪聲，同時還能保持清晰的邊緣。5.1.5水平差分在經(jīng)過預(yù)處理后的車牌圖像中，車牌區(qū)域具有與其他區(qū)域明顯不同的特征：該區(qū)域邊緣豐富，在垂直方向連通，水平方向灰度跳變率大?？衫盟讲罘值姆椒ūM量去掉背景圖像的干擾，同時突出車牌字符區(qū)域，如圖所示。為了突出灰度變化頻繁區(qū)域，水平差分累加值計算如下：5.1.6車牌定位算法1.傳統(tǒng)的模板匹配法模板匹配技術(shù)是計算機圖形、圖像處理中一項非常重要的技術(shù)。它根據(jù)各種不同對象的需要來選擇一個或者多個模板，在待匹配的圖像中移動，將模板圖像和原圖像比對，找到與模板相匹配的區(qū)域。圖像匹配算法大致可分為三種類型：基于灰度相關(guān)的圖像匹配、基于特征的圖像匹配和基于解釋的圖像匹配。兩幅圖像之間的匹配算法可以歸結(jié)為二者的某一特征值的相關(guān)性度量。通過將模板圖像與待匹配圖像進行相關(guān)運算，得到一個相關(guān)值，根據(jù)這一相關(guān)值的大小就可以判斷二者是否匹配。運用在車牌定位算法中的模板匹配是一種模糊匹配。即所制定的模板并不是一個具體的車牌，而是根據(jù)經(jīng)驗值設(shè)定的矩形模板。將矩形模板在待匹配的車牌圖像中移動，不斷地計算模板中像素的水平差分累加值，當模板中水平差分累加值達到最大的時，就找到了車牌的粗略位置。雖然這種方法能夠找到車牌的位置，但是存在兩種缺陷：一是模板尺寸的大小問題，如果給模板尺寸一個固定值，對于不同的圖像，會產(chǎn)生不適應(yīng)性；二是該算法運算時間比較長，不能滿足算法實時性的要求。因此，需要對算法進行改進。2.基于數(shù)據(jù)流修正的自適應(yīng)模板匹配法粗定位基于模板匹配中模糊匹配的思想，從模板尺寸及運算時間考慮，結(jié)合圖像中目標區(qū)域的特征，本節(jié)設(shè)計了基于數(shù)據(jù)流修正的自適應(yīng)方法來改變模板的大小，并提出了一種優(yōu)化的模板匹配算法縮短了運算時間，有效避免了傳統(tǒng)模板匹配法的種種缺陷。對差分后的圖像進行水平（或垂直）投影，目標區(qū)域會出現(xiàn)不同于背景的連續(xù)而均勻的較大投影值。根據(jù)實際需要，設(shè)定適當?shù)陌紫袼赝队伴撝?，用?”表示投影圖中白像素值大于閾值的信息，用“0”表示投影圖中白像素值小于閾值的信息。為了減少數(shù)據(jù)的運算量以及所需存儲器的數(shù)目，選取每5個像素寬度的信息生成數(shù)據(jù)流的一個信息位。把每個高為5個像素、寬為13個像素范圍內(nèi)的白像素累加，如果累加值大于設(shè)定的閾值，將對應(yīng)的單元賦值為“1”；否則賦值為“0”。這樣就形成了“0”“1”交替的數(shù)據(jù)流。當兩個連續(xù)的“1”段中間產(chǎn)生“0”時，其數(shù)目比小于閾值的“0”段數(shù)目明顯少，且與“1”之間的距離比較小，說明此時的“0”是噪聲干擾，對數(shù)據(jù)流信息進行修正，作變“0”為“1”處理，即當兩個連續(xù)的“0”段中間產(chǎn)生“1”時，其數(shù)目比小于閾值的“1”段數(shù)目明顯少，且與“0”之間的距離比較小，說明此時的“1”是噪聲干擾，對數(shù)據(jù)流信息進行修正，作變“1”為“0”處理，即n或N的值根據(jù)不同的投影圖和實際需要而變動。車牌圖像的水平投影圖、數(shù)據(jù)流及數(shù)據(jù)流修正圖如圖所示。經(jīng)過對數(shù)據(jù)流信息的修正，得到了由連續(xù)的“0”段、“1”段和“0”段組成的數(shù)據(jù)流，這樣就明顯看出，第一個起始1的位置和連續(xù)最后一個1的位置之間的距離就是模板的高度，即車牌的水平高度。對于不同的車牌圖像，隨著“1”段的高度變化，模板的高度也隨之變化，從而得到自適應(yīng)的模板尺寸。同樣的方法可以得到模板的寬度。這樣，將矩形模板與待匹配的圖像進行比對，當模板中的水平差分累加值達到最大時，就是待匹配目標的大致位置，如圖所示。3.投影法細定位經(jīng)過粗定位后，車牌區(qū)域已基本被提取出來，此時圖像中車牌區(qū)域特征更加明顯。接著對粗定位后的圖像進行邊緣檢測，為后面的細定位打下基礎(chǔ)。傳統(tǒng)的邊緣檢測算法，如sobel、prewitt算子，都是通過計算圖像中小區(qū)域像素的差分來實現(xiàn)的，因此在檢測邊緣的同時也加強了噪聲。本節(jié)以采用基于形態(tài)梯度的邊緣檢測為例。該方法對噪聲較敏感但不會加強或放大噪聲，有利于車牌區(qū)域的精確定位。一般用形態(tài)學的腐蝕和膨脹這兩個最基本運算來解決形態(tài)梯度問題。選用的形態(tài)梯度為該梯度對孤立的噪聲點不敏感，對于理想斜面邊緣的檢測效果很好。由于形態(tài)梯度能反映出圖像的所有邊緣，而車牌圖像區(qū)是梯度變化較多的區(qū)域，車牌區(qū)域的邊緣是人們最為感興趣的，所以采用形態(tài)梯度邊緣檢測可以很好地突出車牌區(qū)域，如圖所示。為了得到車牌字符的準確位置，仍然要對車牌和投影圖進行分析。由于上下邊框的連續(xù)性，邊框上每個點的像素值相同，所以該處的像素差分值幾乎為0。在水平投影圖5-1-12中可以看到，車牌字符位置對應(yīng)于投影圖中連續(xù)的波峰區(qū)，由于車牌邊框和字符之間沒有字符，所以邊框在投影圖中必然對應(yīng)于波谷位置。因此，只需從下到上搜索（因為一般情況下，牌照都掛在緩沖器上或附近，處于汽車圖像的下半部分）水平投影圖中兩個有較大突變投影值的行號，如圖中的A、B點，去掉A、B點行號上下部分即去掉了車牌上下邊框，得到車牌字符區(qū)域的水平位置。去除左右邊框的原理與去除上下邊框的原理差不多，在去除左右邊框時，對車牌區(qū)域的定位圖像進行垂直投影，如圖所示。由于左右邊框的連續(xù)性，它們和上下邊框一樣，在投影圖中的投影值最大，且基本上與車牌的高度相同。先找出垂直投影圖中最大的投影值，然后自左向右和自右向左同時搜索兩個突變的波谷位置，找到了這兩個波谷后記錄下它們的列號。這兩列之間的區(qū)域就是去除了左右邊框的車牌區(qū)域，圖所示為最終定位結(jié)果。5.1.7車牌傾斜校正車牌圖像在采集的過程中，由于拍攝距離、拍攝角度等原因使字符圖像存在一定程度的傾斜，這樣會造成單字切分的不準確甚至錯誤，從而進一步造成字符的錯誤識別。為了確保系統(tǒng)的正確識別率，有必要對變形字符圖像進行幾何校正。所謂圖像校正，是指從具有畸變的圖像中消除畸變的處理過程，消除幾何畸變的過程叫作幾何校正。在實際運用中，字符圖像的畸變一般是由于輸入設(shè)備位置變化而導(dǎo)致獲取的圖像產(chǎn)生縮放、旋轉(zhuǎn)等幾何畸變的，分析這些畸變不難發(fā)現(xiàn)它們都可以用原始圖像坐標與畸變圖像坐標之間的關(guān)系來描述。因此消除幾何畸變恢復(fù)原圖像的問題就轉(zhuǎn)化為從畸變圖像和兩坐標之間關(guān)系求得無幾何失真的圖像問題。為了實現(xiàn)對變形字符圖像的校正，必須確定變形字符圖像有關(guān)的形變參數(shù)。一幅二值字符圖像，也可以看作平面上的一個二維隨機向量（X1,Y1），字符圖像中的像素點即可作為二維隨機向量（X1,Y1）的隨機樣本點來分析。為了方便起見，不妨設(shè)二維隨機向量（X1,Y1）服從均勻分布且相互獨立，圖像平面內(nèi)的字符像素點總數(shù)為N，字符點坐標為（xi1,yi1），其中0≤i≤N，則隨機變量（X1,Y1）的數(shù)學期望為二維隨機變量（X1,Y1）的樣本方差為由兩式可得為了便于分析，以字符圖像中某一點為中心將圖像旋轉(zhuǎn)某一角度后，形成傾斜的字符圖像，如圖所示。這時傾斜字符圖像的像素可以看作某一個新的二維隨機向量（X2,Y2）的隨機樣本點。很明顯，字符圖像的字符像素點總數(shù)不變，仍為N，隨機樣本點坐標變換為（xi2,yi2），0≤i≤N，則隨機變量（X2,Y2）的數(shù)學期望也隨之變化為從視覺上看，原字符圖像發(fā)生了旋轉(zhuǎn)，但從變換的角度上看，只是對原二維隨機變量作了一次正交線性變換；因此，變換前后的隨機樣本方差不會發(fā)生變化，即D（X1,Y1）=D（X2,Y2），代入式中，可得無論圖像如何旋轉(zhuǎn)，隨機樣本方差均保持不變，即兩個獨立隨機變量X、Y各自方差的和不變，但隨機變量X、Y各自的方差D（X）、D（Y）在總的隨機樣本方差D（X、Y）中的比重卻在變化。為了方便分析隨機變量X、Y在隨機樣本方差中的比重，這里定義了一個字符主方向判別函數(shù)：當字符圖像圍繞某一點旋轉(zhuǎn)時，判別函數(shù)f（X′,Y′）呈周期性的變化，由圖可知，當圖像中字符沿軸方向書寫時，判別函數(shù)f（X′,Y′）達到最大值。因此對某一傾斜字符圖像的坐標進行旋轉(zhuǎn)，使判別函數(shù)達到最大，這時軸所指方向被稱為字符主方向，它對應(yīng)于字符圖像中字符書寫方向。根據(jù)觀察，由于圖像輸入設(shè)備位置變化造成的幾何傾斜其范圍一般在-π/4到π/4之間，所以對字符主方向的搜索方案可采用逐角度旋轉(zhuǎn)式，這樣對于幾何傾斜范圍在-π/4到π/4之間的字符圖像，若最小角度分辨率為Δθ，則搜索次數(shù)為π/（2Δθ）。這種搜索策略的優(yōu)點在于它思路簡單，且可以方便地檢測出搜索范圍內(nèi)的最大值。通過對圖的分析可知，當圖中字符圍繞圖中某一點旋轉(zhuǎn)時，隨機字符點陣在X坐標上投影的方差是旋轉(zhuǎn)角度θ的一維函數(shù)。當字符圖像的主方向在搜索范圍-π/4到π/4之間時，該一維函數(shù)將出現(xiàn)一次最大值，且在搜索范圍內(nèi)呈單峰特性分布，對圖所示的傾斜字符圖像所在的范圍內(nèi)求取判別函數(shù)曲線，如圖所示。通過對字符主方向的定義可看出,字符主方向就是圖像中字符的主要書寫方向，也是使判別函數(shù)達到最大時X′軸所指方向。如果將字符圖像旋轉(zhuǎn)使X′軸所指方向與水平軸重合，則校正了圖像在該方向上的變形。為了分析直觀，用一平行四邊形框代表發(fā)生扭曲的字符圖像。對如圖所示的幾何形變圖像求取字符主方向，并旋轉(zhuǎn)直角坐標直至X軸與字符主方向重合，從而校正了圖像在字符書寫方向上的變形。對圖（b）的主方向旋轉(zhuǎn)校正效果進行觀察，可以發(fā)現(xiàn)通過字符主方向校正圖像的主要形變已得到了校正。但進一步分析得知，由于在實際幾何變形情況下，發(fā)生在X軸與Y軸方向上的形變角度不一定相等，所以經(jīng)過主方向旋轉(zhuǎn)校正后，字符圖像只校正了發(fā)生在字符書寫方向上的變形，而單個字符自身的扭曲卻并沒有得到校正。這里對變形的字符圖像采取分步校正處理的步驟：（1）在-π/4到π/4的范圍求取字符圖像的主方向，并通過旋轉(zhuǎn)圖像坐標達到校正圖像主方向上的形變。（2）根據(jù)求取主方向的基本原理求取字符水平扭曲角度，將圖像在水平方向進行相同角度的扭曲從而達到校正的效果。在這里要指明求取扭曲角度與主方向是有差別的，求取主方向時是將字符圖像以某一點為中心進行旋轉(zhuǎn)，而求取字符水平變形角度時是將字符圖像進行水平扭曲。（3）采用空間變換公式，將畸變圖像校正。由于在變換過程中不可避免地使用到插值運算，從而會出現(xiàn)很多毛刺點，所以要對校正后的圖像進行平滑處理。通過仿真實驗表明，對發(fā)生形變的字符圖像進行主字符方向的搜索來求取傾斜角并校正是一種行之有效的方法。同時該方法使用了較優(yōu)化的快速搜索策略，可以大大減少計算時間，如圖所示。該方法的一個缺陷是，整個算法是建立在字符圖像只發(fā)生水平或垂直扭曲和旋轉(zhuǎn)形變的基礎(chǔ)之上的，對因鏡頭畸變或其他原因造成的非幾何畸變校正效果受限。5.1.8字符分割與歸一化在汽車牌照自動識別過程中，字符分割有承前啟后的作用。它在前期牌照定位的基礎(chǔ)上進行字符的分割，然后再利用分割的結(jié)果進行字符識別。字符識別的算法很多，因為車牌字符間間隔較大，不會出現(xiàn)字符粘連情況，所以此處采用的方法為尋找連續(xù)有文字的塊，若長度大于某閾值，則認為該塊由兩個字符組成，需要分割。一般分割出來的字符要進行進一步的處理，以滿足下一步字符識別的需要。但是對于車牌的識別，并不需要太多的處理就已經(jīng)可以達到正確識別的目的。在此只進行了歸一化處理，之后還需要進行后期處理。5.1.9字符識別目前用于車牌字符識別（OCR）中的算法主要有基于模板匹配的OCR算法，逐排檢查有沒有白色像素點，設(shè)置1≤j＜n-1，若圖像兩邊s（j）=0，則切割，去除圖像兩邊多余的部分和上下多余的部分根據(jù)圖像的大小，設(shè)置一閾值，檢測圖像的X軸，若寬度等于這一閾值則切割，分離出七個字符歸一化切割出來的字符圖像，與模板中字符圖像的大小相匹配?；谀０迤ヅ涞腛CR的基本過程如下：首先對待識別字符進行二值化并將其尺寸大小縮放為字符數(shù)據(jù)庫中模板的大小，然后與所有的模板進行匹配，最后選最佳匹配作為結(jié)果。模板匹配的主要特點是實現(xiàn)簡單，當字符較規(guī)整時對字符圖像的缺損、污跡干擾適應(yīng)力強且識別率相當高。綜合模板匹配的這些優(yōu)點可作為車牌字符識別的主要方法。模板匹配是圖像識別方法中最具代表性的基本方法之一，它是將從待識別的圖像或圖像區(qū)域f（i，j）中提取的若干特征量與模板T（i，j）相應(yīng)的特征量逐個進行比較，計算它們之間規(guī)格化的互相關(guān)量，其中互相關(guān)量最大的一個就表示期間相似程度最高，可將圖像歸于相應(yīng)的類。也可以計算圖像與模板特征量之間的距離，用最小距離法判定所屬類。然而，通常情況下用于匹配的圖像各自的成像條件存在差異，會產(chǎn)生較大的噪聲干擾，或圖像經(jīng)預(yù)處理和規(guī)格化處理后，使得圖像的灰度或像素點的位置發(fā)生改變。在實際設(shè)計模板的時候，是根據(jù)各區(qū)域形狀固有的特點，突出各類似區(qū)域之間的差別，并將由處理過程引起的噪聲和位移等因素都考慮進去，按照一些基于圖像不變特性所設(shè)計的特征量來構(gòu)建模板，就可以避免上述問題。通常采用相減的方法來求得字符與模板中哪一個字符最相似，然后找到相似度最大的輸出。汽車牌照的字符一般有七個，大部分車牌第一位是漢字，通常代表車輛所屬省份，緊接其后的為字母與數(shù)字。車牌字符識別與一般文字識別在于它的字符數(shù)有限，漢字共約50多個，大寫英文字母24個，數(shù)字10個。為了實驗方便，結(jié)合本次設(shè)計所選汽車牌照的特點，只建立了4個漢字24個字母與10個數(shù)字的模板。其他模板設(shè)計的方法與此相同。首先取字符模板，接著依次取待識別字符與模板進行匹配，將其與模板字符相減，得到的0越多就越匹配。把每一幅相減后的圖的0值個數(shù)保存，即為識別出來的結(jié)果。5.1.10特殊情況的處理對于光照條件不理想的圖像，可先進行一次圖像增強處理，使得圖像灰度動態(tài)范圍擴展和對比度增強，再進行定位和分割，這樣可以提高分割的正確率。而采用了色彩通道的牌照區(qū)域分割算法充分利用了牌照圖像的色彩信息，簡化了算法的實現(xiàn)，加快了圖像的處理速度，具有較高的檢出正確率，而且整個過程用MATLAB語言編程實現(xiàn)，無時間滯后感，可以滿足實時檢出的要求。但是在設(shè)計的過程中發(fā)現(xiàn)，使用另一幅圖像后，識別效果始終沒有那么理想。需要進行一定的設(shè)置后才能識別出相應(yīng)的字符。在車牌字符分割的預(yù)處理中，用到了均值濾波、膨脹或腐蝕的處理。這對于有雜點的車牌是很有用的，因為這樣可以把字符與字符之間的雜色點去除，只有白色的字符和黑色的背景存在，這樣有利于字符分割的進行。字符識別過程使用的是模板匹配的方法，利用兩幅圖片相減的方法，找到相減后值最小的，即為相似程度最大的。模板的制作很重要，必須要用精確的模板，否則就不能正確地識別。由對于識別錯誤情況的分析可知，其主要原因有兩個：一是牌照自身的污漬等影響了圖像的質(zhì)量；二是由于牌照字符的分割失敗而導(dǎo)致的識別錯誤；三是由于部分字符的形狀相似性，比如，B和8、A和4等字符，使識別結(jié)果可能發(fā)生混淆的情況?？傊?，盡管目前牌照字符的識別率還不理想，但是只要在分割出的字符的大小、位置的歸一化，以及嘗試提取分類識別能力更好的特征值和設(shè)計分類器等環(huán)節(jié)上進行再完善，進一步提高識別率是完全可行的。該任務(wù)主要解決了以下幾個問題：（1）在背景的圖像中如何定位分割牌照區(qū)域？（2）對分割下來的牌照字符如何提取具有分類能力的特征？（3）如何設(shè)計識別器？在車輛牌照字符識別系統(tǒng)的研究領(lǐng)域，近幾年出現(xiàn)了許多切實可行的識別技術(shù)和方法，從這些新技術(shù)和方法中可以看到兩個明顯的趨勢：一是單一的預(yù)處理和識別技術(shù)都無法達到理想的結(jié)果，多種方法的有機結(jié)合才能使系統(tǒng)有效識別能力提高。在本系統(tǒng)的設(shè)計中，也吸取了以上一些算法的思想，并結(jié)合實際，進行了反復(fù)比較和綜合分析。二是在有效性和實用性的原則下，結(jié)合神經(jīng)網(wǎng)絡(luò)和人工智能的新技術(shù)的應(yīng)用是研究的一個新方向。

任務(wù)5.2音頻傳輸系統(tǒng)的設(shè)計

學習目標（1）掌握模擬信號數(shù)字化的方法。（2）掌握音頻信號處理的常用算法。（3）了解數(shù)字化會議系統(tǒng)音頻部分的系統(tǒng)框架。（4）了解數(shù)字化會議系統(tǒng)的通信協(xié)議。任務(wù)分析了解對模擬話音的采集、量化，并進行處理和傳輸過程，制定系統(tǒng)的實現(xiàn)方案及總體架構(gòu)。掌握對模擬信號的采樣、量化方法；從系統(tǒng)的角度出發(fā)選擇器件，分析可行性，搭建試驗平臺；針對設(shè)計的方案完成硬件、軟件部分的設(shè)計；最后進行整體的調(diào)試，完成預(yù)定的技術(shù)指標，從而實現(xiàn)較高質(zhì)量的話音傳輸。利用FPGA、嵌入式、Zigbee等硬件及相應(yīng)的外圍電路、芯片完成話音傳輸系統(tǒng)的設(shè)計要求。5.2.1網(wǎng)絡(luò)音頻傳輸產(chǎn)生的意義目前音頻網(wǎng)絡(luò)化傳輸成為專業(yè)音頻領(lǐng)域的主要研究方向。音頻網(wǎng)絡(luò)化傳輸具有極大的靈活性。首先，網(wǎng)絡(luò)音頻傳輸技術(shù)中的音頻信號能夠?qū)崿F(xiàn)點對點或點對多點的傳輸，即一路輸入信號可以傳輸?shù)蕉鄠€需要的點，并且這種連接方式是虛擬的，不需要專用的音頻傳輸線進行物理上的連接；其次，網(wǎng)絡(luò)傳輸技術(shù)是將音頻數(shù)據(jù)以二進制碼打包成的數(shù)據(jù)包形式進行傳輸?shù)?，能夠有效減少音頻信號在傳輸與處理過程中的衰減，提高了抗干擾能力，并且在傳輸容錯及容量上較模擬音頻傳輸技術(shù)有很大的提高；最后，當需要更改傳輸要求時，只需修改系統(tǒng)配置而不用更改硬件上的連線，彌補了傳統(tǒng)模擬音頻傳輸?shù)牟僮鲝?fù)雜、不易維護等缺點。5.2.2基于FPGA的音頻傳輸系統(tǒng)的設(shè)計1.系統(tǒng)的總體框架系統(tǒng)的總體框架如圖所示。2.網(wǎng)絡(luò)拓撲結(jié)構(gòu)設(shè)計基于以太網(wǎng)的音頻傳輸由于高保真音頻數(shù)據(jù)一個通道占用的帶寬達到2Mb以上，且是多通道傳輸，對以太網(wǎng)絡(luò)造成巨大壓力，也給網(wǎng)絡(luò)的拓撲結(jié)構(gòu)提出了新的要求：既要保證網(wǎng)絡(luò)組合的靈活性，又要保證網(wǎng)絡(luò)穩(wěn)定，不出現(xiàn)阻塞，造成丟包或者延時，進而影響音質(zhì)。這里設(shè)計的工作模式有三種：點對點傳輸模式、點對多點傳輸模式、菊花鏈傳輸模式。點對點傳輸模式：系統(tǒng)工作在點對點傳輸模式時，收發(fā)設(shè)備之間的網(wǎng)絡(luò)流量不會影響網(wǎng)絡(luò)中的其他設(shè)備，但數(shù)據(jù)只能定向發(fā)送。收發(fā)設(shè)備之間采用全雙工模式進行通信。點對點連接方式是雙向傳輸模式下，速度最快、延時最低的連接模式。該方式可以使用雙網(wǎng)線作為熱備份，在一根網(wǎng)線出現(xiàn)問題的情況下，另外一根網(wǎng)線會立即替換原來的線纜，保持音頻傳輸?shù)姆€(wěn)定可靠。點對多點傳輸模式：系統(tǒng)工作在點對多點傳輸模式時，發(fā)送端完成一次發(fā)送，由交換機將該數(shù)據(jù)廣播至所有其他端口，不管網(wǎng)絡(luò)中其他設(shè)備是否需要接收該數(shù)據(jù)。它把支持二層交換機作為傳遞中繼，在二層交換位置，音頻流只支持單向音頻傳遞，在分支內(nèi)部支持雙向數(shù)據(jù)流。菊花鏈傳輸模式：系統(tǒng)工作在菊花鏈傳輸模式時，網(wǎng)絡(luò)數(shù)據(jù)可雙向流動并采用廣播數(shù)據(jù)包模式。它的特點是可以不使用其他設(shè)備直接完成組網(wǎng)，音頻流可以雙向傳輸，延時會隨著節(jié)點的增多而增加。3.系統(tǒng)節(jié)點的設(shè)計及工作原理在設(shè)計音頻傳輸節(jié)點時，盡量考慮到系統(tǒng)的可升級性。將功能不相關(guān)的部分分離開，這樣當某個模塊性能達不到預(yù)期指標時，可單獨對該模塊進行更改，從而將硬件更改成本降到最低。網(wǎng)絡(luò)音頻傳輸系統(tǒng)由多個音頻傳輸節(jié)點組網(wǎng)形成，本質(zhì)上為局域網(wǎng)。各個節(jié)點均有自己的MAC地址。每個節(jié)點由4部分組成：輸入信號處理子板、電源與數(shù)據(jù)傳輸?shù)装?、輸出信號處理子板、?shù)據(jù)處理核心板，如圖所示。其中，輸入信號處理子板包含輸入音頻輸入信號處理板和A/D轉(zhuǎn)換電路；輸出信號處理子板包含輸出音頻信號處理板和D/A轉(zhuǎn)換電路；數(shù)據(jù)處理核心板用于對網(wǎng)絡(luò)數(shù)據(jù)和子板的音頻數(shù)據(jù)進行相關(guān)處理；電源與數(shù)據(jù)傳輸?shù)装灏娫措娐泛蛿?shù)據(jù)傳輸電路，電源電路用于提供輸入信號處理子板、輸出信號處理子板和數(shù)據(jù)處理核心板所需各種電源，數(shù)據(jù)傳輸電路用于在數(shù)據(jù)處理核心板和各子板之間傳輸音頻數(shù)據(jù)。系統(tǒng)由多個音頻傳輸子節(jié)點組成，各個子節(jié)點均有自己的MAC地址。系統(tǒng)工作時，輸入信號處理子板對輸入的模擬音頻信號進行放大、濾波等處理，并對處理得到的信號進行A/D轉(zhuǎn)換，主節(jié)點將A/D轉(zhuǎn)換后的音頻數(shù)據(jù)按以太網(wǎng)包格式進行封裝，再通過以太網(wǎng)發(fā)送出去；從節(jié)點則對以太網(wǎng)上獲取的音頻數(shù)據(jù)包進行分解，提取需要的音頻通道，然后發(fā)給輸出通道，經(jīng)過D/A轉(zhuǎn)換，將得到的模擬音頻信號進行I/V轉(zhuǎn)換，補償頻率響應(yīng)，然后再輸出。4.信號處理流程輸入信號處理子板電路模塊如圖所示。由于音頻傳輸系統(tǒng)數(shù)據(jù)處理器采用FPGA，所以為了方便系統(tǒng)開發(fā)，減輕工作量，選擇A/D轉(zhuǎn)換器件時，首先考慮選用帶有硬件配置工作模式的AD芯片。然后在候選器件中選擇性能滿足要求的器件。5.電源與數(shù)據(jù)傳輸?shù)装宓脑O(shè)計電源與數(shù)據(jù)傳輸?shù)装逵袃蓚€作用：向各子板和數(shù)據(jù)處理核心板提供電源，在子板和數(shù)據(jù)處理核心板之間傳輸數(shù)據(jù)。由于節(jié)點中數(shù)據(jù)處理核心板采用FPGA作為核心器件，涉及幾組不同電源，考慮到FPGA運行的穩(wěn)定性需要，底板只提供5V電源接口給數(shù)據(jù)處理核心板，再由數(shù)據(jù)處理核心板上的電源電路進行轉(zhuǎn)換得到FPGA所需各種電源，輸入信號處理子板和輸出信號處理子板數(shù)量較多，如果將電源電路集成到子板上則會導(dǎo)致電壓上升。合理的做法是將電源電路集成在底板上，根據(jù)實際需求，使兩組或更多的子板共用一組電源。所以輸入信號處理子板和輸出信號處理子板所需的電源由底板的電源電路轉(zhuǎn)換得到，而數(shù)據(jù)處理核心板所需電源則直接由本身的電源電路轉(zhuǎn)換得到。設(shè)計底板電源電路時主要考慮以下兩點：（1）滿足輸入、輸出電壓和電流需求，保證有30%左右的冗余量。在高保真音頻系統(tǒng)設(shè)計中，要求電源有一定的冗余度，以滿足信號放大的需求，避免出現(xiàn)失真。（2）選用噪聲低、紋波系數(shù)小的LDO電源芯片。在專業(yè)音頻領(lǐng)域，噪聲是十分重要的指標。目前常見的電源轉(zhuǎn)換芯片有兩種：線性低壓差穩(wěn)壓器（LDO）和直流開關(guān)電源（DC/DC）。LDO的優(yōu)點在于其噪音低，靜態(tài)電流??；直流開關(guān)電源則輸出脈動和開關(guān)噪音較大。因此在選擇底板電源芯片時，模擬電源部分必須選用噪聲低、紋波系數(shù)小的LDO電源芯片。6.數(shù)據(jù)傳輸模塊設(shè)計數(shù)據(jù)傳輸電路在數(shù)據(jù)處理核心板和各子板之間起著連接作用，由于機械設(shè)計要求，數(shù)據(jù)處理核心板和子板平行放置，核心板放置在最邊上。這樣核心板和子板之間必定存在較大的距離。系統(tǒng)設(shè)計時，可以定義兩種不同的節(jié)點：一種是24通道輸入、8通道輸出；另一種為24通道輸出、8通道輸入。設(shè)計傳輸電路時可以將兩種工作模式集成到同一電路中，根據(jù)需求配置成對應(yīng)的工作模式?？紤]到傳輸電路PCB在設(shè)計時，存在長距離走線，因此數(shù)據(jù)傳輸電路需要在I2S總線起始端加入總線緩沖器，以提高驅(qū)動力。為了減小長距離傳輸造成的信號反射與衰減，還要加入匹配電路，以保證信號的完整性。7.數(shù)據(jù)處理核心板設(shè)計系統(tǒng)硬件設(shè)計核心部分就是數(shù)據(jù)處理核心板的設(shè)計。該部分要完成最多達32通道的數(shù)字音頻接口，以及具有熱備份功能的雙網(wǎng)絡(luò)接口的設(shè)計。ARM、DSP等架構(gòu)的處理器很難實現(xiàn)這樣的功能，但是FPGA卻能很好地實現(xiàn)，理由如下：（1）FPGA芯片種類設(shè)置靈活豐富。同系列的FPGA芯片可以做到管腳兼容，邏輯資源大小不同，這樣能方便系統(tǒng)進行升級。（2）FPGA并行能力強。系統(tǒng)能實現(xiàn)16路I2S總線的并行操作，而目前為止沒有任何一個型號的ARM或DSP具有這樣的能力，只能采用FPGA。（3）FPGA工作速度快。由于FPGA的邏輯功能全部用硬件電路實現(xiàn)，不存在操作系統(tǒng)所產(chǎn)生的延時，故所有的延遲只來源于門電路，而一般門電路的延遲都在ns級別，也正好能夠滿足系統(tǒng)設(shè)計中實時音頻傳輸與控制的要求。FPGA主要實現(xiàn)16路I2S總線數(shù)據(jù)的采集與播放、雙MAC功能、主從節(jié)點音頻采樣時鐘同步調(diào)整等功能。MAC占用的邏輯資源比較大，所以選用的FPGA規(guī)模不能太小。目前比較流行的FPGA主要由XILINX和ALTERA兩家公司生產(chǎn)。FPGA選型過程中，需要考慮邏輯設(shè)計中所需的大概等效門電路規(guī)模、可用的I/O端口數(shù)目及類型、內(nèi)部存儲器RAM的大小和數(shù)目、鎖相環(huán)的數(shù)目、器件的工作頻率等幾方面的因素。由于要在FPGA內(nèi)部實現(xiàn)雙MAC功能，需要占用比較多的邏輯資源，MAC與I2S總線進行數(shù)據(jù)交互也需要比較多的RAM資源，因而要保證一定的設(shè)計空間。數(shù)據(jù)處理核心板總體架構(gòu)如圖所示，主要包括處理器、網(wǎng)絡(luò)模塊、用戶信息接口、數(shù)字音頻接口、電源管理、存儲器、配置模塊七個部分。其中數(shù)字音頻接口部分屬于音頻時鐘域，由音頻時鐘驅(qū)動；其余部分均屬于網(wǎng)絡(luò)時鐘域，由網(wǎng)絡(luò)時鐘驅(qū)動。這主要由音頻采樣的特殊格式所決定。音頻采樣所需的48kHz、44.1kHz等時鐘無法由普通晶振分頻或者倍頻得到，而只能采用專用的音頻晶振。網(wǎng)絡(luò)模塊包含兩塊PHY芯片，其中一路用于傳輸和接收數(shù)字音頻信號，并通過MII接口與FPGA實現(xiàn)信息交互。另一路作為備份使用，如果當前運行的網(wǎng)絡(luò)出現(xiàn)故障，備份系統(tǒng)可立即投入使用。數(shù)字音頻接口通過I2S總線連接系統(tǒng)A/D與D/A轉(zhuǎn)換芯片，用于發(fā)射或接收數(shù)字音頻信號。存儲器用于存儲網(wǎng)絡(luò)模塊的信息和音頻通道的映射信息。FPGA控制串行口下載音頻通道的映射信息到存儲器中。配置模塊則用于存儲FPGA配置文件，在系統(tǒng)上電時，加載信息到FPGA之中。8.PHY電路的設(shè)計網(wǎng)絡(luò)功能是系統(tǒng)中十分重要的一環(huán)。良好的硬件設(shè)計是網(wǎng)絡(luò)正常運行的基礎(chǔ)。由于系統(tǒng)中FPGA內(nèi)部已經(jīng)實現(xiàn)了雙MAC功能，實現(xiàn)了百兆以太網(wǎng)的控制操作功能，因而只需要外擴兩個物理層芯片就可很方便地實現(xiàn)以太網(wǎng)功能。IEEE802.3協(xié)議中規(guī)定數(shù)據(jù)鏈路層包括邏輯鏈路控制（LLC）子層和媒體訪問控制（MAC）子層。數(shù)據(jù)幀的封裝、解封、發(fā)送和接收功能由MAC子層獨立完成。物理層（PHY）的電路結(jié)構(gòu)隨著傳輸介質(zhì)和速率的不同有一定差異。物理層定義了數(shù)據(jù)傳送與接收所需要的電與光信號、線路狀態(tài)、時鐘基準、數(shù)據(jù)編碼和電路等，并向數(shù)據(jù)鏈路層設(shè)備提供標準接口。物理層可有效地屏蔽傳輸介質(zhì)的差異，使網(wǎng)絡(luò)從MAC層向上看起來是無差異的。因此MAC層和物理層的接口也稱為介質(zhì)無關(guān)MII接口（MediaIndependentInterface），包括分別用于發(fā)送器和接收器的兩條獨立信道，且每條信道都有自己的數(shù)據(jù)、時鐘和控制信號。MII數(shù)據(jù)接口總共需要16個信號，包括TX_ER，TXD＜3∶0＞、TX_EN、TX_CLK、COL、RXD＜3∶0＞、RX_EX、RX_CLK、CRS、RX_DV等。MAC層和物理層的數(shù)據(jù)交換通過MII總線完成。9.FPGA的開發(fā)流程FPGA的設(shè)計流程就是利用EDA開發(fā)軟件和編程工具對FPGA芯片進行開發(fā)的過程。FPGA的開發(fā)流程如圖所示，包括電路功能設(shè)計、設(shè)計輸入、功能仿真、綜合優(yōu)化、綜合后仿真、實現(xiàn)、布線后仿真、板級仿真以及芯片編程與調(diào)試等主要步驟。（1）電路功能設(shè)計。在系統(tǒng)設(shè)計之前，首先要進行的是方案論證和FPGA芯片選擇等準備工作。系統(tǒng)工程師根據(jù)任務(wù)要求，如系統(tǒng)的指標和復(fù)雜度，對工作速度和芯片本身的各種資源、成本等方面進行權(quán)衡，選擇合理的設(shè)計方案和合適的器件類型。一般都采用自頂向下的設(shè)計方法，把系統(tǒng)分成若干個基本單元，然后再把每個基本單元劃分為下一層次的基本單元，如此循環(huán)，直到可以直接使用EDA元件庫為止。（2）設(shè)計輸入。設(shè)計輸入是將所設(shè)計的系統(tǒng)或電路以開發(fā)軟件要求的某種形式表示出來，并輸入給EDA工具的過程。常用的方法有硬件描述語言（HDL）和原理圖輸入方法等。原理圖輸入方法是一種最直接的描述方法，在可編程芯片發(fā)展的早期應(yīng)用比較廣泛，它將所需的器件從元件庫中調(diào)出來，畫出原理圖。目前，在實際開發(fā)中應(yīng)用最廣的就是HDL語言輸入法，其主流語言是VerilogHDL和VHDL。（3）功能仿真。功能仿真也稱為前仿真，是指在編譯之前對用戶所設(shè)計的電路進行邏輯功能驗證，此時的仿真沒有延遲信息，僅對初步的功能進行檢測。仿真前，要先利用波形編輯器和HDL等建立波形文件和測試向量（即將所關(guān)心的輸入信號組合成序列），仿真結(jié)果將會生成報告文件和輸出信號波形，從中便可以觀察各個節(jié)點信號的變化。如果發(fā)現(xiàn)錯誤，則返回設(shè)計修改邏輯設(shè)計。（4）綜合優(yōu)化。綜合優(yōu)化就是將較高級抽象層次的描述轉(zhuǎn)化成較低層次的描述。綜合優(yōu)化根據(jù)目標與要求優(yōu)化所生成的邏輯連接，使層次設(shè)計平面化，供FPGA布局布線軟件進行實現(xiàn)。就目前的層次來看，綜合優(yōu)化（Synthesis）是指將設(shè)計輸入編譯成由與門、或門、非門、RAM、觸發(fā)器等基本邏輯單元組成的邏輯連接網(wǎng)表，而并非真實的門級電路。（5）綜合后仿真。綜合后仿真檢查綜合結(jié)果是否和原設(shè)計一致。在仿真時，把綜合生成的標準延時文件反標注到綜合仿真模型中去，可估計門延時帶來的影響。但這一步驟不能估計線延時，因此和布線后的實際情況還有一定的差距，并不十分準確。（6）實現(xiàn)與布局布線。實現(xiàn)是將綜合生成的邏輯網(wǎng)表配置到具體的FPGA芯片上，布局布線是其中最重要的過程。布局將邏輯網(wǎng)表中的硬件原語和底層單元合理地配置到芯片內(nèi)部的固有硬件結(jié)構(gòu)上，并且往往需要在速度最優(yōu)和面積最優(yōu)之間作出選擇。布線根據(jù)布局的拓撲結(jié)構(gòu)，利用芯片內(nèi)部的各種連線資源，合理正確地連接各個元件。（7）時序仿真與驗證。時序仿真也稱為后仿真，是指將布局布線的延時信息反標注到設(shè)計網(wǎng)表中來檢測有無時序違規(guī)（即不滿足時序約束條件或器件固有的時序規(guī)則，如建立時間、保持時間等）現(xiàn)象。時序仿真包含的延遲信息最全，也最精確，能較好地反映芯片的實際工作情況。（8）板級仿真與驗證。板級仿真主要應(yīng)用于高速電路設(shè)計中，對高速系統(tǒng)的信號完整性、電磁干擾等特征進行分析，一般都以第三方工具進行仿真和驗證。（9）芯片編程與調(diào)試。芯片編程是指產(chǎn)生使用的數(shù)據(jù)文件，然后將編程數(shù)據(jù)下載到FPGA芯片中。5.2.3基于嵌入式的音頻傳輸系統(tǒng)的設(shè)計1.總體結(jié)構(gòu)本書主要介紹基于ARM7的數(shù)字音頻的接收、解壓、播放單元的總體結(jié)構(gòu)，及每一模塊部分的功能，以此來選擇合適的硬件實現(xiàn)方案和軟件操作平臺，從而實現(xiàn)各模塊的功能?？傮w結(jié)構(gòu)如圖所示。處理器作為整個單元的核心，完成各種數(shù)據(jù)的處理與交換工作。來自藍牙接收模塊的數(shù)據(jù)和來自SD卡的數(shù)據(jù)都將在這里處理之后再進行解碼播放，同時還與輸入/輸出模塊進行數(shù)據(jù)的交互。處理器作為整個系統(tǒng)的核心，對它附帶的內(nèi)存空間和程序存儲空間，還有主頻，都有一定的要求。數(shù)字音頻解壓播放模塊可以將藍牙接口接收到的音頻數(shù)據(jù)進行解壓之后實現(xiàn)實時播放，也可以選擇先存儲到SD卡中，需要時再播放，還可以對SD卡中存儲好的音頻數(shù)據(jù)進行解壓播放?？紤]到本設(shè)計對實時性的要求，可以采用解碼效率高、功率消耗低的硬件解碼。藍牙接口作為整個單元與外界無線藍牙設(shè)備進行通信，它將從外部藍牙設(shè)備中接收數(shù)據(jù)并送給處理器，又將處理器要發(fā)送的數(shù)據(jù)發(fā)送到外部藍牙設(shè)備中去。藍牙工作在2.4GHz全球自由頻段內(nèi)，可以保證所有網(wǎng)絡(luò)設(shè)備自由連通。輸入/輸出模塊主要包括LCD顯示模塊、按鍵輸入模塊、語音輸入模塊、音頻播放模塊等。這些模塊的設(shè)計提高了設(shè)計單元的人機交互功能。SD卡是數(shù)據(jù)存儲單元，用來存儲從藍牙接收過來的數(shù)據(jù)，還可以存儲數(shù)字音頻處理單元錄制的音頻數(shù)據(jù)，這些數(shù)據(jù)可隨身攜帶，需要時可隨時播放。處理器會通過SPI接口將這些音頻數(shù)據(jù)比特流的方式發(fā)送給芯片。2.系統(tǒng)硬件結(jié)構(gòu)本設(shè)計單元以ARM7內(nèi)核的LPC2148中央處理器為例，外擴SD卡存儲接口、數(shù)字音頻解碼播放接口和無線藍牙接口。它可以接收來自藍牙上的數(shù)據(jù)，并將其存入SD卡中，還可以將這些音頻數(shù)據(jù)通過SPI接口送往VS1003芯片解碼播放。同時在設(shè)計中利用LPC2148處理器的一些GPIO口控制輸入/輸出模塊，方便現(xiàn)場使用。這樣就可以完整地實現(xiàn)一個無線數(shù)字音頻接收、解壓、播放單元設(shè)計。3.系統(tǒng)軟件結(jié)構(gòu)硬件部分是分模塊設(shè)計的，系統(tǒng)的軟件部分也相應(yīng)采用了模塊化的設(shè)計。軟件部分主要包括如下模塊：無線藍牙數(shù)據(jù)傳輸、數(shù)字音頻解壓播放、SD卡存儲、液晶顯示處理、按鍵處理等。因為實現(xiàn)功能比較多，程序很復(fù)雜，穩(wěn)定性不強，因此考慮采用添加嵌入式實時操作系統(tǒng)μC/OS-II，為每一個任務(wù)定制優(yōu)先級和時間對應(yīng)關(guān)系，然后應(yīng)用程序采用無限循環(huán)方式。這樣可以增強系統(tǒng)的可靠性，避免在系統(tǒng)工作時程序跑飛或陷入死循環(huán)，從而使整個系統(tǒng)的程序有序進行。5.2.4基于Zigbee的無線音頻傳輸系統(tǒng)的設(shè)計WATS是無線音頻傳輸系統(tǒng)（WirelessAudioTransmissionSystem）的英文簡稱，利用無線傳感器網(wǎng)絡(luò)技術(shù)傳輸音頻數(shù)據(jù)。在本系統(tǒng)中，無線通信技術(shù)采用的是Zigbee技術(shù)，可實現(xiàn)短距離的語音信息傳輸。1.系統(tǒng)的總體結(jié)構(gòu)無線音頻傳輸系統(tǒng)的設(shè)計采用模塊化方法，根據(jù)WMSN原理，設(shè)計了音頻采集系統(tǒng)、無線通信系統(tǒng)和音頻播放系統(tǒng)。1）音頻采集系統(tǒng)2）無線通信系統(tǒng)3）音頻播放系統(tǒng)2.無線音頻節(jié)點的硬件結(jié)構(gòu)在WATS硬件系統(tǒng)設(shè)計方面繼承了典型無線傳感器節(jié)點的設(shè)計方法，但也有與典型無線傳感器節(jié)點不同的地方。3.系統(tǒng)軟件結(jié)構(gòu)1）音頻處理模塊設(shè)計要實現(xiàn)系統(tǒng)功能，不但要有硬件平臺，還需編寫相應(yīng)的軟件才能配合硬件完成系統(tǒng)的功能。2）語音編解碼設(shè)計語音編碼壓縮與解編碼壓縮在無線語音傳輸網(wǎng)絡(luò)中具有重要的作用。在無線多媒體傳感器網(wǎng)絡(luò)中,節(jié)點受到運算速率、能量、存儲空間限制等影響,語音編解碼算法直接關(guān)系到系統(tǒng)的效果。ADPCM編解碼算法在技術(shù)實現(xiàn)復(fù)雜度、語音質(zhì)量、延遲等方面上均適合無線音頻傳輸系統(tǒng)的需要。3.系統(tǒng)軟件結(jié)構(gòu)1）音頻處理模塊設(shè)計要實現(xiàn)系統(tǒng)功能，不但要有硬件平臺，還需編寫相應(yīng)的軟件才能配合硬件完成系統(tǒng)的功能。2）語音編解碼設(shè)計語音編碼壓縮與解編碼壓縮在無線語音傳輸網(wǎng)絡(luò)中具有重要的作用。在無線多媒體傳感器網(wǎng)絡(luò)中,節(jié)點受到運算速率、能量、存儲空間限制等影響,語音編解碼算法直接關(guān)系到系統(tǒng)的效果。ADPCM編解碼算法在技術(shù)實現(xiàn)復(fù)雜度、語音質(zhì)量、延遲等方面上均適合無線音頻傳輸系統(tǒng)的需要。由于音頻信號是流媒體,數(shù)據(jù)量大,而Zigbee芯片的處理能力和存儲空間都有限,因此必須對采集到的數(shù)據(jù)作壓縮處理,以減少處理器處理時間和存儲空間。音頻能被有損壓縮編碼從而達到降低音頻信號的數(shù)據(jù)比特率,其主要原理如下：（1）利用音頻信號的相關(guān)性。音頻信源是相關(guān)信源,經(jīng)過采樣和量化的信號之間有非常強的相關(guān)性,為了降低音頻信號的比特率,可以盡可能地消去信號之間的相關(guān)性。一般來說,語音信號存在樣本之間的短時相關(guān)和基音周期之間的長時相關(guān)。（2）利用人耳的掩蔽效應(yīng)。當人耳接收很多個響度不等的聲音時,會產(chǎn)生響度較高的頻率成分影響較低頻率成分的效果,使人不易察覺響度較低的頻率成分。因此,人耳允許有較大的音頻信號誤差,可以利用這一掩蔽效應(yīng)進一步降低壓縮編碼比特率。語音編碼壓縮處理是在處理系統(tǒng)接收到語音數(shù)據(jù)信號后進行的,語音編碼壓縮處理的過程如下：（1）初始化系統(tǒng),如自適應(yīng)量化器、反向自適應(yīng)量化器和自適應(yīng)預(yù)測器。過程為自適應(yīng)量化器輸出默認的信號值,在本系統(tǒng)中數(shù)值為0,反向自適應(yīng)量化器收到自適應(yīng)量化器的輸出的信號值,隨之產(chǎn)生一個初始化的默認的量化差分信號并與自適應(yīng)預(yù)測器構(gòu)成初始化的估計信號值。（2）輸入的采樣信號，信號值為16bit，與自適應(yīng)預(yù)測器輸出的估計信號值計算差分信號,過程為對輸入的采樣信號與估計信號值求差,得到差分信號d（k）。（3）差分信號通過自適應(yīng)量化器量化,轉(zhuǎn)換為ADPCM編碼信號。（4）根據(jù)量化后的結(jié)果,調(diào)整反向自適應(yīng)量化器的值,即步長,與自適應(yīng)預(yù)測器重新計算重構(gòu)信號并更新估計信號,并保存ADPCM編碼信號值。（5）如還有輸入信號，轉(zhuǎn)入第（2）步，否則進入第（6）步。（6）退出。根據(jù)上面的過程，ADPCM編碼壓縮的數(shù)據(jù)流圖如圖所示。實現(xiàn)ADPCM編碼算法的流程圖如圖所示。語音解編碼壓縮是在收到ADPCM編碼數(shù)據(jù)后進行的,解編碼壓縮處理實質(zhì)上就是編碼過程的逆過程,其具體的過程如下：（1）初始化系統(tǒng),如反向自適應(yīng)量化器、自適應(yīng)預(yù)測器。與編碼不同的是,這里初始化只需要使各個模塊處于就緒狀態(tài)。（2）系統(tǒng)接收到輸入的ADPCM編碼數(shù)據(jù)大小為4bit,與反向自適應(yīng)量化器計算出量化的差分信號值。（3）以量化的差分信號和上次更新的估計信號值作為參數(shù)計算出輸出信號值。（4）將輸出信號值作為參數(shù)進入自適應(yīng)預(yù)測器,計算出估計信號值。（5）若還有輸入信號,則轉(zhuǎn)入第（2）步,否則進入第（6）步。（6）退出。ADPCM解編碼壓縮的數(shù)據(jù)流圖如圖所示。實現(xiàn)ADPCM解編碼算法的流程圖如圖所示。4.無線網(wǎng)絡(luò)的組建ZStack協(xié)議棧是支持基于IEEE802.15.4的Zigbee的協(xié)議棧。ZStack是基于輪轉(zhuǎn)查詢式操作系統(tǒng)的，其主函數(shù)在ZMain.c中。ZStack的作用一是初始化系統(tǒng)，即初始化硬件系統(tǒng)和軟件系統(tǒng)所需的各個模塊，二是開始執(zhí)行操作系統(tǒng)實體。系統(tǒng)初始化流程圖如圖所示。Zigbee的通信頻率定義在物理層，提供了三個不同的工作頻率范圍，并在這三個頻段中定義了27個物理信道，通過物理層管理服務(wù)實體接入點寫入物理層網(wǎng)絡(luò)的基本信息，如信道號、擴頻方式、數(shù)據(jù)率等。其分配信道的數(shù)據(jù)格式為：5B的同步包頭、1B的物理層包頭和寫入物理層的基本信息。Zigbee規(guī)范規(guī)定如果當前沒有網(wǎng)絡(luò)連接，那么Zigbee協(xié)調(diào)器節(jié)點就啟動新網(wǎng)絡(luò)的建立過程。如果已經(jīng)有網(wǎng)絡(luò)存在，則網(wǎng)絡(luò)層管理實體就終止該過程。當建網(wǎng)過程開始后，網(wǎng)絡(luò)層首先請求MAC層對有效信道進行能量掃描，檢測有無干擾。若掃描完成，則網(wǎng)絡(luò)層管理實體將收到信道掃描成功的信息，并把信道排序，選擇最優(yōu)信道開始建網(wǎng)。音頻傳感器節(jié)點如要加入網(wǎng)絡(luò)，首先需要網(wǎng)絡(luò)建立者允許傳感器節(jié)點加入網(wǎng)絡(luò)。當匯聚節(jié)點和路由節(jié)點允許設(shè)備加入網(wǎng)絡(luò)過程開始后，網(wǎng)絡(luò)層管理實體不再允許MAC層修改PAN信息庫信息。傳感器節(jié)點開始加入網(wǎng)絡(luò)。在Zigbee協(xié)議規(guī)范中，設(shè)備有以下三種方式加入網(wǎng)絡(luò)：（1）聯(lián)合方式：即子設(shè)備試圖連接網(wǎng)絡(luò)時，當父設(shè)備感知到子設(shè)備試圖聯(lián)網(wǎng)后，可以根據(jù)需要作出應(yīng)答或拒絕子設(shè)備入網(wǎng)的決定。（2）直接方式：即子設(shè)備通過預(yù)先分配的父設(shè)備直接聯(lián)網(wǎng)。（3）孤點方式：如果子設(shè)備暫時與父設(shè)備失去聯(lián)系，則它將能以孤點方式重新入網(wǎng)。該過程由應(yīng)用層控制NV信息決定是否加入網(wǎng)絡(luò)。當傳感器節(jié)點加入網(wǎng)絡(luò)后，就可以開始數(shù)據(jù)傳輸了。沒有連接到網(wǎng)絡(luò)的傳感器節(jié)點則丟棄收到的數(shù)據(jù)，并請求加入網(wǎng)絡(luò)或報告錯誤。每個設(shè)備的網(wǎng)絡(luò)層都維護一個遞增的序列號，將序列號裝載到需要發(fā)送的數(shù)據(jù)幀里，和校驗號一起構(gòu)成網(wǎng)絡(luò)協(xié)議數(shù)據(jù)單元，然后由網(wǎng)絡(luò)層傳輸。MAC層收到網(wǎng)絡(luò)協(xié)議數(shù)據(jù)單元后，按照幀形式構(gòu)建幀數(shù)據(jù)，最后發(fā)送出去，在Zigbee協(xié)議棧里通過調(diào)用數(shù)據(jù)請求函數(shù)實現(xiàn)發(fā)送。5.2.5音頻傳輸系統(tǒng)中的典型問題解析