1、評(píng)委一評(píng)分，簽名及備注 隊(duì)號(hào)：委三評(píng)分，簽名及備注 120評(píng)委二評(píng)分，簽名及備注 選題： C評(píng)委四評(píng)分，簽名及備注 題目：語音識(shí)別技術(shù)的應(yīng)用 摘要 語音識(shí)別技術(shù)（ASR）是一項(xiàng)涉及多學(xué)科的綜合性技術(shù)，并且語音識(shí)別系統(tǒng)在現(xiàn)代社會(huì)中的應(yīng)用也越來越廣泛，尤其是智能手機(jī)客服語音服務(wù)方面。因此本文就語音識(shí)別技術(shù)的各個(gè)環(huán)節(jié)展開建模分析，并通過 10 段語音樣本驗(yàn)證語音識(shí)別模型的識(shí)別精度。 首先，本文通過 Microsoft Visio 軟件對(duì)語音識(shí)別技術(shù)的基本原理繪制流程框圖；然后通過 Matlab 錄制一段語音樣本，并對(duì)該語音信號(hào)做分幀加窗、預(yù)加重等預(yù)處理操作。 針對(duì)問題一，本文從端點(diǎn)檢測(cè)、特征提?。∕

2、FCC 參數(shù)）、模式識(shí)別三個(gè)方面展開建模，通過 Matlab 編程與圖像說明語音識(shí)別系統(tǒng)的各個(gè)環(huán)節(jié)。對(duì)于端點(diǎn)檢測(cè)環(huán)節(jié)，我們采取“雙門限檢測(cè)”法找出語音樣本的起始點(diǎn)和終止點(diǎn)；特征提取環(huán)節(jié)，在已經(jīng)過端點(diǎn)檢測(cè)的語音樣本基礎(chǔ)上，本文選取能提高識(shí)別性能的 MFCC 參數(shù)來分析；關(guān)于模式識(shí)別環(huán)節(jié)，我們首先對(duì)特征參數(shù)進(jìn)行規(guī)整，然后基于神經(jīng)網(wǎng)絡(luò)算法詳細(xì)闡述語音識(shí)別的過程。 針對(duì)問題二，根據(jù)問題一中的模型，本文結(jié)合軟件工程中面向?qū)ο螅∣OD） 的分析方法以及用戶操作手冊(cè)編寫規(guī)范，為手機(jī)運(yùn)營商制定了可行、簡單的用戶操作規(guī)則。 針對(duì)問題三，本文通過設(shè)計(jì)實(shí)驗(yàn)來驗(yàn)證語音識(shí)別模型的準(zhǔn)確性。首先，根據(jù)用戶操作規(guī)則，我們錄制

3、了不同情況下不同人的 10 段語音；然后根據(jù)問題一模型建立流程進(jìn)行語音識(shí)別驗(yàn)證；最后結(jié)果表明，在本次試驗(yàn)中基于神經(jīng)網(wǎng)絡(luò)的語音識(shí)別的系統(tǒng)的識(shí)別準(zhǔn)確率達(dá) 75%。 關(guān)鍵字：語音識(shí)別；端點(diǎn)檢測(cè)；MFCC；神經(jīng)網(wǎng)絡(luò)；OOD語音識(shí)別技術(shù)的應(yīng)用 1. 問題的重述 語音識(shí)別技術(shù)（ASR）就是計(jì)算機(jī)通過對(duì)人類語言的認(rèn)識(shí)和理解，將人類的語言信號(hào)轉(zhuǎn)變成相應(yīng)的文本或命令的技術(shù)，也就是讓計(jì)算機(jī)聽懂人說話。 語音識(shí)別是一項(xiàng)涉及多學(xué)科的綜合性技術(shù)，其過程分為訓(xùn)練和識(shí)別兩個(gè)階段。 在訓(xùn)練階段，語音識(shí)別系統(tǒng)對(duì)輸入的語音信號(hào)進(jìn)行學(xué)習(xí)。學(xué)習(xí)結(jié)束后，把學(xué)習(xí)內(nèi)容組成語音模型庫存儲(chǔ)起來；在識(shí)別階段，根據(jù)當(dāng)前輸入的待識(shí)別語音信號(hào)，在語音

4、模型庫中查找出相應(yīng)的詞義或語義。 隨著智能機(jī)的普及，語音識(shí)別技術(shù)也更加廣泛。某手機(jī)運(yùn)營商想利用語音機(jī)器人作為客服，處理查詢?cè)捹M(fèi)、查詢余額、查詢最新優(yōu)惠活動(dòng)等簡單問題。試根據(jù)語音識(shí)別技術(shù)系統(tǒng)構(gòu)建過程，完成以下問題： 1、建立模型說明語音識(shí)別技術(shù)的各個(gè)環(huán)節(jié)； 2、根據(jù)模型，為手機(jī)運(yùn)營商制定一個(gè)可行的用戶操作規(guī)則； 3、根據(jù)制定的規(guī)則，通過查詢?cè)捹M(fèi)等實(shí)例驗(yàn)證語音識(shí)別模型。 2. 問題的分析 1.1 問題 1 的分析 題目要求建立模型說明語音識(shí)別技術(shù)的各個(gè)環(huán)節(jié)。首先我們需要充分理解語音識(shí)別技術(shù)的各個(gè)流程，通過 Microsoft visio 軟件繪制語音識(shí)別基本原理框圖。然后對(duì)語音識(shí)別的幾個(gè)重要環(huán)節(jié)建

5、模分析，其中包括端點(diǎn)檢測(cè)、特征提取、模式識(shí)別三個(gè)環(huán)節(jié)。 在建模之前，采集小組成員的語音作為分析樣本，然后對(duì)語音樣本做加窗分幀、預(yù)加重等基本處理。 針對(duì)端點(diǎn)檢測(cè)環(huán)節(jié)，我們充分考慮到語音信號(hào)的三種分段形式，即無聲段、 清音段、濁音段；然后利用預(yù)處理后的語音樣本，分別計(jì)算其短時(shí)能量、短時(shí)過零率， 通過“雙門限法檢測(cè)法”找出語音樣本的起點(diǎn)和終點(diǎn)； 針對(duì)特征提取環(huán)節(jié)，本分綜合分析考慮了線性預(yù)測(cè)系數(shù)( LPC)、線性預(yù)測(cè)倒譜系數(shù)( LPCC)、梅爾倒譜系數(shù)三種不同參數(shù)的優(yōu)缺點(diǎn)后，選取了MFCC參數(shù)作為語音樣本的特征參數(shù)；然后利用 Matlab 編寫 mfcc 函數(shù)，進(jìn)而分析得到語音樣本的MFCC，最后通過

6、三維圖形加以展示。 針對(duì)模式識(shí)別環(huán)節(jié)，本文選取了動(dòng)態(tài)時(shí)間歸整方法(DTW)，矢量量化方法(VQ)，隱馬爾科夫模型方法(HMM)，人工神經(jīng)網(wǎng)絡(luò)方法(ANN)中的人工神經(jīng)網(wǎng)絡(luò)算法，然后對(duì)語音樣本和待測(cè)語音樣本的模式識(shí)別過程進(jìn)行詳細(xì)闡述，并通過語音規(guī)整算法對(duì)語音樣本的特征值進(jìn)行計(jì)算。通過 Matlab 編寫 guizheng 函數(shù)和 bp 函數(shù)，并為問題 3 語音識(shí)別模型的驗(yàn)證做準(zhǔn)備。 - 26 - 1.2 問題 2 的分析 根據(jù)軟件工程中面向?qū)ο?OOD)的分析方法，將題目描述作為“語音識(shí)別系統(tǒng)”的需求分析，并結(jié)合 1.1 中語音識(shí)別各個(gè)環(huán)節(jié)的分析過程，對(duì)該系統(tǒng)建立軟件概念中的動(dòng)態(tài)模型?；趧?dòng)態(tài)模

7、型的建立過程，并參考用戶操作規(guī)則編寫規(guī)范制定題目要求的用戶操作規(guī)則。 1.3 問題 3 的分析 該問題實(shí)質(zhì)上是按照1.2 中用戶操作規(guī)則驗(yàn)證1.1 語音識(shí)別模型的識(shí)別精度。我們按照操作規(guī)則設(shè)計(jì)實(shí)驗(yàn)。首先，分別錄制 10 段語音樣本，樣本內(nèi)容為“查詢?cè)捹M(fèi)余額”、“1”、以及非正常語音，10 段樣本中將其中 2 段作為標(biāo)準(zhǔn)語音， 其他來自于不同人的 8 段語音作為測(cè)試語音。然后語音樣本驗(yàn)證 1.1 中語音識(shí)別模型。并將驗(yàn)證結(jié)果通過圖表以及模型識(shí)別準(zhǔn)確率來呈現(xiàn)。 3. 模型假設(shè)與符號(hào)說明 3.1 模型假設(shè) 1. 假設(shè)實(shí)驗(yàn)語音樣本能表征不同人的聲音特征； 2. 假設(shè)實(shí)驗(yàn)語音樣本的錄制環(huán)境正常，噪聲不大

8、； 3. 假設(shè)實(shí)驗(yàn)語音樣本的語音是連續(xù)的； 4. 假設(shè)語音規(guī)整后的 MFCC 參數(shù)能表征所有語音樣本的特征。 3.2 符號(hào)說明 表 1 符號(hào)說明 符號(hào) 符號(hào)說明 E短時(shí)能量 短時(shí)過零率 梅爾倒譜系數(shù) 幀 長采樣率 三角濾波器 一階高通濾波器 濾波器個(gè)數(shù) ZMFCC N fsHm(k) H(z)M4.1 模型準(zhǔn)備 4. 模型的建立與求解 4.1.1 語音識(shí)別系統(tǒng)基本原理概述 根據(jù)題目描述我們知道，語音識(shí)別系統(tǒng)構(gòu)建過程整體上包括兩大部分：訓(xùn)練和識(shí)別。訓(xùn)練階段分別對(duì)語言訓(xùn)練數(shù)據(jù)庫與文本訓(xùn)練數(shù)據(jù)庫進(jìn)行信號(hào)處理和挖掘所得到的“聲學(xué)模型”與“語言模型”。識(shí)別階段對(duì)用戶實(shí)時(shí)語音進(jìn)行自動(dòng)識(shí)別， 首先對(duì)用戶語音

9、進(jìn)行端點(diǎn)檢測(cè)去除噪聲和靜音，然后對(duì)語音信號(hào)特征提取，利用訓(xùn)練階段的模型對(duì)用戶語音進(jìn)行模式識(shí)別、加工處理得到最終的識(shí)別結(jié)果。 語 言 模 型聲 學(xué) 模 型文本訓(xùn)練數(shù)據(jù) 識(shí) 別 結(jié) 果反 饋 模 塊模 式 識(shí) 別特 征 提 取語言訓(xùn)練數(shù)據(jù) 端 點(diǎn) 檢 測(cè)背 景 噪 聲實(shí) 時(shí) 語 音利用 Microsoft Visio 軟件，畫出語音識(shí)別系統(tǒng)基本原理框圖如圖 1 所示。 聲學(xué)模型訓(xùn)練 語言模型訓(xùn)練識(shí) 別 階 段訓(xùn) 練 階 段圖 1 語音識(shí)別系統(tǒng)基本原理框圖 4.1.2 語音信號(hào)的采集與預(yù)處理 （1） 樣本采集過程 在建模過程中， 以本人的聲音作為分析樣本。 在 Matlab 中使用w a v r e

10、 c o r d ( n , f s , c h , d t y p e ) 函數(shù)錄取一段連續(xù)的語音“ 查詢?cè)捹M(fèi)余額請(qǐng)按 1，查詢套餐余量請(qǐng)按 2”的讀音。因?yàn)槿祟愓Z音的頻譜主要集中在 4kHz 以內(nèi)，而根據(jù) 采樣定理，采樣頻率應(yīng)大于信號(hào)中最高頻率的兩倍，所以采樣頻率（fs）取 16KHz；本實(shí)驗(yàn)將錄音時(shí)間規(guī)定為 5s，因此采樣的總點(diǎn)數(shù)（n）為 5*8000，即 40000；通道數(shù)（ch）取 1，即為單通道；采樣數(shù)據(jù)的存儲(chǔ)格式（dtype）取為“double”，即16 位采樣精度。利用 sound 函數(shù)可以較清晰地聽到讀音，同時(shí)發(fā)現(xiàn)語音開始時(shí)存在短暫雜音。用 wavwrite 函數(shù)將語音信號(hào)保

11、存為“實(shí)驗(yàn) 1.wav”文件。原始語音波形圖如圖 2 所示（具體 Matlab 程序見附錄 7.1）。 （2） 加窗分幀處理 圖 2 原始語音信號(hào)波形圖 由于語音信號(hào)從整體上來看是一個(gè)非平穩(wěn)過程，但是在一個(gè)短的時(shí)間內(nèi)，其特性保持相對(duì)不變，所以語音信號(hào)具有短時(shí)平穩(wěn)性，對(duì)語音信號(hào)的分析和處理必 須建立在“短時(shí)”的基礎(chǔ)上，將信號(hào)分為一段一段來分析其特征參數(shù)1 。 分幀使用有線長度的窗函數(shù)來截取語音信號(hào)形成分析幀，窗函數(shù)將需處理區(qū)域之外的樣點(diǎn)置零來獲得當(dāng)前語音幀。 因此，加窗語音信號(hào)為 s (n) = s(n) (n)在這里窗函數(shù)我們選取漢明窗窗函數(shù)，即， (n) = 0.54 0.46 cos( 2

12、n )0 n N 1其中， N 為幀長。 N 1其它 0基于上述描述，利用 Matlab 對(duì)語音信號(hào)進(jìn)行預(yù)處理，對(duì)語音信號(hào)進(jìn)行分幀， 可以利用 voicebox 工具箱中的函數(shù) enframe。voicebox 工具箱是基于 GNU 協(xié)議的自由軟件，其中包含了很多語音信號(hào)相關(guān)的函數(shù)。首先可以得到語音信號(hào)分幀后波形如圖 3 所示，其中我們令幀長 len=200，幀移 inc=100。 圖 3 語音信號(hào)分幀后波形圖 然后，我們利用 window 函數(shù)設(shè)計(jì)窗口為 120 的漢明窗，進(jìn)而通過 Matlab 為分幀后的語音信號(hào)添加漢明窗，其波形圖如圖 4 所示(具體程序見附錄 7.2)。 （3） 預(yù)加重

13、處理 圖 4 添加漢明窗后語音信號(hào)波形圖 人發(fā)音時(shí)存在口唇的輻射效應(yīng)，口唇的輻射模型相當(dāng)與一階高通濾波器，所 以在對(duì)實(shí)際信號(hào)進(jìn)行分析處理時(shí)，常用“預(yù)加重技術(shù)”，目的提升信號(hào)的高頻部分，使信號(hào)的頻譜更加平坦，方便信號(hào)的分析1 。 即，語音信號(hào)通過一個(gè)一階高通濾波器： H(z) = 1 z1其中， = 0.9375 。 設(shè)n時(shí)刻的語音采樣值為x(n) ，經(jīng)過預(yù)加重處理后的結(jié)果為： y(n) = x(n) x(n 1) ， 基于上述描述，利用Matlab對(duì)分幀后的語音信號(hào)做預(yù)加重處理，預(yù)加重后語音信號(hào)的波形，如圖5所示（具體程序見附錄7.3）。 圖 5 預(yù)加重后語音信號(hào)波形圖 4.2 問題一的模型建

14、立與求解 4.2.1 端點(diǎn)檢測(cè)建模 所謂端點(diǎn)檢測(cè)2 ,就是從一段給定的語音信號(hào)中找出語音的起始點(diǎn)和結(jié)束 點(diǎn)。在語音識(shí)別系統(tǒng)中,正確、有效地進(jìn)行端點(diǎn)檢測(cè)不僅可以減少計(jì)算量和縮短處理時(shí)間,而且能排除無聲段的噪聲干擾、提高語音識(shí)別的正確率。 語音信號(hào)一般可分為無聲段、清音段、濁音段。通常利用短時(shí)能量來檢測(cè)濁音，用過零率來檢測(cè)清音，兩者配合實(shí)現(xiàn)可靠的端點(diǎn)檢測(cè)。端點(diǎn)檢測(cè)算法常用的是由語音能量和過零率組合的“雙門限法檢測(cè)法”。 基于上述描述和端點(diǎn)檢測(cè)算法，本文從以下兩個(gè)步驟進(jìn)行建模分析： Step1：利用公式分別編程計(jì)算“實(shí)驗(yàn) 1.wav”語音信號(hào)的短時(shí)能量、短時(shí)過零率。 為了簡化模型計(jì)算，我們采用矩形窗

15、對(duì)語音信號(hào)做加窗分幀處理。 (1) 短時(shí)能量：由 4.1（2）可得語音波形時(shí)域信號(hào)加窗分幀處理后得到第n幀語音信號(hào)為s (n) ，那么第n幀語音信號(hào)的短時(shí)平均能量E 為： N12E = s (n)m=0其中，N 為幀長。 (2) 短時(shí)過零率：一幀語音中語音信號(hào)波形穿過橫軸的次數(shù)。它可以用來區(qū)分清音和濁音。語音信號(hào)s (n) 的短時(shí)過零率Z 為： Z = 1 N1 sgns (n) sgns (n 1)2 m=0w其中， sgnx = 11(x 0)(x 0)，N 為幀長。 Step2：基于E與Z的端點(diǎn)檢測(cè)。 結(jié)合數(shù)字信號(hào)相關(guān)理論知識(shí)3 ，我們知道無聲段的短時(shí)能量為零，濁音段的 短時(shí)能量比清音段

16、的短時(shí)能量大，而在過零率方面，無聲段理想情況下過零率為零，清音段的過零率比濁音段的過零率大的多；因此，假設(shè)一段語音，如果某部分語音短時(shí)能量很大或過零率很小，那么認(rèn)為該部分語音為濁音段，如果某部分語音短時(shí)能量很小或過零率很大，那么可以認(rèn)為該部分語音為清音段，其他為無聲段。 表 2 語音段短時(shí)端點(diǎn)檢測(cè) 語音段 短時(shí)能量E短時(shí)過零率Z判斷 無聲段 清音段濁音段 0很小很大 0很大很小 理想情況下，兩者均為零 短時(shí)能量很小或過零率很大短時(shí)能量很大或過零率很小 為了避免在誤判以及無聲段過零率過大，在利用 Matlab 軟件進(jìn)行分析時(shí)， 我們?cè)O(shè)置短時(shí)能量最高門限 amp1=10，短時(shí)能量最低門限 amp2

17、=2，過零率最高門限 zcr1=10，過零率最低門限 zcr2=5。 根據(jù)上述理論，本文通過 Matlab 軟件對(duì)名為“實(shí)驗(yàn) 1”的 wav 文件進(jìn)行端點(diǎn)檢測(cè)。首先我們?cè)O(shè)置幀長 FrameLan 為 200，幀移 FrameInc 為 100 等其他參數(shù)的值，然后過零計(jì)算，最后計(jì)算短時(shí)能量。其分析結(jié)果如圖 6 所示。具體 Matlab程序見附錄 7.4 8 。 圖 6“實(shí)驗(yàn) 1.wav”的短時(shí)能量和過零率 4.2.2 特征提取建模 語音特征提取4 就是用較少的維數(shù)來表示人語音信息的特征。常用的語音特 征包括發(fā)生器的譜包絡(luò)、基音、共振峰等；還有基于聲道特征模型，通過線性預(yù)測(cè)分析得到的參數(shù)，比如線

18、性預(yù)測(cè)系數(shù)( LPC)、線性預(yù)測(cè)倒譜系數(shù)( LPCC)等； 還有基于人耳的聽覺機(jī)理，反映聽覺特性，模擬人耳對(duì)聲音頻率感知的特征參數(shù)， 如梅爾倒譜系數(shù)(MFCC)等。 LPCC是基于發(fā)音模型建立的， LPCC也是一種基于合成的參數(shù)，這種參數(shù) 沒有充分利用人耳聽覺的特性，實(shí)際上，人的聽覺系統(tǒng)是一個(gè)特殊的非線性系統(tǒng)， 它響應(yīng)不同頻率信號(hào)的靈敏度是不同的，基本上是一個(gè)對(duì)數(shù)關(guān)系。文獻(xiàn)資料5 表明MFCC參數(shù)能夠比LPCC參數(shù)更好地提高系統(tǒng)的識(shí)別性能。 基于相關(guān)理論知識(shí)及上述描述，我們選取Mel倒譜系數(shù)( MFCC)進(jìn)行特征參數(shù)提取的建模分析，其計(jì)算步驟如下： Step1：首先確定每一幀語音采樣序列的點(diǎn)數(shù)

19、，本實(shí)驗(yàn)取N = 256 。對(duì)每幀序 列s(n) 進(jìn)行預(yù)加重處理后再經(jīng)過離散傅里葉變換( DFT)，得到離散頻譜S(n) ； N1S (k) =x(n)en=0j 2nkN ,( 0 k N)其中， x(n) 為輸入語音信號(hào)，即“實(shí)驗(yàn) 1.wav”語音信息。 Step2：計(jì)算S(n) 的通過M 個(gè)Hm(n) 后所得的功率值，即計(jì)算S(n) 和Hm(n)在離散頻率點(diǎn)上乘積之和，得到M 個(gè)參數(shù)Pm； P (k) =N1 S (k) 2 H (k) ,( 0 m M 1 )m m k=0為了簡化模型，本文將三角濾波器簡化為6 ： k0f(m 1)k f(m+ 1)0Step3：計(jì)算Pm的自然對(duì)數(shù)，得

20、到Lm ； Lm = ln(Pm)Step4：對(duì)Lm 計(jì)算離散余弦變換( DCT )，得到Dm； N1Dm =Lmcos(m=0 n(m 0.5)MStep5：舍棄代表直流成分的D0 ，取得D0 , D1 LDk 作為MFCC參數(shù)。 取 對(duì) 數(shù) DFT去 直 流 參 數(shù) MFCC為了直觀的表示MFCC參數(shù)的計(jì)算流程，我們做如圖 7 所示的計(jì)算框圖。 預(yù) 加 重 處 理 s(n)Hm(n)功 率 和 Pm功 率 譜 S(n)DCTLmDm圖 7 MFCC參數(shù)計(jì)算框圖 首先，我們基于相關(guān)信號(hào)處理技術(shù)，做水平方向是時(shí)間軸，垂直方向是頻率軸， 圖上的灰度條紋代表各個(gè)時(shí)刻的語音短時(shí)譜的“實(shí)驗(yàn) 1.wav

21、”的語譜圖。語譜圖反映了語音信號(hào)的動(dòng)態(tài)頻率特性，在語音分析中具有重要的實(shí)用價(jià)值。被成為可視 語言。 如圖 8 所示。 圖 8 “實(shí)驗(yàn) 1.wav”語譜圖 然后，基于圖 7 所示的計(jì)算流程，本文利用 Matlab 對(duì)“實(shí)驗(yàn) 1.wav”語音文件特征參數(shù)MFCC提取，編程過程中，我們?cè)O(shè)采樣率 fs為 8000KHz，置濾波器的個(gè)數(shù)M 為 24，一幀語音信號(hào)的點(diǎn)數(shù)N 選取常數(shù) 256。 我們得到MFCC參數(shù)值與幅值的關(guān)系以及維數(shù)與幅值得關(guān)系，如圖 9 所示。 圖 9 MFCC參數(shù)值 進(jìn)一步分析，按照本文MFCC參數(shù)提取算法，其中x軸為倒譜系數(shù)維數(shù)、 y軸為語音分析幀數(shù)、z軸為倒譜值，其MFCC參數(shù)值

22、如圖 10 所示（具體程序見附錄 7.5）。 4.2.3 模式識(shí)別模型 圖 10 MFCC參數(shù)值 語音信號(hào)識(shí)別常用的方法有概率統(tǒng)計(jì)方法，動(dòng)態(tài)時(shí)間歸整方法(DTW)，矢量量化方法(VQ)，隱馬爾科夫模型方法(HMM),人工神經(jīng)網(wǎng)絡(luò)方法(ANN)等4 。 DTW 算法是較早的一種模式匹配和模型訓(xùn)練方法，它應(yīng)用動(dòng)態(tài)規(guī)劃方法成功解決了語音信號(hào)特征序列比較時(shí)時(shí)長不等的難題，在孤立詞語音識(shí)別中效果好；HMM 模型對(duì)動(dòng)態(tài)時(shí)間有極強(qiáng)的建模能力，一般用于非特定人、大量詞匯、連續(xù)語音的識(shí)別，但其分類決策能力弱，需要語音信號(hào)的先驗(yàn)統(tǒng)計(jì)；而人工神經(jīng)網(wǎng)絡(luò)具有比較好的分類能力。因此本文選取人工神經(jīng)網(wǎng)絡(luò)(ANN)法對(duì)語音信

23、號(hào)進(jìn) 行模式識(shí)別匹配7 。 1. 人工神經(jīng)網(wǎng)絡(luò)理論知識(shí) (1) BP 神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 輸 入 層輸 出 層隱 含 層 圖 11 三層 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是指神經(jīng)元之間的互連結(jié)構(gòu)。BP 神經(jīng)網(wǎng)絡(luò)采用的是并行網(wǎng)格結(jié)構(gòu)，包括輸入層、隱含層和輸出層、經(jīng)作用函數(shù)后，再把隱節(jié)點(diǎn)的輸出信號(hào)傳遞到輸出節(jié)點(diǎn)，最后給出輸出結(jié)果。圖 11 是一個(gè)三層的 BP 網(wǎng)絡(luò)結(jié)構(gòu)。 (2) 反向傳播算法 這個(gè)算法共分為兩個(gè)階段，其一正向輸入信息，在輸入層經(jīng)隱含層逐層計(jì)算各個(gè)單元的輸出值； netj = wijOiOj = (netj )第二階段，即反向傳播過程，輸出誤差，逐層向前算出隱含層各個(gè)單元的誤差

24、， 并用此誤差修正前層誤差。 (yjj y )2E = j22. 基于神經(jīng)網(wǎng)絡(luò)的語音識(shí)別 在上述神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)知識(shí)上，本文建立神經(jīng)網(wǎng)絡(luò)模型對(duì)語音信號(hào)做模式識(shí)別。其具體模型建立流程，如圖 12 所示。 輸 出神 經(jīng) 網(wǎng) 絡(luò)分 類 器 語 音 規(guī) 整輸 入 語 音 特 征提 取 神經(jīng)網(wǎng)絡(luò)語音識(shí)別 圖 12 基于神經(jīng)網(wǎng)絡(luò)的語音識(shí)別 因?yàn)檎Z音信號(hào)具有很強(qiáng)的隨機(jī)性，為了便于神經(jīng)網(wǎng)絡(luò)分類器對(duì)不同語音的特征進(jìn)行分類識(shí)別，需要對(duì)不同的語音提取相同數(shù)目特征矢量。 文獻(xiàn)7 中提供的語音規(guī)整的方法為是：將由語音信號(hào)所提取的特征向量，從第一幀到第N 幀結(jié)束，計(jì)算每相鄰兩個(gè)幀之間的距離，查找距離最小的兩個(gè)幀， 將其對(duì)

25、應(yīng)的各個(gè)系數(shù)歸一化成一組系數(shù)，也就是計(jì)算查找參數(shù)D(k)： MZH(k,i) ZH(k + 1,i) 2i=1D(k) =其中， D(k) 為第k幀到第k + 1幀之間的距離， k為幀號(hào)， M 為濾波器個(gè)數(shù)， ZH(k,i) 為特征向量矩陣的第k行第i列元素 當(dāng)找到了第k1 幀和弟k1 + 1幀之間的距離最小時(shí),即按下式將其歸整成兩幀的平均： ZH(k1,i) = ZH(k1,i)+ ZH(k1+ 1,i) （其中，i = 1,2,3 2L M ）. 結(jié)合語音規(guī)整的算法，首先本文利用 Matlab 編寫 guizheng 函數(shù)7 （具體程 序見附錄 7.6），對(duì)實(shí)驗(yàn)語音信號(hào)做規(guī)整處理，取規(guī)整后

26、前 8 行特征向量作為輸出結(jié)果。規(guī)整后特征參數(shù)值如下為 8 行 24 列的矩陣： 10.9287-27.5082-5.595720.72792.8172-14.7039-3.4642-7.6500-11.11260.48211.4543-0.88976.5089-8.0687-1.107913.0823-2.8825-1.23492.9571-3.9108-8.50130.90080.8037-0.44134.7474-17.0782-2.458813.62232.3440-3.37673.7078-4.6214-7.48100.64881.2391-0.68240.719414.58128.

27、0984-0.28869.43398.97242.13731.82004.07770.65761.34020.33536.3939-4.40085.766413.258512.25874.26843.5594-1.3319-3.34430.51902.3998-0.43269.057323.966115.29921.347813.43737.1815-4.45881.6662-0.13730.00042.57330.834411.44674.42679.763014.592813.46235.54642.8207-3.4750-5.88430.40353.21320.02276.483814.

28、062918.9339-0.14773.25111.4494-5.38896.0082-2.5120-0.17051.36830.158011.04155.249918.988212.351411.38642.9635-0.34052.5416-7.02420.89383.3919-0.1992-8.1637-4.379112.2235-11.4385-9.7034-0.29743.898924.02063.00201.5539-2.0613-0.99200.7950-0.688822.78136.14767.46721.28079.685419.7158-2.52181.21211.3463

29、-1.4083-12.3058-16.6024-1.1556-26.0227-21.035112.25612.310031.15886.60654.0805-5.2421-0.5402-0.7404-5.134117.9579-8.2207-2.741110.11183.206330.4697-0.92813.8011-0.7007-0.8042-9.2579-12.3163-8.8146-26.3730-18.155113.45813.670114.12065.46633.3255-4.84540.4390-0.8366-12.096315.2941-16.3124-10.543617.94

30、210.474632.5788-0.93555.4776-2.2836-0.4781-5.1605-17.2410-7.6056-6.3285-13.263011.11621.3383-0.76674.67163.1528-3.59960.8221然后，對(duì)待識(shí)別語音信號(hào)做語音規(guī)整，得到相應(yīng)的特征參數(shù)矩陣； 最后，通過 Matlab 編寫 bp 函數(shù)（具體程序見附錄 7.7），對(duì)規(guī)整后的語音信息參數(shù)值做模式識(shí)別。 4.3 問題二的模型建立與求解 理解問題描述我們得到：手機(jī)運(yùn)營商想利用語音機(jī)器人作為客服，處理查詢?cè)捹M(fèi)余額、查詢套餐余量、查詢最新優(yōu)惠活動(dòng)等，只要用戶錄制一段語音發(fā)送給手機(jī)運(yùn)營商的客服

31、機(jī)器人，機(jī)器人通過語音的內(nèi)容完成應(yīng)答。其中不需要考慮斷句以及返回給用戶的形式。 本文利用軟件工程中“系統(tǒng)”的概念，結(jié)合上述描述，提出“語音識(shí)別系統(tǒng)”。 并將上面的描述作為“語音識(shí)別系統(tǒng)”的需求分析，結(jié)合 4.2 中語音識(shí)別的各個(gè)環(huán)節(jié)， 我們將端點(diǎn)檢測(cè)、特征提取、語音識(shí)別作為該系統(tǒng)的三個(gè)子模塊。利用軟件工程中 面向?qū)ο?OOD)的分析方法，用戶是實(shí)體，三個(gè)子模塊是服務(wù)，用 UML 畫出該系統(tǒng)的順序圖，如圖 13 所示。 消 息 1預(yù)處理后的語音 表征語音的參數(shù) 返回識(shí)別信息 返回識(shí)別信息 語 音 識(shí) 別特 征 提 取端 點(diǎn) 檢 測(cè)圖 13 “語音識(shí)別系統(tǒng)”順序圖 結(jié)合軟件工程中面向?qū)ο?OOD)

32、的分析方法，本文對(duì)“語音識(shí)別系統(tǒng)”建立動(dòng)態(tài)模型。動(dòng)態(tài)模型9 建立過程簡化如下： Step1：關(guān)系類設(shè)計(jì)。 根據(jù)前面系統(tǒng)的需求分析描述，我們?cè)O(shè)計(jì)系統(tǒng)用例如下： 表 3 “語音識(shí)別系統(tǒng)”系統(tǒng)用例 參與者 用例名稱用例說明 機(jī)器人（Robort） UC01 端點(diǎn)檢測(cè)對(duì)用戶語音預(yù)處理 UC02 特征提取提取用戶語音特征參數(shù) UC03 語音識(shí)別與系統(tǒng)內(nèi)語音進(jìn)行模式匹配 在解決本問題的過程中，不需要邊界類和控制類。因此，在這里我們省略了系統(tǒng)邊界類和控制類的設(shè)計(jì)過程。 Step2：用例描述 針對(duì)需求描述和 4.3 中語音識(shí)別各個(gè)環(huán)節(jié)的分析過程，本文對(duì)“語音識(shí)別系統(tǒng)”做以下描述。 具體用例描述，如表 4 所示

33、。 表 4 語音識(shí)別用例描述 用例名稱：語音識(shí)別執(zhí)行者：機(jī)器人 1.1 前置條件：用戶語音特征參數(shù)已存入系統(tǒng)數(shù)據(jù)庫中。 1.2 后置條件： 如果此用例執(zhí)行成功，返回用戶需求信息；如果執(zhí)行不成功，系統(tǒng)狀態(tài)不變。 1.3 主流 1） 當(dāng)機(jī)器人接收到用戶語音的特征參數(shù)時(shí)，此用例開始； 2） 將用戶語音特征參數(shù)與系統(tǒng)語音參數(shù)逐一匹配。（E-1） 3） 系統(tǒng)返回語音識(shí)別信息。 1.4 備選流 E-1：若語音匹配不成功，返回失敗信息。 Step3：根據(jù)用例描述，繪制順序圖。 根據(jù)上面的分析方法，并參考用戶操作手冊(cè)編寫規(guī)范10 。本文為手機(jī)運(yùn)營商指定的用戶操作規(guī)則如下： 表 5 用戶操作規(guī)則 使用 者 擁有

34、該手機(jī)運(yùn)營商業(yè)務(wù)的手機(jī)用戶 操作要求 用戶錄制的語音能正常分析，噪聲不大 1用戶登錄微信 操 作 2通過微信錄制一段清晰連續(xù)的需求錄音。 如果是查詢?cè)捹M(fèi)余額，錄音內(nèi)容應(yīng)為“查詢?cè)捹M(fèi)余額”或者數(shù)字“1”的讀音； 如果是套餐余量查詢，錄音內(nèi)容應(yīng)為“查詢套餐余量”或者數(shù)字“2”的讀音； 規(guī)則如果是最新優(yōu)惠活動(dòng)查詢，錄音內(nèi)容應(yīng)為“查詢優(yōu)惠”或者數(shù)字“3”的讀音； 如果是其他業(yè)務(wù)，錄音內(nèi)容為“其他”或者數(shù)字“4”的讀音； 備選事物 3 選擇接收方 4 點(diǎn)擊發(fā)送給客服 如果用戶錄音內(nèi)容與操作規(guī)則中差別較大，系統(tǒng)會(huì)自動(dòng)回復(fù)“操作有誤”等信息。 4.4 問題三的模型建立與求解 根據(jù)問題 3 的分析，并結(jié)合 4

35、.3 中制定的用戶操作規(guī)則，本文設(shè)計(jì)如下實(shí)驗(yàn)以驗(yàn)證語音識(shí)別模型。 1. 實(shí)驗(yàn)設(shè)計(jì) 設(shè)計(jì)實(shí)驗(yàn)如下：分別錄制 10 段語音將其中兩段作為標(biāo)準(zhǔn)樣本，另外八段語音作為測(cè)試樣本，語音內(nèi)容為“查詢?cè)捹M(fèi)余額”、“1”、“這是什么”、“數(shù)學(xué)建?！?； 然后對(duì)測(cè)試樣本的語音信號(hào)進(jìn)行波形分析、端點(diǎn)檢測(cè)、MFCC 參數(shù)提取；最后將測(cè)試樣本與標(biāo)準(zhǔn)樣本驚醒模式匹配，并分析實(shí)驗(yàn)結(jié)果。 本實(shí)驗(yàn)中，實(shí)驗(yàn)編號(hào)與實(shí)驗(yàn)樣本對(duì)應(yīng)，如表 6 所示。 表 6 測(cè)試語音樣本 實(shí)驗(yàn)編號(hào) 實(shí)驗(yàn)內(nèi)容 1查詢?cè)捹M(fèi)余額（標(biāo)準(zhǔn)） 2查詢?cè)捹M(fèi)余額（測(cè)試 1） 3查詢?cè)捹M(fèi)余額（測(cè)試 2） 4查詢?cè)捹M(fèi)余額（測(cè)試 3） 51（標(biāo)準(zhǔn)） 61（測(cè)試 1） 71（測(cè)

36、試 281（測(cè)試 3） 9這是什么（測(cè)試 1） 10數(shù)學(xué)建模（測(cè)試 2） 2. 實(shí)驗(yàn)過程及模型驗(yàn)證 結(jié)合 4.2 中的建模過程，本文從以下幾個(gè)步驟進(jìn)行實(shí)驗(yàn)驗(yàn)證。 Step1：根據(jù)語音樣本的波形初步分析； 首先通過 Matlab 軟件中 wavrecord 函數(shù)錄制測(cè)試樣本，然后繪制各個(gè)樣本的波形。樣本波形如圖 14、圖 15、圖 16 所示。 圖 14 “查詢?cè)捹M(fèi)余額”樣本波形 圖 14 “1”樣本波形 圖 15 其他語音波形圖 Step2：分別對(duì)語音樣本進(jìn)行端點(diǎn)檢測(cè)，并提取其 MFCC 特征參數(shù)。 圖 16 MFCC 參數(shù) 以上分別是第一部分實(shí)驗(yàn)中樣本 1、樣本 2、樣本 3、樣本 4 的

37、MFCC 參數(shù)。從圖像變化態(tài)勢(shì)及我們可以初步分析樣本 4 與樣本 1 匹配。 Step3：利用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行模式匹配，并分析語音識(shí)別模型正確率。設(shè) 模型識(shí)別正確率用r表示、待測(cè)養(yǎng)樣本總數(shù)為n、語音樣本匹配正確數(shù)為m，那么： mr = 100%n在這里我們利用 4.3 中由 Matlab 編寫的 bp 函數(shù)（具體程序見附錄 7.7）,對(duì)測(cè)試樣本進(jìn)行語音識(shí)別，最終識(shí)別結(jié)果如下表所示： 表 6 識(shí)別結(jié)果 測(cè)試樣本 識(shí)別結(jié)果 理想結(jié)果 2013114116557158559551000由上表可知，模型的識(shí)別準(zhǔn)確率r = 75% 。 5. 模型的評(píng)價(jià)及推廣 5.1 模型的評(píng)價(jià) 模型的優(yōu)點(diǎn)：(1)本文分

38、別對(duì)語音識(shí)別的各個(gè)環(huán)節(jié)建模分析，對(duì)于端點(diǎn)檢測(cè)采用“雙門限檢測(cè)法”、對(duì)于特征提取采取 MFCC 參數(shù)表征、對(duì)于模式識(shí)別采用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行建模，方法明確、思路清晰。 (2)充分利用 Matlab 編程軟件， 編寫了大量的程序?qū)栴}進(jìn)行分析，結(jié)果真實(shí)準(zhǔn)確。(3)使用圖表呈現(xiàn)計(jì)算結(jié)果， 一目了然，真實(shí)準(zhǔn)確。 (4)模型驗(yàn)證階段設(shè)計(jì)了試驗(yàn)說明，論文的實(shí)踐性較強(qiáng)。 模型的缺點(diǎn)：(1)語音模式匹配環(huán)節(jié)，為了更好地利用神經(jīng)網(wǎng)絡(luò)算法，本文對(duì)語音特征參數(shù)進(jìn)行規(guī)整，舍棄了部分?jǐn)?shù)據(jù)，對(duì)識(shí)別精度對(duì)造成影響。(2)對(duì)語音特征參數(shù) MFCC 數(shù)據(jù)的挖掘有待加強(qiáng)。 5.2 模型的推廣 人工神經(jīng)網(wǎng)絡(luò)(Artificial N

39、eural Networks, ANN)是由大量結(jié)構(gòu)簡單的神經(jīng)元相互連接，模擬人類大腦神經(jīng)系統(tǒng)處理信息的方式，對(duì)輸入信息進(jìn)行并行處理和非線性映射的網(wǎng)絡(luò)系統(tǒng)。 本文利用神經(jīng)網(wǎng)絡(luò)算法解決模式識(shí)別問題，所以該算法可以應(yīng)用到關(guān)于識(shí)別的問題當(dāng)中，比如語音特征信號(hào)的分類，人臉朝向識(shí)別等問題。 6. 參考文獻(xiàn) 1 付麗輝，語音識(shí)別關(guān)鍵性技術(shù)的 Matlab 仿真實(shí)現(xiàn)，儀器儀表用戶，17(3)： 31 至 33，2010.2 張震宇，基于 Matlab 的語音端點(diǎn)檢測(cè)實(shí)驗(yàn)研究，浙江科技學(xué)院學(xué)報(bào)，19(3)： 197 至 201，2007.3 張仁志，基于短時(shí)能量的語音端點(diǎn)檢測(cè)算法研究，語音技術(shù)，34(6)：5

40、2 至 54，2005.4 趙力，語音信號(hào)處理，北 械工業(yè)，20035 張晶，范明，馮文全，董金明，基于 MFCC 參數(shù)的說話人特征提取算法的改進(jìn)，語音技術(shù)，32(7)：76 至 78，2001.6王讓定，柴佩琪，語音倒譜特征的研究，計(jì)算機(jī)工程，29(13)：31 至 33，2003.7 詹新明，楊燦，基于 Matlab 和 BP 網(wǎng)絡(luò)的語音識(shí)別系統(tǒng)，微計(jì)算機(jī)信息，25(9)： 176 至 178，2009.8 何強(qiáng)，何英，Matlab 擴(kuò)展編程，北京：清華大學(xué)，2002.9 鄭人杰，馬素霞，殷人民，軟件工程概論，北械工業(yè)，2009.10 用戶手冊(cè)編寫規(guī)范，百度文庫，http:/wenku.b

41、/view/81fc4d61ddccda38376bafe4.html7. 附錄 7.1 語音信息采集 Matlab 源程序 %語音信號(hào)采集 n=5*8000; %采樣總點(diǎn)數(shù) 40000，采樣頻率 8KHz，單聲道，16 位采樣精度 fs=8000;ch=1; y=wavrecord(n,fs,ch,double) plot(y)；%語音信號(hào)波形 wavwrite(y,實(shí)驗(yàn) 1.wav)%把分析樣本保存為實(shí)驗(yàn) 1.wav文件 %語音信號(hào)波形x,fs,nbit=wavread(實(shí)驗(yàn) 1.wav); plot(x)； titile(原始語音波形圖) xlabel(time) yla

42、bel(amplitude)7.2 語音信息分幀加窗 Matlab 源程序 %語音信號(hào)加幀x,fs,nbit=wavread(實(shí)驗(yàn) 1.wav); len=200;% 指 定 幀 長inc=100;%指定幀移 y=enframe(x,len,inc);%分幀函數(shù)，x 為輸入語音信號(hào) figure; subplot(2,1,1),plot(x) title(語音信號(hào)分幀前) xlabel(time) ylabel(amplitude)grid subplot(2,1,2),plot(y) title(語音信號(hào)分幀后) xlabel(time) ylabel(amplitude)grid%利用 w

43、indow 函數(shù)設(shè)計(jì)窗口為 120 的漢明窗 N=120;%窗口長度 120 w = window(hamming,N);wvtool(w)%利用 wvtool 函數(shù)觀察其時(shí)域波形圖及頻譜特性 %語音信號(hào)分幀加窗x,fs,nbits=wavread(實(shí)驗(yàn) 1.wav); x1=enframe(x,200,100); x2=enframe(x,hamming(200),100); subplot(2,1,1),plot(x1)title(分幀后未添加漢明窗波形圖) gridsubplot(2,1,2),plot(x2)title(分幀且添加漢明窗后波形圖) grid7.3 語音信息預(yù)加重 Mat

44、lab 源程序 %語音信號(hào)預(yù)加重x,fs,nbit=wavread(實(shí)驗(yàn) 1.wav); len=200;inc=100;y=enframe(x,len,inc);%語音信號(hào)通過一個(gè)高通濾波器 1-0.935(-1) z=filter(1-0.9375,1,y);figure(2)subplot(2,1,1),plot(y)%加重前title(語音信號(hào)預(yù)加重前);gridsubplot(2,1,2),plot(z)%加重后title(語音信號(hào)預(yù)加重后);grid7.4 語音信息端點(diǎn)檢測(cè) Matlab 源程序 %語音信號(hào)端點(diǎn)檢測(cè) %讀取文件名為實(shí)驗(yàn) 1 的 wav 文件 y,fs,nbits=w

45、avread(實(shí)驗(yàn) 1.wav);%設(shè)置參數(shù) FrameLen=200;% 幀 長 200 FrameInc=100;% 幀 移 100 amp1=10;%初始短時(shí)能量高限制amp2=2;%初始短時(shí)能量最低限制zcr1=10;%初時(shí)過零率最高限制zcr2=5;%初始過零率最低限制maxsilence=8;%語音信息段中最大的靜音長度； %如果語音信息段中的靜音幀數(shù)沒有超過最大靜音長度，那么我們認(rèn)為語音還沒有結(jié)束； %如果超過了改值，那么對(duì)語音信息長度 count 進(jìn)行判斷，如果 countminlen,那么認(rèn)為語音段結(jié)束了。 minlen=15;%語音段的最短長度，若語音段長度小于此值，則認(rèn)為

46、其為一段噪音 status=0;%初始化語音段狀態(tài)為 0； count=0;%初始化語音長度為 0； silence=0;%初始化靜音段長度為 0； %計(jì)算過零率 tmp1=enframe(y(1:end-1),FrameLen,FrameInc);%對(duì)語音信號(hào)分幀處理tmp2=enframe(y(2:end),FrameLen,FrameInc);signs=(tmp1.*tmp2)0.02; zcr=sum(signs.*diffs, 2);%計(jì)算短時(shí)能量 amp=sum(abs(enframe(filter(1 -0.9375,1,y),FrameLen,FrameInc),2);% 先

47、 預(yù)加重處理，通過高通濾波器，然后進(jìn)一步計(jì)算。 %調(diào)整能量門限 amp1 = min(amp1, max(amp)/4); amp2 = min(amp2, max(amp)/8);%進(jìn)行端點(diǎn)檢測(cè)y1 = 0;y2 = 0;for n=1:length(zcr) goto = 0; switch statuscase 0,1% 0=靜音, =可能開始if amp(n) amp1% 確信進(jìn)入語音段 x1 = max(n-count-1,1); status= 2;silence = 0;count= count + 1;elseif amp(n) amp2 | . % 可能處于語音段 zcr(n

48、) zcr2 status = 1;count= count + 1;else% 靜音狀態(tài) status= 0;count= 0;end case 2,% 2 = 語音段if amp(n) amp2 | .% 保持在語音段 zcr(n) zcr2 count = count + 1;else% 語音將結(jié)束 silence = silence+1;if silence maxsilence % 靜音還不夠長，尚未結(jié)束 count= count + 1;elseif count minlen% 語音長度太短，認(rèn)為是噪聲 status= 0;silence = 0;count= 0;elsestat

49、us= 3;% 語音結(jié)束 end case 3,endendendbreak;count = count-silence/2; y2 = y1 + count -1; figure(5)subplot(311) plot(y)gridaxis(1 length(y) -1 1)%調(diào)整坐標(biāo)ylabel(信號(hào)波形);line(y1*FrameInc y1*FrameInc, -1 1, Color, red);line(y2*FrameInc y2*FrameInc, -1 1, Color, red); subplot(312)plot(amp); gridaxis(1 length(amp) 0 max(amp)%調(diào)整坐標(biāo)ylabel(短時(shí)能量);line(y1 y1, min(amp