甚卡語爵結(jié)構(gòu)化模型的連續(xù)數(shù)一語爵識別摘要 基于語音結(jié)構(gòu)化模型的連續(xù)數(shù)字語音識別 摘要 漢語連續(xù)數(shù)字語音識別在現(xiàn)實(shí)中具有非常廣泛的應(yīng)用前景，在電話與電信系統(tǒng)的 自動語音撥號、身份證號碼證實(shí)、智能家電中用于電視頻道和空調(diào)溫度的遙控等多方 面都有著重要的應(yīng)用價(jià)值。 漢語連續(xù)數(shù)字語音識別是語音識別中的一個(gè)重要分支，其主要難點(diǎn)在于，首先不 確定數(shù)字串的長度，很難準(zhǔn)確判別連續(xù)數(shù)字串中的字間邊界：其次連續(xù)數(shù)字串中的數(shù) 字是任意組合的，沒有可以借鑒的語法知識；再有漢語數(shù)字自身的發(fā)音特點(diǎn)導(dǎo)致識別 困難，如：數(shù)字語音間的混淆程度高，漢語連續(xù)數(shù)字串中各個(gè)數(shù)字的協(xié)同發(fā)音現(xiàn)象較 嚴(yán)重等。此外，語音通信中不可避免地會受到說話人差異、線路干擾、環(huán)境噪聲等的 影響，引起信號失真，導(dǎo)致識別系統(tǒng)的魯棒性相當(dāng)脆弱。 本課題研究主要包括兩個(gè)方面： ( 1 ) 采用全局聲學(xué)結(jié)構(gòu)描述的連續(xù)數(shù)字語音識別。依據(jù)描述語音內(nèi)在關(guān)系的、 對傳輸和處理過程中的線路噪聲和 兌話人變化具有魯棒性的全局聲學(xué)結(jié)構(gòu)a u s ，提 出適合于連續(xù)數(shù)字語音識別的雙層結(jié)構(gòu)化語音模型匹配策略，在沒有可以借鑒的語法 知識情況下，不需要大量的訓(xùn)練模板，只要使用較少的單個(gè)數(shù)字語音訓(xùn)練數(shù)據(jù)就可以 實(shí)現(xiàn)任意長度的連續(xù)數(shù)字語音識別，且不需要充分的訓(xùn)練語料和通用的信道歸一化技 術(shù)，解決目前語音識別和連續(xù)數(shù)字語音識別中存在的說話人差異性等的魯棒性問題。 ( 2 ) 采用直方圖均衡的語音識別魯棒性研究。在語音識別中，加性噪聲也是導(dǎo) 致系統(tǒng)性能下降的重要原因。直方圖均衡化方法是一種非線性補(bǔ)償變換技術(shù)，較傳統(tǒng) 的基于線性變換技術(shù)的抗噪聲方法進(jìn)一步提高了系統(tǒng)的魯棒性。但實(shí)際識別系統(tǒng)中， 除了噪聲引起語音特征的非線性失真外，還存在訓(xùn)練和測試數(shù)據(jù)的語音特征類分布不 一致問題，從而難以保證傳統(tǒng)的直方圖均衡化方法發(fā)揮其優(yōu)勢。本文提出一種基于特 征分類的直方圖均衡化方法，實(shí)驗(yàn)結(jié)果表明，低信噪比時(shí)無論在平穩(wěn)噪聲還是非平穩(wěn) 噪聲環(huán)境下，與傳統(tǒng)的直方圖均衡化方法相比都進(jìn)一步增強(qiáng)了識別系統(tǒng)的魯棒性。 關(guān)鍵詞：漢語連續(xù)數(shù)字語音識別，全局聲學(xué)結(jié)構(gòu)，直方圖均衡化，特征分類 作者：姜瑩 指導(dǎo)老師：俞一彪 c o n n e c t e dd i g i ts p e e c hr e c o g n i t i o nb a s e d o nt h ea c o u s t i cu n i v e r s a ls t r u c t u r e a b s t r a c t c o n n e c t e dd i g i ts p e e c hr e c o g n i t i o nh a sw i d ea p p l i c a t i o ni no u r d a i l yl i f e ，s t l c ha s s p e e c ha u t o d i a l e ri n t e l e p h o n e a n dt e l e c o m m u n i c a t i o n s s y s t e m s ，p e r s o n a ln u m b e r v e r i f i c a t i o n ，i n t e l l i g e n c eh o m ea p p l i a n c e s r e m o t ec o n t r o lf o ra i r c o n d i t i o n i n ga n d t e l e v i s i o nc h a n n e l ，e t c c o n n e c t e dd i g i t s p e e c hr e c o g n i t i o n i sac r u c i a lb r a n c ho fc o n t i n u o u s s p e e c h r e c o g n i t i o n t h ef o l l o w i n ga r et h ed i f f i c u l t i e st h a tc o n n e c t e dd i g i t ss p e e c hr e c o g n i t i o ni s f a c i n g ：f i r s t ，i t su n c e r t a i na b o u tt h el e n g t ho fc o n n e c t e dd i g i t sa n dd i f f i c u i tt od e t e n n i n e t h e b o u n d a r yo fe a c hd i g i tu n i ta c c u r a t e l y ；s e c o n d ，c o n n e c t e d d i g i ts t r i n g s 鋤et h e c o m b i n a t i o no fd i g i t sw i t h o u ta n yl i m i t a t i o na n d g r a m m a t i c a lk n o w l e d g e ；t h i r d ，t h ed i g i t s p e e c hp r o n u n c i a t i o nh a si t so w n c h a r a c t e r i s t i c s ，f o re x a m p l e ，h i g hd e g r e eo fc o n 如s i o n b e t w e e ns o m ed i g i t s ，t h ep h e n o m e n o no fc o a r t i c u l a t i o na n ds o o n i na d d i t i o n ，s p e e c h a c o u s t i c si s i n e v i t a b l yd i s t o r t e db yn o n l i n g u i s t i cf e a t u r e s a l lt h e s ef a c t o r sm a k et h e p e r f o r m a n c eo ft h er e c o g n i t i o ns y s t e mp o o r t h i sp a p e rm a i n l yf o c u s e so nt w o a s p e c t s ： ( 1 ) c o n n e c t e dd i g i ts p e e c hr e c o g n i t i o nb a s e do nt h ea c o u s t i cu n i v e r s a ls t m c t u r e n 一。 l h l sp a p e ra p p l i e dan o v e la c o u s t i cr e p r e s e n t a t i o no fs p e e c ht oc o n n e c t e d d i g i ts p e e c h r e c o g n i t i o n ，c a l l e dt h ea c o u s t i cu n i v e r s a ls t r u c t u r ew h e r et h en o n 1 i n g u i s t i cv a r i a t i o n s s u c ha sv o c a it r a c tl e n g t h ，l i n e s ，n o i s e s ，e t e ，a r ew e l lr e m o v e d ，a n d p r o p o s e dad o u b l e 1 a v e f s t r u c t u r eo fs p e e c hm o d e lm a t c h i n gs t r a t e g y t h er e c o g n i t i o ns y s t e mc a nr e a l i z ev a r i a b l e l e n g t hc o n n e c t e dd i g i tr e c o g n i t i o ni n t h ea b s e n c eo fg r a m m a t i c a lk n o w l e d g e ，a l a r g e n u m b e ro ft r a i n i n g t e m p l a t ea n du n i v e r s a lc h a n n e ln o r m a l i z a t i o n s ot h er o b u s t n e s s p r o b l e mf o rs p e a k e rv a r i a t i o n sw h i c he x i s t si nc u r r e n ts p e e c ha n d c o n n e c t e d d i g i t r e c o g n i t i o ns y s t e mi sw e l ls o l v e d ( 2 ) r o b u s ts p e e c hr e c o g n i t i o nb a s e do nh i s t o g r a me q u a l i z a t i o n t h ea d d i t i v en o i s ei sa l s oa n i m p o r t a n tr e a s o nt h a tw e a k e n st h ep e r f o r m a n c eo f r e c o g n i t i o ns y s t e m c o m p a r i n gw i t hc l a s s i c a lm e t h o d s ，t h eh i s t o g r a me q u a l i z a t i o nc a i l r e d u c en o n - l i n e a rd i s t o r t i o na n di m p r o v et h er o b u s t n e s so fs p e e c h r e c o g n i t i o ns y s t e mq u i t e w e l l h o w e v e ri nm a n ya p p l i c a t i o n s ，t h ef e a t u r ed i s t r i b u t i o nb e t w e e nt r a i n i n ga n dt e s t i l 竺q 璺望! 里! ! 魚! ! ! 墅! 蘭巳! 笪! 墨呈! 旦g ! 里q 墅壘箜曼壘q ! ! ! 蘭壘曼旦墜鯉墮璺! ! ! 豎型墨! 型! 坐堡壘壘! ! 塑 s p e e c hi su s u a l l yn o ti d e n t i c a lb e c a u s eo ft h e i rd i f f e r e n c ei np h o n e t i c so ra c o u s t i c s ，t h e n t h ev a l i d i t yo fh e qc a nb ew e a k e n t h i sp a p e rp r o p o s e dh i s t o g r a me q u a l i z m i o no f c l a s s i f i e df e a t u r e sa l g o r i t h m ，t h ee x p e r i m e n t ss h o wt h a tt h i sm e t h o di m p r o v e st h e p e r f o r m a n c eo fs y s t e mw i t hc o m p a r i s o no fu s u a lh i s t o g r a me q u a l i z a t i o n k e y w o r d s ：c o n n e c t e dd i g i ts p e e c hr e c o g n i t i o n , t h e a c o u s t i cu n i v e r s a ls t r u c t u r e ， h i s t o g r a me q u a l i z a t i o n ，f e a t u r ec l a s s i f i c a t i o n 1 1 1 w r i t t e nb yj i a n gy i n g s u p e r v i s e db yy u y i b i a o 基于語普結(jié)構(gòu)化模型的連續(xù)數(shù)語爵識別 第一章引言 第一章引言 本章概述了語音識別的基本概念和系統(tǒng)分類，并介紹了語音識別的研究現(xiàn)狀，分 析了目前語音識別所面臨的困難。 1 1 語音識別概述 語言是人類特有的功能，也是人類最重要的交際工具。語音是語言的聲學(xué)表現(xiàn)， 是人們構(gòu)成思想疏通和感情交流最主要的途徑，也是人類交流信息最自然、最有效、 最方便的手段。隨著計(jì)算機(jī)技術(shù)同新月異的發(fā)展，人類進(jìn)入了信息化時(shí)代，計(jì)算機(jī)已 經(jīng)應(yīng)用到人們生活的各個(gè)方面，人與人之間的信息交流方式已不局限于面對面的方 式，而是通過各種現(xiàn)代化的通訊設(shè)施在任何時(shí)間任何地點(diǎn)進(jìn)行語音信息交流，如手機(jī)、 電話、計(jì)算機(jī)網(wǎng)絡(luò)以及衛(wèi)星通信等。而如何讓計(jì)算機(jī)智能化地與人進(jìn)行通信是人類長 久以來的夢想，人機(jī)交互變得自然、方便正引起越來越多人的關(guān)注和研究。 語音識別( s p e e c hr e c o g n i t i o n ) 技術(shù)就是指讓機(jī)器“聽懂 人說的話，即在各種 i 情況下，準(zhǔn)確地識別出語音的內(nèi)容，從而根據(jù)其信息，執(zhí)行人的各種意圖。它是一門 涉及面很廣的交叉學(xué)科，與計(jì)算機(jī)、通信、語音語言學(xué)、數(shù)理統(tǒng)計(jì)、信號處理、神經(jīng) 生理學(xué)、神經(jīng)心理學(xué)和人工智能等學(xué)科都有著密切聯(lián)烈。 ( 一) 語音識別系統(tǒng)的分類 語音識別系統(tǒng)按照不同的角度、不同的應(yīng)用范圍、不同的性能要求有不同的分類 【l 】【2 1 ( 1 ) 根據(jù)語音識別詞匯量的大小，可以分為小詞匯、中詞匯和大詞匯量語音識 別系統(tǒng)。一般來說，小詞匯量系統(tǒng)是指能識別l 2 0 詞匯的語音識別系統(tǒng)，中等詞匯 量指2 0 1 0 0 0 個(gè)詞匯、大詞匯量指1 0 0 0 個(gè)以上的詞匯。語音識別系統(tǒng)的識別率一般 會隨著詞匯量的增加而下降。 ( 2 ) 根據(jù)所要識別的對象，可以分為孤立字( i s o l a t e dw o r d ) 、連接詞( c o n n e c t e d w o r d ) 、連續(xù)語音( c o n t i n u o u ss p e e c h ) 識別系統(tǒng)。孤立詞語音識別系統(tǒng)要求說話人每 次只說一個(gè)字( 詞) 、一個(gè)詞組或一條命令讓識別系統(tǒng)識別。其中的詞組或命令在詞 第一章引占堆十語音結(jié)構(gòu)化模型的連續(xù)數(shù)。，語爵識別 匯表中是一個(gè)獨(dú)立的詞條。例如：單個(gè)數(shù)字識別、地名詞匯識別等。連接詞識別一般 特指十個(gè)數(shù)字( 0 9 ) 連接而成的多位數(shù)字識別，連接詞識別系統(tǒng)在電話、數(shù)據(jù)庫查 詢以及控制操作系統(tǒng)中用途廣泛。連續(xù)語音識別這個(gè)最自然的說話方式，將成為語音 識別研究及實(shí)用系統(tǒng)的主流。 ( 3 ) 根據(jù)對說話人的依賴程度，可分為特定人( s p e a k e r d e p e n d e n t ) 和非特定人 ( s p e a k e r - i n d e p e n d e m ) 語音識別系統(tǒng)。特定人語音識別系統(tǒng)比較簡單，只能識別固 定某個(gè)人的語音，由特定人的用戶輸入大量的發(fā)音樣本，對其進(jìn)行訓(xùn)練。非特定人語 音識別系統(tǒng)的訓(xùn)練相當(dāng)復(fù)雜，機(jī)器能識別任何人的發(fā)音，需要采集大量不同說話人的 發(fā)音樣本。 ( 4 ) 根據(jù)語音的質(zhì)量可以分為安靜環(huán)境和噪聲環(huán)境的語音識別。說話者的語音 質(zhì)量取決于本人口齒是否清楚，也取決于是否采取合作的態(tài)度，這往往是識別器所能 控制的。 ( 二) 語音識別的發(fā)展歷史 語音識別的歷史可追溯到2 0 世紀(jì)5 0 年代。1 9 5 2 年，a t & tb e l l 實(shí)驗(yàn)室實(shí)現(xiàn)了 第一個(gè)可識別十個(gè)英文數(shù)字的語音識別系統(tǒng)- a u d r y 系統(tǒng)。隨后1 9 5 6 年，普林斯頓 大學(xué)r c a 實(shí)驗(yàn)室開發(fā)了單音節(jié)詞識別系統(tǒng)。 6 0 年代，計(jì)算機(jī)的發(fā)展以及數(shù)字信號處理理論和算法的進(jìn)展提供了語音識別的 技術(shù)基礎(chǔ)。這時(shí)期的重要研究成果是提出了動態(tài)規(guī)劃技術(shù)( d p ，d y n a m i c p r o g r a m m i n g ) 和線性預(yù)測分析技術(shù)( l p ，l i n e a rp r e d i c t i o n ) ，其中后者較好地解決 了語音信號產(chǎn)生模型的問題，對語音識別的發(fā)展產(chǎn)生了深遠(yuǎn)影響。 7 0 年代，語音識別研究的重心是孤立詞語音識別。動態(tài)時(shí)間歸整技術(shù)( d t w ， d y n a m i ct i m ew a r p i n g ) 、線性預(yù)測編碼技術(shù)( l p c ，l i n e a rp r e d i c t i o nc o d i n g ) 和矢量 量化技術(shù)( v o ，v e c t o rq u a n t i z a t i o n ) 基本成熟。比較有代表性的系統(tǒng)有： c a r n e g i e m e l l o n 大學(xué)的h e a r s a y i i 系統(tǒng)，i b m 的大詞匯量自動語音聽寫系統(tǒng)和b e l l 實(shí)驗(yàn)室用于通訊的與話者無關(guān)的語音識別系統(tǒng)。 8 0 年代，語音識別的研究從基于模板的方法向統(tǒng)計(jì)模型方法的轉(zhuǎn)變，特別是轉(zhuǎn) 向研究隱馬爾可夫模型( h m m ) 的理論、方法和實(shí)現(xiàn)問題，成為大詞匯量連續(xù)語音 識別的基礎(chǔ)。h m m 模型的廣泛應(yīng)用應(yīng)歸功于a t & tb e l l 實(shí)驗(yàn)室r a b i n e r 等科學(xué)家的 努力，他們把原本艱澀的h m m 純數(shù)學(xué)模型工程化，從而為更多研究者了解和認(rèn)識。 2 基于語占結(jié)構(gòu)化模型的連續(xù)數(shù)語音識別第一章引苦 此外，人工神經(jīng)網(wǎng)絡(luò)( a n n ，a r t i f i c i a ln e u r a ln e t w o r k s ) 也開始涉足語音識別領(lǐng)域， a n n 和h m m 模型建立的語音識別系統(tǒng)，性能相當(dāng)。 9 0 年代，隨著多媒體時(shí)代的到來，語音識別系統(tǒng)從實(shí)驗(yàn)室走向?qū)嵱?。許多著名 公司如i b m 、a p p l e 、a t & t 、n t t 等投以巨資丌發(fā)研究實(shí)用化的語音識別系統(tǒng)。比 如i b m 、m i c r o s o f t 、l & h 公司推出中文語音識別引擎；1 9 9 7 年9 月，i b m 在國內(nèi)發(fā) 布了一款語音識別產(chǎn)品a i c e ，被認(rèn)為是漢字輸入的重要里程碑；索取航空旅行 信息、電話網(wǎng)絡(luò)及呼叫中心系統(tǒng)中也采用了語音識別技術(shù)。 2 0 0 0 年后，人機(jī)語音交互成為研究的焦點(diǎn)。研究重點(diǎn)包括即興口語的識別和理 解，自然口語對話，以及多語種的語音同聲翻譯。九十年代興起的小波分析技術(shù)在語 音分析中的應(yīng)用，又開啟了語音識別的新領(lǐng)域，在識別的效率與精確度上又得到了提 高【3 】o 我國語音識別的研究較國外起步晚，國內(nèi)丌展語音識別較早的機(jī)構(gòu)有北京大學(xué)、 中科院聲學(xué)所、中科院自動化所、清華大學(xué)等，先后把語音識別納入國家“8 6 3 ”計(jì) 劃，國家自然科學(xué)基金重點(diǎn)項(xiàng)目，并得到基金和社會的支持，取得了豐碩的研究成果。 ( 三) 語音識別的難點(diǎn) ， 語音識別是一個(gè)復(fù)雜的系統(tǒng)，其自身的復(fù)雜性決定其發(fā)展過程的艱巨性。盡管 語音識別目前取得了一些成就，但仍面l 臨許多困難。圖1 1 是含噪語音信號的簡化模 型，以下從語音信號的發(fā)音和傳輸方面列舉語音識別的難點(diǎn)。 含噪語音信號y ( t ) 圖1 1 含噪語音信號的簡化模型 1 說話人差異性 不考慮信道畸變辦( ，) 以及加性環(huán)境噪聲信號門( ，) 的影響，可以認(rèn)為是純凈語音 識別。影響識別系統(tǒng)性能的因素有同一個(gè)體差異性( i n t e r - s p e a k e rv a f i a t i o n ) 和不同 個(gè)體差異性( i n t r a - s p e a k e rv a r i m i o n ) 。 第一章引言基于語爵結(jié)構(gòu)化模型的連續(xù)數(shù)字語音識別 同一個(gè)體差異性：主要指說話人的身體健康狀況( 如疲勞、生病) 、心理狀態(tài)及 情緒等對語音特征參數(shù)的影響。特定人的語音識別系統(tǒng)中主要考慮同一個(gè)體差異性。 目前，基于h m m 的特定人純凈語音識別系統(tǒng)，能夠取得非常好的識別率，然而需要 使用者錄入大量的語音用于訓(xùn)練，給使用者帶來很大的不便。 不同個(gè)體差異性：主要指不同說話人的性別、年齡、不同的聲道長度和形狀以及 說話的風(fēng)格口音等對語音特征參數(shù)的影響。不同個(gè)體差異性對非特定人的語音識別系 統(tǒng)造成的影響有兩個(gè)方面：( 1 ) 若使用該系統(tǒng)的說話人的語音與訓(xùn)練語音庫中說話人 的語音有較大差別，識別系統(tǒng)的性能對該說話人而言嚴(yán)重惡化。( 2 ) 一個(gè)好的語音識 別系統(tǒng)需要采集大量說話人的語音用于訓(xùn)練，訓(xùn)練的語音庫覆蓋廣泛的語音空間，雖 然可以減少第一個(gè)因素的影響，但會導(dǎo)致識別系統(tǒng)的參數(shù)分布較廣，識別系統(tǒng)的性能 普遍下降。 2 環(huán)境噪聲的影響 在實(shí)際應(yīng)用中，信道畸變h ( 0 以及加性環(huán)境噪聲信號甩( f ) 的影響是不可避免的， 含噪語音表示為：y ( t ) = s ( t ) 幸辦( ，) + n ( t ) 。上述因素的引入加上說話人的影響( 說話 風(fēng)格、口音、情緒以及健康狀況等) ，識別效果卻很難令人滿意。這主要是因?yàn)橛?xùn)練 和測試語音之間的聲學(xué)失配，使得統(tǒng)計(jì)模型不能正確描述語音的統(tǒng)計(jì)規(guī)律，導(dǎo)致識別 系統(tǒng)適應(yīng)性差。因此語音識別系統(tǒng)的抗噪問題是真正實(shí)用化所必須解決的關(guān)鍵問題。 3 聲音的不穩(wěn)定性 聲音的某些特征如語音長度、音量、聲調(diào)等在不同的上下文中，由于前后語境的 影響，這些參數(shù)也會發(fā)生變化，使得該語音與其它語音發(fā)生重音。如中文中的第三聲， 如果后面也是第三聲，前一個(gè)第三聲就會變成第二聲，這就是漢語中的變音現(xiàn)象【3 】。 1 2 連續(xù)數(shù)字語音識別 1 2 1 連續(xù)數(shù)字語音識別意義及難點(diǎn) 漢語連續(xù)數(shù)字語音識別是語音識別中的一個(gè)重要分支，它在現(xiàn)實(shí)中具有非常廣泛 的應(yīng)用前景，在電話與電信系統(tǒng)的語音撥號、自動數(shù)據(jù)錄入、身份證號碼證實(shí)、工業(yè) 控制、智能家電中用于電視頻道和空調(diào)溫度的遙控等多方面都有著重要的應(yīng)用價(jià)值。 4 桀于語普結(jié)構(gòu)化模型的連續(xù)數(shù)j 語音識別 第一章引苦 另外，對漢語連續(xù)數(shù)字語音識別的研究也具有重要的理論意義，一方面，完成對漢語 連續(xù)數(shù)字語音識別可以促進(jìn)其他詞表的連續(xù)語音識別的研究，其聲學(xué)模型和搜索算法 等都可以借鑒到其他系統(tǒng)中；另一方面，研究如何消除漢語數(shù)字語音的混淆性也可以 對其他易混淆語音識別任務(wù)起到參考作用。 目前漢語連續(xù)數(shù)字語音識別系統(tǒng)的識別率同實(shí)際應(yīng)用的需求相比還有一定的差 距，主要難點(diǎn)在于【4 】：首先不確定數(shù)字串的長度，很難準(zhǔn)確判別連續(xù)數(shù)字串中的字間 邊界；其次連續(xù)數(shù)字串中的數(shù)字是任意組合的，沒有可以借鑒的語法知識，缺少語言 模型對識別系統(tǒng)的支持，識別性能的好壞完全依賴于底層的識別算法。同時(shí)數(shù)字語音 自身的發(fā)音特點(diǎn)，如：( 1 ) 含有一些單元音數(shù)字，音節(jié)越少語音間的混淆程度越高， 識別越困難，如“2 和“8 是易混淆的數(shù)字對；( 2 ) 漢語連續(xù)數(shù)字發(fā)音連續(xù)程度較 高，這主要由于漢語數(shù)字發(fā)音中零聲母語音出現(xiàn)的較多，如“2 ”和“5 ”，這些數(shù)字 的連續(xù)發(fā)音序列( 如“5 5 ”) 的識別相當(dāng)困難：( 3 ) 數(shù)字串中各個(gè)數(shù)字的協(xié)同發(fā)音現(xiàn) 象較嚴(yán)重也給漢語連續(xù)數(shù)字語音識別帶來了困難。 除此之外和其他語音識別系統(tǒng)一樣，語音通信包含語音生成、編碼、傳輸、解碼 以及接聽等幾個(gè)環(huán)節(jié)，其中每一個(gè)環(huán)節(jié)不可避免地會引入“噪聲”而造成信號的失 真，例如：說話人差異、線路干擾、環(huán)境噪聲等，這些都使識別性能明顯下降，系統(tǒng) 的廣泛實(shí)際應(yīng)用變得困難。 1 2 2 連續(xù)數(shù)字語音識別研究現(xiàn)狀 近年來國內(nèi)外一些研究人員開始對影響包括漢語數(shù)字語音識別在內(nèi)的語音識別 成熟應(yīng)用的關(guān)鍵性技術(shù)問題進(jìn)行了研究。j b i l m e s 等提出了一種圖形化語音結(jié)構(gòu)描述 方法【5 】：j g l a s s 提出了基于段結(jié)構(gòu)的統(tǒng)計(jì)分析方法框架【6 l ；e s h r i b e r g 對人類的識別 機(jī)理進(jìn)行分析并提出了應(yīng)該注意的一些問題i7 】l d e n g 等提出了隱軌道模型的結(jié)構(gòu) 化語音描述方法【8 1 ；r c s h y u 等提出多層貝葉斯模型用于解決連續(xù)數(shù)字的協(xié)同發(fā)音 現(xiàn)象【9 】；j g e m m e k e 等將缺失數(shù)據(jù)技術(shù)應(yīng)用于連續(xù)數(shù)字語音識別1 1 0 】；徐華等依據(jù)互 信息理論提出了基于互信息估計(jì)的連續(xù)數(shù)字語音識別算法【4 】；王守覺等使用高維空間 點(diǎn)分布原理，在仿生模式識別的基礎(chǔ)上提出了一種基于高維空間覆蓋動態(tài)搜索理論的 非特定人連續(xù)數(shù)字語音識別方法【1 1 1 。章文義等利用聲調(diào)提高中文連續(xù)數(shù)字串語音識別 囂 第一章引占摹于語爵結(jié)構(gòu)化模型的連續(xù)數(shù)，語音識別 系統(tǒng)的性能【12 1 。 這些研究都在不同程度上提高了連續(xù)數(shù)字語音識別和語音識別的某些性能，但他 們的一個(gè)共同點(diǎn)是幾乎所有的語音模型都采用聲學(xué)特征參數(shù)來描述，而聲學(xué)特征不可 避免地容易受到各種噪聲和信號失真的干擾而變化。因此，雖然提出了各種所謂的魯 棒性算法，但只要采用聲學(xué)特征來描述模型，無論是采用自適應(yīng)補(bǔ)償?shù)姆椒ㄟ€是采用 歸一化方法都無法真j 下解決目前語音識別和連續(xù)數(shù)字語音識別存在的魯棒性問題。 1 3 本課題的主要研究內(nèi)容 本課題研究內(nèi)容包括以下兩個(gè)方面： 一、采用全局聲學(xué)結(jié)構(gòu)描述的連續(xù)數(shù)字語音識別。 ( 1 ) 孤立數(shù)字識別是連續(xù)數(shù)字語音識別的基礎(chǔ)，將全局聲學(xué)結(jié)構(gòu)a u s 理論運(yùn)用 于漢語數(shù)字語音識別，比較了a u s 方法和h m m 方法在兩種情形下的識別率，即： ( a ) 采用聲道彎折方法模擬不同聲道長度的說話人之間差異性；( b ) 實(shí)際說話人之 間的差異性。通過實(shí)驗(yàn)證明，在少量語料訓(xùn)練下，a u s 方法可以取得優(yōu)于h m m 的 性能，能有效消除說話人聲道長度的差異性。 ( 2 ) 將全局聲學(xué)結(jié)構(gòu)a u s 理論運(yùn)用連續(xù)數(shù)字語音識別，提出適合于連續(xù)數(shù)字語 音識別的雙層結(jié)構(gòu)化語音模型匹配策略。使用較少的單個(gè)數(shù)字語音數(shù)據(jù)訓(xùn)練，分析不 同候選數(shù)字柵格層數(shù)下不同字長的連續(xù)數(shù)字語音的識別情況。通過實(shí)驗(yàn)證明a u s 方 法只要使用較少的訓(xùn)練數(shù)據(jù)量就可以對說話人聲道長度差異具有自然魯棒性，且具有 較高的識別率。 二、采用直方圖均衡的語音識別魯棒性研究。 考慮加性噪聲的影響，研究魯棒性語音識別中特征值處理模塊，針對傳統(tǒng)的非線 性變換技術(shù)直方圖均衡化方法提出改進(jìn)方法一基于特征分類的直方圖均衡化方法 ( f c h e q ) ，解決訓(xùn)練和測試語音特征類分布不一致問題。實(shí)驗(yàn)結(jié)果表明，低信噪比 時(shí)無論在平穩(wěn)噪聲還是非平穩(wěn)噪聲環(huán)境下，與傳統(tǒng)的直方圖均衡化方法相比都進(jìn)一步 增強(qiáng)了識別系統(tǒng)的魯棒性。 6 幕十語音結(jié)構(gòu)化模型的連續(xù)數(shù)，語哥識別第_ 二章語爵識別幕奉理論 第二章語音識別基本理論 本章主要介紹語音識別的基本原理及方法，詳述了隱馬爾可夫模型h m m 的 基本算法。 2 1 語音識別的基本原理 語音識別一般分為兩個(gè)步驟：第一步是：系統(tǒng)“學(xué)習(xí)”或“訓(xùn)練階段。主要任 務(wù)是建立識別基本單元的聲學(xué)模型以及進(jìn)行文法分析的語言模型等。第二步是：“識 別或“測試”階段。根據(jù)識別系統(tǒng)的類型選擇能夠滿足要求的一種識別方法，采用 語音分析方法分析出這種識別方法所要求的語音特征參數(shù)，按照一定的準(zhǔn)則或測度與 系統(tǒng)模型進(jìn)行比較，通過判決得出識別結(jié)果。語音識別系統(tǒng)本質(zhì)上是一種模式識別系 統(tǒng)，它的基本結(jié)構(gòu)如圖2 1 所示。 輸入語音 識別結(jié)果 圖2 1 語音識別框圖 圖中，預(yù)處理主要對含噪語音信號進(jìn)行端點(diǎn)檢測，語音分幀以及預(yù)加重處理工作。 特征提取是對語音信號進(jìn)行特征參數(shù)分析，目的是抽取語音特征，以使在語音識 別時(shí)類內(nèi)距離盡量小，類間距離盡量大。 訓(xùn)練階段是指由用戶輸入若干次訓(xùn)練語音，經(jīng)過預(yù)處理和特征提取后得到特征參 數(shù)，然后通過特征建模建立訓(xùn)練語音的參考模式庫，或?qū)δＪ綆熘械膮⒖寄Ｊ阶鬟m應(yīng) 性修正。 識別階段是指將輸入語音的特征矢量參數(shù)和參考模式庫中的模式進(jìn)行相似度比 較，將相似度最高的模式所屬的類型作為識別的中| 、日j 候選結(jié)果輸出。后處理判決則依 據(jù)更多的語音知識處理( 如語言模型、詞法、句法等) 得出最終的識別結(jié)果。 7 第二章語音識別慕奉理論皋于語音結(jié)構(gòu)化模型的連續(xù)數(shù)，語爵識別 2 2 語音信號預(yù)處理 錄音階段，原始模擬語音信號經(jīng)過預(yù)濾波、采樣、量化、a d 轉(zhuǎn)化，轉(zhuǎn)化成在時(shí) 間和幅值上均為離散的數(shù)字信號。預(yù)濾波的目的有兩個(gè)：( 1 ) 抑制輸入信號各頻率分 量中頻率超過z 2 ( z 為采樣頻率) 的所有分量，以防止混疊干擾。( 2 ) 抑制5 0 h z 的電源工頻干擾。這樣，預(yù)濾波器必須是一個(gè)帶通濾波器，設(shè)定其上限和下限截止頻 率。語音信號經(jīng)過預(yù)濾波和采樣后，由a d 轉(zhuǎn)換器變換為二進(jìn)制數(shù)字碼。 由于語音信號的平均功率譜受聲門激勵(lì)和口鼻輻射的影響，高頻端大約在8 0 0 h z 以上按6 d b 倍頻程跌落。為了使語音信號的頻譜變得平坦，保持在低頻到高頻的整 個(gè)頻帶中，能用同樣的信噪比求頻譜，我們采用一個(gè)數(shù)字濾波器實(shí)現(xiàn)預(yù)加重，以提升 高頻部分： 日( z ) = 1 一膽叫( 2 1 ) 其中t 值接近于l ，一般取u = 0 9 7 5 。 進(jìn)行預(yù)加重?cái)?shù)字濾波處理后，對語音信號要進(jìn)行加窗分幀處理。語音信號具有時(shí) 變性，是一種典型的非平穩(wěn)信號，但在一個(gè)短的時(shí)間范圍內(nèi)( 一般認(rèn)為在1 0 3 0 m s ) 可將其看做是一個(gè)準(zhǔn)穩(wěn)態(tài)過程，即語音信號具有短時(shí)平穩(wěn)性。所以我們對語音信號進(jìn) 行“短時(shí)分析”，將語音信號s ( 聊) 分成相繼的短段信號，用可移動的有限長度窗口函 數(shù)以刀) 進(jìn)行加權(quán)的方法來實(shí)現(xiàn)，定義為： s w ( 行) = s ( m ) w ( n 一所) ( 2 2 ) 在語音信號處理中，常用的窗函數(shù)是矩形窗和漢明窗。它們的表達(dá)式如下( 其中 n 為幀長) ： 矩形窗： 漢明窗： w = ：， ：三篡肛1 ( 2 3 ) 吣，= r 乩4 6 c o s 口別u ? 篡肛1 億4 ， 基于語音結(jié)構(gòu)化模型的連續(xù)數(shù)7 - 語腎識別第二章語音識別皋奉理論 2 3 特征提取 特征提取就是對語音信號的每一幀進(jìn)行聲學(xué)參數(shù)分析，提取有效的信號特征。語 音識別中最常用的兩種特征參數(shù)是m e l 頻率倒譜系數(shù)( m f c c ，m e lf r e q u e n c y c e p s t r u mc o e f f i c i e n t ) 和線性預(yù)測倒譜系數(shù)( l p c c ，l i n e a rp r e d i c t i o nc e p s t r u m c o e f f i c i e n t ) ，二者都屬于倒譜域特征分析參數(shù)。前者是從人的發(fā)聲模型出發(fā)，利用線 性預(yù)測編碼技術(shù)求倒譜系數(shù)，而后者是構(gòu)造人的聽覺模型，將頻譜轉(zhuǎn)換到符合人耳聽 覺特性的m e l 頻率尺度上，然后進(jìn)行離散余弦變換( d c t ) 。由于語音的信息大部分 集中在低頻部分，而高頻部分易受環(huán)境干擾，m f c c 參數(shù)將線性頻標(biāo)轉(zhuǎn)化為m e l 頻 標(biāo)，強(qiáng)調(diào)語音的低頻信息，從而突出了有利于識別的信息，屏蔽了噪聲的干擾，而 l p c c 參數(shù)是基于線性頻標(biāo)的，所以在有信道噪聲和頻譜失真的情況下，m f c c 參數(shù) 能產(chǎn)生更高的識別精度f 1 3 1 。 大量的研究表明，m f c c 參數(shù)能夠比l p c c 參數(shù)更好地提高系統(tǒng)的識別性能，本 文采用的是m f c c 參數(shù)。 m f c c 參數(shù)的計(jì)算是將語音的頻率從線性頻標(biāo)變換為m e l 頻標(biāo)，m e l 頻率與線性 頻率的轉(zhuǎn)換關(guān)系是： 廠 厶= 2 5 9 5 1 0 9 ( 1 + 南) ( 2 5 ) 咖吐丑1 圈叫獻(xiàn)秈小， 匹丑鈕譬 圖2 2m f c c 計(jì)算流程 圖2 2 是m f c c 的計(jì)算流程，解釋如下： ( 1 ) 確定每一幀語音信號采樣序列的點(diǎn)數(shù)，對每幀序列s ( 療) 預(yù)加重處理后經(jīng)過離 散f f t 變換，取模的平方得到離散功率譜s ( 刀) 。 ( 2 ) 將s ( 月) 轉(zhuǎn)換為m e l 頻率下的功率譜。這需要在計(jì)算之前在語音的頻譜范圍內(nèi) 設(shè)置若干個(gè)帶通濾波器：h 。( 玎) ， m = o ，1 ，m l 刀= o ，1 ，以一1 。m 為濾波 器的個(gè)數(shù)，為一幀語音信號的點(diǎn)數(shù)。濾波器在頻域上為簡單的三角形，其中心頻 率為厶，它們在m e l 頻率軸上是均勻分布的。在線性頻率上，當(dāng)m 較小時(shí)，相鄰的厶 9 第- 二章語音識別基奉理論基于語爵結(jié)構(gòu)化模型的連續(xù)數(shù)7 語音識別 間隔較小，隨著垅的增加，相鄰的厶間隔逐漸拉丌。在頻率較低的區(qū)域，厶和廠之 間有一段是線性的。帶通濾波器的參數(shù)事先計(jì)算好，在計(jì)算m f c c 參數(shù)時(shí)直接使用。 ( 3 ) 計(jì)算s ( 刀) 通過m 個(gè)日。( 刀) 后所得的功率值巴，并計(jì)算其自然對數(shù)。 r 一- 厶= i n c = l n | s ( n ) h m ( 門) l m = o ，1 ，m 一1 ( 2 6 ) l n = o j ( 4 ) 對三。，厶，三州計(jì)算其離散余弦變換得到m f c c 參數(shù)c ( n ) ： c = 薹。s ( 鼉產(chǎn)) 刪幺，p 億7 ， p 為m f c c 參數(shù)的階數(shù)。 2 4 隱馬爾可夫模型( 玎m ) 隱馬爾可夫模型( h i d d e nm a r k o vm o d e l s ，h m m ) 在語音處理各個(gè)領(lǐng)域中已獲得 廣泛的應(yīng)用。本節(jié)主要介紹語音的h m m 描述，和基于h m m 模型的語音識別算法。 2 4 1 語音的h m m 描述 語音的產(chǎn)生是由于聲門處的氣流沖擊聲帶產(chǎn)生振動，再通過聲道響應(yīng)變成語音。 聲道的變化決定了語音信號的非平穩(wěn)隨機(jī)特性，聲道的下一時(shí)刻僅與當(dāng)前狀況有關(guān)， 而與歷史無關(guān)，對于觀察者來說，只能觀察到語音信號的狀態(tài)輸出而不能直接觀測到 馬爾可夫過程的內(nèi)部狀態(tài)序列及轉(zhuǎn)移過程，所以可以用一個(gè)隱馬爾可夫過程來描述語 音信掣4 1 。 h m m 模型可以分為離散h m m 模型( d i s c r e t eh m m ，d h m m ) 、連續(xù)h m m 模 型( c o n t i n u o u sh m m ，c h m m ) 和半連續(xù)h m m 模型( s e m i c o n t i n u o u sh m m ， s c h m m ) ，下文以d h m m 為例介紹相關(guān)理論知識。 一個(gè)h m m 模型由若干個(gè)狀態(tài)組成，隨著時(shí)間的變化，各個(gè)狀態(tài)之間可以發(fā)生轉(zhuǎn) 移，也可以在一個(gè)狀態(tài)內(nèi)駐留。每個(gè)觀察向量對不同的狀態(tài)都有一個(gè)相應(yīng)的輸出概率。 如圖2 3 所示的h m m 。 。 l o 摹十語爵結(jié)構(gòu)化模型的連續(xù)數(shù)。語音識別第一二帝語嗇識刖皋本理論 。 0 2 p ；魄： ： 一 。 在語音識別中，觀察序列是一幀幀的m f c c 參數(shù)，對應(yīng)圖中的o ，d ：，0 r ，共r 幀，稱為輸入觀察序列。h m m 模型中包含個(gè)狀態(tài)s s v ，標(biāo)記模型中的各個(gè)狀 態(tài)為 1 ，2 ，n 。而每一時(shí)刻所處的狀態(tài)卻是隱含的，在，時(shí)刻所處的狀態(tài)構(gòu)成狀態(tài) 序列q = ( g l ，q 2 ，q r ) 。 萬= 【萬l ，乃，萬】，巧= 尸( 吼= f ) i = 1 ，2 ，n ， 死- - 1 ( 2 8 ) 彳仁吲 億9 ， 其中是從狀態(tài)s ，到狀態(tài)一轉(zhuǎn)移時(shí)的轉(zhuǎn)移概率， 口口= p ( q ，+ l = ，| g r = 耽 1 f ， n ( 2 1 0 ) 其中q ，滿足條件： os 1 ，= 1 ( 2 1 1 ) 對于狀態(tài)s 下的觀察序列，用若干個(gè)高斯概率密度函數(shù)( 簡稱為p d f ) 的線性組 合來表示，每個(gè)p d f 有各自的均值矢量和協(xié)方差矩陣，這些是通過對大量的m f c c 第_ 二章語音識別掛奉理論基十語音結(jié)構(gòu)化模型的連續(xù)數(shù)，語舀識別 表2 1 輸出概率密度函數(shù)中的參數(shù)描述 參數(shù) 說明 d觀察向量 m每個(gè)狀態(tài)包含的高斯元個(gè)數(shù) l l第歹狀態(tài)第，個(gè)混合高斯函數(shù)的權(quán) 正態(tài)高斯概率密度函數(shù) 1 l 第，狀態(tài)第，個(gè)混合高斯元的均值矢量 o n第歹狀態(tài)第，個(gè)混合高斯元的協(xié)方差矩陣 對于每一個(gè)狀態(tài)，輸出觀察值概率的集合b = 以( q ) ) ，乞( d f ) 表示處于狀態(tài)l 時(shí) 輸出0 ，的概率： b o ( d ，) = ( o f f r ( o ，“j i 盯，) ，1 ( 2 1 2 ) ，= 1 其中權(quán)系數(shù)國滿足下面的條件： m c o j ，= l ，1 j n ( 2 1 3 ) i = i h m m 模型通常采用兄= ( a ，b ，萬) 表示。形象地說，h m m 可以分為兩部分，一個(gè) 是m a r k o v 鏈，由萬和4 描述，產(chǎn)生的輸出為狀態(tài)序列。另一個(gè)是隨機(jī)過程，由b 描 述，產(chǎn)生的輸出為觀察值序列，t 為觀察值時(shí)間長度。 h m m 用概率或統(tǒng)計(jì)范疇的理論，解決了怎樣辨識具有不同參數(shù)的短時(shí)平穩(wěn)信號 段，怎樣跟蹤它們之間的轉(zhuǎn)化，如何對語音的發(fā)音速率及聲學(xué)變化建立模型等問題。 但也存在缺點(diǎn)和局限性，如給定狀態(tài)下，它假定各個(gè)觀察矢量即各個(gè)語音幀之間是相 互獨(dú)立的，實(shí)際上語音幀之間存在相關(guān)性。h m m 的狀態(tài)駐留分布與語音信號的實(shí)際 特性不符等。人們提出新的改進(jìn)模型，如高斯h m m 和隨機(jī)分段h m m 來試圖解決這 些問題。 1 2 基于語音結(jié)構(gòu)化模型的連續(xù)數(shù)7 語占識別第一二章語音識別幕奉理論 2 4 2 基于h m m 的語音識別算法 h m m 模型用于語音識別，有三個(gè)基本問題需要解決： ( 1 ) 輸出概率的計(jì)算問題：給定觀察序列o = ( d 。，0 2 ，0 ，) 和h m m 模型 旯= ( a ，b ，7 ) ，如何計(jì)算觀察序列對h m m 模型的輸出概率p ( ol 五) ? ( 2 ) 狀態(tài)序列解碼問題：給定觀察字符號序列和輸出該符號序列的h m m 模型 旯= ( 爿，b ，y ) ，如何有效地確定與之對應(yīng)的最佳狀態(tài)序列? ( 3 ) 模型參數(shù)優(yōu)化問題：給定觀察序列o = ( o i , 0 2 ，o r ) ，如何調(diào)整五= ( 彳，b ，萬) 的參數(shù)，使得在模型五下產(chǎn)生觀察序列o 的后驗(yàn)概率p ( o ia ) 最大? 下面結(jié)合討論這三個(gè)問題的解決，介紹h m m 的基本算法。 一、前向后向算法一h m m 的輸出概率的計(jì)算 1 h m m 的前向概率和后向概率 前向算法： 前向算法是按輸出觀察值序列的時(shí)間，從前向后遞推計(jì)算輸出概率。 首先定義h m m 的前向概率： 口r ( f ) = p ( 0 1 0 2 d r ；g ，= f i 力) ( 2 1 4 ) 表示給定h m m 的模型參數(shù)五，觀察序列 0 1 0 ：o r ) 在t 時(shí)刻處于狀態(tài)f 的概率。 ( 1 ) 初始化 口l ( f ) = 乃6 ，( 0 1 ) 1 i n ( 2 1 5 ) ( 2 ) 迭代計(jì)算 rn l ( 力2 喀州f ) j + i ) ，l t t - 1 , 1 蘆 ( 2 1 6 ) ( 3 ) 結(jié)束 p ( o i 五) = e 昕( f ) ( 2 1 7 ) 后向算法： 后向算法與前向算法類似，后向算法按輸出觀察值序列的時(shí)間，從后向前遞推輸 出概率。 第_ 二章語音識別基本理論 基于語普結(jié)構(gòu)化模型的連續(xù)數(shù)語爵識別 首先定義h m m 的后向概率： i l l ( i ) = p ( d ，+ lo r + 2 0 tq ，= fi 旯) ( 2 1 8 ) 表示給定h m m 模型參數(shù)允，觀察序列在，時(shí)刻處于狀態(tài)f ，系統(tǒng)輸出部分觀察序 列 o ，+ l ，q + 2 ，0 r ) 的概率。 后向概率屈( f ) 也有類似的遞推公式計(jì)算： ( 1 ) 初始化 ( 2 ) 迭代計(jì)算 ( 3 ) 結(jié)束 屏( f ) = 1 ， 1 i n ( 2 1 9 ) 屈( f ) = i ( o ，+ 1 ) 屈+ l ( ，) ，1 ，丁一1 ，1 ，n ( 2 2 0 ) p ( o i 五) = 屆( 忱= f l o ( 1 ) 1 = 1 前向和后向概率的遞推關(guān)系可用圖2 4 表示。 t qo ) f + 1 q + 1o ) t 羈( 1 ) s n t + 1 屈h ( i ) ( 2 2 1 ) 圖2 4 前向概率和后向概率的遞推 整個(gè)觀察序列對h m m 模型的輸出概率可以分成前、后兩部分觀察序列輸出的概 率的乘積，即前向概率和后向概率的乘積，可以得到下面的輸出概率的計(jì)算公式： n n p ( d l 五) = q ( f ) 層( f ) = 口r ( f ) ，l t _ t - 1 ( 2 2 2 ) ，= l t = l 也可以寫成以下形式： 1 4 慕十語舀結(jié)構(gòu)化模型的連續(xù)數(shù)語音識另0第二章語占識別幕奉理論 nn p ( o l 旯) = 口，( f ) 口。b j ( o 川) 屈+ 。( n 1 r 丁一1 ( 2 2 3 ) ，；lt = l 這就是對第一個(gè)問題的解答。 二、維特比( v i t e r b i ) 算法 v i t e r b i 算法解決的是給定個(gè)觀察值序列o = ( 0 1 ，0 2 ，0 ，) 和一個(gè)模型 旯= ( 彳，b ，j r ) ，在最佳的意義上確定一個(gè)狀態(tài)序列q = ( 吼，q 2 ，q r ) 的問題。這里的最 佳是指使p ( s ，0 l 五) 最大時(shí)確定的狀態(tài)序列。v i t e r b i 算法的敘述如下： 首先說明下列符號定義