1、語音信號(hào)處理Speech Signal Processing,金赟 江蘇師范大學(xué)物電學(xué)院,第一講 緒論,1.語音信號(hào)處理的概念 2.語音信號(hào)處理的學(xué)科基礎(chǔ) 3.語音信號(hào)處理的分支和應(yīng)用 4.語音信號(hào)處理的發(fā)展歷史 5.本課程的內(nèi)容和特點(diǎn) 6.參考書目 7.學(xué)習(xí)要求,1.語音信號(hào)處理的概念,語音信號(hào)處理是研究用數(shù)字信號(hào)處理技術(shù)對(duì)語音信號(hào)進(jìn)行處理的一門學(xué)科。,2.語音信號(hào)處理的學(xué)科基礎(chǔ),3.語音信號(hào)處理的分支和應(yīng)用,語音識(shí)別 語音合成 語音編碼 說話人識(shí)別,3.1 語音識(shí)別,(1)語音識(shí)別研究的目的就是研究出一種具有聽覺功能的機(jī)器，能直接接受人口呼的命令，理解人的意圖，并做出相應(yīng)的反應(yīng)。,語音識(shí)別

2、的應(yīng)用,語音識(shí)別技術(shù)在信息處理領(lǐng)域的首要的巨大應(yīng)用將在于提供了一種全新的人機(jī)交互形式。 蘋果的Siri。 Siri惡搞，國(guó)人Siri，Siri驚魂，Siri日式英語。 語音輸入法。,語音識(shí)別的分類,針對(duì)說話人：特定說話人語音識(shí)別和非特定說話人語音識(shí)別 針對(duì)詞匯量：小詞匯量、中詞匯量和大詞匯量的識(shí)別 針對(duì)說話方式：孤立詞識(shí)別和連續(xù)語音識(shí)別 針對(duì)識(shí)別環(huán)境：實(shí)驗(yàn)室環(huán)境語音識(shí)別、電話語音識(shí)別和廣播語音識(shí)別,語音信號(hào)和自然語言的多變性和復(fù)雜性,(1) 連續(xù)語音詞與詞之間沒有明顯的停頓，詞與詞之間的 分割比較困難； (2) 每一個(gè)基本的聲學(xué)識(shí)別基元（如音素）受前后音素發(fā) 音方式的影響（協(xié)同發(fā)音）使特征變得

3、不穩(wěn)定 (3) 不同人、不同心理和生理以及在不同的說話環(huán)境下說 同一詞時(shí)，聲學(xué)信號(hào)特征會(huì)發(fā)生變化； (4) 一個(gè)詞的讀音不僅包含了詞義特征，而且還包含了說 話人性別、年齡、情緒等大量與詞義無關(guān)的信息，而 這些信息的分離是不容易的。 (5) 自然語言的多變性難以借助于一些基本語法規(guī)則進(jìn)行 描述，因而使計(jì)算機(jī)編程變得困難。 (6)語音信號(hào)往往受到其他信號(hào)的干擾和信道的影響。,3.2 語音合成,語音合成是將計(jì)算機(jī)自己產(chǎn)生的、或外部輸入的文字信息轉(zhuǎn)變?yōu)榭梢月牭枚摹⒘骼目谡Z輸出的技術(shù)。 （讓電腦說話）,語音合成的應(yīng)用,1海量信息查詢類業(yè)務(wù) 大部分海量信息如考試查分、征婚啟事、人才信息、電話廣告等，由

4、于其內(nèi)容龐大，往往無法在短期內(nèi)完成錄音，即使可以事先錄音，也需要很長(zhǎng)的制作周期，而且在量大的時(shí)候肯定會(huì)出現(xiàn)人為錯(cuò)誤；采用語音合成技術(shù)可以節(jié)約大量人力，縮短開發(fā)周期，而且能夠完全保證了所有信息100正確。 2動(dòng)態(tài)信息查詢類業(yè)務(wù) 聲訊節(jié)目逐漸地由現(xiàn)在娛樂型節(jié)目為主的節(jié)目構(gòu)成轉(zhuǎn)向以應(yīng)用型的節(jié)目為主，而多數(shù)的應(yīng)用類節(jié)目對(duì)實(shí)時(shí)性要求比較高，如證券行情、訂票、訂房等，上述應(yīng)用中動(dòng)態(tài)信息不可能事先錄音，需要實(shí)時(shí)地從數(shù)據(jù)庫中讀取，動(dòng)態(tài)進(jìn)行語音合成，保證信息的實(shí)時(shí)性。,自動(dòng)報(bào)時(shí)、報(bào)警、公共汽車或電車自動(dòng)報(bào)站 打印出版過程中的文本校對(duì)。 電子函件及各種電子出版物的語音閱讀。 列車驚魂，語音合成配音 Tom貓咆哮體

5、 馬丁路德金演講 大腦掃描，語音合成,語音合成的例子（霍金）,不能說話和做手勢(shì)，如何演講寫字？ 在霍金的眼鏡上，約距右頰一英寸處，安裝了負(fù)責(zé)偵測(cè)肌肉活動(dòng)的紅外線發(fā)射器及偵測(cè)器，譬如他想打招呼，說聲你好，他先以眼球控制紅外線感應(yīng)器，選定在屏幕上輪流出現(xiàn)的英文字母，當(dāng)計(jì)算機(jī)出現(xiàn)他想要的H時(shí)，霍金再動(dòng)眼球，這樣計(jì)算機(jī)就會(huì)不斷顯示以H為字頭的英文字，當(dāng)HELLO出現(xiàn)時(shí)，他又動(dòng)一下以選定這個(gè)字，當(dāng)他造句完畢后，才把句子傳至合成器發(fā)聲。因此霍金要說一句話，就要逐字逐句輸入計(jì)算機(jī)，再由語音合成器將文字化成聲音，一分鐘只能處理3-5個(gè)字。,科大訊飛語音合成在線演示,3.3 語音編碼,語音編碼的研究目的是如何在

6、盡量減少失真的情況下高效率地對(duì)模擬語音信號(hào)進(jìn)行數(shù)字表達(dá)。,VOIP (Voice Over Internet Protocol),語音編碼的應(yīng)用,數(shù)字通信系統(tǒng) 移動(dòng)無線通信 保密語音通信,3.4 說話人識(shí)別,說話人識(shí)別（聲紋識(shí)別）可分為兩種： 說話人辨認(rèn) 說話人確認(rèn),目前，聲紋識(shí)別已經(jīng)在證券交易、銀行交易、身份證、信用卡的認(rèn)證等領(lǐng)域均有應(yīng)用。在國(guó)外，聲紋識(shí)別技術(shù)已經(jīng)取得了較為廣泛的應(yīng)用。美國(guó)已把聲紋識(shí)別用到保險(xiǎn)、銀行等行業(yè)，迪拜在交通管理上使用聲紋驗(yàn)證來確認(rèn)駕駛員身份，戴爾公司已經(jīng)實(shí)施了聲紋認(rèn)證用于網(wǎng)上訂購，菲律賓政府的養(yǎng)老金系統(tǒng)現(xiàn)在也可以通過聲紋識(shí)別來完成身份認(rèn)證。 在國(guó)內(nèi)，聲紋識(shí)別技術(shù)目前

7、已廣泛應(yīng)用于嵌入式系統(tǒng)，同時(shí)其他方面的應(yīng)用也逐漸興起，如招商銀行已經(jīng)于2008年8月開始與以色列的PerSay公司進(jìn)行聲紋識(shí)別方面的項(xiàng)目合作。,聲紋識(shí)別已成功應(yīng)用在司法鑒定領(lǐng)域。利用聲紋識(shí)別技術(shù)確定犯罪證據(jù)，如通過分析電話錄音資料來確定犯罪嫌疑人的身份和犯罪行為等做法，已在一些刑事案件的偵破中得到應(yīng)用。美國(guó)在1971年就公開認(rèn)可使用聲紋鑒定。 在國(guó)內(nèi)，隨著各種錄音設(shè)備的普及，聲音材料的留存十分方便，因此一些案件就可以借助聲紋鑒定來協(xié)助案件的偵查和審理。聲紋鑒定已經(jīng)成為國(guó)內(nèi)司法鑒定機(jī)構(gòu)的一種重要技術(shù)手段，其在司法活動(dòng)的某些方面已然發(fā)揮出顯著的作用。,聲紋識(shí)別的應(yīng)用,還杰克遜一個(gè)“清白”。爆炸新聞

8、 拉登之死。 車臣總統(tǒng)杜達(dá)耶夫。,4.語音信號(hào)處理的發(fā)展歷史,國(guó)外發(fā)展歷史 人們?cè)?9世紀(jì)就已經(jīng)發(fā)現(xiàn)，元音主要是靠第一共振峰和第二共振峰來區(qū)別，聲母的感知主要靠共振峰的彎曲方向和力度。但是，真正的語音識(shí)別卻是始于1952 年，當(dāng)時(shí)貝爾實(shí)驗(yàn)室Davis等人通過提取語音的第一、第二共振峰作為語音特征參數(shù)，采用專用硬件實(shí)現(xiàn)了一臺(tái)10個(gè)英文數(shù)字的語音識(shí)別系統(tǒng)Audry System。,國(guó)外發(fā)展歷史,20世紀(jì)50年代末60年代初，集成電路出現(xiàn)，語音信號(hào)終端系統(tǒng)從模擬方式演變?yōu)槿珨?shù)字系統(tǒng)方式，語音數(shù)字信號(hào)處理從此開始。最早從事此項(xiàng)重要技術(shù)變革的 實(shí)驗(yàn)室有貝爾電話實(shí)驗(yàn)室、麻省理工學(xué)院林肯實(shí)驗(yàn)室、IBM Th

9、omas Watson研究實(shí)驗(yàn)室、BBN語音研究小組和得克薩斯儀器公司，以及一些著名的大學(xué)研究小組。 1959年，美國(guó)林肯實(shí)驗(yàn)室的J.W.Rogie和 C.D.Forgie首次用數(shù)字計(jì)算機(jī)識(shí)別出了英語元音和以摩擦音開頭的孤立字，標(biāo)志著計(jì)算機(jī)語音識(shí)別時(shí)代的開始。,國(guó)外發(fā)展歷史,20世紀(jì)60年代，快速傅立葉變換（FFT）技術(shù)被廣泛地采用來進(jìn)行頻譜分析，采用其逆變換，還可以反求源信號(hào)。在傅立葉分析的幫助下，人們開始研究自然語音產(chǎn)生的內(nèi)在機(jī)制和本質(zhì)特征。 瑞典的G.Fant的博士論文語音產(chǎn)生的聲學(xué)理論就是這個(gè)時(shí)期的代表作，對(duì)以后的語音處理的研究工作產(chǎn)生了深刻的影 響。,國(guó)外發(fā)展歷史,20世紀(jì)60年代末

10、70年代初Baum等人首次系統(tǒng)地闡述了馬爾可夫模型（HMM，Hidden Markov Model），并把它引入語音識(shí)別。目前，HMM模型是語音識(shí)別的最好算法，它也廣泛應(yīng)用于經(jīng)濟(jì)學(xué)上的預(yù)測(cè)問題。 與此同時(shí)，語音識(shí)別的線性預(yù)測(cè)參數(shù)LPC首次被提出來，采用線性預(yù)測(cè)進(jìn)行研究的實(shí)踐開始。以后的低速率語音編碼技術(shù)，很大程度上都是依靠線性預(yù)測(cè)進(jìn)行來實(shí)現(xiàn)的。,國(guó)外發(fā)展歷史,同時(shí)，動(dòng)態(tài)時(shí)間彎曲DTW技術(shù)出現(xiàn)，有效的解決了語音識(shí)別過程中，不等音長(zhǎng)的匹配問題。此時(shí)的許多系統(tǒng)，都是建立在LPC參數(shù)和DTW匹配技術(shù)基礎(chǔ)上的孤立詞識(shí)別系統(tǒng)。 美國(guó)國(guó)防部高級(jí)計(jì)劃研究局（ARPAR）的語音識(shí)別和理解研究計(jì)劃，產(chǎn)生了HAPP

11、Y，HEARSAY-II和DRAGON等典型的語音識(shí)別理解系統(tǒng)，提出了具有深遠(yuǎn)意義的知識(shí)源黑板模型，擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)（ATN）算法等。,國(guó)外發(fā)展歷史,20世紀(jì)80年代貝爾實(shí)驗(yàn)室 Rabiner等人對(duì)HMM模型進(jìn)行了深入淺出的介紹，從此以后HMM模型在語音識(shí)別領(lǐng)域里確立了不可替代的地位，成為目前世界各國(guó)從事語音處理的最有效 的方法。 矢量量化法VQ也在此時(shí)開始應(yīng)用到語音識(shí)別中。1987年，IBM公司采用VQ/HMM方案實(shí)現(xiàn)了一個(gè)具有2000個(gè)孤立字的特定人語音識(shí)別模型系統(tǒng)Tangora-2000。1988年CMU同樣采用VQ/HMM實(shí)現(xiàn)了一個(gè)具有977個(gè)詞，并且能構(gòu)成4200個(gè)句子的非特定人連續(xù)語音

12、識(shí)別系統(tǒng) SPHINX。,國(guó)外發(fā)展歷史,20世界90年代，語音識(shí)別開始從實(shí)驗(yàn)室走向市場(chǎng)。CMU、BBN、IBM和AT&T都推出自己的語音識(shí)別產(chǎn)品。Microsoft、 Apple、Toshiba、Philips和Intel不甘落后，也開始致力于語音識(shí)別系統(tǒng)開發(fā)。語音識(shí)別朝著大詞匯量、非特定人、自然連續(xù)語音方向發(fā) 展。目前，Microsoft Office XP以上版本已經(jīng)集成了語音識(shí)別功能，可以采用語音輸入法輸入漢字。,國(guó)外主要的研究單位： 美國(guó)的CMU（卡內(nèi)基梅隆大學(xué)）、MIT（麻省理工學(xué)院）、IBM、美國(guó)電報(bào)電話公司AT&T 英國(guó)的Cambridge （劍橋大學(xué)）,國(guó)內(nèi)發(fā)展歷史,20世界5

13、0年代，中科院聲學(xué)所開始進(jìn)行語音識(shí)別研究。1972年，俞鐵城先生最早在計(jì)算機(jī)上研究語音識(shí)別。中國(guó)語音識(shí)別的真正的開端應(yīng)該是1978年，中科院聲學(xué)所實(shí)現(xiàn)的采用帶通濾波器組參數(shù)為特征的語音識(shí)別系統(tǒng)RTSRS（01）的產(chǎn)生。,國(guó)內(nèi)發(fā)展歷史,20世界80年代，針對(duì)漢語單音節(jié)的特點(diǎn)，清華大學(xué)、中國(guó)科學(xué)院、北方交通大學(xué)、東南大學(xué)等開發(fā)了漢語特定人孤立字全音節(jié)語音識(shí)別系統(tǒng)。 清華大學(xué)王作英教授提出了DDBHMM模型。 1986年，國(guó)家863項(xiàng)目語音方向設(shè)立，俞鐵城先生受命籌備此項(xiàng)研究計(jì)劃。,國(guó)內(nèi)發(fā)展歷史,目前，我國(guó)語音識(shí)別隊(duì)伍主要有北大、清華、中科院等。其中中科院聲學(xué)所的人員大部分是原Intel資深的工程師

14、，因此在國(guó)內(nèi)的語音識(shí)別領(lǐng)域一直遙遙領(lǐng)先。 國(guó)內(nèi)一些大公司，例如諾基亞、摩托羅拉、松下電器等， 也致力于語音識(shí)別領(lǐng)域的研究。社科院長(zhǎng)期進(jìn)行實(shí)驗(yàn)語音學(xué)方面的研究。,國(guó)內(nèi)發(fā)展歷史,目前，國(guó)際和國(guó)內(nèi)在實(shí)驗(yàn)室條件下的識(shí)別正確率均在90以上。實(shí)驗(yàn)室條件一般是采用高保真的Sennheiser麥克風(fēng)錄制的語音信號(hào)，信道扭曲非常小，幾乎沒有任何背景噪音。標(biāo)準(zhǔn)的數(shù)據(jù)庫有TIMIT數(shù)據(jù)庫等。1991年2月NIST(National Institute Of Standards And Technology)的測(cè)試報(bào)告結(jié)果，如果不考慮語法約束，識(shí)別正確率為80多；考慮語法約束后，識(shí)別率提高到90以上。這些都是非常喜人

15、的成果。 然而，這些結(jié)果都是在高質(zhì)量的實(shí)驗(yàn)條件下獲得的。實(shí)驗(yàn)證明，當(dāng)語音數(shù)據(jù)簡(jiǎn)單地通過電話線傳播后，識(shí)別正確率將會(huì)直線下跌。,國(guó)內(nèi)發(fā)展歷史,1995年，林肯實(shí)驗(yàn)室將TIMIT數(shù)據(jù)庫（實(shí)驗(yàn)室條件）和NTIMIT數(shù)據(jù)庫（TIMIT數(shù)據(jù)庫通過電話傳輸錄音）作了一次說話人識(shí)別的對(duì)比，結(jié)果表 明，當(dāng)實(shí)驗(yàn)對(duì)象簡(jiǎn)單經(jīng)過電話信道傳輸后，識(shí)別正確率由原先接近100急速下降到60多。如何在自然環(huán)境下令人滿意的進(jìn)行語音識(shí)別，依舊是國(guó)內(nèi)外語音學(xué)家一個(gè)艱巨的任務(wù)。,國(guó)內(nèi)發(fā)展歷史,2003年，從世界主要語音識(shí)別機(jī)構(gòu)電話對(duì)話錄音識(shí)別率基本是保持在70-80之間。,國(guó)內(nèi)發(fā)展歷史,2004年，我國(guó)863評(píng)測(cè)（評(píng)測(cè)結(jié)果可以看86

16、3評(píng)測(cè)網(wǎng)站）小組對(duì)國(guó)內(nèi)主要機(jī)構(gòu)再次進(jìn)行評(píng)測(cè)，測(cè)試集取樣于馬路邊嘈雜環(huán)境，最低信噪比大約5分貝。在如此惡劣條件下，在內(nèi)容識(shí)別方面，中科院聲學(xué)所和自動(dòng)化所均取得了約74的正確率，清華大學(xué)取得約50的正確率，其他院校最差的取得9的正確率。 其中，中科院的識(shí)別水平已經(jīng)比較接近國(guó)際先進(jìn)水平，清華北大距離國(guó)際先進(jìn)水平還有一定距離，多數(shù)高校則遠(yuǎn)遠(yuǎn)未達(dá)到實(shí)用的要求。,國(guó)內(nèi)主要研究機(jī)構(gòu),中科院聲學(xué)所 中科院自動(dòng)化所 清華大學(xué) 哈爾濱工業(yè)大學(xué) 中國(guó)科技大學(xué) 東南大學(xué),5.本課程的內(nèi)容和特點(diǎn),緒論 語音信號(hào)處理的基礎(chǔ)知識(shí) 語音信號(hào)分析 矢量量化技術(shù) 隱馬爾可夫模型 語音編碼 語音合成 語音識(shí)別 語音增強(qiáng),本課程的特

17、點(diǎn) 內(nèi)容不斷更新 涉及的前沿知識(shí)較多，基礎(chǔ)知識(shí)也廣泛。,6.參考書目,語音信號(hào)處理易克初、田斌、付強(qiáng)編著.國(guó)防工業(yè)出版社，2000 語音信號(hào)處理胡航編著.哈爾濱工業(yè)大學(xué)出版社，2000 語音信號(hào)處理韓紀(jì)慶,張磊,鄭鐵然，清華大學(xué)出版社2004 語音信號(hào)數(shù)字處理作者：楊行峻，遲惠生著，電子工業(yè)出版社，1995 Lawrence Rabiner, Bing-Hwang Juang：“FUNDAMENTALS OF SPEECH RECOGNITION”，(影印版)清華大學(xué)出版社，1999,7.學(xué)習(xí)要求,掌握書中基本內(nèi)容 會(huì)查閱資料 會(huì)看文獻(xiàn) 會(huì)研究問題,教材、雜志、會(huì)議論文 碩、博論文庫、學(xué)術(shù)期刊網(wǎng) 、elsivier .hk 專著、專利、內(nèi)部技術(shù)報(bào)告 國(guó)內(nèi)雜志：聲學(xué)學(xué)報(bào)