13.1概述13.2耳語(yǔ)音的聲學(xué)特征分析13.3耳語(yǔ)音增強(qiáng)

13.4耳語(yǔ)音轉(zhuǎn)換正常音13.5耳語(yǔ)音識(shí)別13.6今后的研究方向

第十三章耳語(yǔ)語(yǔ)音信號(hào)處理13.1概述耳語(yǔ)語(yǔ)音通常稱為耳語(yǔ)音，它是人們常見的語(yǔ)言交流方式之一，在會(huì)場(chǎng)、音樂廳、圖書館等禁止大聲喧嘩的場(chǎng)所被廣泛應(yīng)用；在移動(dòng)通信系統(tǒng)廣泛發(fā)展的今天，人們也常常采用耳語(yǔ)的方式來(lái)保證通話的保密性并防止打擾他人。因此，耳語(yǔ)音的研究具有廣泛的應(yīng)用前景。隨著科學(xué)技術(shù)的發(fā)展，近年來(lái)對(duì)耳語(yǔ)音的研究逐漸走向多領(lǐng)域和實(shí)際應(yīng)用，例如耳語(yǔ)音轉(zhuǎn)換為正常音、耳語(yǔ)音的語(yǔ)音識(shí)別和說(shuō)話人識(shí)別、耳語(yǔ)音的語(yǔ)音增強(qiáng)等等。 耳語(yǔ)語(yǔ)音信號(hào)處理將綜合多年來(lái)語(yǔ)音語(yǔ)言學(xué)、生理學(xué)、心理學(xué)、認(rèn)知科學(xué)等多學(xué)科對(duì)耳語(yǔ)音的研究成果，更深層次的揭示耳語(yǔ)音的發(fā)音機(jī)理和聽覺關(guān)于耳語(yǔ)音信息的感知過(guò)程和處理機(jī)制；進(jìn)一步揭示耳語(yǔ)音聲學(xué)特性的變化特點(diǎn)和變化規(guī)律；建立和完善耳語(yǔ)語(yǔ)音信號(hào)處理的理論基礎(chǔ)。同時(shí)在應(yīng)用方面,對(duì)耳語(yǔ)音的研究可以應(yīng)用于喉部切除的失音患者的語(yǔ)音交流以及安全場(chǎng)所的身份識(shí)別、犯罪鑒定等多個(gè)方面；在公安、司法等領(lǐng)域，耳語(yǔ)語(yǔ)音研究將有利于破譯語(yǔ)音內(nèi)容，識(shí)別罪犯身份等。13.2耳語(yǔ)音的聲學(xué)特征分析

漢語(yǔ)的音節(jié)一般由一個(gè)元音前后附加一個(gè)或兩個(gè)輔音構(gòu)成，音節(jié)前部的輔音稱為聲母，聲母后面的部分稱為韻母。任何語(yǔ)言的語(yǔ)音都有元音和輔音兩種音素，根據(jù)發(fā)音機(jī)理的不同，輔音又可以分為清輔音和濁輔音。耳語(yǔ)音的清擦音、塞擦音和塞音聲母部分與正常音的發(fā)音方式?jīng)]有大的差異。而韻母部分發(fā)音時(shí)，聲門保持半開狀態(tài)，聲門前部完全靠攏，后部的氣聲門有一個(gè)寬三角裂隙，聲帶不振動(dòng)，從肺部出來(lái)的氣流通過(guò)開放區(qū)產(chǎn)生摩擦噪聲，故聲源為噪聲。

由于發(fā)耳語(yǔ)音時(shí)，偽聲帶區(qū)域變窄，聲門保持半開狀態(tài)，使得聲道增加了氣管和肺部分，產(chǎn)生附加的零極點(diǎn)，改變了聲道傳輸函數(shù)，所以耳語(yǔ)音的韻母部分與正常音的韻母部分有較大的差異。圖為耳語(yǔ)音與正常音發(fā)音時(shí)聲門狀態(tài)的比較。 正常音聲門狀態(tài)

耳語(yǔ)音聲門狀態(tài)

由于韻母部分的發(fā)音方式不同，耳語(yǔ)音的聲學(xué)特征表現(xiàn)在：

激勵(lì)源是噪聲，聲帶不振動(dòng)，韻母部分和濁聲母部分沒有基頻，又由于耳語(yǔ)音是氣聲發(fā)音，其能量比正常發(fā)音大約低20dB，信噪比更低，而且發(fā)音時(shí)需要大量氣流，因而語(yǔ)速較慢，音長(zhǎng)較長(zhǎng)。

聲道傳輸函數(shù)改變，耳語(yǔ)音韻母共振峰的位置和帶寬發(fā)生變化。耳語(yǔ)音的頻譜較正常音平坦，500Hz以下被衰減，對(duì)耳語(yǔ)識(shí)別感知起重要作用的頻率段主要集中在500～4000Hz之間。

正常音與耳語(yǔ)音的時(shí)域波形圖和語(yǔ)譜圖的比較

正常音 耳語(yǔ)音

由于耳語(yǔ)音的元音和濁輔音在發(fā)音時(shí)不產(chǎn)生聲帶振動(dòng)，沒有基頻，所以此前一些適用于正常音識(shí)別的特征參數(shù)就需要重新評(píng)估或者尋找新的替代參數(shù)。就目前而言，對(duì)耳語(yǔ)音聲學(xué)特性分析研究的對(duì)象主要包括：音長(zhǎng)、音高、聲調(diào)和共振峰等。13.2.1音長(zhǎng)

這里的音長(zhǎng)即為所發(fā)音音節(jié)的時(shí)長(zhǎng)。根據(jù)研究，不同語(yǔ)言的耳語(yǔ)音語(yǔ)速都比正常音語(yǔ)速要慢。通過(guò)對(duì)漢語(yǔ)耳語(yǔ)音為實(shí)驗(yàn)對(duì)象的驗(yàn)證實(shí)驗(yàn)指出漢語(yǔ)耳語(yǔ)音平均每秒鐘比正常音慢0.63個(gè)音節(jié)，如表所示。而對(duì)漢語(yǔ)輔音的音長(zhǎng)的早期研究也證明漢語(yǔ)耳語(yǔ)音的聲韻母音長(zhǎng)比正常音的都要長(zhǎng)。

耳語(yǔ)音的音長(zhǎng)

發(fā)音人觀測(cè)數(shù)均值標(biāo)準(zhǔn)差最小值最大值△均值△標(biāo)準(zhǔn)差HHK10218631703873237JF103273328438660-9GL102142518324850SZQ1017924157238-1-6WLT1020721172240226WYS1020134138255-112XB1022230166268318XH102262117524923-5YT102522421128669-28ZSP102461821627040-13ZW1019518163213404Total1102264813838728813.2.2音高

雖然耳語(yǔ)音的元音和濁輔音沒有基頻，但是人們?cè)谟枚Z(yǔ)交流時(shí)，還是可以感受到聲音的高低，即音高。研究發(fā)現(xiàn)對(duì)后元音[u]、[o]、[a]，音高頻率接近后元音的第一共振峰頻率，前元音[]、[γ]、[e]、[i]，音高接近其第二共振峰頻率，而其它元音的音高更接近第二共振峰。表2和表3即為不同元音下基頻及前三個(gè)共振峰值比較。人們通過(guò)改變第一、第二共振峰頻率值發(fā)現(xiàn)，對(duì)音高的感知隨共振峰的提高而提高，隨共振峰的下降而下降，尤其第二共振峰的改變對(duì)音高感知的影響更大，第一共振峰和第二共振峰同時(shí)改變時(shí)對(duì)音高感知的影響最大。表2男性耳語(yǔ)音元音基頻及前三個(gè)共振峰值VowelPerceivedpitchF1F2F3i232035023002750I187043018902300ε185061018702230?166080016202210136089014102120a1220100012502110o112088010902190U9204609102250u900370870\表3女性耳語(yǔ)音元音基頻及前三個(gè)共振峰值VowelPerceivedpitchF1F2F3i273035027003330I225070022902950ε228089022602900?202092020402710156097015802610a1320109013402680o122095012202430U127065013002810u840390870\13.2.3聲調(diào)

1958年Jensen對(duì)挪威語(yǔ)、瑞典語(yǔ)、斯洛文尼亞語(yǔ)和中國(guó)普通話這四種有聲調(diào)特性的語(yǔ)音進(jìn)行了一系列的聲調(diào)辨認(rèn)實(shí)驗(yàn)，有人也對(duì)28個(gè)耳語(yǔ)音節(jié)的聲調(diào)進(jìn)行測(cè)聽實(shí)驗(yàn)，結(jié)果都表明孤立字詞耳語(yǔ)音是含有聲調(diào)信息的，這為耳語(yǔ)音的孤立字識(shí)別提供一定依據(jù)。而聲調(diào)信息主要由音節(jié)中的元音部分決定，所以主要考慮韻母部分的相關(guān)參數(shù)。研究表明在重構(gòu)語(yǔ)音過(guò)程中發(fā)現(xiàn)幅值包絡(luò)和音長(zhǎng)對(duì)三聲、四聲的聲調(diào)識(shí)別有著重要作用，同時(shí)加大幅值包絡(luò)和音長(zhǎng)可以提高人們對(duì)聲調(diào)的感知，后來(lái)許多研究者對(duì)音長(zhǎng)和幅值包絡(luò)的研究進(jìn)一步證實(shí)了這兩個(gè)參數(shù)的有效性。此外還發(fā)現(xiàn)共振峰也在一定程度上提供了聲調(diào)信息。13.2.4共振峰

各國(guó)研究者對(duì)英語(yǔ)、塞爾維亞語(yǔ)、日語(yǔ)和漢語(yǔ)耳語(yǔ)音的主要元音研究表明，不同人、不同語(yǔ)種和不同元音的共振峰偏移量都不同，但也有相同的規(guī)律：耳語(yǔ)音的第一、二共振峰頻率高于正常音，第三共振峰頻率和正常音差不多，耳語(yǔ)音的共振峰帶寬變寬。目前大多數(shù)耳語(yǔ)音共振峰估計(jì)算法都是對(duì)正常音算法的改進(jìn)。例如將共振峰估計(jì)分為三步：自相關(guān)函數(shù)（ACF）、分段線性預(yù)測(cè)濾波（SegmenttheACFspectrum）、逆濾波(IFC)，最終根據(jù)逆濾波系數(shù)直接得到共振峰值。算法流程

除了共振峰的估計(jì)，修改和偏移共振峰也對(duì)耳語(yǔ)音到正常音的轉(zhuǎn)化起著重要作用。由于耳語(yǔ)音轉(zhuǎn)換正常音研究的需要，常要將共振峰進(jìn)行修改，方法主要有直接法和間接法：前者先求出共振峰值，然后對(duì)其進(jìn)行修改；后者通過(guò)極點(diǎn)位置或線譜對(duì)頻率的改變間接修改共振峰值。通過(guò)比較直接法和極點(diǎn)間接修改法的性能，發(fā)現(xiàn)極點(diǎn)法更靈活、更有效，而線譜對(duì)修改法則可避免極點(diǎn)法中的極點(diǎn)交叉問題。

13.2.5耳語(yǔ)音美爾頻率倒譜特征參數(shù)分析

考慮到耳語(yǔ)音發(fā)音的特殊性，目前的研究大多集中在對(duì)正常語(yǔ)音特征參數(shù)的修正上。例如采用特征彎折將MFCC、LPCC和小波參數(shù)的分布轉(zhuǎn)換為正態(tài)分布，用改進(jìn)的GMM進(jìn)行耳語(yǔ)音識(shí)別，可獲得較好的識(shí)別率。徐柏齡等人基于對(duì)耳語(yǔ)音共振峰位置、能量以及人耳對(duì)耳語(yǔ)音聽覺模型的研究提出了修正MFCC參數(shù)MFCCM和MFCCExp-log。 通過(guò)分析發(fā)現(xiàn)共振峰頻率F1、F3較之其他共振峰參數(shù)對(duì)說(shuō)話人識(shí)別更具有重要作用，通過(guò)對(duì)現(xiàn)有三種頻域尺度下LPCC、MFCC和ASCC（AccentSensitiveScaleCoefficient，口音敏感尺度系數(shù)）的研究，提出一種新的頻域尺度WSS（WhisperSensitiveScale,耳語(yǔ)敏感尺度），并在此尺度下提取新的特征參數(shù)WSSC（WhisperSensitiveScaleCoefficient,耳語(yǔ)敏感尺度系數(shù)）用于基于HMM的說(shuō)話人識(shí)別系統(tǒng)。WSS尺度與線性尺度關(guān)系如下式：13.3耳語(yǔ)音增強(qiáng)

耳語(yǔ)音的信噪比很低，因此在對(duì)其進(jìn)行識(shí)別和轉(zhuǎn)換時(shí)，必須進(jìn)行耳語(yǔ)音的增強(qiáng)。雖然正常語(yǔ)音的增強(qiáng)方法也適用于耳語(yǔ)音，但由于耳語(yǔ)音更容易受背景噪聲的干擾，所以需要尋求更適合耳語(yǔ)音的增強(qiáng)方法。傳統(tǒng)的正常語(yǔ)音增強(qiáng)方法如維納濾波和譜減法對(duì)提高信噪比有很好的效果，但都?xì)埩袅撕艽蟮摹耙魳吩肼暋保瑢?duì)耳語(yǔ)音來(lái)說(shuō)無(wú)法很好適用。因此蘇州大學(xué)的趙鶴鳴提出兩種增強(qiáng)耳語(yǔ)音信噪比的算法，“基于AD神經(jīng)網(wǎng)絡(luò)的耳語(yǔ)音增強(qiáng)”和“基于LMS自適應(yīng)濾波的耳語(yǔ)音增強(qiáng)”。

“基于AD神經(jīng)網(wǎng)絡(luò)的耳語(yǔ)音增強(qiáng)”利用神經(jīng)網(wǎng)絡(luò)具有模仿人腦結(jié)構(gòu)來(lái)處理信息的自適應(yīng)線性神經(jīng)元（ADAptive

LINearNeuron,ADLINE）網(wǎng)絡(luò)的線性預(yù)測(cè)來(lái)自適應(yīng)地消除由譜減法產(chǎn)生的“音樂噪聲”。ADALINE是線性神經(jīng)網(wǎng)絡(luò)的典型代表,它以LMS為學(xué)習(xí)算法，使均方誤差最小，獲得具有較強(qiáng)抗噪能力網(wǎng)絡(luò)。

耳語(yǔ)音增強(qiáng)系統(tǒng)原理框圖“基于LMS自適應(yīng)濾波的耳語(yǔ)音增強(qiáng)算法”也采用譜減法得到一個(gè)增強(qiáng)耳語(yǔ)音信號(hào)，得到較好的譜包絡(luò)之后對(duì)增強(qiáng)信號(hào)進(jìn)行LMS自適應(yīng)濾波，消除由譜減法產(chǎn)生的音樂噪聲。這種方法在低信噪比的情況下，信噪比可以提高20dB左右。

LMS自適應(yīng)噪聲對(duì)消原理13.4耳語(yǔ)音轉(zhuǎn)換正常音

由于耳語(yǔ)音獨(dú)特的發(fā)音機(jī)理和聲學(xué)特性，使得耳語(yǔ)音的變換不同于正常音下不同說(shuō)話人之間的語(yǔ)音變換，也不同于氣管食管語(yǔ)音的增強(qiáng)。后兩種語(yǔ)音變換都是在基頻存在的情況下進(jìn)行相應(yīng)處理，而耳語(yǔ)音的變換是從無(wú)基頻到有基頻的轉(zhuǎn)變，因此有兩個(gè)關(guān)鍵問題需要解決。一是如何添加基頻，二是如何修正聲道傳輸函數(shù)。

漢語(yǔ)耳語(yǔ)音轉(zhuǎn)換為正常音的系統(tǒng)框圖 上圖是漢語(yǔ)耳語(yǔ)音轉(zhuǎn)換為正常音的系統(tǒng)框圖。首先把8KHz，16bit采集的耳語(yǔ)音進(jìn)行預(yù)加重去除噪聲，然后分幀加海明窗，窗長(zhǎng)20ms，窗移10ms。通過(guò)計(jì)算各幀信號(hào)的對(duì)稱相對(duì)熵進(jìn)行聲韻分割，分別獲得耳語(yǔ)音的聲母部分和韻母部分。韻母部分通過(guò)同態(tài)信號(hào)處理正系統(tǒng)后，用短時(shí)窗提取聲道響應(yīng)序列的復(fù)倒譜，然后通過(guò)同態(tài)信號(hào)處理逆系統(tǒng)恢復(fù)出聲道傳遞時(shí)序序列，再把漢語(yǔ)普通話的歸一字調(diào)模型根據(jù)音調(diào)加入基頻。將處理過(guò)的韻母和聲母連接起來(lái)就可基本恢復(fù)出正常音。因?yàn)槎Z(yǔ)音聲道傳輸函數(shù)相對(duì)于正常音發(fā)生了改變，使得韻母500Hz以下的譜被衰減，所以需要一個(gè)低頻提升濾波器對(duì)韻母部分進(jìn)行低頻提升。考慮到合成語(yǔ)音的自然度，對(duì)耳語(yǔ)音的聲母也要適當(dāng)提升。由于耳語(yǔ)音音量比較小，語(yǔ)速比較慢，所以對(duì)合成出的正常音還要進(jìn)行音量加強(qiáng)和語(yǔ)速提升。利用該系統(tǒng)對(duì)漢語(yǔ)耳語(yǔ)音“零”到“九”進(jìn)行轉(zhuǎn)換，恢復(fù)出正常音，人耳可以對(duì)其正常分辨。但是它只是實(shí)現(xiàn)了孤立字的變換，而且其中一些重要的具體問題還有待于進(jìn)一步研究，如精確的聲韻分割、基音周期的確定、聲音的自然度等。

13.5耳語(yǔ)音識(shí)別

13.5.1孤立字詞的耳語(yǔ)音識(shí)別

孤立字詞識(shí)別是耳語(yǔ)音識(shí)別的一個(gè)重要分支，目前相關(guān)的研究還較少。孤立字詞識(shí)別系統(tǒng)在語(yǔ)音識(shí)別領(lǐng)域中存在的問題最少，而且孤立字詞識(shí)別的許多技術(shù)是可以用到字詞挑選和連續(xù)語(yǔ)音識(shí)別中去的。因?yàn)樽衷~之間有停頓,孤立單詞的端點(diǎn)檢測(cè)比較容易，而且單詞之間的協(xié)同發(fā)音影響也可減至最低。正常音的孤立字識(shí)別方法大致有：（1）采用判別函數(shù)或準(zhǔn)則方法；（2）DTW方法；（3）矢量量化（VQ）；（4）人工神經(jīng)網(wǎng)絡(luò)；（5）HMM；（6）以上方法的混合技術(shù)。13.5.2耳語(yǔ)音的說(shuō)話人識(shí)別

徐柏齡等人設(shè)計(jì)了說(shuō)話人識(shí)別系統(tǒng)框圖。系統(tǒng)主要分為預(yù)處理、特征提取、建模與模型匹配3個(gè)部分。其中預(yù)處理主要是對(duì)耳語(yǔ)音進(jìn)行端點(diǎn)檢測(cè)、語(yǔ)音增強(qiáng)、高通濾波（500Hz）和譜相減降噪。提取的特征矢量為20階傳統(tǒng)MFCC參數(shù)、MFCCM和MFCCExp-Log及其各自的一階差分系數(shù)（△）。模型則采用的是標(biāo)準(zhǔn)隱馬爾可夫模型和改進(jìn)隱馬爾可夫模型。 實(shí)驗(yàn)中采用的樣本庫(kù)由20個(gè)人（10男10女）的漢語(yǔ)耳語(yǔ)音數(shù)字（0-9）構(gòu)成，每人將十個(gè)數(shù)字依次讀10遍，合計(jì)2000音。用400個(gè)音進(jìn)行訓(xùn)練，1600個(gè)音用于識(shí)別，識(shí)別結(jié)果見表特征參量與模型起止頻率0-4000Hz500-4000MFCC+△（標(biāo)準(zhǔn)HMM）85.12%88.25%MFCCM+△（標(biāo)準(zhǔn)HMM）87.94%88.88%MFCCExp-Log+△（標(biāo)準(zhǔn)HMM）90.50%91.37%MFCCExp-Log+MFCCM（改進(jìn)HMM）90.13%92.31% 從結(jié)果可以看出采用MFCCM和MFCCExp-Log參數(shù)的說(shuō)話人識(shí)別系統(tǒng)的效能都優(yōu)于采用傳統(tǒng)的MFCC參數(shù)的系統(tǒng)。而且采用MFCCExp-Log的優(yōu)勢(shì)尤為明顯，這是由于考慮到人耳敏感區(qū)域的偏移，與實(shí)際情況最為吻合。采用MFCCM的結(jié)果雖然沒有MFCCExp-Log的效果好，但是它對(duì)現(xiàn)有系統(tǒng)的改動(dòng)較小，系統(tǒng)在處理正常音時(shí)性能接近傳統(tǒng)MFCC參數(shù)，而且計(jì)算量明顯小于MFCCExp-Log，因此在某些應(yīng)用情況下采用MFCCM效果更好。13.6今后的研究方向

關(guān)于耳語(yǔ)音的研究是一個(gè)綜合了聽覺生理學(xué)、心理學(xué)、認(rèn)知科學(xué)以及信號(hào)和信息處理的多領(lǐng)域跨學(xué)科的課題，有著極其廣闊的應(yīng)用前景。但是相關(guān)的研究才剛剛開始，許多問題有待解決。如耳語(yǔ)音的韻律問題，目前是各國(guó)研究者非常興趣的課題，現(xiàn)在仍處于初級(jí)研究階段；耳語(yǔ)音的情感識(shí)別研究還沒有展開；在已有的正常語(yǔ)音研究成果基礎(chǔ)上，尋找適用于耳語(yǔ)語(yǔ)音的信號(hào)處理方法的研究，做為一個(gè)新興課題，它還有許多問題需要去探討。 1.耳語(yǔ)音的聲學(xué)特征分析與提取 以語(yǔ)音學(xué)的分析研究為基礎(chǔ)，從工程信息處理角度去研究耳語(yǔ)語(yǔ)音信號(hào)處理的關(guān)鍵技術(shù)和方法。包括耳語(yǔ)語(yǔ)音信號(hào)中的特征分析和提取方法；研究新的耳語(yǔ)語(yǔ)音信息特征參數(shù)的提取、記述、變換、加工和表現(xiàn)方法。重點(diǎn)研究韻律學(xué)以外的耳語(yǔ)語(yǔ)音信息特征參數(shù)，如聲管特征、氣息特征等。由于耳語(yǔ)語(yǔ)音不同于正常語(yǔ)音的無(wú)基音和低聲級(jí)發(fā)音模式，使得目前正常語(yǔ)音采用的韻律特征對(duì)于耳語(yǔ)語(yǔ)音來(lái)講效果可能就不太明顯。所以此前一些適用于正常語(yǔ)音識(shí)別的特征參數(shù)