語(yǔ)音與唇動(dòng)的多層次融合

1參數(shù)級(jí)抗噪方法說(shuō)話(huà)是聲音識(shí)別研究領(lǐng)域的亮點(diǎn)之一。除了語(yǔ)音信號(hào)中包含意義信息外，它還包含大量說(shuō)話(huà)人的個(gè)性信息。因此，根據(jù)語(yǔ)音信號(hào)中說(shuō)話(huà)人的個(gè)性特征，僅通過(guò)電話(huà)、網(wǎng)絡(luò)廣播、廣播等傳輸?shù)穆曇魜?lái)區(qū)分和確定說(shuō)話(huà)人的特定身份。語(yǔ)音數(shù)據(jù)處理研究領(lǐng)域的自動(dòng)語(yǔ)言識(shí)別是一種利用計(jì)算機(jī)根據(jù)說(shuō)話(huà)人的聲音識(shí)別說(shuō)話(huà)人身份的技術(shù)。影響說(shuō)話(huà)人識(shí)別系統(tǒng)性能的一個(gè)重要因素是訓(xùn)練與測(cè)試環(huán)境的失配,引起失配的主要原因之一是環(huán)境噪聲.目前較有效的提高說(shuō)話(huà)人識(shí)別系統(tǒng)的環(huán)境噪聲魯棒性的方法有多種,總的來(lái)說(shuō)可以歸納為從數(shù)據(jù)、特征參數(shù)以及模型三個(gè)層面著手.從數(shù)據(jù)層面著手是指盡可能消除數(shù)據(jù)即語(yǔ)音信號(hào)中的噪聲,如處理寬帶噪聲的譜減法.從特征參數(shù)層面著手是指提高語(yǔ)音特征的噪聲魯棒性,如動(dòng)態(tài)參數(shù)就是一種常用的參數(shù)級(jí)抗噪方法,通過(guò)靜態(tài)參數(shù)的時(shí)域差分得到的動(dòng)態(tài)參數(shù)可以在一定程度上削弱平穩(wěn)噪聲的影響.從模型層面著手的主要方法有自適應(yīng)模型修正和并行模型聯(lián)合(ParallelModelCombination,PMC)等.上述三個(gè)層面的方法都是從語(yǔ)音單模態(tài)的角度出發(fā),實(shí)際上,人們對(duì)語(yǔ)音的感知是多模態(tài)的,著名的McGurk效應(yīng)就說(shuō)明了人類(lèi)對(duì)語(yǔ)音的感知會(huì)同時(shí)受到聽(tīng)視覺(jué)的影響.進(jìn)一步通過(guò)語(yǔ)音發(fā)聲時(shí)序關(guān)系的研究發(fā)現(xiàn),人類(lèi)說(shuō)話(huà)時(shí)音頻流和視頻流之間存在著異步關(guān)系,聽(tīng)到聲音的時(shí)間基本上要比嘴形開(kāi)始變化的時(shí)間平均晚大約120ms.所以,建立能反映聲音和唇動(dòng)非同步關(guān)系的音視頻雙模態(tài)聯(lián)合模型,將語(yǔ)音與視覺(jué)雙模態(tài)有效地融合起來(lái)對(duì)于說(shuō)話(huà)人識(shí)別魯棒性的研究具有重要的意義.由于隱馬爾可夫模型(HiddenMarkovModel,HMM)是當(dāng)前語(yǔ)音識(shí)別的主流技術(shù),目前為音視頻雙模態(tài)聯(lián)合建模時(shí)多采用基于HMM的方式.Luettin等人對(duì)音視頻時(shí)序關(guān)系進(jìn)行分析,并利用多流HMM在一定程度上對(duì)聽(tīng)視覺(jué)之間的相關(guān)性和非同步性加以描述,然而對(duì)聽(tīng)視覺(jué)非同步關(guān)聯(lián)關(guān)系的建模停留在音素級(jí),研究實(shí)驗(yàn)證明,由于協(xié)同發(fā)音現(xiàn)象的普遍存在使得聽(tīng)視覺(jué)間的非同步關(guān)聯(lián)已經(jīng)超過(guò)了音素邊界.另外一種常用的乘積HMM帶來(lái)了狀態(tài)空間過(guò)大、計(jì)算量增加等問(wèn)題.Stephen等人利用耦合HMM在語(yǔ)音識(shí)別中進(jìn)行了實(shí)驗(yàn),不同信噪比下均達(dá)到不錯(cuò)的效果.但是,我們注意到,基于HMM的方式對(duì)于表述音視頻雙模態(tài)融合這樣復(fù)雜的問(wèn)題有致命的弱點(diǎn),這主要表現(xiàn)在:HMM模型的擴(kuò)展性較差,模型結(jié)構(gòu)改變時(shí),相關(guān)算法也必須隨之改變;并且,HMM模型缺乏可解釋性,難以直接對(duì)音視頻關(guān)聯(lián)關(guān)系進(jìn)行分析.所以,本文首先利用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(DynamicBayesianNetwork,DBN)建立音視頻聯(lián)合模型,因DBN具有可擴(kuò)展性和解釋性,適于對(duì)特征之間關(guān)聯(lián)關(guān)系進(jìn)行描述.其次,人類(lèi)發(fā)音機(jī)理的研究揭示了音視頻之間非同步關(guān)聯(lián)的深層次成因,即表面上觀(guān)察到的語(yǔ)音與唇動(dòng)特征的非同步本質(zhì)上是多個(gè)發(fā)音特征在發(fā)音過(guò)程中的非同步,因此,我們建立了基于多個(gè)發(fā)音特征流的非同步關(guān)聯(lián)的音視頻聯(lián)合模型,把多個(gè)發(fā)音特征作為多個(gè)隱含的狀態(tài)變量,輸出的語(yǔ)音、唇動(dòng)特征觀(guān)察值概率由各個(gè)發(fā)音特征狀態(tài)變量共同作用;允許各個(gè)發(fā)音特征流之間存在非同步的關(guān)聯(lián),并對(duì)非同步的程度加以約束.音視頻雙模態(tài)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)表明了該模型能提高說(shuō)話(huà)人識(shí)別系統(tǒng)的噪聲魯棒性.2基于非同步發(fā)音特征流的視聽(tīng)聯(lián)合模型2.1連續(xù)音圖聯(lián)合條件動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)能以圖的方式直觀(guān)地反映變量間的概率依存關(guān)系及其隨時(shí)間變化的規(guī)律,非常適合對(duì)時(shí)間序列進(jìn)行建模.它還適合于對(duì)音視頻這種同時(shí)具有特征相關(guān)性和時(shí)序相關(guān)性的復(fù)雜特征進(jìn)行聯(lián)合建模,因?yàn)槠洳坏軌驅(qū)ψ兞克鶎?duì)應(yīng)的不同特征之間的依存關(guān)系進(jìn)行概率建模,而且對(duì)特征之間的時(shí)序關(guān)系也能很好地加以反映,并且,其拓?fù)浣Y(jié)構(gòu)具有精確及易于理解的概率語(yǔ)義,通過(guò)對(duì)其進(jìn)行分析可以加深對(duì)不同變量間關(guān)聯(lián)關(guān)系的理解,因此適于對(duì)音視頻間的關(guān)聯(lián)關(guān)系進(jìn)行分析建模.本文使用圖1所示的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)為音視頻特征建立基準(zhǔn)模型.圖1所示為連續(xù)的某兩幀,由此得到聯(lián)合條件概率分布如下:p(Λt|Λt-1)=p(xt|qt)p(yt|qt)p(qt|φt,wt)p(qinct|qt)·p(φt|φt-1,qinct-1,winct-1)·p(winct|qinct,φt,wt)·p(wt|wt-1,winct-1)(1)其中:p(Λt|Λt-1)表示給定t-1幀的所有變量,產(chǎn)生t幀的所有變量的條件概率.在圖1中,觀(guān)察值(observations)向量對(duì)應(yīng)的節(jié)點(diǎn)是可觀(guān)測(cè)節(jié)點(diǎn),其余的均為隱含節(jié)點(diǎn).以t幀為例加以說(shuō)明:xt和yt分別表示音頻和視頻的特征向量,類(lèi)似于隱馬爾科夫模型,概率分布p(xt|qt)和p(yt|qt)采用多個(gè)高斯分布的加權(quán)和來(lái)描述.qt是音素的狀態(tài)(phonestate).qinct(phonestatetransition)表示音素狀態(tài)的轉(zhuǎn)移,當(dāng)發(fā)生轉(zhuǎn)移時(shí)其值為1,否則為0.?t(phonecounter)表示音素在詞中的位置,初始幀時(shí)?t為1;在其它幀,當(dāng)一個(gè)詞結(jié)束發(fā)生詞間轉(zhuǎn)移時(shí)(winct-1=1),其值復(fù)位為1;當(dāng)在一個(gè)詞的內(nèi)部且發(fā)生了音素狀態(tài)轉(zhuǎn)移時(shí)(winct-1=0,qinct-1=1),則?t=?t-1+1;當(dāng)既沒(méi)有詞間轉(zhuǎn)移也沒(méi)有音素狀態(tài)轉(zhuǎn)移時(shí),?t=?t-1.winct(wordtransition)表示詞的轉(zhuǎn)移,當(dāng)發(fā)生了音素狀態(tài)轉(zhuǎn)移(qinct-1=1),且?t的值為所在詞包含的音素的狀態(tài)數(shù)之和時(shí),則說(shuō)明有詞間轉(zhuǎn)移,winct的值賦為1,否則為0.wt表示詞(word).語(yǔ)音和唇動(dòng)特征在模型中可共用相同的狀態(tài)轉(zhuǎn)移序列(如圖1所示),即它們的關(guān)聯(lián)關(guān)系是同步的,但語(yǔ)音發(fā)聲的時(shí)序關(guān)系表明音頻和視頻之間存在著異步關(guān)聯(lián),因而,一個(gè)更好的選擇是采用非同步關(guān)聯(lián)的方式.2.2各低單聲變量的組合發(fā)音音位學(xué)的研究工作指出,在發(fā)音過(guò)程中,圖2所示的8個(gè)聲道變量中的每一個(gè)都可以用對(duì)應(yīng)的gestures值來(lái)描述,如LIP-LOC(LipLocation)的值有:Protruded(伸出、突出),Labial(唇音的,表示嘴唇通常所處的位置),Dental(齒音的,表示唇齒相接時(shí)的位置);LIP-OP(LipOpening)的值有:Closed(閉合),Critical(臨界閉合),Narrow(張開(kāi)度小),Wide(張開(kāi)度大).對(duì)8個(gè)聲道變量進(jìn)行合理地簡(jiǎn)化,組合成3個(gè),即:LIP-LOC和LIP-OP組合成Lip;TT-LOC,TT-OP,TB-LOC和TB-OP(TT指TongueTip,TB指TongueBody)組合成Tongue;GLOTTIS和VELUM組合成Glottis,并分別用字母L,T和G來(lái)表示,則L是描述嘴唇所處位置及張開(kāi)度的發(fā)音特征,T是描述舌尖和舌體的發(fā)音特征,G是描述軟腭和聲門(mén)的發(fā)音特征.根據(jù){L,T,G}對(duì)應(yīng)的gestures值,可以建立各音素與發(fā)音特征值之間的對(duì)應(yīng)關(guān)系表.在發(fā)音過(guò)程中,L、T和G發(fā)音特征之間可以是非同步的.如在發(fā)“three”音的過(guò)程中,說(shuō)話(huà)人的舌尖和嘴唇已分別處于詞“three”的前兩個(gè)音素(/θ/和/r/)的狀態(tài),而此時(shí)的靜音說(shuō)明聲門(mén)處于“Silent”值.圖3對(duì)此做了解釋,在聽(tīng)到“three”音前的某一靜音時(shí)刻,三個(gè)發(fā)音特征分別對(duì)應(yīng)不同的音素:G對(duì)應(yīng)靜音(對(duì)應(yīng)值為“Silent”),T對(duì)應(yīng)第1個(gè)音素/θ/(對(duì)應(yīng)值為“DentalCritical”),L對(duì)應(yīng)第2個(gè)音素/r/(對(duì)應(yīng)值為“Round”).所以,聽(tīng)到聲音的時(shí)間要比嘴形開(kāi)始變化的時(shí)間晚.上述發(fā)音機(jī)理的研究表明了:表面上觀(guān)察到的音視頻之間的非同步本質(zhì)上是多個(gè)發(fā)音特征在發(fā)音過(guò)程中的非同步.以此為出發(fā)點(diǎn),我們的研究思路是:不再如傳統(tǒng)的HMM那樣用音素作為隱含的狀態(tài)變量,取而代之的是發(fā)音特征,把發(fā)音特征作為隱含的狀態(tài)變量,允許各個(gè)發(fā)音特征流之間存在非同步的關(guān)聯(lián),并對(duì)非同步的程度加以約束.2.3耦合變量值的非同步程度我們用圖4所示的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)來(lái)表達(dá)發(fā)音特征模型(ArticulatoryFeatureModel,AFM).其中,三個(gè)發(fā)音特征分別作為三個(gè)隱含的狀態(tài)變量lt,tt,gt,各個(gè)發(fā)音特征流之間是非同步的關(guān)聯(lián),即有各自的狀態(tài)轉(zhuǎn)移linct,tinct,ginct,同時(shí)利用耦合變量值的概率分布實(shí)現(xiàn)對(duì)非同步程度的約束,在圖中,由于篇幅限制只畫(huà)出了三個(gè)耦合變量中的兩個(gè):δt=|λt?τt|δt=|λt-τt|和εt=|τt?γt|εt=|τt-γt|(另一個(gè)是θt=|λt?γt|)θt=|λt-γt|).以δt為例,它表示L和T發(fā)音特征流中當(dāng)前所處的狀態(tài)值的絕對(duì)差,反映了非同步的程度;耦合變量的值服從一定的概率分布,即有P(δt=a|a>δMax)=0,其中δMax是允許的最大的非同步程度,我們?nèi)?,此式說(shuō)明δt耦合變量的值只有是0、1、2時(shí)才有非零的概率,使得發(fā)音特征流之間的非同步不能超過(guò)允許的范圍,由此控制linct和tinct,控制相應(yīng)特征的狀態(tài)轉(zhuǎn)移概率.同樣由于篇幅限制,圖中未畫(huà)出觀(guān)察值變量xt和yt,但它們的觀(guān)察值輸出概率均采用由各個(gè)發(fā)音特征狀態(tài)變量共同作用的方式:對(duì)于觀(guān)察值變量xt,輸出概率P(xt|lt,tt,gt)表示語(yǔ)音特征xt在三個(gè)發(fā)音特征狀態(tài)變量共同作用下的條件概率;對(duì)于觀(guān)察值變量yt,輸出概率P(yt|lt,tt)表示唇動(dòng)特征yt在L和T發(fā)音特征狀態(tài)變量共同作用下的條件概率,我們認(rèn)為G發(fā)音特征和視覺(jué)參數(shù)無(wú)關(guān).上述兩個(gè)條件概率都用多個(gè)高斯分量的加權(quán)和來(lái)表示.2.4模型權(quán)重的確定在上述模型級(jí)融合的基礎(chǔ)上,我們進(jìn)行決策級(jí)的融合,從而實(shí)現(xiàn)如圖5所示的語(yǔ)音與視覺(jué)特征的多層次融合.決策級(jí)融合中將匹配結(jié)果即概率評(píng)分通過(guò)融合算法進(jìn)行綜合,利用了多個(gè)特征之間的互補(bǔ)性,且遵循低信噪比時(shí)唇動(dòng)特征由于抗噪性強(qiáng)應(yīng)具有較高可靠度和權(quán)重的準(zhǔn)則,以期利用多個(gè)特征的綜合結(jié)果來(lái)提高系統(tǒng)的性能.最終輸出的聯(lián)合概率密度如下式所示:P(OA,OV|MA,MV,MAV)=[P(OA|MA)]λA·[P(OV|MV)]λV[P(OA,OV|MAV)]λAV(2)其中:P(OA|MA)是語(yǔ)音模型MA產(chǎn)生語(yǔ)音特征矢量OA的條件概率,其余類(lèi)推,MV和MAV分別對(duì)應(yīng)唇動(dòng)模型和語(yǔ)音與唇動(dòng)聯(lián)合模型.指數(shù)λA,λV和λAV反映了融合時(shí)的權(quán)重,滿(mǎn)足λA+λV+λAV=1,λA=λAV,λA,λV,λAV≥0的約束.權(quán)重的評(píng)估應(yīng)隨著背景環(huán)境的變化而變化,在不同的語(yǔ)音信噪比條件下,各模型對(duì)最終識(shí)別性能的貢獻(xiàn)是不同的,當(dāng)信噪比較低即語(yǔ)音質(zhì)量較差時(shí),唇動(dòng)模型由于抗噪性強(qiáng),應(yīng)具有更高的權(quán)重,而賦予與語(yǔ)音相關(guān)的模型較低的權(quán)重.3受試者識(shí)別和結(jié)果分析3.1階差分形成28維全國(guó)語(yǔ)音特征參數(shù)實(shí)驗(yàn)所用數(shù)據(jù)來(lái)自CMU的音視頻雙模態(tài)數(shù)據(jù)庫(kù),其中采集了7男3女共10人的音視頻數(shù)據(jù),每人朗讀78個(gè)單詞(包含數(shù)字、星期、月份等),并重復(fù)10次.我們?nèi)∑渲械臄?shù)字部分,共31個(gè)單詞.提取特征參數(shù)時(shí),對(duì)音頻取13階MFCC參數(shù)和1階能量參數(shù)并取一階差分,形成28維的語(yǔ)音特征參數(shù);對(duì)視頻取上唇高度、下唇高度、嘴唇寬度及其一階差分,形成6維的唇動(dòng)特征參數(shù).由于語(yǔ)音的幀長(zhǎng)為25ms,幀移為11ms,而視頻的幀速率為每秒30幀,所以通過(guò)在相鄰視頻幀之間進(jìn)行插值實(shí)現(xiàn)升采樣,使視頻的幀速率達(dá)到與音頻的一致.建模時(shí),分別為每個(gè)說(shuō)話(huà)人建立各個(gè)數(shù)字的模型.對(duì)于CHMM模型(參考文獻(xiàn)的基礎(chǔ)上用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn)),語(yǔ)音狀態(tài)數(shù)取為5,唇動(dòng)狀態(tài)數(shù)取為3,混合度數(shù)均為3;對(duì)于本文提出的AFM模型,L,T,G發(fā)音特征的狀態(tài)數(shù)均取為3,混合度數(shù)均為2.識(shí)別時(shí)采用基于數(shù)字串的文本提示的方式進(jìn)行,即要求說(shuō)話(huà)人按提示的數(shù)字串發(fā)音,將其中每個(gè)數(shù)字的模型拼接形成整個(gè)數(shù)字串的模型,然后進(jìn)行識(shí)別.模型的訓(xùn)練和識(shí)別的過(guò)程均使用GMTK(GraphicalModelsToolkit)工具包進(jìn)行.3.2單模態(tài)音頻系統(tǒng)性能分析為考察基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的音視頻聯(lián)合建模的性能受語(yǔ)音噪聲的影響,進(jìn)行了不同語(yǔ)音信噪比(SNR)條件下的說(shuō)話(huà)人識(shí)別的實(shí)驗(yàn).實(shí)驗(yàn)時(shí),利用原始語(yǔ)音(SNR=30dB)及唇動(dòng)特征數(shù)據(jù)進(jìn)行模型訓(xùn)練,然后在原始語(yǔ)音信號(hào)中加入高斯白噪聲以形成不同的語(yǔ)音信噪比,并在不同的信噪比條件下進(jìn)行識(shí)別,測(cè)試模型的噪聲魯棒性.實(shí)驗(yàn)采用交叉驗(yàn)證的方式進(jìn)行,對(duì)每個(gè)說(shuō)話(huà)人,取其全部數(shù)據(jù)的90%進(jìn)行模型訓(xùn)練,其余10%的數(shù)據(jù)用于識(shí)別.重復(fù)該過(guò)程,直至所有數(shù)據(jù)均被測(cè)試一遍,并取所有測(cè)試語(yǔ)句的識(shí)別結(jié)果的平均作為最終的結(jié)果.分析表1的實(shí)驗(yàn)結(jié)果可知:(1)Audio-only的單模態(tài)音頻系統(tǒng)在低信噪比時(shí)根本無(wú)法工作;Video-only的單模態(tài)視頻系統(tǒng)的性能與信噪比無(wú)關(guān);而音視頻雙模態(tài)系統(tǒng)的性能在所有帶噪環(huán)境下均優(yōu)于單模態(tài)音頻系統(tǒng).(2)AFM模型比CHMM模型具有更高的識(shí)別正確率,尤其在低信噪比時(shí),這是由于前者揭示了音視頻之間非同步關(guān)聯(lián)的深層次成因,把語(yǔ)音、唇動(dòng)特征之間的非同步關(guān)聯(lián)關(guān)系更準(zhǔn)確地描述出來(lái).(3)由于訓(xùn)練和測(cè)試環(huán)境的失配,在SNR小于10dB時(shí),無(wú)論AFM還是CHMM模型,它們的性能均不及Video-only單模態(tài)視頻系統(tǒng).(4)多層次融合解決了(3)的問(wèn)題,它通過(guò)對(duì)音視頻特征進(jìn)行綜合考慮,且遵循低信噪比時(shí)唇動(dòng)特征由于抗噪性強(qiáng)應(yīng)具有較高權(quán)重的準(zhǔn)則,從而使得Audio-only和Video-only成為AFM模型的有效補(bǔ)充,增強(qiáng)了說(shuō)話(huà)人識(shí)別系統(tǒng)的魯棒性.權(quán)重λA的值在30dB、20dB、10dB和0dB條件下分別為:0.4、0.3、0.1、0.01,滿(mǎn)足λA+λV+λAV=1,λA=λAV