CN111145771B 語音信號(hào)處理方法、處理裝置、終端及其存儲(chǔ)介質(zhì)(騰訊科技(深圳)有限公司)_第1頁
CN111145771B 語音信號(hào)處理方法、處理裝置、終端及其存儲(chǔ)介質(zhì)(騰訊科技(深圳)有限公司)_第2頁
CN111145771B 語音信號(hào)處理方法、處理裝置、終端及其存儲(chǔ)介質(zhì)(騰訊科技(深圳)有限公司)_第3頁
CN111145771B 語音信號(hào)處理方法、處理裝置、終端及其存儲(chǔ)介質(zhì)(騰訊科技(深圳)有限公司)_第4頁
CN111145771B 語音信號(hào)處理方法、處理裝置、終端及其存儲(chǔ)介質(zhì)(騰訊科技(深圳)有限公司)_第5頁
已閱讀5頁,還剩36頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利地址518000廣東省深圳市南山區(qū)高新區(qū)限公司44205審查員張涵儲(chǔ)介質(zhì)本申請(qǐng)公開了語音信號(hào)處理方法、處理裝第二語音信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于第一語信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于第一語音信號(hào)的號(hào)的相關(guān)度而判斷回聲中非線性失真信號(hào)的嚴(yán)2獲取第二語音信號(hào),所述第二語音信號(hào)為所述第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的語根據(jù)所述第一功率值和所述第二功率值計(jì)算所述第一語音信號(hào)和所述殘差信號(hào)的相關(guān)度,所述相關(guān)度為所述第一語音信號(hào)和所述殘差信號(hào)在頻域上對(duì)應(yīng)頻點(diǎn)的功率相關(guān)度系根據(jù)所述相關(guān)度獲得對(duì)應(yīng)的增益調(diào)節(jié)參數(shù),并利用所述增益調(diào)節(jié)參數(shù)對(duì)所述第一語音其中,E(k)為所述殘差信號(hào)進(jìn)行傅里葉變換后對(duì)應(yīng)頻點(diǎn)的頻域根據(jù)所述功率相關(guān)度系數(shù)獲得對(duì)應(yīng)的增益調(diào)節(jié)參數(shù),所述增根據(jù)所述增益調(diào)整系數(shù)對(duì)所述第一語音信號(hào)在頻域上對(duì)應(yīng)頻點(diǎn)的功率值進(jìn)行抑制調(diào)當(dāng)所述相關(guān)度小于第一預(yù)設(shè)閾值,設(shè)置所述增益調(diào)節(jié)參數(shù)為第一增益值當(dāng)所述相關(guān)度大于等于第一預(yù)設(shè)閾值且小于等于第二預(yù)設(shè)閾值,設(shè)置所述增益調(diào)節(jié)參對(duì)所述線性回聲信號(hào)進(jìn)行反相處理并與所述對(duì)齊后的第二語音3到對(duì)應(yīng)于所述第一語音信號(hào)的殘差信號(hào)。語音獲取單元,用于獲取第一語音信號(hào);語音采集單元,用于獲取第二語音信號(hào),所述第二語音信號(hào)為所述第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的語音采集信號(hào);回聲處理單元,用于對(duì)所述第二語音信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于所述第一語音信號(hào)的殘差信號(hào);抑制調(diào)節(jié)單元,用于計(jì)算所述第一語音信號(hào)在頻域上對(duì)應(yīng)頻點(diǎn)的第一功率值;計(jì)算所述殘差信號(hào)在頻域上對(duì)應(yīng)頻點(diǎn)的第二功率值;根據(jù)所述第一功率值和所述第二功率值計(jì)算所述第一語音信號(hào)和所述殘差信號(hào)的相關(guān)度,所述相關(guān)度為所述第一語音信號(hào)和所述殘差信號(hào)在頻域上對(duì)應(yīng)頻點(diǎn)的功率相關(guān)度系數(shù);根據(jù)所述相關(guān)度獲得對(duì)應(yīng)的增益調(diào)節(jié)參數(shù),并利用所述增益調(diào)節(jié)參數(shù)對(duì)所述第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)。7.一種語音信號(hào)處理裝置,包括:存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,其特征在于,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至5中任意一項(xiàng)所述的語音信號(hào)處理方法。8.一種終端,其特征在于,包括權(quán)利要求6所述的語音信號(hào)處理裝置或權(quán)利要求7所述的語音信號(hào)處理裝置。9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令,所述計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行權(quán)利要求1至5中任意一項(xiàng)所述的語音信號(hào)處理方法。4語音信號(hào)處理方法、處理裝置、終端及其存儲(chǔ)介質(zhì)技術(shù)領(lǐng)域[0001]本申請(qǐng)實(shí)施例涉及語音信號(hào)處理技術(shù)領(lǐng)域,尤其涉及一種語音信號(hào)處理方法、處理裝置、終端及其計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。背景技術(shù)[0002]隨著語音信號(hào)處理技術(shù)的不斷發(fā)展,用戶對(duì)語音質(zhì)量要求也越來越高,若語音中出現(xiàn)有回聲將會(huì)嚴(yán)重影響語音質(zhì)量?;芈暜a(chǎn)生的原理:語音信號(hào)在揚(yáng)聲器中播放以及在封閉或半封閉環(huán)境中經(jīng)過多次反射而導(dǎo)致信號(hào)失真,最后與本地語音一起被麥克風(fēng)采集從而形成回聲。[0003]為了消除回聲對(duì)語音質(zhì)量的影響,傳統(tǒng)的消除回聲方法主要是直接通過回聲消除系統(tǒng)直接對(duì)麥克風(fēng)采集的語音信號(hào)進(jìn)行回聲消除。然而,采用上述回聲消除方法,無法解決揚(yáng)聲器存在的非線性失真問題,所述揚(yáng)聲器的非線性失真,表現(xiàn)為揚(yáng)聲器輸出的聲音中出現(xiàn)許多附加的非原有語音信號(hào)的失真信號(hào),所述的失真信號(hào)為揚(yáng)聲器非線性失真導(dǎo)致的非線性失真信號(hào),現(xiàn)有的回聲消除系統(tǒng)無法對(duì)所述非線性失真信號(hào)進(jìn)行有效的處理,從而影響語音通信的質(zhì)量。發(fā)明內(nèi)容[0004]以下是對(duì)本文詳細(xì)描述的主題的概述。本概述并非是為了限制權(quán)利要求的保護(hù)范[0005]本申請(qǐng)?zhí)峁┝艘环N語音信號(hào)處理方法、處理裝置、終端及其計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),能夠抑制揚(yáng)聲器發(fā)出非線性失真,提高語音通信的質(zhì)量。[0008]獲取第二語音信號(hào),所述第二語音信號(hào)為所述第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的語音采集信號(hào);[0009]對(duì)所述第二語音信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于所述第一語音信號(hào)的殘差信號(hào);[0010]根據(jù)所述第一語音信號(hào)和所述殘差信號(hào)的相關(guān)度對(duì)所述第一語音信號(hào)進(jìn)行抑制[0011]根據(jù)本申請(qǐng)的第二方面,提供[0013]揚(yáng)聲器,與所述語音輸入端連接,用于播放所述第一語音信號(hào);[0014]麥克風(fēng),用于獲取第二語音信號(hào),所述第二語音信號(hào)為所述第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的語音采集信號(hào);[0015]回聲消除模塊,用于對(duì)所述第二語音信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于所述第一語音信號(hào)的殘差信號(hào);[0016]增益調(diào)整模塊,設(shè)置于所述語音輸入端與所述揚(yáng)聲器之間,用于根據(jù)所述第一語5音信號(hào)和所述殘差信號(hào)的相關(guān)度對(duì)所述第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)。[0019]語音采集單元,用于獲取第二語音信號(hào),所述第二語音信號(hào)為所述第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的語音采集信號(hào);[0020]回聲處理單元,用于對(duì)所述第二語音信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于所述第一語音信號(hào)的殘差信號(hào);[0021]抑制調(diào)節(jié)單元,根據(jù)所述第一語音信號(hào)和所述殘差信號(hào)的相關(guān)度對(duì)所述第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)。[0022]根據(jù)本申請(qǐng)的第四方面,提供了一種語音信號(hào)處理裝置,包括:存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上第一方面所述的語音信號(hào)處理方法。[0023]根據(jù)本申請(qǐng)的第五方面,提供了一種終端,包括如上第二方面所述的語音信號(hào)處理裝置或如上第三方面所述的語音信號(hào)處理裝置或如上第四方面所述的語音信號(hào)處理裝[0024]根據(jù)本申請(qǐng)的第六方面,提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令,所述計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行如上第一方面所述的語音信號(hào)處理方法。[0025]本申請(qǐng)所提供的技術(shù)方案,通過對(duì)第二語音信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于第一語音信號(hào)的殘差信號(hào)后,可以根據(jù)該殘差信號(hào)和第一語音信號(hào)的相關(guān)度而判斷回聲中非線性失真信號(hào)的嚴(yán)重程度,即,可以根據(jù)第一語音信號(hào)和殘差信號(hào)的相關(guān)度對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),能夠抑制揚(yáng)聲器發(fā)出的非線性失真信號(hào),提高語音通信的質(zhì)量。[0026]本申請(qǐng)的其他特征和優(yōu)點(diǎn)將在隨后的說明書中闡述,并且,部分地從說明書中變得顯而易見,或者通過實(shí)施本申請(qǐng)而了解。本申請(qǐng)的目的和其他優(yōu)點(diǎn)可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。附圖說明[0027]附圖用來提供對(duì)本申請(qǐng)技術(shù)方案的進(jìn)一步理解,并且構(gòu)成說明書的一部分,與本申請(qǐng)的實(shí)施例一起用于解釋本申請(qǐng)的技術(shù)方案,并不構(gòu)成對(duì)本申請(qǐng)技術(shù)方案的限制。[0028]圖1是現(xiàn)有技術(shù)回聲消除系統(tǒng)的系統(tǒng)原理圖;[0029]圖2是根據(jù)本申請(qǐng)實(shí)施例的語音信號(hào)處理方法和語音信號(hào)處理裝置的一種應(yīng)用場(chǎng)景的系統(tǒng)原理框圖;[0030]圖3是根據(jù)本申請(qǐng)實(shí)施例的語音信號(hào)處理方法的語音信號(hào)處理流程圖;[0031]圖4是根據(jù)本申請(qǐng)實(shí)施例的語音信號(hào)處理方法的方法流程圖;[0032]圖5是圖4中步驟404的具體方法流程圖;[0033]圖6是根據(jù)本申請(qǐng)實(shí)施例的語音信號(hào)處理裝置的系統(tǒng)原理框圖;[0034]圖7是根據(jù)本申請(qǐng)實(shí)施例的抑制調(diào)節(jié)單元的系統(tǒng)原理框圖;[0035]圖8是根據(jù)本申請(qǐng)實(shí)施例的回聲處理單元的系統(tǒng)原理框圖;[0036]圖9是根據(jù)本申請(qǐng)實(shí)施例的語音信號(hào)處理裝置的系統(tǒng)原理圖;[0037]圖10是根據(jù)本申請(qǐng)實(shí)施例的語音信號(hào)處理裝置的系統(tǒng)原理框圖;6[0038]圖11是根據(jù)本申請(qǐng)實(shí)施例的終端的系統(tǒng)原理框圖。具體實(shí)施方式[0039]為了使本申請(qǐng)的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對(duì)本申請(qǐng)進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅用以解釋本申請(qǐng),并不用于限定本申請(qǐng)。[0040]需要說明的是,雖然在裝置示意圖中進(jìn)行了功能模塊劃分,在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于裝置中的模塊劃分,或流程圖中的順序執(zhí)行所示類似的對(duì)象,而不必用于描述特定的順序或先后次序。[0041]影響通話語音質(zhì)量的諸多因素中,回聲問題是一個(gè)較為突出的問題。參照?qǐng)D1所示,圖1為現(xiàn)有技術(shù)的回聲消除系統(tǒng)的系統(tǒng)原理圖,所述回聲消除系統(tǒng)應(yīng)用于本地終端在語音通信或視頻通信的場(chǎng)景。其中,終端的使用者為近端,終端使用者的通信對(duì)象為遠(yuǎn)端,所述終端包括揚(yáng)聲器和麥克風(fēng),其中揚(yáng)聲器用于播放第一語音信號(hào),而回聲則是從揚(yáng)聲器發(fā)出聲音后,被終端的麥克風(fēng)采集回來,若不對(duì)所述的回聲加以處理,麥克風(fēng)會(huì)將近端終端使用者的近端語音信號(hào)和回聲信號(hào)一起發(fā)送至遠(yuǎn)端,這樣遠(yuǎn)端的使用者則會(huì)接收到回聲信號(hào),例如聽到自己說話的聲音,而這個(gè)聲音在較短時(shí)間內(nèi)從對(duì)方終端那邊傳回來,進(jìn)而極大影響了語音通話的質(zhì)量。[0042]現(xiàn)有技術(shù)中通過回聲消除模塊(AEC,AcousticEchoCancellation)解決回聲的問題,對(duì)麥克風(fēng)采集的信號(hào)進(jìn)行回聲處理,所述回聲消除模塊對(duì)回聲的處理步驟包括:終端將麥克風(fēng)所獲取的采集語音信號(hào)與第一語音信號(hào)進(jìn)行同步對(duì)齊,對(duì)所述第一語音信號(hào)進(jìn)行自適應(yīng)濾波并進(jìn)行反相處理,然后將同步后的采集信號(hào)和反相處理后的第一語音信號(hào)進(jìn)行線性疊加,從而消除采集語音信號(hào)中的一部分線性回聲信號(hào),獲得殘差信號(hào),對(duì)于殘差信號(hào)中殘留的非線性回聲信號(hào),則通過非線性抑制(NLP,Non-LinearProcessor)模塊進(jìn)行進(jìn)一步抑制處理。上述的回聲消除模塊的回聲處理效果取決于終端例如手機(jī)硬件自帶的AEC算法,但是部分手機(jī)硬件的AEC算法性能達(dá)不到理想指標(biāo),出現(xiàn)一些抑制不干凈的殘留回聲,或者在一些應(yīng)用場(chǎng)景下無法使用手機(jī)自帶的硬件AEC單元。[0043]回聲問題一直以來難以解決的原因之一是回聲信號(hào)中的非線性失真問題。非線性失真的問題主要來自揚(yáng)聲器,表現(xiàn)為揚(yáng)聲器輸出的聲音中出現(xiàn)許多附加的非原有的信號(hào)成分,這些部分就是揚(yáng)聲器非線性失真導(dǎo)致的。揚(yáng)聲器非線性失真主要有諧波失真、調(diào)制失真、瞬態(tài)失真和分諧波失真等。由于揚(yáng)聲器的非線性失真的存在,所以麥克風(fēng)采集到的回聲信號(hào)也就有了非線性成分。[0044]與線性回聲相比,非線性回聲的特征是不穩(wěn)定的,然而回聲消除算法較難精準(zhǔn)預(yù)測(cè)非線性回聲的大小并完全有效抑制,因此現(xiàn)有方案中的NLP算法普遍存在的問題是:在抑制回聲非線性成分的同時(shí)可能會(huì)導(dǎo)致近端正常的語音信號(hào)也被抑制。當(dāng)回聲的非線性比較嚴(yán)重時(shí),現(xiàn)有回聲消除方案主要有兩種策略:1、盡可能保證近端正常語音的保真度不受損傷,而讓殘留回聲存在,這種策略的結(jié)果會(huì)讓用戶通話感覺不適;2、加大NLP抑制強(qiáng)度把殘留回聲抑制干凈,但同時(shí)也會(huì)把近端正常語音損傷,導(dǎo)致近端語音出現(xiàn)剪切和斷續(xù)感。顯然,現(xiàn)有回聲消除方法無法較好地解決嚴(yán)重非線性的回聲問題。7[0045]為此,本申請(qǐng)實(shí)施例提供了一種語音信號(hào)處理方法,能夠抑制揚(yáng)聲器發(fā)出回聲中的非線性失真信號(hào),提高語音通信的質(zhì)量。語音信號(hào)處理方法可以應(yīng)用于如圖2所示的應(yīng)用環(huán)境,應(yīng)用環(huán)境包括終端210、服務(wù)器220和終端230,終端210、服務(wù)器220和終端230通過網(wǎng)絡(luò)進(jìn)行連接。終端210和終端230可以為臺(tái)式終端或移動(dòng)終端,移動(dòng)終端具體可以是手機(jī)、平板電腦、筆記本電腦的至少一種,終端210作為本地端(近端)時(shí),終端23可以是提供終端210和終端230語音通話支持的獨(dú)立服務(wù)器或者是多個(gè)服務(wù)器組成的集群服務(wù)器來實(shí)現(xiàn)。本實(shí)施例中的語音信號(hào)處理方法也可以應(yīng)用于只有終端或只由終端和服務(wù)器組成的應(yīng)用場(chǎng)景中,例如遠(yuǎn)端設(shè)置于終端或服務(wù)器中的人機(jī)器人聊天程序或人工智能程[0046]當(dāng)本申請(qǐng)實(shí)施例的語音信號(hào)處理方法應(yīng)用于圖2所示的終端210,終端210作為本地的近端,終端230作為與終端210通信的遠(yuǎn)端,參照?qǐng)D3所示,終端210包器320、語音輸入端330和語音輸出端340,其中語音輸入端330用于獲取圖2中終端230發(fā)出的第一語音信號(hào),并通過揚(yáng)聲器進(jìn)行播放,語音輸出端340用于向終端230發(fā)送第三語音信[0047]參照?qǐng)D4所示,本申請(qǐng)實(shí)施例的語音信號(hào)處理方法具體包括步驟401、步驟402、步驟403和步驟404。[0048]步驟401,獲取第一語音信號(hào)。[0049]其中本申請(qǐng)實(shí)施例的語音信號(hào)處理方法,可以應(yīng)用于語音通信的應(yīng)用場(chǎng)景,也可以應(yīng)用于帶有揚(yáng)聲器播放的人機(jī)交互場(chǎng)景,例如具有語音通話的智能機(jī)器人、智能音箱、智能手表等智能設(shè)備。所述第一語音信號(hào)可以包括但不限于用戶語音(包括通話語音)、音樂、其他背景音、合成音和提示音等音頻信號(hào)。[0050]在一個(gè)實(shí)施例中,若語音信號(hào)處理方法應(yīng)用于例如與上述終端230進(jìn)行語音通信的場(chǎng)景,第一語音信號(hào)為由終端230采集環(huán)境語音所得的語音信號(hào),例如通過終端230麥克風(fēng)310采集聲音形成的語音信號(hào),語音信號(hào)可以是頻域或時(shí)域信號(hào),其中頻域信號(hào)可以是由時(shí)域信號(hào)進(jìn)行傅里葉變換得到。[0051]在另一個(gè)實(shí)施例中,若語音信號(hào)處理方法應(yīng)用于人機(jī)交互場(chǎng)景,第一語音信號(hào)為機(jī)器或人工智能設(shè)備通過語音合成得到的語音信號(hào),包括但不限于基于語音文本轉(zhuǎn)換為合成語音信號(hào)。[0052]步驟402,獲取第二語音信號(hào),第二語音信號(hào)為第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的語音采集信號(hào)。[0053]在一個(gè)實(shí)施例中,第一語音信號(hào)通過揚(yáng)聲器320進(jìn)行播放,以使終端210的用戶能夠聽到終端230或者機(jī)器的語音信號(hào),揚(yáng)聲器320所產(chǎn)生的回聲信號(hào)包括線性回聲信號(hào)和非線性回聲信號(hào),線性回聲信號(hào)可以是揚(yáng)聲器320所播放的語音信號(hào)在環(huán)境中反射等原因所產(chǎn)生的線性回聲,非線性回聲信號(hào)可以是由于揚(yáng)聲器320的非線性特性,在播放時(shí)所產(chǎn)生的非線性回聲信號(hào)。第二語音信號(hào)既包括揚(yáng)聲器320發(fā)出的線性回聲信號(hào)和非線性回聲信號(hào),也包括終端210側(cè)用戶(即近端終端使用者)通過麥克風(fēng)310輸入的近端語音信號(hào)。[0054]在一個(gè)實(shí)施例中,第一語音信號(hào)通過增益調(diào)節(jié)后被揚(yáng)聲器320播放,增益調(diào)節(jié)可以為對(duì)第一語音信號(hào)的播放增益進(jìn)行調(diào)節(jié),經(jīng)過增益調(diào)節(jié)后的第一語音信號(hào)為驅(qū)動(dòng)揚(yáng)聲器320播放的播放信號(hào),當(dāng)增益調(diào)整模塊不作調(diào)節(jié)時(shí),播放信號(hào)與第一語音信號(hào)相同,當(dāng)增益8調(diào)整模塊進(jìn)行調(diào)節(jié)時(shí),步驟402中獲取到的是調(diào)節(jié)后的第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的第二語音信號(hào)。[0055]步驟403,對(duì)第二語音信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于第一語音信號(hào)的殘差信號(hào)。[0056]在一個(gè)實(shí)施例中,終端將所獲取的第一語音信號(hào)或增益調(diào)節(jié)后的第一語音信號(hào)進(jìn)行自適應(yīng)濾波處理得到線性回聲信號(hào),將線性回聲信號(hào)進(jìn)行反相處理,另外,終端將麥克風(fēng)310采集的第二語音信號(hào)與第一語音信號(hào)或增益調(diào)節(jié)后的第一語音信號(hào)進(jìn)行對(duì)齊,將對(duì)齊后的第二語音信號(hào)與經(jīng)反相處理后的線性回聲信號(hào)進(jìn)行線性疊加,從而消除第二語音信號(hào)中的至少一部分回聲,進(jìn)而獲得殘差信號(hào),殘差信號(hào)包括近端語音信號(hào)和非線性回聲信號(hào),非線性回聲信號(hào)為上述回聲信號(hào)中的非線性殘留。[0057]在一個(gè)實(shí)施例中,自適應(yīng)濾波算法可以采用最小均方(LeastMeanSquare,LMS)(AveragePrecision,AP)算法或遞推最小二乘(RecursiveLeastSquare,RLS)算法,上述自適應(yīng)濾波算法為現(xiàn)有技術(shù),在此不再贅述。[0058]步驟404,根據(jù)第一語音信號(hào)和殘差信號(hào)的相關(guān)度對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)。[0059]在一個(gè)實(shí)施例中,殘差信號(hào)包括揚(yáng)聲器320所產(chǎn)生的非線性回聲信號(hào),由于殘差信號(hào)是基于第二語音信號(hào)進(jìn)行回聲處理得到,而第二語音信號(hào)包括第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲,因此殘差信號(hào)中的非線性回聲信號(hào)與第一語音信號(hào)之間存在相關(guān)性,因此,通過判斷殘差信號(hào)與第一語音信號(hào)之間的相關(guān)度,可以檢測(cè)到殘差信號(hào)中非線性回聲信號(hào)的存在,相關(guān)度越高,殘差信號(hào)中的非線性回聲成分越多,相關(guān)度越小,殘差信號(hào)中的非線性回聲成分越少。[0060]由于揚(yáng)聲器320的非線性失真問題在信號(hào)幅度較大的情況下比較凸顯,因此根據(jù)殘差信號(hào)與第一語音信號(hào)之間的相關(guān)度對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),通過將第一語音信號(hào)的增益調(diào)低到一個(gè)合適的值,能夠抑制揚(yáng)聲器320發(fā)出非線性回聲信號(hào),例如,當(dāng)殘差信號(hào)與第一語音信號(hào)之間的相關(guān)度較低時(shí),表示殘差信號(hào)中的非線性回聲成分較少,為了提高語音通信的質(zhì)量,可以不對(duì)第一語音信號(hào)進(jìn)行調(diào)整或?qū)Φ谝徽Z音信號(hào)進(jìn)行微小的調(diào)整,當(dāng)殘差信號(hào)與第一語音信號(hào)之間的相關(guān)度較高時(shí),為了抑制揚(yáng)聲器320發(fā)出非線性回聲信號(hào),對(duì)第一語音信號(hào)進(jìn)行相對(duì)較大的調(diào)整,降低殘差信號(hào)中非線性回聲的成分。[0061]本實(shí)施例中對(duì)第一語音信號(hào)進(jìn)行增益調(diào)節(jié),包括對(duì)遠(yuǎn)端語音信號(hào)第一語音信號(hào)的時(shí)域信號(hào)的增益進(jìn)行抑制調(diào)節(jié),也包括對(duì)第一語音信號(hào)的頻域信號(hào)的增益進(jìn)行抑制調(diào)節(jié),例如分析第一語音信號(hào)的頻域信號(hào)的功率值與殘差信號(hào)在頻域上對(duì)應(yīng)頻點(diǎn)的功率值的相關(guān)度,根據(jù)對(duì)應(yīng)頻點(diǎn)的功率值的相關(guān)度對(duì)第一語音信號(hào)對(duì)應(yīng)的各個(gè)頻點(diǎn)的功率增益單獨(dú)進(jìn)行抑制調(diào)節(jié)。經(jīng)過調(diào)節(jié)后的第一語音信號(hào)為用于驅(qū)動(dòng)揚(yáng)聲器320播放的播放信號(hào),播放信號(hào)根據(jù)上一時(shí)刻所獲取的殘差信號(hào)中的非線性回聲的成分進(jìn)行相應(yīng)調(diào)整,即針對(duì)第一語音信號(hào)中容易導(dǎo)致?lián)P聲器320發(fā)出非線性回聲信號(hào)的部分進(jìn)行了抑制調(diào)整,這樣能夠抑制當(dāng)前揚(yáng)聲器320發(fā)出非線性回聲信號(hào)。由于殘差信號(hào)的獲取、殘差信號(hào)與第一語音信號(hào)的相關(guān)度分析、對(duì)第一語音信號(hào)進(jìn)行的增益調(diào)節(jié)是持續(xù)在線的,因此整體構(gòu)成了一個(gè)反饋的閉環(huán)控制,能夠?qū)崟r(shí)抑制揚(yáng)聲器320發(fā)出的非線性失真信號(hào),從而使麥克風(fēng)310采集得到的第二語音信號(hào)的非線性回聲部分較小,通過回聲消除處理和非線性抑制處理可以有效將第二語音信號(hào)中的非線性回聲部分進(jìn)行消除,提高了語音通信的質(zhì)量。9[0062]本申請(qǐng)實(shí)施例提出了一種語音信號(hào)處理方法,通過獲取第一語音信號(hào),并且獲取第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的第二語音信號(hào),接著對(duì)第二語音信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于第一語音信號(hào)的殘差信號(hào),然后根據(jù)第一語音信號(hào)和殘差信號(hào)的相關(guān)度對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)。根據(jù)本申請(qǐng)實(shí)施例所提供的方案,通過對(duì)第二語音信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于第一語音信號(hào)的殘差信號(hào)后,可以根據(jù)殘差信號(hào)和第一語音信號(hào)的相關(guān)度而判斷回聲中非線性失真信號(hào)的嚴(yán)重程度,即,可以根據(jù)第一語音信號(hào)和殘差信號(hào)的相關(guān)度對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),能夠抑制揚(yáng)聲器發(fā)出的非線性失真信號(hào),提高語音通信的[0063]在一個(gè)實(shí)施例中,參照?qǐng)D5所示,步驟404進(jìn)一步包括步驟501和步驟502。[0064]步驟501,計(jì)算第一語音信號(hào)和殘差信號(hào)的相關(guān)度。[0065]在一個(gè)實(shí)施例中,終端對(duì)所獲取的第一語音信號(hào)和殘差信號(hào)進(jìn)行相關(guān)度的計(jì)算,例如可以是在頻域或時(shí)域上的相關(guān)度計(jì)算。通過相關(guān)度計(jì)算,可以得出一個(gè)表示第一語音信號(hào)和殘差信號(hào)相關(guān)程度的相關(guān)度數(shù)值,根據(jù)相關(guān)度數(shù)值對(duì)第一語音信號(hào)的播放增益進(jìn)行抑制調(diào)節(jié),可以為以下步驟的抑制調(diào)節(jié)提供條件判斷基礎(chǔ)。[0066]步驟502,根據(jù)相關(guān)度獲得對(duì)應(yīng)的增益調(diào)節(jié)參數(shù),并利用增益調(diào)節(jié)參數(shù)對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)。[0067]在一個(gè)實(shí)施例中,預(yù)先建立相關(guān)度與增益調(diào)節(jié)參數(shù)之間的對(duì)應(yīng)關(guān)系,這樣,當(dāng)計(jì)算好第一語音信號(hào)和殘差信號(hào)的相關(guān)度后,就可以得出具體的增益調(diào)節(jié)參數(shù),增益調(diào)節(jié)參數(shù)對(duì)應(yīng)于殘差信號(hào)中的非線性回聲信號(hào)部分,增益調(diào)節(jié)參數(shù)可以抑制第一語音信號(hào)中容易使揚(yáng)聲器產(chǎn)生非線性回聲信號(hào)的部分,本實(shí)施例中的增益調(diào)節(jié)參數(shù)為0至1區(qū)間內(nèi)的數(shù)值,因此,本實(shí)施例的增益調(diào)節(jié)處理能起到抑制第一語音信號(hào)中容易使揚(yáng)聲器產(chǎn)生非線性回聲的對(duì)應(yīng)信號(hào)的幅度,在對(duì)當(dāng)前第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)時(shí),將第一語音信號(hào)與增益調(diào)節(jié)參數(shù)相乘實(shí)現(xiàn)所述的抑制調(diào)節(jié)。[0068]增益調(diào)節(jié)參數(shù)可以是調(diào)節(jié)第一語音信號(hào)在時(shí)域上整體的增益,也可以是調(diào)節(jié)第一語音信號(hào)在頻域上各頻點(diǎn)對(duì)應(yīng)的增益,由于揚(yáng)聲器的非線性失真問題可能只是針對(duì)某個(gè)頻點(diǎn)出現(xiàn)或者針對(duì)某個(gè)頻點(diǎn)較為明顯,通過對(duì)第一語音信號(hào)部分頻點(diǎn)的增益進(jìn)行抑制,可以讓殘留的回聲音量降低而不易被察覺,能減少由于抑制調(diào)節(jié)第一語音信號(hào)而對(duì)語音通話的影響?;诖?,需要分別計(jì)算殘差信號(hào)與第一語音信號(hào)在各個(gè)頻點(diǎn)上的相關(guān)度,增益調(diào)節(jié)參數(shù)為第一語音信號(hào)在頻域上各頻點(diǎn)對(duì)應(yīng)的增益調(diào)整系數(shù)。[0069]在一個(gè)實(shí)施例中,上述相關(guān)度與增益調(diào)節(jié)對(duì)應(yīng)關(guān)系可以是線性的,例如為線性函[0070]采用線性函數(shù)的關(guān)系能夠更好地針對(duì)所獲取的殘差信號(hào)的非線性回聲成分對(duì)第一語音信號(hào)的增益進(jìn)行調(diào)節(jié),但是由于考慮到針對(duì)不同終端的揚(yáng)聲器非線性失真特性不過設(shè)置與相關(guān)度相關(guān)的分段函數(shù),適用性較好。[0072]當(dāng)相關(guān)度小于第一預(yù)設(shè)閾值,設(shè)置增益調(diào)節(jié)參數(shù)為第一增益值,利用第一增益值對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié);[0073]當(dāng)相關(guān)度大于等于第一預(yù)設(shè)閾值且小于等于第二預(yù)設(shè)閾值,設(shè)置增益調(diào)節(jié)參數(shù)為第二增益值,利用第二增益值對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié);[0074]當(dāng)相關(guān)度大于第二預(yù)設(shè)閾值,設(shè)置增益調(diào)節(jié)參數(shù)為第三增益值,利用第三增益值對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),其中,第二增益值大于第三增益值且小于第一增益值,第一增益值小于等于1。[0075]在一個(gè)實(shí)施例中,增益調(diào)節(jié)參數(shù)包括三級(jí),其中第一增益值>第二增益值>第三增益值,增益值越大,表示對(duì)第一語音信號(hào)進(jìn)行的抑制調(diào)節(jié)程度越小,增益值越小,表示對(duì)第一語音信號(hào)進(jìn)行的抑制調(diào)節(jié)程度越高,其作處理增益值一般設(shè)置為1,即不做處理。第二增益值和第三增益值根據(jù)實(shí)際情況而制定,為了避免影響語音通話質(zhì)量,第三增益值一般需大于0.5.另外,也可以根據(jù)需要對(duì)增益調(diào)節(jié)參數(shù)的級(jí)數(shù)進(jìn)行增減。[0076]在本實(shí)施例中,當(dāng)增益調(diào)節(jié)參數(shù)為第一語音信號(hào)在頻域上各頻點(diǎn)對(duì)應(yīng)的增益調(diào)整系數(shù)時(shí),需要分別計(jì)算第一語音信號(hào)和殘差信號(hào)在各個(gè)頻點(diǎn)上的相關(guān)度,再確定各個(gè)頻點(diǎn)對(duì)應(yīng)的增益調(diào)節(jié)參數(shù),進(jìn)而對(duì)第一語音信號(hào)的各個(gè)頻點(diǎn)的增益進(jìn)行調(diào)節(jié),可以讓殘留的回聲音量降低而不易被察覺,能減少由于抑制調(diào)節(jié)第一語音信號(hào)而對(duì)語音通話的影響。[0077]參照?qǐng)D3所示,第一語音信號(hào)為x(n),第二語音信號(hào)為d(n),w(n)是自適應(yīng)濾波器的權(quán)重。首先將第二語音信號(hào)d(n)和第一語音信號(hào)為x(n)進(jìn)行對(duì)齊,然后對(duì)第一語音信號(hào)x(n)進(jìn)行自適應(yīng)濾波處理,獲得線性回聲信號(hào)w(n)x(n),然后,對(duì)線性回聲信號(hào)w(n)x(n)取反后再與第二語音信號(hào)d(n)進(jìn)行線性疊加,得到殘差信號(hào)為e(n)=d(n)-w(n)x(n),這里的n為幀序號(hào)。[0078]為了對(duì)比在各個(gè)頻點(diǎn)上殘差信號(hào)e(n)和第一語音信號(hào)x(n)的相關(guān)度,將殘差信號(hào)e(n)通過快速傅里葉變換轉(zhuǎn)換到頻域信號(hào)E(k),并計(jì)算殘差信號(hào)e(n)在頻域第k個(gè)頻點(diǎn)的[0079]然后,獲取第一語音信號(hào)x(n)經(jīng)過快速傅里葉變換后得到的頻域信號(hào)X(k)的功率[0080]接著,進(jìn)行互相關(guān)計(jì)算,得到殘差信號(hào)e(n)和第一語音信號(hào)x(n)在各頻點(diǎn)上的功[0081]殘差信號(hào)e(n)和第一語音信號(hào)x(n)在各頻點(diǎn)上的功率相關(guān)度系數(shù)corr(k)反映了殘差信號(hào)e(n)中在各個(gè)頻點(diǎn)上的非線性回聲信號(hào)程度,當(dāng)功率相關(guān)度系數(shù)corr(k)的數(shù)值較高時(shí),表示當(dāng)前頻點(diǎn)上的非線性回聲程度較高,當(dāng)功率相關(guān)度系數(shù)corr(k)的數(shù)值較低時(shí),表示當(dāng)前頻點(diǎn)上的非線性回聲程度較低。因此,可以根據(jù)功率相關(guān)度系數(shù)corr(k)設(shè)置第一語音信號(hào)在頻域上各頻點(diǎn)對(duì)應(yīng)的增益調(diào)整系數(shù)g(k)。[0082]在一個(gè)實(shí)施例中,將增益調(diào)整系數(shù)g(k)劃分為三個(gè)等級(jí),包括Gmax、Gnor和Gmin,其中Gmax是最大增益(通常為1),Gnor為第二級(jí)增益(小于1的值),Gmin為第三級(jí)增益,其值小于Gnor。[0083]配置增益系數(shù)g(k)就是把將第一語音信號(hào)x(n)經(jīng)過快速傅里葉變換后得到的頻域信號(hào)X(k),與對(duì)應(yīng)各頻點(diǎn)的增益系數(shù)相乘:|X(k)|*g(k),并保持相位不變,然后再通過快速反傅里葉變換得到經(jīng)過頻域增益調(diào)節(jié)后的播放信號(hào)x'(n),最終把播放信號(hào)x′(n)送入揚(yáng)聲器320進(jìn)行播放。[0084]在一個(gè)實(shí)施例中,增益系數(shù)g(k)為分段函數(shù),該分段函數(shù)公式為:了避免影響正常的語音通信,將corr(k)乘與由因此可以相應(yīng)[0091]首先,終端210與終端230之間通過服務(wù)器建立語音通信連接,終端230的麥克風(fēng)310采集遠(yuǎn)端的第一語音信號(hào),并通過服務(wù)器向本地側(cè)終端210發(fā)送所采集的第一語音信放信號(hào)輸出的語音信號(hào)經(jīng)過在環(huán)境中反射等原因產(chǎn)生回聲信號(hào),并且該回聲信號(hào)被終端放時(shí)所產(chǎn)生回聲的第二語音信號(hào),第二語音信號(hào)包括揚(yáng)聲器320發(fā)出的線性回聲信號(hào)和非第二語音信號(hào)和經(jīng)過自適應(yīng)濾波后和反相的線性回聲信號(hào)進(jìn)行線性疊加,消除了第二語音信號(hào)中的線性回聲信息,生成殘差信號(hào),終端210對(duì)殘差信號(hào)進(jìn)行非線性抑制后,通過服務(wù)器向終端230輸出進(jìn)行回聲處理后的語音信號(hào),這時(shí)的非線性抑制處理并不能完全或較好地對(duì)殘差信號(hào)中的非線性回聲信號(hào)進(jìn)行消除處理,因此,在語音輸入端330,根據(jù)殘差信號(hào)和第一語音信號(hào)的相關(guān)性對(duì)下一時(shí)刻的第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),以抑制揚(yáng)聲器發(fā)出的非線性回聲信號(hào)。具體地,通過分析殘差信號(hào)和第一語音信號(hào)在各個(gè)頻點(diǎn)上的相關(guān)性,從而得知在哪些頻點(diǎn)出現(xiàn)非線性失真程度較高的非線性回聲信號(hào),從而對(duì)下一刻的第一語音信號(hào)在各個(gè)頻點(diǎn)的增益調(diào)整系數(shù)進(jìn)行抑制調(diào)節(jié),而使抑制調(diào)節(jié)后的播放信號(hào)驅(qū)動(dòng)揚(yáng)聲器320時(shí),能夠抑制揚(yáng)聲器320在對(duì)應(yīng)的頻點(diǎn)發(fā)出非線性回聲信號(hào),從而降低第二語音信號(hào)中非線性回聲信號(hào)的程度,在對(duì)第二語音信號(hào)進(jìn)行回聲處理時(shí),能有效對(duì)第二語音信號(hào)的回聲信號(hào)進(jìn)行消除。需要說明的是,對(duì)第一語音信號(hào)的抑制調(diào)節(jié)、揚(yáng)聲器320播放第一語音信號(hào)至對(duì)第二語音信號(hào)回聲處理生成殘差信號(hào),直至根據(jù)殘差信號(hào)和第一語音信號(hào)的相關(guān)性對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),構(gòu)成了一個(gè)反饋閉環(huán)控制,上述實(shí)施例中的下一時(shí)刻是相對(duì)于所發(fā)送的語音信號(hào)幀序而定的,實(shí)質(zhì)上整個(gè)處理過程時(shí)間較短,可看作是實(shí)時(shí)處理。[0092]作為另一個(gè)示例,用于說明本申請(qǐng)上述實(shí)施例提供語音信號(hào)處理方法,應(yīng)用于僅有終端和服務(wù)器的場(chǎng)景,其中服務(wù)器中設(shè)置有具有語音識(shí)別功能和文字信息轉(zhuǎn)語音功能的語音應(yīng)答程序,例如語音助手、人工智能應(yīng)答程序,終端可以是智能手機(jī)、智能音箱等智能設(shè)備,終端與服務(wù)器交互實(shí)現(xiàn)智能語音對(duì)話。[0093]本申請(qǐng)實(shí)施例的語音信號(hào)處理方法,應(yīng)用于終端,終端與服務(wù)器建立語音通信連接,參照?qǐng)D3所示,第一語音信號(hào)可以是服務(wù)器中的語音應(yīng)答程序?qū)⑽淖中畔⑥D(zhuǎn)換為語音信線性回聲信號(hào),終端不對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)而獲得播放信號(hào),揚(yáng)聲器320根據(jù)播放信號(hào)輸出的語音信號(hào)經(jīng)過在環(huán)境中反射等原因產(chǎn)生回聲信號(hào),并且該回聲信號(hào)被終端的麥克風(fēng)310采集到,由于語音通信開始后,麥克風(fēng)310同時(shí)也采集本地側(cè)用戶的近端語音信號(hào),例如用戶對(duì)麥克風(fēng)310說話的語音信號(hào),因此麥克風(fēng)310采集到第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的第二語音信號(hào),第二語音信號(hào)包括揚(yáng)聲器320發(fā)出的線性回聲信號(hào)和非線性回聲信號(hào),為了去除線性回聲信號(hào),一方面,終端獲取調(diào)整后的播放信號(hào),通過自適應(yīng)濾波生成作為回聲消除參考的線性回聲信號(hào),另一方面,終端根據(jù)播放信號(hào)對(duì)第二語音信號(hào)進(jìn)行時(shí)延同步處理,目的是為后續(xù)線性疊加的相位同步,通過將經(jīng)過時(shí)延處理后的第二語音信號(hào)和經(jīng)過自適應(yīng)濾波后和反相的線性回聲信號(hào)進(jìn)行線性疊加,消除了第二語音信號(hào)中的線性回聲信息,生成殘差信號(hào),終端對(duì)殘差信號(hào)進(jìn)行非線性抑制后,向服務(wù)器輸出進(jìn)行回聲處理后的語音信號(hào),這時(shí)的非線性抑制處理并不能完全或較好地對(duì)殘差信號(hào)中的非線性回聲信號(hào)進(jìn)行消除處理,這時(shí)會(huì)影響服務(wù)器中語音應(yīng)答程序的語音識(shí)別效果。[0094]對(duì)此,在語音輸入端330,根據(jù)殘差信號(hào)和第一語音信號(hào)的相關(guān)性對(duì)下一時(shí)刻的第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),以抑制揚(yáng)聲器發(fā)出的非線性回聲信號(hào)。具體地,通過分析殘差信號(hào)和第一語音信號(hào)在各個(gè)頻點(diǎn)上的相關(guān)性,從而得知在哪些頻點(diǎn)出現(xiàn)非線性失真程度較高的非線性回聲信號(hào),從而對(duì)下一刻的第一語音信號(hào)在各個(gè)頻點(diǎn)的增益調(diào)整系數(shù)進(jìn)行抑制調(diào)節(jié),而使抑制調(diào)節(jié)后的播放信號(hào)驅(qū)動(dòng)揚(yáng)聲器320時(shí),能夠抑制揚(yáng)聲器320在對(duì)應(yīng)的頻點(diǎn)發(fā)出非線性回聲信號(hào),從而降低第二語音信號(hào)中非線性回聲信號(hào)的程度,在對(duì)第二語音信號(hào)進(jìn)行回聲處理時(shí),能有效對(duì)第二語音信號(hào)的回聲信號(hào)進(jìn)行消除,提高服務(wù)器中語音應(yīng)答程序的語音識(shí)別效果。[0095]如圖6所示,本申請(qǐng)的另一個(gè)實(shí)施例還提供了一種語音信號(hào)處理裝置,該語音信號(hào)處理裝置包括:[0096]語音獲取單元510,用于獲取第一語音信號(hào);[0097]語音采集單元520,用于獲取第二語音信號(hào),第二語音信號(hào)為第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的語音采集信號(hào);[0098]回聲處理單元530,用于對(duì)第二語音信號(hào)進(jìn)行回聲處理得到對(duì)應(yīng)于第一語音信號(hào)的殘差信號(hào);[0099]抑制調(diào)節(jié)單元540,根據(jù)第一語音信號(hào)和殘差信號(hào)的相關(guān)度對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)。[0100]在一個(gè)實(shí)施例中,由語音獲取單元510所獲取的第一語音信號(hào)包括但不其他用戶[0101]在一個(gè)實(shí)施例中,當(dāng)?shù)谝徽Z音信號(hào)在播放時(shí)產(chǎn)生回聲信號(hào),那么該回聲信號(hào)可能會(huì)被語音信號(hào)處理裝置所接收,從而影響語音信號(hào)處理裝置所接收到的正常語音信號(hào),為了避免由第一語音信號(hào)在播放時(shí)所產(chǎn)生的回聲信號(hào)的影響,語音采集單元520獲取該回聲信號(hào)而形成第二語音信號(hào),接著,語音采集單元520會(huì)把該第二語音信號(hào)發(fā)送給回聲處理單元530,使得回聲處理單元530對(duì)該第二語音信號(hào)進(jìn)行回聲處理而得到對(duì)應(yīng)于第一語音信號(hào)的殘差信號(hào),然后,回聲處理單元530把該殘差信號(hào)發(fā)送給抑制調(diào)節(jié)單元540,此時(shí),抑制調(diào)節(jié)單元540可以根據(jù)第一語音信號(hào)和殘差信號(hào)的相關(guān)度而判斷回聲信號(hào)中非線性失真信號(hào)的嚴(yán)重程度,并且可以根據(jù)該嚴(yán)重程度對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),達(dá)到抑制該回聲信號(hào)中的非線性失真信號(hào)、提高語音通信的質(zhì)量的目的。[0102]如圖7所示,在一個(gè)實(shí)施例中,抑制調(diào)節(jié)單元[0103]相關(guān)度計(jì)算單元610,用于計(jì)算第一語音信號(hào)和殘差信號(hào)的相關(guān)度;[0104]增益調(diào)節(jié)單元620,用于根據(jù)相關(guān)度獲得對(duì)應(yīng)的增益調(diào)節(jié)參數(shù),并利用增益調(diào)節(jié)參數(shù)對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)。[0105]在一個(gè)實(shí)施例中,相關(guān)度計(jì)算單元610對(duì)所獲取的第一語音信號(hào)和殘差信號(hào)進(jìn)行相關(guān)度的計(jì)算,例如可以是在頻域或時(shí)域上的相關(guān)度計(jì)算。通過相關(guān)度計(jì)算,可以得出一個(gè)表示第一語音信號(hào)和殘差信號(hào)相關(guān)程度的相關(guān)度數(shù)值,根據(jù)該相關(guān)度數(shù)值對(duì)第一語音信號(hào)的播放增益進(jìn)行抑制調(diào)節(jié),可以為后續(xù)步驟的抑制調(diào)節(jié)提供條件判斷基礎(chǔ)。[0106]在一個(gè)實(shí)施例中,可以預(yù)先建立相關(guān)度與增益調(diào)節(jié)參數(shù)之間的對(duì)應(yīng)關(guān)系,這樣,當(dāng)計(jì)算好第一語音信號(hào)和殘差信號(hào)的相關(guān)度后,就可以得出具體的增益調(diào)節(jié)參數(shù),增益調(diào)節(jié)參數(shù)可以抑制第一語音信號(hào)中容易使揚(yáng)聲器產(chǎn)生非線性回聲信號(hào)的部分,本實(shí)施例中的增益調(diào)節(jié)參數(shù)為0至1區(qū)間內(nèi)的數(shù)值,因此增益調(diào)節(jié)能起到抑制第一語音信號(hào)中容易使揚(yáng)聲器產(chǎn)生非線性回聲的部分信號(hào)的幅度,在對(duì)當(dāng)前第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)時(shí),將第一語音信號(hào)與增益調(diào)節(jié)參數(shù)相乘實(shí)現(xiàn)所述的抑制調(diào)節(jié)。[0107]增益調(diào)節(jié)參數(shù)可以是調(diào)節(jié)第一語音信號(hào)在時(shí)域上整體的增益,也可以是調(diào)節(jié)第一語音信號(hào)在頻域上各頻點(diǎn)對(duì)應(yīng)的增益,由于揚(yáng)聲器的非線性失真問題可能只是針對(duì)某個(gè)頻點(diǎn)出現(xiàn)或者針對(duì)某個(gè)頻點(diǎn)較為明顯,通過對(duì)第一語音信號(hào)部分頻點(diǎn)的增益進(jìn)行抑制,可以讓殘留的回聲音量降低而不易被察覺,能減少由于抑制調(diào)節(jié)第一語音信號(hào)對(duì)語音通話的影響?;诖?,需要分別計(jì)算殘差信號(hào)與第一語音信號(hào)在各個(gè)頻點(diǎn)上的相關(guān)度,增益調(diào)節(jié)參數(shù)為第一語音信號(hào)在頻域上各頻點(diǎn)對(duì)應(yīng)的增益調(diào)整系數(shù)。[0108]在一個(gè)實(shí)施例中,上述相關(guān)度與增益調(diào)節(jié)對(duì)應(yīng)關(guān)系可以是線性的,例如為線性函數(shù)的關(guān)系,也可以是非線性的,例如為分段[0109]采用線性函數(shù)的關(guān)系能夠更好地針對(duì)所獲取的殘差信號(hào)的非線性回聲成分對(duì)第一語音信號(hào)的增益進(jìn)行調(diào)節(jié),但是由于考慮到針對(duì)不同終端的揚(yáng)聲器非線性失真特性不置與相關(guān)度相關(guān)的分段函數(shù),適用性較好。[0110]在一個(gè)實(shí)施例中,可以根據(jù)相關(guān)度的具體數(shù)值設(shè)置分段閾值,從而可以根據(jù)相關(guān)度的不同數(shù)值而對(duì)第一語音信號(hào)執(zhí)行不同程度的抑制調(diào)節(jié),例如:[0111]當(dāng)相關(guān)度小于第一預(yù)設(shè)閾值,設(shè)置增益調(diào)節(jié)參數(shù)為第一增益值,利用第一增益值對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié);[0112]當(dāng)相關(guān)度大于等于第一預(yù)設(shè)閾值且小于等于第二預(yù)設(shè)閾值,設(shè)置增益調(diào)節(jié)參數(shù)為第二增益值,利用第二增益值對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié);[0113]當(dāng)相關(guān)度大于第二預(yù)設(shè)閾值,設(shè)置增益調(diào)節(jié)參數(shù)為第三增益值,利用第三增益值對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),其中,第二增益值大于第三增益值且小于第一增益值,第一增益值小于等于1。[0114]本實(shí)施例中增益調(diào)節(jié)參數(shù)包括三級(jí),其中第一增益值>第二增益值>第三增益值,增益值越大,表示對(duì)第一語音信號(hào)進(jìn)行的抑制調(diào)節(jié)程度越小,增益值越小,表示對(duì)第一語音信號(hào)進(jìn)行的抑制調(diào)節(jié)程度越高,其中第一增益值一般設(shè)置為1,即不作處理。第二增益值和第三增益值根據(jù)實(shí)際情況而制定,為了避免影響語音通話質(zhì)量,第三增益值一般需大于0.5。另外,也可以根據(jù)需要對(duì)增益調(diào)節(jié)參數(shù)的級(jí)數(shù)進(jìn)行增減。[0115]本一個(gè)實(shí)施例中,當(dāng)增益調(diào)節(jié)參數(shù)為第一語音信號(hào)在頻域上各頻點(diǎn)對(duì)應(yīng)的增益調(diào)整系數(shù)時(shí),需要分別計(jì)算第一語音信號(hào)和殘差信號(hào)在各個(gè)頻點(diǎn)上的相關(guān)度,再確定各個(gè)頻點(diǎn)對(duì)應(yīng)的增益調(diào)節(jié)參數(shù),進(jìn)而對(duì)第一語音信號(hào)的各個(gè)頻點(diǎn)的增益進(jìn)行調(diào)節(jié),可以讓殘留的回聲音量降低而不易被察覺,能減少由于抑制調(diào)節(jié)第一語音信號(hào)而對(duì)語音通話的影響。[0116]如圖8所示,在一個(gè)實(shí)施[0117]時(shí)延調(diào)整單元710,用于將第二語音信號(hào)與播放信號(hào)進(jìn)行對(duì)齊,播放信號(hào)根據(jù)第一語音信號(hào)得到,并且播放信號(hào)用于驅(qū)動(dòng)揚(yáng)聲器;[0118]自適應(yīng)濾波單元720,用于對(duì)播放信號(hào)進(jìn)行自適應(yīng)濾波處理得到線性回聲信號(hào);[0119]線性疊加單元730,用于對(duì)線性回聲信號(hào)進(jìn)行反相處理并與對(duì)齊后的第二語音信號(hào)進(jìn)行線性疊加,用于得到對(duì)應(yīng)于第一語音信號(hào)的殘差信號(hào)。[0120]在一個(gè)實(shí)施例中,自適應(yīng)濾波單元720將所獲取的第一語音信號(hào)進(jìn)行自適應(yīng)濾波處理得到線性回聲信號(hào),接著,自適應(yīng)濾波單元70把線性回聲信號(hào)傳輸至線性疊加單元730進(jìn)行反相處理,另外,時(shí)延調(diào)整單元710將采集到的第二語音信號(hào)與播放信號(hào)進(jìn)行對(duì)齊,并將對(duì)齊后的第二語音信號(hào)傳輸至線性疊加單元730,此時(shí),線性疊加單元730將對(duì)齊后的第二語音信號(hào)與經(jīng)過反相處理后的線性回聲信號(hào)進(jìn)行線性疊加,從而消除第二語音信號(hào)中的至少一部分回聲,進(jìn)而獲得殘差信號(hào),從而可以為抑制調(diào)節(jié)單元540的抑制調(diào)節(jié)處理提供條件判斷基礎(chǔ)。[0121]參照?qǐng)D9所示,本申請(qǐng)實(shí)施例提供了一種語音信號(hào)處理裝置,能夠抑制揚(yáng)聲器發(fā)出回聲中的非線性失真信號(hào),提高語音通信的質(zhì)量,語音信號(hào)處理裝置應(yīng)用于如圖2所示的應(yīng)用環(huán)境,包括終端210、服務(wù)器220和終端230,終端210、服務(wù)器220和終端230通過網(wǎng)絡(luò)進(jìn)行連接。終端210和終端230可以為臺(tái)式終端或移動(dòng)終端,移動(dòng)終端具體可以是手機(jī)、平板電腦、筆記本電腦的至少一種,終端210作為本地端(近端)時(shí),終端230為遠(yuǎn)是提供終端210和終端230語音通話支持的獨(dú)立服務(wù)器或者是多個(gè)服務(wù)器組成的集群服務(wù)器來實(shí)現(xiàn)。[0122]另外,作為本申請(qǐng)的另一種實(shí)施方式,語音信號(hào)處理裝置也可以應(yīng)用于只有終端或只由終端和服務(wù)器組成的應(yīng)用環(huán)境,例如遠(yuǎn)端設(shè)置于終端或服務(wù)器中的人機(jī)器人聊天程序或人工智能程序。[0123]參照?qǐng)D9所示,語音信號(hào)處理裝置可以應(yīng)用于如圖2所示的應(yīng)用環(huán)境,包括終端210、服務(wù)器220和終端230,語音信號(hào)處理裝置設(shè)置于終端210上,語音輸入端330用于接收來自遠(yuǎn)端的第一語音信號(hào),語音輸出端340用于向遠(yuǎn)端發(fā)送近端用戶側(cè)的語音信號(hào)。另外,本實(shí)施例中的語音信號(hào)處理裝置也可以應(yīng)用于只有終端或只由終端和服務(wù)器組成的應(yīng)用場(chǎng)景中,下述實(shí)施例中只是以圖2所示的應(yīng)用環(huán)境為例進(jìn)行說明,并非僅限于應(yīng)用在圖2所示的應(yīng)用環(huán)境中。[0124]參照?qǐng)D9所示,語音信號(hào)處理裝置包括語音輸入端330,語音輸出端340、揚(yáng)聲器320和麥克風(fēng)310,語音輸入端330和語音輸出端340可以統(tǒng)一為具有上下行收發(fā)功能的語音信號(hào)傳輸端口,包括但不限于有線通信模塊、無線通信模塊,無線通信模塊可以Wi-Fi通信模絡(luò)通信模塊。第一語音信號(hào)可以包括但不限于用戶語音(包括通話語音)、音樂其他它背景[0125]語音信號(hào)處理裝置還包括增益調(diào)整模塊810,增益調(diào)整模塊810設(shè)置于語音輸入端330和揚(yáng)聲器320之間,用于對(duì)語音輸入端330所獲取的第一語音信號(hào)進(jìn)行增益調(diào)節(jié),第一語音信號(hào)通過增益調(diào)整模塊810調(diào)節(jié)后成為用于驅(qū)動(dòng)揚(yáng)聲器320的播放信號(hào),其中,當(dāng)增益調(diào)整模塊810不對(duì)第一語音信號(hào)進(jìn)行調(diào)節(jié)時(shí),播放信號(hào)與第一語音信號(hào)一致,揚(yáng)聲器320輸出的語音在環(huán)境中經(jīng)過反射等原因所產(chǎn)生回聲信號(hào),回聲信號(hào)被麥克風(fēng)310獲取,由于揚(yáng)聲器320輸出的聲音中出現(xiàn)許多附加的非原有的信號(hào)成分,這些信號(hào)成分為非線性失真信號(hào),因此揚(yáng)聲器320輸出的回聲信號(hào)包括線性回聲信號(hào)和非線性回聲信號(hào)。[0126]麥克風(fēng)310獲取第一語音信號(hào)或增益調(diào)整后的第一語音信號(hào)在播放時(shí)所產(chǎn)生回聲的第二語音信號(hào),這時(shí),第二語音信號(hào)包括線性回聲信號(hào)、非線性回聲信號(hào)和近端用戶側(cè)的語音信號(hào),在第二語音信號(hào)中,線性回聲信號(hào)、非線性回聲信號(hào)均是不希望出現(xiàn)的信號(hào),因此語音輸出端340與麥克風(fēng)310之間還設(shè)置有回聲消除模塊820,回聲消除模塊820能較好地對(duì)線性回聲信號(hào)進(jìn)行消除處理,然而對(duì)于非線性回聲信號(hào)則難以消除干凈。[0127]由于回聲消除模塊820中,對(duì)第二語音信號(hào)進(jìn)行回聲處理時(shí)會(huì)生成殘差信號(hào),殘差信號(hào)包括近端用戶側(cè)的語音信號(hào)和非線性回聲信號(hào),因此,通過把增益調(diào)整模塊810與回聲消除模塊820連接,使得增益調(diào)整模塊810能夠獲取由回聲消除模塊820輸出的殘差信號(hào),然后,增益調(diào)整模塊810根據(jù)殘差信號(hào)與第一語音信號(hào)的相關(guān)度對(duì)所獲取的第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),經(jīng)過調(diào)節(jié)后的第一語音信號(hào)為用于驅(qū)動(dòng)揚(yáng)聲器320播放的播放信號(hào),播放信號(hào)根據(jù)上一時(shí)刻所獲取的殘差信號(hào)中的非線性回聲的成分進(jìn)行相應(yīng)調(diào)整,即針對(duì)第一語音信號(hào)中容易導(dǎo)致?lián)P聲器320發(fā)出非線性回聲信號(hào)的部分進(jìn)行了抑制調(diào)整,這樣能夠抑制當(dāng)前揚(yáng)聲器320發(fā)出非線性回聲信號(hào)。由于殘差信號(hào)的獲取、殘差信號(hào)與第一語音信號(hào)的相關(guān)度分析、對(duì)第一語音信號(hào)進(jìn)行的增益調(diào)節(jié)是持續(xù)在線的,因此整體構(gòu)成了一個(gè)反饋的閉環(huán)控制,能夠?qū)崟r(shí)抑制揚(yáng)聲器320發(fā)出的非線性失真信號(hào),從而使麥克風(fēng)310采集得到的第二語音信號(hào)的非線性回聲部分較小,通過回聲消除處理和非線性抑制處理可以有效將第二語音信號(hào)中的非線性回聲部分進(jìn)行消除,提高了語音通信的質(zhì)量。[0128]在一個(gè)實(shí)施例中,回聲消除模塊820包括時(shí)延調(diào)整模塊830、自適應(yīng)濾波模塊840、線性疊加模塊850和非線性抑制模塊860,麥克風(fēng)310、時(shí)延調(diào)整模塊830、線性疊加模塊850、非線性抑制模塊860、語音輸出端340依次連接,增益調(diào)整模塊810的輸出端通過自適應(yīng)濾波模塊840與線性疊加模塊850連接。自適應(yīng)濾波模塊840將增益調(diào)整模塊810輸出的播放信號(hào)進(jìn)行自適應(yīng)濾波處理后進(jìn)行反相處理,形成作為回聲消除參考信號(hào)的線性回聲信號(hào),時(shí)延調(diào)整模塊830用于將麥克風(fēng)310采集的第二語音信號(hào)與所獲取的第一語音信號(hào)進(jìn)行對(duì)齊及時(shí)延調(diào)整,線性疊加模塊850將時(shí)延調(diào)整后的第二語音信號(hào)和自適應(yīng)濾波后取反的第二語音信號(hào)進(jìn)行線性疊加,因此能夠?qū)⒌诙Z音信號(hào)中的線性回聲信號(hào)疊加消除,進(jìn)而生成殘差信號(hào),殘差信號(hào)經(jīng)過非線性抑制模塊860抑制非線性殘留部分信號(hào)后通過語音輸出端340向遠(yuǎn)端輸出語音信號(hào),另外,殘差信號(hào)也傳輸至增益調(diào)整模塊810,增益調(diào)整模塊810根據(jù)殘差信號(hào)與第一語音信號(hào)之間的相關(guān)度對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)整,具體為對(duì)播放信號(hào)的播放增益進(jìn)行抑制調(diào)節(jié),經(jīng)過調(diào)節(jié)后的播放信號(hào)再驅(qū)動(dòng)揚(yáng)聲器320播放輸出時(shí),能抑制揚(yáng)聲器320發(fā)出非線性回聲信號(hào),從而讓麥克風(fēng)310采集得到的第二語音信號(hào)的非線性回聲信號(hào)程度較小,提高回聲消除模塊820對(duì)回聲的消除效果,提高了語音通信的質(zhì)量。[0129]在一個(gè)實(shí)施例中,時(shí)延調(diào)整模塊830為延時(shí)器件,可以為模擬延時(shí)器或數(shù)字延時(shí)器,自適應(yīng)濾波模塊840為自適應(yīng)濾波器,線性疊加模塊850為加法器,非線性抑制模塊860為信號(hào)抑制器。[0130]增益調(diào)整模塊810可以為對(duì)第一語音信號(hào)的時(shí)域信號(hào)的增益進(jìn)行抑制調(diào)節(jié),也可以為對(duì)第一語音信號(hào)的頻域信號(hào)的增益進(jìn)行抑制調(diào)節(jié),增益調(diào)整模塊810預(yù)先建立相關(guān)度與增益調(diào)節(jié)參數(shù)之間的對(duì)應(yīng)關(guān)系,這樣,當(dāng)計(jì)算好第一語音信號(hào)和殘差信號(hào)的相關(guān)度后,就可以得出具體的增益調(diào)節(jié)參數(shù),增益調(diào)節(jié)參數(shù)對(duì)應(yīng)于殘差信號(hào)中的非線性回聲信號(hào)部分,增益調(diào)節(jié)參數(shù)可以抑制第一語音信號(hào)中容易使揚(yáng)聲器320產(chǎn)生非線性回聲信號(hào)的部分,本實(shí)施例中的增益調(diào)節(jié)參數(shù)為0至1區(qū)間內(nèi)的數(shù)值,因此增益調(diào)節(jié)能起到抑制第一語音信號(hào)中容易使揚(yáng)聲器320產(chǎn)生非線性回聲的部分信號(hào)的幅度,在對(duì)當(dāng)前第一語音信號(hào)進(jìn)行抑制調(diào)節(jié)時(shí),將第一語音信號(hào)與增益調(diào)節(jié)參數(shù)相乘實(shí)現(xiàn)抑制調(diào)節(jié)。[0131]其中,殘差信號(hào)與第一語音信號(hào)的相關(guān)性可以由增益調(diào)整模塊810進(jìn)行處理,也可以設(shè)置額外的處理器進(jìn)行處理,將相關(guān)度的處理結(jié)果反饋至增益調(diào)整模塊810對(duì)第一語音信號(hào)進(jìn)行相應(yīng)調(diào)整。[0132]增益調(diào)節(jié)參數(shù)可以是調(diào)節(jié)第一語音信號(hào)在時(shí)域上整體的增益,也可以是調(diào)節(jié)第一語音信號(hào)在頻域上各頻點(diǎn)對(duì)應(yīng)的增益,由于揚(yáng)聲器320的非線性失真問題可能只是針對(duì)某個(gè)頻點(diǎn)出現(xiàn)或者針對(duì)某個(gè)頻點(diǎn)較為明顯,通過對(duì)第一語音信號(hào)部分頻點(diǎn)的增益進(jìn)行抑制,可以讓殘留的回聲音量降低而不易被察覺,能減少由于抑制調(diào)節(jié)第一語音信號(hào)而對(duì)語音通話的影響?;诖耍枰謩e計(jì)算殘差信號(hào)與第一語音信號(hào)在各個(gè)頻點(diǎn)上的相關(guān)度,增益調(diào)節(jié)參數(shù)為第一語音信號(hào)在頻域上各頻點(diǎn)對(duì)應(yīng)的增益調(diào)整系數(shù)。[0133]在一個(gè)實(shí)施例中,上述相關(guān)度與增益調(diào)節(jié)對(duì)應(yīng)關(guān)系可以是線性的,例如為線性函[0134]采用線性函數(shù)的關(guān)系能夠更好地針對(duì)所獲取的殘差信號(hào)的非線性回聲成分對(duì)第一語音信號(hào)的增益進(jìn)行調(diào)節(jié),但是由于考慮到針對(duì)不同終端的揚(yáng)聲器320非線性失真特性增益調(diào)整模塊810通過設(shè)置與所述相關(guān)度對(duì)應(yīng)的分段函數(shù),能較好地適應(yīng)不同的終端類型。[0135]在一個(gè)實(shí)施例中,當(dāng)相關(guān)度小于第一預(yù)設(shè)閾值,設(shè)置增益調(diào)節(jié)參數(shù)為第一增益值,利用第一增益值對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié);[0136]當(dāng)相關(guān)度大于等于第一預(yù)設(shè)閾值且小于等于第二預(yù)設(shè)閾值,設(shè)置增益調(diào)節(jié)參數(shù)為第二增益值,利用第二增益值對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié);[0137]當(dāng)相關(guān)度大于第二預(yù)設(shè)閾值,設(shè)置增益調(diào)節(jié)參數(shù)為第三增益值,利用第三增益值對(duì)第一語音信號(hào)進(jìn)行抑制調(diào)節(jié),其中,第二增益

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論