語音增強(qiáng)Speechenhancement請(qǐng)輸入您的學(xué)校名稱目錄CONTENTS01信號(hào)模型與評(píng)價(jià)指標(biāo)02單通道方法03多通道方法04混響環(huán)境下的語音增強(qiáng)請(qǐng)輸入您的學(xué)校名稱信號(hào)模型與評(píng)價(jià)指標(biāo)PART01麥克風(fēng)信號(hào)模型信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)麥克風(fēng)接收信號(hào)模型的數(shù)學(xué)表達(dá)式為:

語音信號(hào)評(píng)價(jià)指標(biāo)信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)優(yōu)點(diǎn)缺點(diǎn)評(píng)價(jià)指標(biāo)舉例特點(diǎn)主觀評(píng)價(jià)指標(biāo)直接、易于理解需要大量測(cè)試者，耗時(shí)耗力MOS測(cè)試者打分，然后求平均客觀評(píng)價(jià)指標(biāo)快速便捷非直接感受SNR整段語音信號(hào)中語音與噪聲強(qiáng)度比值SegSNR分段語音信號(hào)中語音與噪聲強(qiáng)度比值PESQ與MOS分相關(guān)度最高STOI計(jì)算原始語音與增強(qiáng)語音的相似度請(qǐng)輸入您的學(xué)校名稱單通道方法PART02譜減法信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)時(shí)頻域麥克風(fēng)信號(hào)可表示為:

計(jì)算信號(hào)功率：

引入功率譜概念:

可估計(jì)信號(hào)功率譜！譜減法信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)譜減法流程圖：譜減法效果維納濾波法信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)

維納濾波法信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)維納濾波法流程圖：維納濾波法效果深度學(xué)習(xí)方法信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)

提取聲學(xué)特征定義訓(xùn)練目標(biāo)：純凈語音/掩蔽定義損失函數(shù)設(shè)計(jì)合適的神經(jīng)網(wǎng)絡(luò)時(shí)域深度學(xué)習(xí)方法U-Net信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)U型網(wǎng)絡(luò)結(jié)構(gòu)：編碼器提取語音特征/

解碼器對(duì)特征上采樣編碼器與解碼器對(duì)稱，跳躍連接每層編碼器由卷積層、ReLU層、池化層組成每層解碼器由反卷積層、ReLU層、池化層組成時(shí)域深度學(xué)習(xí)方法SEGAN信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)結(jié)構(gòu)與U-Net類似采用跨步卷積頻域深度學(xué)習(xí)方法：基于映射信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)以對(duì)數(shù)功率譜為訓(xùn)練目標(biāo)的神經(jīng)網(wǎng)絡(luò)方法流程圖：頻域深度學(xué)習(xí)方法：基于掩蔽信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)掩蔽類型名稱特點(diǎn)理想二值掩蔽(IBM)語音主導(dǎo)記為1；噪聲主導(dǎo)記為0理想比值掩蔽(IRM)比值在0與1之間復(fù)值理想比值掩蔽(cIRM)針對(duì)復(fù)數(shù)信號(hào)的IRM頻域幅度掩蔽(SMM)純凈語音和含噪語音的能量比值相位敏感掩蔽(PSM)SMM+純凈語音與含噪語音相位差信號(hào)近似(SA)評(píng)估目標(biāo)語音頻譜與估計(jì)頻譜之間的均方誤差頻域深度學(xué)習(xí)方法：基于掩蔽信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)FullSubNet模型結(jié)構(gòu)圖：訓(xùn)練目標(biāo)為cIRM全帶/子帶結(jié)構(gòu)建模寬帶/窄帶信號(hào)請(qǐng)輸入您的學(xué)校名稱多通道方法PART03麥克風(fēng)陣列信號(hào)模型信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)

麥克風(fēng)陣列信號(hào)特征信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)

波束形成信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)

最小方差無失真響應(yīng)波束形成信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)

頻域麥克風(fēng)信號(hào)表達(dá)式：

使用拉格朗日乘子法構(gòu)造目標(biāo)函數(shù):

最小化目標(biāo)函數(shù)求得最小方差無失真響應(yīng)的權(quán)值最優(yōu)解為:

最小方差無失真響應(yīng)波束形成信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)

MVDR波束形成方法流程圖：線性約束最小方差波束形成信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)核心思想：提取目標(biāo)方向的信號(hào)，并使經(jīng)過波束形成濾波器輸出的信號(hào)中來自于與目標(biāo)信號(hào)方向不同方向的其他干擾信號(hào)或噪聲的功率最小化。與MVDR不同之處：多個(gè)線性約束。線性約束最小方差(LCMV)波束形成數(shù)學(xué)表達(dá)式：

線性約束最小方差波束形成信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)求解拉格朗日算子可得LCMV濾波器表達(dá)式:

LCMV波束形成方法流程圖：與MVDR不同之處：結(jié)合神經(jīng)網(wǎng)絡(luò)的波束形成信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)借助IBM與IRM等掩蔽模式更好地估計(jì)麥克風(fēng)信號(hào)協(xié)方差矩陣：

其中：核心思想：有用的時(shí)頻點(diǎn)加大權(quán)重；無用的時(shí)頻點(diǎn)減小權(quán)重！神經(jīng)網(wǎng)絡(luò)方法舉例1：信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)Beam-GuidedTasNet：/hangtingchen/Beam-Guided-TasNet神經(jīng)網(wǎng)絡(luò)方法舉例2：信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)MCNET：/Audio-WestlakeU/McNet神經(jīng)網(wǎng)絡(luò)方法舉例3：信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)SpatialNet：GitHub-Audio-WestlakeU/NBSS:TheofficialrepoofNBC&SpatialNetformultichannelspeechseparation,denoising,anddereverberation請(qǐng)輸入您的學(xué)校名稱混響環(huán)境下的語音增強(qiáng)PART04信號(hào)模型信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語音增強(qiáng)

另一種表達(dá)方式：去混響算法信號(hào)模型與評(píng)價(jià)指標(biāo)單通道方法多通道方法混響環(huán)境下的語