(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號(hào)CN114238849B(21)申請(qǐng)?zhí)?02111481834.5(22)申請(qǐng)日2021.12.06(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)申請(qǐng)公布號(hào)CN114238849A(43)申請(qǐng)公布日2022.03.25(73)專利權(quán)人安徽大學(xué)地址230601安徽省合肥市經(jīng)濟(jì)技術(shù)開發(fā)區(qū)九龍路111號(hào)(74)專利代理機(jī)構(gòu)合肥市上嘉專利代理事務(wù)所(56)對(duì)比文件審查員徐生芹權(quán)利要求書2頁(yè)說(shuō)明書5頁(yè)附圖1頁(yè)(54)發(fā)明名稱基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法及其系統(tǒng)(57)摘要本發(fā)明公開了一種基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法，包括以下步驟：S1:提取原始語(yǔ)音波形的復(fù)數(shù)譜特征和對(duì)數(shù)功率譜特征，作為輸入特征；S2:將復(fù)數(shù)譜特征分為低頻和高頻兩個(gè)子帶頻段，分別對(duì)復(fù)數(shù)譜的高、低頻段進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；S3:對(duì)對(duì)數(shù)功率譜的低頻段特征進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；S4:將復(fù)數(shù)譜的高、低兩個(gè)子帶頻段的預(yù)測(cè)結(jié)果通過(guò)一級(jí)融合算法進(jìn)行融合，得到一級(jí)融合結(jié)果；S5:將對(duì)數(shù)功率譜的低頻段特征得到的預(yù)測(cè)結(jié)果和一級(jí)融合結(jié)果通過(guò)二級(jí)融合算法進(jìn)行融合，得到最終結(jié)果。還公開了一種基于復(fù)數(shù)譜子21.一種基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法，其特征在于，包括以下步驟：S1:提取原始語(yǔ)音波形的復(fù)數(shù)譜特征和對(duì)數(shù)功率譜特征，作為輸入特征；S2:將復(fù)數(shù)譜特征分為低頻和高頻兩個(gè)子帶頻段，分別對(duì)復(fù)數(shù)譜的高、低頻段進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；S3:對(duì)對(duì)數(shù)功率譜的低頻段特征進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；S4:將復(fù)數(shù)譜的高、低兩個(gè)子帶頻段的預(yù)測(cè)結(jié)果通過(guò)一級(jí)融合算法進(jìn)行融合，得到一級(jí)融合結(jié)果；定義復(fù)數(shù)譜特征的低頻子帶頻段為,復(fù)數(shù)譜特征的高頻子帶頻段為其I深度神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練評(píng)估得到的結(jié)S5:將對(duì)數(shù)功率譜的低頻段特征得到的預(yù)測(cè)結(jié)果和一級(jí)融合結(jié)果通過(guò)二級(jí)融合算法進(jìn)其中，SLps是對(duì)數(shù)功率譜的低頻段特征經(jīng)過(guò)深度神經(jīng)網(wǎng)絡(luò)分類器得到的預(yù)測(cè)結(jié)果，β是2.根據(jù)權(quán)利要求1所述的基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法，其特征在于，在步驟S1中，提取原始語(yǔ)音波形的復(fù)數(shù)譜特征包括以下步驟：S101:利用短時(shí)傅里葉變換STFT將時(shí)域語(yǔ)音轉(zhuǎn)換為T-F域：其中，x[k]表示時(shí)域中的原始語(yǔ)音波形，k是語(yǔ)音信號(hào)的時(shí)間索引，Xr∈RF×T和S102:將STFT的實(shí)數(shù)部分和虛數(shù)部分拼接在一起，得到需要的復(fù)數(shù)譜特征，表示為：3.根據(jù)權(quán)利要求1所述的基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法，其特征在于，在步驟S1中，提取原始語(yǔ)音波形的對(duì)數(shù)功率譜特征包括以下步驟：S111:通過(guò)短時(shí)傅里葉變換STFT將原始語(yǔ)音波形轉(zhuǎn)換為復(fù)數(shù)譜：其中，x[k]表示時(shí)域中的原始語(yǔ)音波形，k是語(yǔ)音信號(hào)的時(shí)間索引，D表示轉(zhuǎn)換后的復(fù)數(shù)S112:依次對(duì)復(fù)數(shù)譜進(jìn)行取絕對(duì)值和取對(duì)數(shù)操作，得到對(duì)數(shù)功率譜特征：其中，abs和log分別代表取絕對(duì)值和取對(duì)數(shù)操作，LPS即為需要的對(duì)數(shù)功率譜特征。4.根據(jù)權(quán)利要求1所述的基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法，其特征在于，所述低頻子帶頻段的頻率范圍為0-4KHz,高頻子帶頻段的頻率范圍為4-8KHz。5.一種復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)系統(tǒng)，其特征在于，包括：3語(yǔ)音特征輸入模塊，用于提取原始語(yǔ)音波形的復(fù)數(shù)譜特征和對(duì)數(shù)功率譜特征，作為輸入特征；復(fù)數(shù)譜特征處理模塊，用于將復(fù)數(shù)譜特征分為低頻和高頻兩個(gè)子帶頻段，分別對(duì)復(fù)數(shù)譜的高、低頻段進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；對(duì)數(shù)功率譜處理模塊，用于對(duì)對(duì)數(shù)功率譜的低頻段特征進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；一級(jí)融合模塊，用于將復(fù)數(shù)譜特征處理模塊得到的預(yù)測(cè)結(jié)果通過(guò)一級(jí)融合算法進(jìn)行融合，得到一級(jí)融合結(jié)果；定義復(fù)數(shù)譜特征的低頻子帶頻段為Xcompex,復(fù)數(shù)譜特征的高頻子帶頻段為,一級(jí)融合公式如下：其中，過(guò)深度神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練評(píng)估得到的結(jié)二級(jí)融合模塊，用于將對(duì)數(shù)功率譜處理模塊得到的預(yù)測(cè)結(jié)果和一級(jí)融合模塊得到的結(jié)果，通過(guò)二級(jí)融合算法進(jìn)行融合得到最終結(jié)果，二級(jí)融合算法的公式如下：其中，SLps是對(duì)數(shù)功率譜的低頻段特征經(jīng)過(guò)深度神經(jīng)網(wǎng)絡(luò)分類器得到的預(yù)測(cè)結(jié)果，β是二級(jí)融合算法的權(quán)重系數(shù)，Scoplex為一級(jí)融合結(jié)果，S為最終結(jié)果。4基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法及其系統(tǒng)技術(shù)領(lǐng)域[0001]本發(fā)明涉及音頻偽造檢測(cè)技術(shù)領(lǐng)域，特別是涉及一種基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法及其系統(tǒng)。背景技術(shù)[0002]自動(dòng)說(shuō)話人驗(yàn)證(Automaticspeakerverification,ASV)系統(tǒng)是一個(gè)典型的生物識(shí)別系統(tǒng)，主要用于門禁控制、電話銀行、司法取證和軍事偵察等領(lǐng)域，該系統(tǒng)可以使用特定的算法對(duì)輸入語(yǔ)音進(jìn)行模式識(shí)別和匹配，判斷出該待驗(yàn)證的說(shuō)話人語(yǔ)音是否為合法用戶的聲音。隨著語(yǔ)音技術(shù)的發(fā)展，目前ASV系統(tǒng)面臨著各種虛假音頻攻擊的問(wèn)題，常見的虛假音頻可以分為4種形式：語(yǔ)音模仿、錄音重放、語(yǔ)音合成和語(yǔ)音轉(zhuǎn)換。因此研究人員開發(fā)出有效的反欺騙系統(tǒng)，以保護(hù)ASV系統(tǒng)免受偽造語(yǔ)音的欺騙攻擊。[0003]音頻偽造檢測(cè)技術(shù)可以有效提高反欺騙系統(tǒng)的性能，目前的工作主要集中在兩個(gè)方面：1)改善音頻的聲學(xué)特征；2)設(shè)計(jì)新的分類模型。相比于設(shè)計(jì)新模型，提取更具有代表性的特征尤為關(guān)鍵。幅度譜和相位譜是基于傅里葉變換得到的兩種基本的聲學(xué)特征，反映音頻的不同特性。在早期研究中，主要對(duì)幅度譜進(jìn)行處理而忽視相位信息，相位信息對(duì)于音頻偽造檢測(cè)任務(wù)非常重要，與幅度譜相比，相位譜的分布更不規(guī)則，因此如何有效利用相位信息是一個(gè)具有挑戰(zhàn)性的問(wèn)題?，F(xiàn)在虛假音頻在被檢測(cè)過(guò)程中通常使用全頻帶信息作為特征進(jìn)行建模，實(shí)際上虛假音頻在低頻帶(0-4KHz)和高頻帶(4KHz-8KHz)有不同的表現(xiàn)，分頻帶處理可以大幅降低虛假音頻檢測(cè)的錯(cuò)誤率，提高反欺騙系統(tǒng)的性能。[0004]因此亟需提供一種新型的虛假音頻檢測(cè)方法來(lái)解決上述問(wèn)題。發(fā)明內(nèi)容[0005]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法及其系統(tǒng)，能夠顯著提高音頻偽造檢測(cè)技術(shù)的準(zhǔn)確率。[0006]為解決上述技術(shù)問(wèn)題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法，包括以下步驟：[0007]S1:提取原始語(yǔ)音波形的復(fù)數(shù)譜特征和對(duì)數(shù)功率譜特征，作為輸入特征；[0008]S2:將復(fù)數(shù)譜特征分為低頻和高頻兩個(gè)子帶頻段，分別對(duì)復(fù)數(shù)譜的高、低頻段進(jìn)行[0009]S3:對(duì)對(duì)數(shù)功率譜的低頻段特征進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；[0010]S4:將復(fù)數(shù)譜的高、低兩個(gè)子帶頻段的預(yù)測(cè)結(jié)果通過(guò)一級(jí)融合算法進(jìn)行融合，得到一級(jí)融合結(jié)果；[0011]S5:將對(duì)數(shù)功率譜的低頻段特征得到的預(yù)測(cè)結(jié)果和一級(jí)融合結(jié)果通過(guò)二級(jí)融合算[0012]在本發(fā)明一個(gè)較佳實(shí)施例中，在步驟S1中，提取原始語(yǔ)音波形的復(fù)數(shù)譜特征包括以下步驟：5[0013]S101:利用短時(shí)傅里葉變換STFT將時(shí)域語(yǔ)音轉(zhuǎn)換為T-F域：[0014]X[t,f]+i*X[0015]其中，x[k]表示時(shí)域中的原始語(yǔ)音波形，k是語(yǔ)音信號(hào)的時(shí)間索引，Xr∈RF×T和Xi∈RF×T是STFT的相應(yīng)實(shí)部和虛部，t是時(shí)間幀數(shù)的索引，f是頻率單元的索引；[0016]S102:將STFT的實(shí)數(shù)部分和虛數(shù)部分拼接在一起，得到需要的復(fù)數(shù)譜特征，表示[0018]其中，stack表示拼接操作，F(xiàn)和T分別為頻率和時(shí)間幀數(shù)。[0019]在本發(fā)明一個(gè)較佳實(shí)施例中，在步驟S1中，提取原始語(yǔ)音波形的對(duì)數(shù)功率譜特征包括以下步驟：[0020]S111:通過(guò)短時(shí)傅里葉變換STFT將原始語(yǔ)音波形轉(zhuǎn)換為復(fù)數(shù)譜：[0022]其中，x[k]表示時(shí)域中的原始語(yǔ)音波形，k是語(yǔ)音信號(hào)的時(shí)間索引，D表示轉(zhuǎn)換后的復(fù)數(shù)譜。[0023]S112:依次對(duì)復(fù)數(shù)譜進(jìn)行取絕對(duì)值和取對(duì)數(shù)操作，得到對(duì)數(shù)功率譜特征：[0025]其中，abs和log分別代表取絕對(duì)值和取對(duì)數(shù)操作，LPS即為需要的對(duì)數(shù)功率譜特[0026]在本發(fā)明一個(gè)較佳實(shí)施例中，所述低頻子帶頻段的頻率范圍為0-4KHz,高頻子帶頻段的頻率范圍為4-8KHz。[0027]在本發(fā)明一個(gè)較佳實(shí)施例中，在步驟S4中，定義復(fù)數(shù)譜特征的低頻子帶頻段為,復(fù)數(shù)譜特征的高頻子帶頻段為[0029]其中，過(guò)深度神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練評(píng)估得到[0030]在本發(fā)明一個(gè)較佳實(shí)施例中，在步驟S5中，二級(jí)融合算法的公式如下：[0032]其中，對(duì)數(shù)功率譜的低頻段特征經(jīng)過(guò)深度神經(jīng)網(wǎng)絡(luò)分類器得到的預(yù)測(cè)結(jié)果，β是二級(jí)融合算法的權(quán)重系數(shù)，一級(jí)融合結(jié)果，S為最終結(jié)果。[0033]為解決上述技術(shù)問(wèn)題，本發(fā)明采用的另一個(gè)技術(shù)方案是：提供一種復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)系統(tǒng)，包括：[0034]語(yǔ)音特征輸入模塊，用于提取原始語(yǔ)音波形的復(fù)數(shù)譜特征和對(duì)數(shù)功率譜特征，作為輸入特征；[0035]復(fù)數(shù)譜特征處理模塊，用于將復(fù)數(shù)譜特征分為低頻和高頻兩個(gè)子帶頻段，分別對(duì)復(fù)數(shù)譜的高、低頻段進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；[0036]對(duì)數(shù)功率譜處理模塊，用于對(duì)對(duì)數(shù)功率譜的低頻段特征進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；6[0037]一級(jí)融合模塊，用于將復(fù)數(shù)譜特征處理模塊得到的預(yù)測(cè)結(jié)果通過(guò)一級(jí)融合算法進(jìn)[0038]二級(jí)融合模塊，用于將對(duì)數(shù)功率譜處理模塊得到的預(yù)測(cè)結(jié)果和一級(jí)融合模塊得到的結(jié)果，通過(guò)二級(jí)融合算法進(jìn)行融合得到最終結(jié)果。[0039]本發(fā)明的有益效果是：本發(fā)明將虛假音頻分頻帶處理，可以大幅降低虛假音頻檢測(cè)的錯(cuò)誤率，提高反欺騙系統(tǒng)的性能，與全頻帶的系統(tǒng)相比，將復(fù)數(shù)譜的低、高頻兩個(gè)子帶融合，可以提高虛假音頻檢測(cè)系統(tǒng)的性能以及音頻偽造檢測(cè)技術(shù)的準(zhǔn)確率。附圖說(shuō)明[0040]圖1是本發(fā)明基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法的流程圖；[0041]圖2是所述基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)系統(tǒng)的結(jié)構(gòu)框圖。具體實(shí)施方式[0042]下面結(jié)合附圖對(duì)本發(fā)明的較佳實(shí)施例進(jìn)行詳細(xì)闡述，以使本發(fā)明的優(yōu)點(diǎn)和特征能更易于被本領(lǐng)域技術(shù)人員理解，從而對(duì)本發(fā)明的保護(hù)范圍做出更為清楚明確的界定。[0043]請(qǐng)參閱圖1和圖2,本發(fā)明實(shí)施例包括：[0044]一種基于復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)方法，包括以下步驟：[0045]S1:提取原始語(yǔ)音波形的復(fù)數(shù)譜特征和對(duì)數(shù)功率譜(LPS)特征，作為輸入特征；[0046]提取原始語(yǔ)音波形的復(fù)數(shù)譜特征包括以下步驟：[0047]S101:利用短時(shí)傅里葉變換STFT將時(shí)域語(yǔ)音轉(zhuǎn)換為T-F域：[0049]其中，x[k]表示時(shí)域中的原始語(yǔ)音波形，k是語(yǔ)音信號(hào)的時(shí)間索引，Xr∈RF×T和STFT時(shí)使用窗長(zhǎng)為1728的BlackmanWindow,幀移為130。[0050]S102:將STFT的實(shí)數(shù)部分和虛數(shù)部分拼接在一起，得到需要的復(fù)數(shù)譜特征，表示[0053]提取原始語(yǔ)音波形的對(duì)數(shù)功率譜特征包括以下步驟：[0054]S111:通過(guò)短時(shí)傅里葉變換STFT將原始語(yǔ)音波形轉(zhuǎn)換為復(fù)數(shù)譜：[0056]其中，x[k]表示時(shí)域中的原始語(yǔ)音波形，k是語(yǔ)音信號(hào)的時(shí)間索引，D表示轉(zhuǎn)換后的復(fù)數(shù)譜。[0057]S112:依次對(duì)復(fù)數(shù)譜進(jìn)行取絕對(duì)值和取對(duì)數(shù)操作，得到對(duì)數(shù)功率譜特征：[0059]其中，abs和log分別代表取絕對(duì)值和取對(duì)數(shù)操作，LPS即為需要的對(duì)數(shù)功率譜特[0060]S2:將復(fù)數(shù)譜特征分為低頻和高頻兩個(gè)子帶頻段，分別對(duì)復(fù)數(shù)譜的高、低頻段進(jìn)行7[0061]優(yōu)選的，所述低頻子帶頻段的頻率范圍為0-4KHz,高頻子帶頻段的頻率范圍為4-8KHz。本示例中，定義復(fù)數(shù)譜特征的低頻子帶頻段為Xcompe,復(fù)數(shù)譜特征的高頻子帶頻段為[0062]需要說(shuō)明的是，在步驟S1中可得到維度為865的復(fù)數(shù)譜，取前0-433維作為低頻子帶，后433-865為高頻子帶。因此，輸入的復(fù)數(shù)譜特征的低頻子帶和高頻子帶的大小分別為433×600和432×600。再分別將復(fù)數(shù)譜的高、低頻特征作為深度神經(jīng)網(wǎng)絡(luò)分類器的輸入，再對(duì)深度神經(jīng)網(wǎng)絡(luò)分類器設(shè)置一定的訓(xùn)練輪數(shù)進(jìn)行訓(xùn)練，最后選取訓(xùn)練中最好的模型進(jìn)行測(cè)試，得到的測(cè)試結(jié)果作為相對(duì)應(yīng)的預(yù)測(cè)結(jié)果。[0063]S3:對(duì)對(duì)數(shù)功率譜的低頻段特征進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；[0064]需要說(shuō)明的是，在步驟S3中首先通過(guò)對(duì)原始語(yǔ)音波形進(jìn)行對(duì)數(shù)功率譜的特征提取，可得到維度為865的對(duì)數(shù)功率譜，取前0-433維作為對(duì)數(shù)功率譜的低頻段特征，將該特征作為深度神經(jīng)網(wǎng)絡(luò)分類器的輸入，再對(duì)深度神經(jīng)網(wǎng)絡(luò)分類器設(shè)置一定的訓(xùn)練輪數(shù)進(jìn)行訓(xùn)練，最后選取訓(xùn)練中最好的模型進(jìn)行測(cè)試，得到的測(cè)試結(jié)果作為相對(duì)應(yīng)的預(yù)測(cè)結(jié)果。[0065]S4:將復(fù)數(shù)譜的高、低兩個(gè)子帶頻段的預(yù)測(cè)結(jié)果通過(guò)一級(jí)融合算法進(jìn)行融合，得到一級(jí)融合結(jié)果；[0068]其中過(guò)深度神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練評(píng)估得到[0069]S5:將對(duì)數(shù)功率譜的低頻段特征得到的預(yù)測(cè)結(jié)果和一級(jí)融合結(jié)果通過(guò)二級(jí)融合算[0070]由于LPS低頻段特征對(duì)音頻偽造檢測(cè)任務(wù)非常有效，因此本示例中二級(jí)融合算法的公式如下：[0072]其中SLps是LPS低頻段特征經(jīng)過(guò)深度神經(jīng)網(wǎng)絡(luò)分類器得到的預(yù)測(cè)結(jié)果，β是二級(jí)融合算法的權(quán)重系數(shù)，本示例中設(shè)置為0.5,S為最終結(jié)果。[0073]本發(fā)明實(shí)施例中，參閱圖2,還提供一種復(fù)數(shù)譜子帶融合的虛假音頻檢測(cè)系統(tǒng)，包[0074]語(yǔ)音特征輸入模塊，用于提取原始語(yǔ)音波形的復(fù)數(shù)譜特征和對(duì)數(shù)功率譜特征，作為輸入特征；[0075]復(fù)數(shù)譜特征處理模塊，用于將復(fù)數(shù)譜特征分為低頻和高頻兩個(gè)子帶頻段，分別對(duì)復(fù)數(shù)譜的高、低頻段進(jìn)行建模，并獲得相對(duì)應(yīng)的預(yù)測(cè)結(jié)果；[0076]對(duì)數(shù)功率譜處理模塊，用于對(duì)對(duì)數(shù)功率譜的低頻段特征進(jìn)行