(19)國家知識產(chǎn)權局(12)發(fā)明專利號14層1608室(56)對比文件務所(普通合伙)11201G1OL15/02(2006.01)權利要求書2頁說明書8頁附圖4頁器和介質(zhì)(57)摘要本發(fā)明公開了一種語音識別中端到端語音的置信度計算方法、裝置、服務器和介質(zhì)。識別方法，包括：提取輸入音頻各幀數(shù)據(jù)的聲學特征；將所述聲學特征輸入語音識別解碼器并得到對應上述語音識別中端到端語音的置信度計算方法，直接由聲學特征和識別結果計算各個字和句子音識別解碼器的具體實現(xiàn)，具有獨立優(yōu)化、高效、21.一種語音識別中端到端語音的置信度計算方法，其特征在于，包括：提取輸入音頻各幀數(shù)據(jù)的聲學特征；將所述聲學特征輸入語音識別解碼器并得到對應的識別結果；根據(jù)所述聲學特征、所述識別結果和預設特征抽象模型，提取所述識別結果中每個字的置信度特征；將所述識別結果和所提取的置信度特征作為置信度計算模型的輸入，預測出所述識別結果中每個字的置信度和句子的置信度；根據(jù)所述聲學特征、所述識別結果和預設特征抽象模型，提取所述識別結果中每個字預先設置采用編碼器-解碼器的模型結構的特征抽象模型；對該特征抽象模型進行訓練；將所述聲學特征輸入訓練好的特征抽象模型的編碼器中抽象出原始特征；將所述原始特征輸入訓練好的特征抽象模型的解碼器中抽象出編碼器特征；將所述原始特征和所述識別結果輸入訓練好的特征抽象模型的解碼器中抽象出解碼器特征，所述置信度特征包括所述編碼器特征和所述解碼器特征。2.根據(jù)權利要求1所述的語音識別中端到端語音的置信度計算方法，其特征在于，將所述原始特征輸入訓練好的特征抽象模型的解碼器中抽象出所述編碼器特征，包括：通過多頭注意力機制使所述原始特征在訓練好的特征抽象模型的解碼器中抽象出所述編碼器特征。3.根據(jù)權利要求1所述的語音識別中端到端語音的置信度計算方法，其特征在于，將所述識別結果和所提取的置信度特征作為置信度計算模型的輸入，預測出所述識別結果中每以所述識別結果、所述置信度特征作為輸入，通過特征拼接和位置編碼后，送入多層TransformerBlock模塊，之后其中一頭通過Sigmoid產(chǎn)生字的置信度，另一頭過層級注意力進行句子級別抽象后再送入Sigmoid產(chǎn)生句子的置信度。4.根據(jù)權利要求3所述的語音識別中端到端語音的置信度計算方法，其特征在于，所述置信度計算方法包括置信度計算模型的訓練階段，所述訓練階段包括：以所述識別結果、所述置信度特征作為輸入，通過反向傳播算法訓練整個置信度計算模型。5.根據(jù)權利要求4所述的語音識別中端到端語音的置信度計算方法，其特征在于，以所述識別結果、所述置信度特征作為輸入，通過反向傳播算法訓練整個置信度計算模型，包以所述識別結果、所述置信度特征作為輸入，通過特征拼接和位置編碼作為置信度計算模型輸入，通過最后的Sigmoid層輸出字正確概率和句子正確概率；通過正確轉(zhuǎn)錄和所述識別結果計算最小編輯距離得到模型的字標簽和句子標簽；regression損失建模，通過反向傳播算法訓練整個置信度計算模型。6.根據(jù)權利要求4所述的語音識別中端到端語音的置信度計算方法，其特征在于，所述3置信度計算方法包括置信度計算模型的預測階段，所述預測階段包括：以所述識別結果、所述置信度特征作為輸入，通過特征拼接和位置編碼作為置信度計算模型的輸入，送入訓練好的置信度計算模型，通過一頭輸出識別結果字的正確概率，通過另一個頭輸出句子的正確概率，以供下游任務使用。7.一種語音識別中端到端語音的置信度計算裝置，其特征在于，包括：聲學特征提取模塊，用于提取輸入音頻各幀數(shù)據(jù)的聲學特征；識別模塊，用于將所述聲學特征輸入語音識別解碼器并得到對應的識別結果；置信度特征抽取模塊，用于根據(jù)所述聲學特征、所述識別結果和預設特征抽象模型，提取所述識別結果中每個字的置信度特征；和置信度計算模塊，用于將所述識別結果和所提取的置信度特征作為置信度計算模型的輸入，預測出所述識別結果中每個字的置信度和句子的置信度；所述置信度特征抽取模塊還用于：預先設置采用編碼器-解碼器的模型結構的特征抽象模型；對該特征抽象模型進行訓練；將所述聲學特征輸入訓練好的特征抽象模型的編碼器中抽象出原始特征；將所述原始特征輸入訓練好的特征抽象模型的解碼器中抽象出編碼器特征；將所述原始特征和所述識別結果輸入訓練好的特征抽象模型的解碼器中抽象出解碼器特征，所述置信度特征包括所述編碼器特征和所述解碼器特征。8.一種服務器，其特征在于，包括權利要求7所述的語音識別中端到端語音的置信度計算裝置。9.一種計算機可執(zhí)行指令的非易失性計算機可讀存儲介質(zhì)，其特征在于，當所述計算機可執(zhí)行指令被一個或多個處理器執(zhí)行時，使得所述處理器執(zhí)行權利要求1-6中任一項所述的語音識別中端到端語音的置信度計算方法。4端到端語音的置信度計算方法、裝置、服務器和介質(zhì)技術領域[0001]本發(fā)明涉及語音處理技術領域，特別涉及一種語音識別中端到端語音的置信度計背景技術[0002]在相關技術中，置信度模塊是對語音識別解碼器輸出的識別結果給出可信程度的模塊。結合置信度分數(shù)的識別結果被應用到如對話系統(tǒng)、自然語言理解、關鍵字檢索等下游任務中。置信度對提高人機交互準確性有重要意義。[0003]傳統(tǒng)語音識別系統(tǒng)的置信度模塊實現(xiàn)一般是基于解碼lattice圖計算得到，無需額外的模型和參數(shù)訓練。近年來基于端到端語音識別系統(tǒng)的置信度算法也發(fā)展起來，主要是用解碼器產(chǎn)生的識別序列和端到端聲學模型中的抽象特征訓練一個后接的基于模型的置信度模塊，這種方案具有比傳統(tǒng)lattice圖更好的準召效果。然而上述兩方案存在以下兩個問題：[0004]1)置信度模塊強依賴于語音識別解碼器，具有很強的耦合性。尤其對于基于模型的置信度方案，替換不同的語音識別解碼器，則需要重新訓練不同的置信度模塊以適配。[0005]2)在傳統(tǒng)語音識別系統(tǒng)之后訓練置信度模型，則需要保存大量的解碼結果和聲學特征，需消耗大量的存儲資源，實用性較差，大規(guī)模數(shù)據(jù)訓練場景下消發(fā)明內(nèi)容[0006]本發(fā)明提供了一種語音識別中端到端語音的置信度計算方法、裝置、服務器和介[0007]本發(fā)明的一種語音識別中端到端語音的置信度計算方法，包括：[0008]提取輸入音頻各幀數(shù)據(jù)的聲學特征；[0009]將所述聲學特征輸入語音識別解碼器并得到對應的識別結果；[0010]根據(jù)所述聲學特征、所述識別結果和預設特征抽象模型，提取所述識別結果中每個字的置信度特征；[0011]將所述識別結果和所提取的置信度特征作為置信度計算模型的輸入，預測出所述識別結果中每個字的置信度和句子的置信度。[0012]上述語音識別中端到端語音的置信度計算方法，直接由聲學特征和識別結果計算各個字和句子的置信度，此置信度計算方案無需適配與依賴語音識別解碼器的具體實現(xiàn)，具有獨立優(yōu)化、高效、減少錯誤累加的優(yōu)點，在實際業(yè)務場景中具有較高[0013]根據(jù)所述聲學特征、所述識別結果和預設特征抽象模型，提取所述識別結果中每[0014]預先設置采用編碼器-解碼器的模型結構的特征抽取模型；[0015]對該特征抽取模型進行訓練；[0016]將所述聲學特征輸入訓練好的特征抽取模型的編碼器中抽象出原始特征；5[0017]將所述原始特征輸入訓練好的特征抽取模型的解碼器中抽象出所述編碼器特征；[0018]將所述原始特征和所述識別結果輸入訓練好的特征抽取模型的解碼器中抽象出所述解碼器特征。[0020]將所述原始特征輸入訓練好的特征抽取模型的解碼器中抽象出所述編碼器特征，[0021]通過多頭注意力機制使所述原始特征在訓練好的特征抽取模型的解碼器中抽象出所述編碼器特征。[0022]如此，可以實現(xiàn)使編碼器輸出的原始特征在訓練好的特征抽取模型的解碼器中抽象出編碼器特征。[0023]將所述識別結果和所提取的置信度特征作為置信度計算模型的輸入，預測出所述識別結果中每個字的置信度和句子的置信度，包括：[0024]以所述識別結果、所述置信度特征作為輸入，通過特征拼接和位置編碼后，送入多層TransformerBlock模塊，之后其中一頭通過Sigmoid產(chǎn)生字的置信度，另一頭過層級注意力進行句子級別抽象后再送入Sigmoid產(chǎn)生句子的置信度。[0025]如此，可以實現(xiàn)字的置信度和句子的置[0026]所述置信度計算方法包括置信度計算模型的訓練階段，[0028]以所述識別結果、所述置信度特征作為輸入，通過反向傳播算法訓練整個置信度計算模型。[0029]如此，可以對置信度計算模型進行訓練。[0030]以所述識別結果、所述置信度特征作為輸入，通過反向傳播算法訓練整個置信度[0031]以所述識別結果、所述置信度特征作為輸入，通過特征拼接和位置編碼作為置信度計算模型輸入，通過最后的Sigmoid層輸出字正確概率和句子正確概率；[0032]通過正確轉(zhuǎn)錄和所述識別結果計算最小編輯距離得到模型的字標簽和句子標簽；[0033]通過所述字正確概率和句子正確概率、所述字標簽和句子標簽進行l(wèi)ogisticregression損失建模，通過反向傳播算法訓練整個置信度計算模型。[0035]所述置信度計算方法包括置信度計算模型的預測階段，[0037]以所述識別結果、所述置信度特征作為輸入，通過特征拼接和位置編碼作為置信度計算模型的輸入，送入訓練好的置信度計算模型，通過一頭輸出識別結果字的正確概率，通過另一個頭輸出句子的正確概率，以供下游任務使用。[0038]如此，可以實現(xiàn)字和句子的正確概率(置信度)計算。[0039]本發(fā)明的一種語音識別中端到端語音的置信度計算裝置，包括：[0040]聲學特征提取模塊，用于提取輸入音頻各幀數(shù)據(jù)的聲學特征；[0041]識別模塊，用于將所述聲學特征輸入語音識別解碼器并得到對應的識別結果；[0042]置信度特征抽取模塊，用于根據(jù)所述聲學特征、所述識別結果和預設特征抽象模6[0043]置信度計算模塊，用于將所述識別結果和所提取的置信度特征作為所述置信度計算模型的輸入，預測出所述識別結果中每個字的置信度和句子的置信度。[0044]本發(fā)明的一種服務器，包括上述的語音識別中端到端語音的置信度計算裝置。[0045]本發(fā)明提供一種計算機可執(zhí)行指令的非易失性計算機可讀存儲介質(zhì)，當所述計算機可執(zhí)行指令被一個或多個處理器執(zhí)行時，使得所述處理器執(zhí)行上述的語音識別中端到端語音的置信度計算方法。[0046]上述語音識別中端到端語音的置信度計算裝置、服務器和存儲介質(zhì)，直接由聲學特征和識別結果計算各個字和句子的置信度，此置信度計算方案無需適配與依賴語音識別解碼器的具體實現(xiàn)，具有獨立優(yōu)化、高效、減少錯誤累加的優(yōu)點，在實際業(yè)務場景中具有較高的實用價值。[0047]本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。附圖說明[0048]本發(fā)明的上述和/或附加的方面和優(yōu)點從結合下面附圖對實施方式的描述中將變[0049]圖1是本發(fā)明實施方式的語音識別中端到端語音的置信度計算方法的流程示意[0050]圖2是本發(fā)明實施方式的語音識別中端到端語音的置信度計算裝置的模塊示意[0051]圖3是本發(fā)明實施方式的置信度特征抽取模塊的構架示意圖；[0052]圖4是本發(fā)明實施方式的置信度計算模塊的構架示意圖。具體實施方式[0053]下面詳細描述本發(fā)明的實施方式，所述實施方式的示例在附圖中示出，其中，相同或類似的標號自始至終表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施方式是示例性的，僅用于解釋本發(fā)明的實施方式，而不能理解為對本發(fā)明的實施方式的限制。[0054]下文的公開提供了許多不同的實施方式或例子用來實現(xiàn)本發(fā)明的實施方式的不同結構。為了簡化本發(fā)明的實施方式的公開，下文中對特定例子的部件和設置進行描述。當然，它們僅僅為示例，并且目的不在于限制本發(fā)明。本發(fā)明的實施方式可以在不同例子中重復參考數(shù)字和/或參考字母，這種重復是為了簡化和清楚的目的，其本身不指示所討論各種實施方式和/或設置之間的關系。[0055]請一并參閱圖1,本發(fā)明實施方式提供的一種語音識別中端到端語音的置信度計[0056]步驟01,提取輸入音頻各幀數(shù)據(jù)的聲學特征；[0057]步驟03,將聲學特征輸入語音識別解碼器并得到對應的識別結果；[0058]步驟05,根據(jù)聲學特征、識別結果和預設特征抽象模型，提取識別結果中每個字的7置信度特征；[0059]步驟07,將識別結果和所提取的置信度特征作為置信度計算模型的輸入，預測出識別結果中每個字的置信度和句子的置信度。[0060]請參圖2,上述實施方式的語音識別中端到端語音的置信度計算方法可以由本發(fā)明實施方式的語音識別中端到端語音的置信度計算裝置100實現(xiàn)。具體地，本發(fā)明實施方式的一種語音識別中端到端語音的置信度計算裝置100,包括聲學特征提取模塊11、識別模塊13、置信度特征抽取模塊15和置信度計算模塊17.聲學特征提取模塊11,用于提取輸入音頻各幀數(shù)據(jù)的聲學特征。識別模塊13,用于將聲學特征輸入語音識別解碼器并得到對應的識別結果。置信度特征抽取模塊15,用于根據(jù)聲學特征、識別結果和預設特征抽象模型，提取識別結果中每個字的置信度特征。置信度計算模塊17,用于將識別結果和所提取的置信度特征作為置信度計算模型的輸入，預測出識別結果中每個字的置信度和句子的置信度。[0061]上述語音識別中端到端語音的置信度計算方法和語音識別中端到端語音的置信度計算裝置100,直接由聲學特征和識別結果計算各個字和句子的置信度，此置信度計算方案無需適配與依賴語音識別解碼器的具體實現(xiàn)，具有獨立優(yōu)化、高效、減少錯誤累加的優(yōu)點，在實際業(yè)務場景中具有較高的實用價值。[0062]具體地，本發(fā)明實施方式分析相關技術中，置信度計算方案和識別解碼器強耦合以及深度學習置信度難以與傳統(tǒng)解碼器適配的問題，提出了上述獨立于語音識別解碼器的端到端語音置信度識別策略。上述每個字的置信度和句子的置信度可被應用到如對話系[0063]輸入音頻可以由計算方法所應用的第一終端獲取，也可以由與第一終端通信的第二終端獲取后，再傳輸至第一終端。用戶可以通過第一終端或第二終端輸入語音以產(chǎn)生輸[0064]提取輸入音頻各幀數(shù)據(jù)的聲學特征，可以產(chǎn)生聲學特征幀序列。具體地，提取輸入音頻各幀數(shù)據(jù)的聲學特征可參相關技術中語音處理領域的方法，在此不作詳細展開。在本實施方式中，聲學特征一方面輸入給語音識別解碼器以獲得識別結果，另一方面可作為置信度抽取的輸入以獨立于語音識別解碼器抽取置信度特征和計算正確概率。[0065]在某些實施方式中，語音識別解碼器包括基于HMM語音識別系統(tǒng)的解碼器和基于端到端的語音識別系統(tǒng)的解碼器。如此，可以靈活使用相關的語音識別系統(tǒng)來獲取識別結[0067]在一個實施方式中，端到端語音識別系統(tǒng)可包括Conformer-LSTMRNNT模型等。本實施方式所置信的識別結果由聲學特征送入解碼器獲得。[0068]可以理解，在其它實施方式中，也可以采用其它類型的語音識別解碼器來獲取識別結果，而不限于基于HMM語音識別系統(tǒng)的解碼器和基于端到端的語音識別系統(tǒng)的解碼器。[0070]預先設置采用編碼器-解碼器的模型結構的特征抽取模型；[0071]對該特征抽取模型進行訓練；[0072]將聲學特征輸入訓練好的特征抽取模型的編碼器中抽象出原始特征；8[0074]將原始特征和識別結果輸入訓練好的特征抽取模型的解碼器中抽象出解碼器特[0075]請參圖2,上述實施方式的語音識別中端到端語音的置信度計算方法可以由本發(fā)的模型結構。聲學特征送入訓練好的特征抽取模型的編碼器中抽象出原始特征(如高維特[0082]也可以采用語音恢復預訓練任務的以掩碼征抽取模型的解碼器對訓練好的特征抽取模型的編碼器輸出的原始特征進行多頭注意力[0084]在某些實施方式中，預設特征抽象模型的編碼器由卷積層和多層ConformerBlock構成；[0088]通過多頭注意力機制使原始特征在訓練好的特征抽取模型的解碼器中抽象出編[0089]請參圖2,上述實施方式的語音識別中端到端語音的置信度計算方法可以由本發(fā)9明實施方式的語音識別中端到端語音的置信度計算裝置100實現(xiàn)。具體地，置信度特征抽取模塊15用于通過多頭注意力機制使原始特征在訓練好的特征抽取模型的解碼器中抽象出編碼器特征。[0090]如此，可以實現(xiàn)使編碼器輸出的原始特征在訓練好的特征抽取模型的解碼器中抽象出編碼器特征。[0091]具體地，請結合圖3,訓練好的特征抽取模型的解碼器的TransformerDecoderBlock具有多頭注意力層，訓練好的特征抽取模型的編碼器輸出的原始特征送入多頭注意[0093]以識別結果、置信度特征作為輸入，通過特征拼接和位置編碼后，送入多層TransformerBlock模塊，之后其中一頭通過Sigmoid產(chǎn)生字的置信度，另一頭過層級注意力進行句子級別抽象后再送入Sigmoid產(chǎn)生句子的置信度。[0094]請參圖2,上述實施方式的語音識別中端到端語音的置信度計算方法可以由本發(fā)明實施方式的語音識別中端到端語音的置信度計算裝置100實現(xiàn)。具體地，置信度計算模塊17用于以識別結果、置信度特征作為輸入，通過特征拼接和位置編碼后，送入多層TransformerBlock模塊，之后其中一頭通過Sigmoid產(chǎn)生字的置信度，另一頭過層級注意力進行句子級別抽象后再送入Sigmoid產(chǎn)生句子的置信度。[0095]如此，可以實現(xiàn)字的置信度和句子的置信度的計算。[0096]具體地，在通過上述獲得的識別結果的每個字的置信度特征作為置信度計算模塊17的輸入，計算出每個字和句子的置信度(正確概率)。[0097]在本實施方式中，請結合圖4,置信度計算模塊17可采用Transformer編碼器的結構。以語音識別解碼器識別結果、置信度特征提取模塊抽取的編碼器特征、解碼器特征作為輸入，通過特征拼接(concatenate鏈接)和位置編碼后，送入多層TransformerBlock模塊。之后其中一頭過Sigmoid產(chǎn)生字置信度正確概率，另一頭過層級注意力進行句子級別抽象后再送入Sigmoid產(chǎn)生句子置信度正確概率。[0098]在某些實施方式中，置信度計算方法包括置信度計算模型的訓練階段，[0100]以識別結果、置信度特征作為輸入，通過反向傳播算法訓練整個置信度計算模型。[0101]請參圖2,上述實施方式的語音識別中端到端語音的置信度計算方法可以由本發(fā)明實施方式的語音識別中端到端語音的置信度計算裝置100實現(xiàn)。具體地，置信度計算模塊17可具有訓練階段。[0103]具體地，在一個實施方式中，以識別結果、置信度特征作為輸入，通過反向傳播算[0104]以識別結果、置信度特征作為輸入，通過特征拼接和位置編碼作為置信度計算模型輸入，通過最后的Sigmoid層輸出字正確概率和句子正確概率；[0105]通過正確轉(zhuǎn)錄和識別結果計算最小編輯距離得到模型的字標簽和句子標簽；[0106]通過字正確概率和句子正確概率、字標簽和句子標簽進行l(wèi)ogisticregression損失建模，通過反向傳播算法訓練整個置信度計算模型。如此，可以實現(xiàn)訓練的具體過程。[0107]具體地，模型的字標簽和句子標簽的得到方法，展開如下：[0108]對于字正確性判別，可以通過將正確轉(zhuǎn)錄進行最小編輯距離對齊到識別結果的每個字上，從而得到每個字的0-1標簽，然后通過logisticregression訓練。在一個例子中，該對齊方式可由下表表示：識別結果傾銷百分之五+正確轉(zhuǎn)錄取消百分之+0-1標簽0(替換)0(替換)1110(插入)1時，標簽為1(1表示句子正確),否則為0(0表示句子錯誤),然后通過logisticregression訓練。[0111]可以理解的是，標簽可以還用其它數(shù)字或符號來表示，而不限于0和1。[0112]在某些實施方式中，置信度計算方法包括置信度計算模型的預測階段，[0113]預測階段包括：[0114]以識別結果、置信度特征作為輸入，通過特征拼接和位置編碼作為置信度計算模型的輸入，送入訓練好的置信度計算模型，通過一頭輸出識別結果字的正確概率，通過另一個頭輸出句子的正確概率，以供下游任務使用。如此，可以實現(xiàn)字和句子的正確概率(置信度)計算。[0115]具體地，下游任務包括但不限于對話系統(tǒng)、自然語言理解、關鍵字檢索等。[0116]本發(fā)明實施方式的一種服務器，包括上述實施方式的語音識別中端到端語音的置信度計算裝置100。[0117]上述服務器，直接由聲學特征和識別結果計算各個字和句子的置信度，此置信度計算方案無需適配與依賴語音識別解碼器的具體實現(xiàn)，具有獨立優(yōu)化、高效、減少錯誤累加的優(yōu)點，在實際業(yè)務場景中具有較高的實用價值。[0118]具體地，輸入音頻可以由與服務器通信的車輛的麥克風采集，由車輛上傳至服務器，也可以由服務器本身采集，或由用戶直接輸入音頻文件，在此不作具體限定。車輛包括但不限于燃油汽車、增程式電動車、純電動汽車、混合動力汽車、氫能源汽車等。[0119]本發(fā)明實施方式還提供一種計算機可執(zhí)行指令的非易失性計算機可讀存儲介質(zhì)，當計算機可執(zhí)行指令被一個或多個處理器執(zhí)行時，使得處理器執(zhí)行上述任一實施方式的語音識別中端到端語音的置信度計算方法。[0120]具體地，在一個實施方式，計算機可執(zhí)行指令被處理器執(zhí)行時，實現(xiàn)的語音識別中端