準(zhǔn)確率提升的同時(shí)服務(wù)容量翻倍--

小米語(yǔ)音識(shí)別端到端系統(tǒng)升級(jí)之路范利春小米集團(tuán)技術(shù)委員會(huì) AI實(shí)驗(yàn)室目錄小米小愛業(yè)務(wù)中的語(yǔ)音識(shí)別方案端到端語(yǔ)音識(shí)別系統(tǒng)升級(jí)中的極致的響應(yīng)速度和準(zhǔn)確率優(yōu)化GPU使用效率提升的動(dòng)態(tài)Batch優(yōu)化GPU使用效率提升的半精度浮點(diǎn)推理優(yōu)化背景小米公司的印象背景小米公司的印象小米6.99億鏈接到IOT平臺(tái)的智能設(shè)備包括小米汽車、手機(jī)、音箱、電視、手表、手環(huán)、生態(tài)鏈產(chǎn)品等涵蓋了6161款支持語(yǔ)音交互的產(chǎn)品「人車家全生態(tài)」語(yǔ)音識(shí)別：小愛語(yǔ)音交互的入口語(yǔ)音識(shí)別ASR喚醒KWS語(yǔ)義理解NLP結(jié)果滿足SKILL語(yǔ)音合成TTS語(yǔ)音文字小愛同學(xué)如何降低云端服務(wù)成本？如何提升語(yǔ)音識(shí)別的準(zhǔn)確率？降本增效識(shí)別內(nèi)容覆蓋60+個(gè)垂域每天識(shí)別約2.7億條來(lái)自小愛智能助手的語(yǔ)音大模型時(shí)代，用戶對(duì)智能助手的預(yù)期提升說(shuō)法多種多樣，更偏口語(yǔ)化P1.

小米小愛業(yè)務(wù)中的語(yǔ)音識(shí)別方案?jìng)鹘y(tǒng)語(yǔ)音架構(gòu)聲學(xué)訓(xùn)練語(yǔ)言訓(xùn)練訓(xùn)練復(fù)雜聲學(xué)數(shù)據(jù)語(yǔ)言數(shù)據(jù)聲學(xué)模型語(yǔ)言模型準(zhǔn)確率低解碼算法語(yǔ)音建模幀率高成本高昂解碼算法相對(duì)復(fù)雜端到端語(yǔ)音架構(gòu)聯(lián)合建模準(zhǔn)確率高節(jié)省算力離線部署傳統(tǒng)語(yǔ)音架構(gòu)encoder-decoder結(jié)構(gòu)的端到端語(yǔ)音識(shí)別建模粒度大幀率低時(shí)序建模有大量Blank可以跳過(guò)P2.

端到端語(yǔ)音識(shí)別系統(tǒng)升級(jí)中的極致的響應(yīng)速度和準(zhǔn)確率優(yōu)化關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能基于Zipformer的encoder-decoder結(jié)構(gòu)的端到端語(yǔ)音識(shí)別關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能基于Zipformer的encoder-decoder結(jié)構(gòu)的端到端語(yǔ)音識(shí)別《ZIPFORMER:AFASTERANDBETTERENCODERFORAUTOMATICSPEECH

RECOGNITION》《SUBLLM:

A

Novel

Efficient

Architecturewith

Token

Sequence

Subsampling

for

LLM》關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能流式端到端識(shí)別Fig.

1Fig.

2性能平衡具體方案：

Chunk模式解碼效率具體方案：

Input/output

cache關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能/

坑1

/

尖峰滯后關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能流式端到端方案帶來(lái)的尖峰滯后現(xiàn)象尖峰滯后現(xiàn)象解決方案（a）解決方案（b）關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能流式端到端方案帶來(lái)的尖峰滯后現(xiàn)象解決方案（c）解決方案（d）關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能/

坑2

/

內(nèi)置語(yǔ)言模型關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能端到端系統(tǒng)下的熱詞注入米家個(gè)人設(shè)備管理 座艙顯示屏上的內(nèi)容關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能基于syllable建模，提升熱詞能力建模粒度大音節(jié)建模語(yǔ)音識(shí)別解碼架構(gòu)圖關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能速度和極致性能優(yōu)化小結(jié)關(guān)鍵實(shí)踐1：極致的響應(yīng)速度和極致的性能Zipformer算法尖峰前移個(gè)性化識(shí)別手機(jī)、音箱、電視句錯(cuò)相對(duì)下降20%P3.

GPU使用效率提升的動(dòng)態(tài)Batch優(yōu)化Batch推理優(yōu)化GPU交互：線程內(nèi)串行，線程間并行，每個(gè)線程獨(dú)享一個(gè)流T4服務(wù)器：高峰時(shí)段CPU14%

+

GPU80%特征提取AM[2]推理解碼“今天天氣”GPU特征提取AM推理解碼“播放音樂”thread

1:thread

N:…

…Batch推理優(yōu)化特征提取AM推理解碼“今天天氣”GPU特征提取AM推理解碼“播放音樂”thread

1:thread

N:…

……83462112345678123人滿發(fā)車超時(shí)發(fā)車P4.

GPU使用效率提升的半精度浮點(diǎn)推理優(yōu)化為什么使用半精度浮點(diǎn)NVIDIA

T4高通芯片半精度浮點(diǎn)的范圍fp16的取值范圍是

5.96e-8

~

65504溢出精度損失從模型層面解決溢出的模塊LayerNorm替換成L1LayerNorm從模型層面解決溢出的模塊Softmax

Attention替換成PolyAttn改進(jìn)模型訓(xùn)練手段：對(duì)模型參數(shù)進(jìn)行截?cái)郌P16溢出問(wèn)題LossvarmaxminWER方案similarity1w3.04632.7325.18-57.244.54%-97.60%1w-CLAMP23.04333.548.91-8.544.64%【mean-3*var，mean+3*var】99.50%1w-CLAMP32.99842.7937.3117-7.67674.39%【mean-1,

mean+1】99.09%進(jìn)一步定位溢出的OP按Module查：查看每個(gè)模塊的輸入輸出數(shù)值是否超出FP16范圍的數(shù)按OP查：查看每個(gè)算子的輸入輸出數(shù)值是否超出FP16范圍導(dǎo)出時(shí)候?qū)σ绯龅奶幚碓谝绯龅乃阕踊蛘吣K前進(jìn)行scale；這些scale在L1LayerNorm之后會(huì)消失（僅需對(duì)μ進(jìn)行scale）；torch.matmul(q/FP16_SCALE,

k/FP16_SCALE)FP16精度定位問(wèn)題(兩臺(tái)顯微鏡)解決問(wèn)題(三把手術(shù)刀)按Module查限制參數(shù)訓(xùn)練Operation

Scale按Operation查Module替換param.clamp_(mean-3*var,

mean+3*var)LayerNorm替換成L1LayerNormSoftmax

Attention替換成PolyAttn半精度浮點(diǎn)推理優(yōu)化總結(jié)總結(jié)端到端建模GPU并行度優(yōu)化FP16推理優(yōu)化Zipformer算法尖峰前移個(gè)性化識(shí)別Module替換限制參數(shù)訓(xùn)練Operation

Scale獨(dú)立線程模型推理人滿發(fā)車超時(shí)發(fā)車手機(jī)、音箱、電視句錯(cuò)下降20%IDC

服務(wù)器容量提升100%成果麥某著名企業(yè)