7-1語音識別模塊?語音識別：讓機器對你言聽計從目錄CONTENTS語音識別簡史01語音識別過程02一.語音識別簡史1.技術(shù)發(fā)展簡史一.語音識別簡史1.典型語音識別產(chǎn)品現(xiàn)有的語音識別部分產(chǎn)品二.語音識別過程1.語音識別技術(shù)涉及技術(shù)信號處理模式識別概率論發(fā)聲機理聽覺機理人工智能…眾所周知，機器只能處理數(shù)字信號，不能直接處理人的語音信號。另外，人在說話的時候，語速有快有慢，每個人的聲音、語調(diào)也不相同，且說話時周圍可能有噪聲。此外，即便字詞發(fā)音相同（如“擬定”“你定”），但表達的意思還要結(jié)合語境和上下文來進一步確定。還有，機器要進行預(yù)學(xué)習(xí)，以了解人類在語言交流中要用到哪些語料庫等。困難重重…二.語音識別過程2.識別過程語音識別過程二.語音識別過程2.語音識別關(guān)鍵要素（1）語音信號處理將語音轉(zhuǎn)化為在時間上離散的數(shù)字信號采樣后的時域數(shù)字波形二.語音識別過程2.語音識別關(guān)鍵要素（2）特征提取二.語音識別過程2.語音識別關(guān)鍵要素特征提取:①預(yù)加重增大高頻部分的幅度。一般使用一階濾波器來實現(xiàn)預(yù)加重二.語音識別過程2.語音識別關(guān)鍵要素特征提取:②分幀信號中的頻率會隨時間變化，一些信號處理算法（如傅里葉變換）通常希望信號是穩(wěn)定的，也就是說對整個信號進行處理是沒有意義的，因為信號的頻率輪廓會隨著時間的推移而丟失。為了避免這種情況，就需要對信號進行分幀處理，以保證短時的信號是穩(wěn)定的。③加窗和快速傅里葉轉(zhuǎn)換在分幀之后，通常需要對每幀的信號進行加窗處理，目的是讓幀兩端平滑地衰減，這樣可以降低后續(xù)傅里葉變換后一些小束波的強度，取得更高質(zhì)量的頻譜。二.語音識別過程2.語音識別關(guān)鍵要素語音識別5關(guān)鍵要素:④提取特征在語音能量譜上應(yīng)用Mel濾波器組就能提取到FBank（FilterBank）特征。所謂Mel刻度，是一個能模擬人耳接收聲音的規(guī)律的刻度。各幀F(xiàn)Bank特征值頻譜圖二.語音識別過程2.語音識別關(guān)鍵要素聲學(xué)模型用于建立聲學(xué)特征與建模單元之間的映射關(guān)系，即它能利用語音的聲學(xué)特征把一系列語音幀轉(zhuǎn)換成若干音素?；谠撃Ｐ?，利用大量的語音特征向量以及它們對應(yīng)的音素，可以訓(xùn)練從特征向量到音素的分類器，從而在識別階段能計算每一幀的特征向量到相應(yīng)音素的聲學(xué)得分（概率），簡而言之，實現(xiàn)特征到字符的生成。（3）聲學(xué)模型二.語音識別過程2.語音識別關(guān)鍵要素語言模型就是用來計算一個句子的概率的模型。它利用語言表達的特點，將音素轉(zhuǎn)換成文字，組成意義明確的語句。簡言之，根據(jù)聲學(xué)模型輸出的結(jié)果，給出最大概率的文字序列。（4）語言模型二.語音識別過程2.語音識別關(guān)鍵要素解碼搜索的主要任務(wù)是在由聲學(xué)模型、發(fā)音詞典和語言模型構(gòu)成的搜索空間中尋找最佳路徑，盡快將語音轉(zhuǎn)換成文本。解碼時需要用到聲學(xué)得分和語言得分，聲學(xué)得分由聲學(xué)模型計算得到，語言得分由語言模型計算得到。（5）解碼搜索人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!7-2深度神經(jīng)網(wǎng)絡(luò)模塊?語音識別：讓機器對你言聽計從目錄CONTENTS深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)01卷積神經(jīng)網(wǎng)絡(luò)02一.深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1.深度神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)神經(jīng)元加權(quán)和、非線性變換多層連接二.卷積神經(jīng)網(wǎng)絡(luò)1.深度神經(jīng)網(wǎng)絡(luò)參數(shù)的復(fù)雜性如果輸入層向量有106個，假設(shè)隱藏層向量數(shù)目與輸入層一樣，那么從輸入層到隱藏層的權(quán)重參數(shù)就有1012個，這還沒有考慮后面其他隱藏層的參數(shù)。這樣參數(shù)就太多了，模型根本無法訓(xùn)練。二.卷積神經(jīng)網(wǎng)絡(luò)2.卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在20世紀60年代，大衛(wèi)·休伯爾（DavidHubel）和托斯坦·維厄瑟爾（TorstenWiesel）在研究大腦皮層中用于局部敏感和方向選擇的神經(jīng)元時，發(fā)現(xiàn)其獨特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性。CNN的基本結(jié)構(gòu)提取特征提高卷積神經(jīng)網(wǎng)絡(luò)的非線性表達能力降維、減少計算量特征轉(zhuǎn)換與映射二.卷積神經(jīng)網(wǎng)絡(luò)3.卷積操作不同形狀的“X”“X”的像素矩陣

3個卷積核卷積計算二.卷積神經(jīng)網(wǎng)絡(luò)3.激活函數(shù)sigmoidtanhReLUSoftmax二.卷積神經(jīng)網(wǎng)絡(luò)4.全連接層通過不斷卷積、激活和池化，就得到了樣本的多層特征圖，然后將最終得到的特征圖排成一列，即將多層的特征映射為一個一維的向量，形成全連接層。人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!7-3項目1—利用CNN識別英文語音數(shù)字模塊?語音識別：讓機器對你言聽計從目錄CONTENTS提出問題01預(yù)備知識03解決方案02任務(wù)1—提取音頻文件的語音特征數(shù)據(jù)04任務(wù)3—利用訓(xùn)練好的模型來識別語音06任務(wù)2—構(gòu)建語音數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型05一.提出問題問題描述

在醫(yī)院、銀行、飯店等場所，由于資源和人手受限，人們必須排隊等候服務(wù)，因此叫號系統(tǒng)應(yīng)運而生。數(shù)字0～9是生活中常見的10個基數(shù)，任何一個數(shù)字都是由10個基數(shù)構(gòu)成的，如果想通過英文叫號系統(tǒng)將對應(yīng)的阿拉伯數(shù)字及時顯示在大屏上，如何實現(xiàn)數(shù)字語音到數(shù)字文本的轉(zhuǎn)換呢二.解決方案1.選擇神經(jīng)網(wǎng)絡(luò)分類解決問題基本思想：首先將語音進行切分，然后提取每個單詞的語音特征；其次構(gòu)建一個多層CNN模型，利用0～9的語音樣本集對模型進行訓(xùn)練，得到滿足精度的模型；最后利用訓(xùn)練好的模型逐個對提取的單詞的語音特征進行分類，看它屬于0～9中的哪個數(shù)字，最后將識別的數(shù)字組合起來就得到識別的結(jié)果。二.解決方案2.具體方案三.預(yù)備知識1.webrtcvad模塊切分音頻文件中有效的語音信號audios的內(nèi)容三.預(yù)備知識2.python_speech_features模塊提取語音信號的全部特征三.預(yù)備知識2.python_speech_features模塊提取語音信號的全部特征提取的語音特征：（部分）三.預(yù)備知識3.PaddlePaddle框架飛槳的應(yīng)用框架三.預(yù)備知識3.PaddlePaddle框架利用飛漿搭建一個預(yù)測房價的神經(jīng)網(wǎng)絡(luò)模型輸入維度為1輸出維度為1為線性模型無需加非線性激活函數(shù)四.任務(wù)1——提取音頻文件的語音特征數(shù)據(jù)1.設(shè)計特征數(shù)據(jù)提取類VoiceFeature123將類VoiceFeature另存為VoiceFeature.py文件四.任務(wù)1——提取音頻文件的語音特征數(shù)據(jù)2.提取語音特征數(shù)據(jù)features包含4個語音數(shù)字，其特征數(shù)據(jù)為13通道3×64的矩陣五.任務(wù)2——構(gòu)建語音數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型1.定義語音數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型均為輸出輸入為n×13×3×64輸出為1×10五.任務(wù)2——構(gòu)建語音數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型1.定義語音數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型模型代碼實現(xiàn)五.任務(wù)2——構(gòu)建語音數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型1.定義語音數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型模型代碼實現(xiàn)五.任務(wù)2——構(gòu)建語音數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型2.模型訓(xùn)練及保存最優(yōu)模型以動態(tài)圖的模式實時執(zhí)行訓(xùn)練，設(shè)置CPU/GPU訓(xùn)練模式、優(yōu)化器、Loss計算方法、精度計算方法等創(chuàng)建定義好的模型AudioCNN實例，并將模型的狀態(tài)設(shè)置為訓(xùn)練加載訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)設(shè)置訓(xùn)練迭代次數(shù)，啟動模型迭代訓(xùn)練。（1）訓(xùn)練保存訓(xùn)練好的模型五.任務(wù)2——構(gòu)建語音數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型2.模型訓(xùn)練及保存最優(yōu)模型以動態(tài)圖的模式實時執(zhí)行訓(xùn)練，設(shè)置CPU/GPU訓(xùn)練模式、優(yōu)化器、Loss計算方法、精度計算方法等創(chuàng)建定義好的模型AudioCNN實例，并將模型的狀態(tài)設(shè)置為訓(xùn)練加載訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)設(shè)置訓(xùn)練迭代次數(shù)，啟動模型迭代訓(xùn)練。保存訓(xùn)練好的模型六.任務(wù)3——利用訓(xùn)練好的模型來識別語音1.配置模型識別的機器資源從前面的模型定義和訓(xùn)練來看，訓(xùn)練好最后的模型所花的時間相對較少，這主要是因為所使用的AudioCNN比較簡單。但現(xiàn)實生活中，可能會遇到更復(fù)雜的機器學(xué)習(xí)、深度學(xué)習(xí)任務(wù)，需要運算速度更高的硬件（GPU、TPU），甚至同時使用多個機器共同執(zhí)行一個任務(wù)（多卡訓(xùn)練和多機訓(xùn)練）。但本項目是在普通的計算機上進行訓(xùn)練和預(yù)測，所以通過以下語句配置模型識別的機器資源。六.任務(wù)3——利用訓(xùn)練好的模型來識別語音2.為模型實例加載模型參數(shù)實現(xiàn)代碼：模型文件加載模型參數(shù)載模僅用于預(yù)測六.任務(wù)3——利用訓(xùn)練好的模型來識別語音3.將提取的特征數(shù)據(jù)輸入模型以得到識別結(jié)果實現(xiàn)代碼：說明卷積神經(jīng)網(wǎng)絡(luò)的確可用于語音識別，且能獲得較好的識別效果。結(jié)論：人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!7-4項目2—自制一個簡單的語音“閱讀”器模塊?語音識別：讓機器對你言聽計從目錄CONTENTS提出問題01預(yù)備知識03解決方案02任務(wù)1—讀取需閱讀的文件內(nèi)容04任務(wù)3—調(diào)用文本在線合成API實現(xiàn)文本—語音轉(zhuǎn)換06任務(wù)2—驗證訪問語音合成應(yīng)用的令牌05一.提出問題問題描述在人們閱讀網(wǎng)絡(luò)新聞時，往往會使用語音播放功能來傾聽新聞內(nèi)容，這樣不僅能舒緩眼睛疲勞，而且能聽到生動的新聞內(nèi)容。在語音智能客服或虛擬教學(xué)、盲人輔助服務(wù)等場景中，時常會聽到悅耳的語音播報，這極大地提升了服務(wù)效果，同時減輕了相關(guān)人員的工作壓力。那么，以上場景中將文本轉(zhuǎn)換成語音是如何實現(xiàn)的呢二.解決方案具體方案三.預(yù)備知識1.百度智能云在百度智能云控制臺上，按照自己的開發(fā)訴求選擇對應(yīng)的產(chǎn)品、服務(wù)，從而快速構(gòu)建屬于自己的應(yīng)用系統(tǒng)三.預(yù)備知識2.創(chuàng)建一個語音合成應(yīng)用（1）語音合成的基本流程（2）創(chuàng)建語音技術(shù)服務(wù)三.預(yù)備知識2.創(chuàng)建一個語音合成應(yīng)用（3）新建一個語音合成應(yīng)用三.預(yù)備知識2.創(chuàng)建一個語音合成應(yīng)用（4）完成語音合成應(yīng)用創(chuàng)建三.預(yù)備知識2.創(chuàng)建一個語音合成應(yīng)用（5）應(yīng)用調(diào)試四.任務(wù)1——讀取需閱讀的文件內(nèi)容1.

準備數(shù)據(jù)文件將需要文本—語音轉(zhuǎn)換的閱讀內(nèi)容通過爬蟲或人工的方式進行整理，形成統(tǒng)一的文件格式，方便對閱讀內(nèi)容進行處理。此處直接將新聞內(nèi)容保存為news.txt文件，簡化文件形成過程。四.任務(wù)1——讀取需閱讀的文件內(nèi)容2.讀取文件內(nèi)容五.任務(wù)2——驗證訪問語音合成應(yīng)用的令牌1.導(dǎo)入第三方庫和定義常量（1）導(dǎo)入庫和函數(shù)（2）定義常量五.任務(wù)2——驗證訪問語音合成應(yīng)用的令牌1.定義令牌驗證函數(shù)定義令牌驗證函數(shù)，對用戶提供的APIKey、SecretKey鑒權(quán)參數(shù)進行驗證，確保合法用戶能在線應(yīng)用訪問語音合成，并視情況返回錯誤提示。六.任務(wù)3——調(diào)用文本在線合成API實現(xiàn)文本—語音轉(zhuǎn)換1.