完成語音助手實訓掌握基于深度學習的語音處理技術應用《Python

人工智能技術與應用》任務導入

Ta

s

k

M

0現(xiàn)你作為語音交互工程師，你的崗位職責是參與語音交互需求的分析和設計，制定相應的技術實現(xiàn)方案?，F(xiàn)需要你使用語音聊天技術構建一個車載語音助手，為駕駛員提供智能化的車內(nèi)服務，例如車內(nèi)控制、導航、音頻娛樂、通訊、車況查詢

等。7任務目標知識目標·

了解語音助手的原理及發(fā)展歷

程。·

了解車載語音助手。·

了解語音助手項目實現(xiàn)流程?！?/p>

了解語音轉文本的相關

Python

庫?！つ軌蚴褂?/p>

pyaudio

庫實現(xiàn)音頻

數(shù)據(jù)錄入。技能目標能夠調(diào)用百度語音API

實現(xiàn)語音轉文字?！?/p>

能夠調(diào)用相關機器人API

實現(xiàn)

與助手的對話。能夠使用pyttsx3

庫實現(xiàn)對話

轉化成語音。·

能夠?qū)崿F(xiàn)與所構建的聊天機器人的對話，培養(yǎng)對技術的興趣，

樹立正確的職業(yè)理想。素養(yǎng)目標·

引導問題的過程中，培養(yǎng)學

生形成勤于思考的能力·

獲得分析解決問題以及多元

化思考解決問題的方法，形成

創(chuàng)新意識。語音助手原理及發(fā)展歷程車載語音助手認知語音助手項目實現(xiàn)流程目

錄語音助手是以語音識別技術和語音合成技術為基礎，通過語音信息實現(xiàn)人

機交互，給用戶反饋信息或替代用戶

及企業(yè)執(zhí)行任務的虛擬助手。01

語音助手原理及發(fā)展歷程市面上常見的語音助手定義01

語音助手原理及發(fā)展歷程(一)語音助手的原理語音助手可理解自然語言，與人類進行雙向溝通。與用戶進行交互溝通時，語音助手按照如下流程：語音轉文本——〉語言理解—〉文本轉語音。語言理解2文本轉語音語音轉文本3101

語音助手原理及發(fā)展歷程(

一)語音助手的原理語音轉文本通過識別不同的口音和語言來將自然語音轉換為文本。語言理解理解經(jīng)過轉換后的文本中的說話者的意圖。文本轉語音將文本轉換為合成語音，從而生動地展現(xiàn)文本?！?/p>

技術萌芽階段·

技術突破階段·

快速應用階段·

產(chǎn)業(yè)化階段01

語音助手原理及發(fā)展歷程(二)語音助手的發(fā)展歷程以孤立、少量的詞匯為主的句子識別，并通過關鍵詞匹配實現(xiàn)簡單命令操作，

其主要的標志是AT&T貝爾實驗室開發(fā)的

Audrey

語音識別系統(tǒng)，當識別10個英文

或數(shù)字時，正確率可高達98%。

第一階段是技術萌芽階段(20世紀50~70年代)01

語音助手原理及發(fā)展歷程(二)語音助手的發(fā)展歷程貝爾實驗室開發(fā)Audrey

語音識別系統(tǒng)

第二階段是技術突破階段(20世紀80年代)語音識別和自然語言處理技術有了較大進展。智能語音技術研究由傳統(tǒng)的基于

標準模板匹配的技術思路開始轉向基于

統(tǒng)計模型(HMM)的技術思路，并再次

提出了將神經(jīng)網(wǎng)絡技術引入語音識別問

題的技術思路。n

2

n

101

語音助手原理及發(fā)展歷程(二)語音助手的發(fā)展歷程(HMM)智能語音技術由研究走向?qū)嵱貌㈤_始產(chǎn)業(yè)化，以1997年IBM

推出的ViaVoice

為

重要標志。自此，智能語音產(chǎn)品開始進

入呼叫中心、家電、汽車等各個領域。

第三階段是產(chǎn)業(yè)化階段(20世紀90年代到21世紀初)01

語音助手原理及發(fā)展歷程(二)語音助手的發(fā)展歷程1977年IBM

推出的ViaVoice01

語音助手原理及發(fā)展歷程(二)語音助手的發(fā)展歷程

第四個階段是快速應用階段(2010年以后)以蘋果Siri的發(fā)布為重要引爆點，智能語音應用領域由傳統(tǒng)行業(yè)開始向移動互聯(lián)網(wǎng)等新興領域延伸。在發(fā)達國家，大量的語音識別產(chǎn)品已經(jīng)進入市場和服務領域并取得很好的效果，比如蘋果

Siri、微軟Cortana

這類集成了視覺和語音信息的內(nèi)置應用，以及像亞馬遜AmazonEcho、谷

歌Google

Home這樣的純語音設備。01

語音助手原理及發(fā)展歷程

(二)語音助手的發(fā)展歷程亞馬遜的

Echo

產(chǎn)品圖

谷歌

Home

產(chǎn)品微軟的Cortana助手蘋果的Siri

助手車載語音助手是一種車載應用，可以通過語音指令來實現(xiàn)車載設備的控制

和操作。它可以幫助駕駛員完成車載

設備的安全操作，更方便地使用車載

設備，提升駕駛體驗。車載語音助手

可以支持語音控制導航、播放音樂、

調(diào)節(jié)空調(diào)溫度、查詢天氣等功能。02

車載語音助手認知(一)車載語音助手的定義車載語音的語音交互所涉及的流程繁瑣，涉及從語言學到聲學理論等多方面內(nèi)容，同時在車端的使用需對特殊駕乘場景進行相應適配。在語音交互在車端應用過程中三個關鍵環(huán)節(jié)如下

：車載語音助手認知(一)車載語音助手的原理自然語言處理(包含自然語

言理解與自然語言生成，涉

及詞性標注與文本信息處理)文本轉語音(包含語音的后端拼接合成，同時也是

語音擬人化核心環(huán)節(jié))自動語音識別(包含

信號輸入、降噪以及

音素選取等流程)通過車載語音助手進行日常問話01

0203全局語音聲控PyAudio

是Python

開源工具包，由名思義，是提供對語音操作的工具包。

提供錄音播放處理等功能，可以視作語音領域的OpenCV。語音助手項目實現(xiàn)流程(一)語音轉文本百度AP

可通過登錄百度AI開放平臺語音識別網(wǎng)站獲取。使

用PyAudio庫和麥克風設

備捕獲音頻調(diào)用百度API

實現(xiàn)語音識

別轉文本0xed,0xff,0xee,Oxff0xeb,0xff,0xeb,0xff,0xf1,0xff,Oxf?,0xff,0xf5,0xff,0xf2,0xff,0xf7,0xff,0xfe,013901beh:

E?FFE4FFE6FFE1FFEBFF

E7

FF

DF

FF

E3FFF

E1

FF

E4

FF

E4

FF

E3FF

EA

FF;??????0xe8,0xff,Oxe7,0xff,0xe7,θxff,0xe6,0xff,Oxe7,0xff,Oxe4,Oxff,0xe8,Oxff,Oxea,0xff,Oxe8,0xff,0xf?,0xea,Oxff,0xe8,0xff,Oxea,0xff,0xea,Oxff,0xe7,0xff,Oxeb,0xff,0xed,Oxff,0xf?,0xff,Oxf8,0xff,0xf5,0xf7,Oxff,0xfc,0xff,Oxf9,0xff,0xf5,0xff,0xf4,0xff,Oxf?,0xff,0xea,Oxff,0xe?,0xff,Oxe8,0xff,0xe7,0xeb,0xff,Oxe8,0xff,0xe8,0xff,Oxe8,0xff,0xeb,0xff,Oxed,Oxff,0xf1,0xff,Oxf7,0xff,0xf9,0xff,Oxf4,0xf?,0xff,0xf9,0xff,Oxf5,0xff,0xf4,0xff,Oxf8,0xff,0xf7,Oxff,0xf9,0xff,Oxf7,0xff,0xf5,Oxff,0xf5,0xf?,0xff,Oxf?,0xff,Oxf1,0xff,0xf7,0xff,Oxf4,0xff,0xf1,0xff,0xf2,0xff,Oxee,0xff,0xeb,Oxff,0xea,0xe8,0xff,0xe7,0xff,0xeb,Oxff,0xeb,0xff,Oxeb,0xff,0xe8,0xff,0xe6,0xff,0xe6,0xff,0xe6,0xff,0xe6,0xea,Oxff,0xed,0xff,0xe8,0xff,0xee,0xff,Oxf?,0xff,0xf2,0xff,Oxf4,0xff,0xf4,Oxff,0xf5,0xff,0xf4,0xfc,Oxff,0xf9,0xff,Oxf5,0xff,0xf8,0xff,Oxf7,0xff,0xfb,Oxff,Oxfc,Oxff,Oxfc,Oxff,0xf9,0xff,Oxf8,Oxf8,0xff,Oxf9,Oxff,0xf8,0xff,Oxf7,0xff,Oxf5,0xff,0xf?,Oxff,0xf2,0xff,Oxf2,0xff,0xf2,Oxff,0xf2,0xe7,0xff,Oxeb,Oxff,0xe7,0xff,0xe4,0xff,Oxe6,0xff,0xe1,Oxff,0xe8,0xff,Oxe7,0xff,0xdf,Oxff,0xe3,0xe3,0xff,Oxea,0xff,0xeb,Oxff,0xf4,0xff,Oxf5,0xff,0xf4,Oxff,0xf7,0xff,0xf1,0xff,Oxf5,0xff,0xf1,0xf?,0xff,Oxeb,0xff,0xee,Oxff,0xf2,0xff,Oxf1,0xff,0xf7,0xff,0xfb,Oxff,0xf8,0xff,Oxf7,0xff,0xf7,0xe7,0xff,Oxe8,0xff,0xea,Oxff,0xf2,0xff,Oxf1,0xff,0xf?,0xff,0xf7,Oxff,0xf4,0xff,Oxf5,0xff,0xf5,0xe8,0xff,Oxeb,0xff,0xed,Oxff,0xea,0xff,Oxee,0xff,0xf2,Oxff,0xf8,Oxff,0xf7,0xff,Oxf8,0xff,0xfc,0xf4,0xff,Oxf1,0xff,0xf2,0xff,0xf2,0xff,0xf4,0xff,0xf7,0xff,0xfb,Oxff,0xfb,0xff,0x6,0xθ,0x6,0xe0xe7,0xff,Oxe3,Oxff,0xdd,Oxff,Oxda,0xff,Oxdc,0xff,0xd7,Oxff,0xdc,0xff,Oxdd,Oxff,0xdc,Oxff,0xdf,0xe1,0xff,Oxe3,0xff,0xe6,0xff,0xe3,0xff,0xe4,0xff,Oxe3,0xff,0xe3,0xff,0xeb,Oxff,0xea,0xff,Oxf?,0xfb,Oxff,0xf8,Oxff,0xf7,0xff,0xf?,0xff,0xf5,0xff,0xf?,0xff,0xf2,0xff,Oxfb,0xff,Oxfc,0xff,Ox3,00xfc,0xff,Oxfb,Oxff,0xf7,Oxff,0xf?,0xff,Oxf5,0xff,0xf4,Oxff,0xf1,0xff,Oxea,0xff,Oxf1,0xff,0xf1,0xe8,0xff,Oxeb,Oxff,0xed,Oxff,0xe8,0xff,Oxe3,0xff,0xe3,0xff,0xe3,0xff,Oxe4,0xff,0xe6,0xff,0xe6,0xf2,0xff,Oxeb,0xff,0xe8,0xff,0xea,0xff,Oxe4,0xff,Oxdd,Oxff,0xdd,Oxff,0xdf,Oxff,0xe3,0xff,Oxe1,0×2,0x0,0×5,0x0,0×3,0x?,Oxf8,0xff,0xf9,0xff,0xf2,Oxff,0xeb,0xff,Oxf1,0xff,0xe4,Oxff,0xe8,0xff,00xf8,0xff,Oxf9,0xff,0xf4,Oxff,0xf4,Oxff,0xf4,0xff,Oxee,0xff,0xe8,0xff,0xea,Oxff,0xf1,0xff,Oxfe,7exf7,0xff,Oxf8,Oxff,Oxf4,0xff,Oxf9,0xff,exfb,Oxff,Oxf7,0xff,Oxf1,0xff,OxRBp9*6fogssz7s.OsfVeze1,語音助手項目實現(xiàn)流程(二)語音保存使用Python

標準庫中的wave模塊將原始格式的音頻數(shù)據(jù)寫入本地文件，并讀取

WAV

文件的屬性。ICNUsersamesWuMDesktopwavelfemalewa]-UltraEdi

④

IC:UsersVamesWu\Desktopwaveldata.bxt)-UItraEdit

選用聊天機器人API理解經(jīng)過轉換后的文本中的說話者的意圖并給出相應的文本回復。本實訓選用國內(nèi)的青云客網(wǎng)絡科技有限公司研發(fā)的青云客智能聊天機器人API。01

語音助手項目實現(xiàn)流程(三)語音理解操作示例導入json庫import

json將Python對象轉換為

JSONjson.dumps(data)將JSON字符串轉換為

Python對象json.loads(json_string)將JSON數(shù)據(jù)寫入文件json.dump(data,file)從文件中讀取JSON數(shù)據(jù)json.load(file)處理JSON編碼異常json.JSONEncoder().encode(data)處理JSON解碼異常json.JSONDecoder().decode(json_string)自定義編碼器json.JSONEncoder(default=my_encoder_function)自定義解碼器json.JSONDecoder(object_hook=my_decoder_function)選用Python

json數(shù)據(jù)解析庫處理JSON

數(shù)據(jù)。Python

json庫提供了