《智能語音處理》教學(xué)大綱課程英文名IntelligentSpeechProcessing課程代碼03M0289學(xué)分3.0總學(xué)時32理論學(xué)時24實驗學(xué)時8上機學(xué)時0實踐學(xué)時0課程類別專業(yè)教育課課程性質(zhì)選修先修課程機器學(xué)習(xí)適用專業(yè)人工智能開課學(xué)院信息工程學(xué)院注：課程類別是指公共基礎(chǔ)課/學(xué)科基礎(chǔ)課/專業(yè)教育課；課程性質(zhì)是指必修/限選/任選。一、課程地位與課程目標(biāo)（一）課程地位本課程是人工智能專業(yè)的專業(yè)教育課，主要主要介紹語音信號數(shù)字處理的基本原理、方法及應(yīng)用，使學(xué)生了解人類語音的產(chǎn)生和感知過程，了解和掌握語音信號數(shù)字處理的基本原理和方法以及語音信號處理的應(yīng)用技術(shù)，充分了解語音信號處理技術(shù)在信息表達、傳遞、認(rèn)知中的作用，能夠利用計算機進行簡單的語音信號處理。因此，本課程對于培養(yǎng)學(xué)生學(xué)習(xí)興趣、持續(xù)學(xué)習(xí)的能力有重要的作用。（二）課程目標(biāo)該課程應(yīng)達到的預(yù)期學(xué)習(xí)結(jié)果（ILO，IntendedLearningOutcomes）如下所示：ILO-1：了解智能語音處理的基本概念和相關(guān)技術(shù)理論；了解智能語音處理發(fā)展的前言動態(tài)和各領(lǐng)域的研究熱點問題；ILO-2：熟悉語音信號處理基礎(chǔ)及關(guān)鍵技術(shù)，如語音特征提取、語音分離與增強、說話人識別、語音情感分析，具體分析較復(fù)雜問題、設(shè)計和實現(xiàn)復(fù)雜問題的能力。ILO-3：熟悉基于大語言模型的語音交互和對話系統(tǒng)，掌握智能語音處理帶來的計算模式的變化及其計算領(lǐng)域產(chǎn)生的深遠影響，開闊學(xué)生的視野，使學(xué)生建立良好的“智能語音計算思維模式”，培養(yǎng)他們的創(chuàng)新能力和實踐精神，增強他們的社會責(zé)任感，使其在未來的學(xué)習(xí)和工作中，能夠更好地為社會發(fā)展貢獻力量。二、課程目標(biāo)達成的途徑與方法1.本課程的課程目標(biāo)以課堂教學(xué)為主，作業(yè)，實驗為輔。通過理論聯(lián)系實踐讓學(xué)生逐步具有任務(wù)分析和優(yōu)化能力，問題分析分解以及知識轉(zhuǎn)化的能力。2.要求學(xué)生完成來源于真實應(yīng)用場景的實踐項目，要求學(xué)生在個人電腦上搭建編程環(huán)境，鼓勵學(xué)有余力的同學(xué)完成復(fù)雜應(yīng)用案例。課程目標(biāo)達成的途徑與方法如下表所示。課程目標(biāo)課程目標(biāo)達成的途徑與方法ILO-1課堂教學(xué)、測驗、課堂討論、課外作業(yè)、期末考試ILO-2課堂教學(xué)、實驗、期末考試ILO-3課堂教學(xué)、實驗操作、實驗報告三、課程目標(biāo)與相關(guān)畢業(yè)要求的對應(yīng)關(guān)系畢業(yè)要求1工程知識：能夠?qū)?shù)學(xué)、自然科學(xué)、人工智能專業(yè)知識用于解決人工智能相關(guān)的復(fù)雜工程問題。畢業(yè)要求1-4：掌握人工智能領(lǐng)域的專業(yè)知識、基本理論與主要方法，能夠用于解決智能系統(tǒng)相關(guān)的復(fù)雜工程問題。畢業(yè)要求2問題分析：能夠應(yīng)用數(shù)學(xué)、自然科學(xué)和工程科學(xué)的基本原理，識別、表達、并通過文獻研究分析人工智能領(lǐng)域復(fù)雜工程問題，以獲得有效結(jié)論。畢業(yè)要求2-3能夠運用人工智能專業(yè)知識對各項工程問題進行分析和求解。畢業(yè)要求6工程與社會：能夠基于人工智能相關(guān)背景知識進行合理分析，評價人工智能工程實踐和復(fù)雜工程問題解決方案對社會、健康、安全、法律以及文化的影響，并理解應(yīng)承擔(dān)的責(zé)任。畢業(yè)要求6-2能分析和評價人工智能工程實踐對社會、健康、安全、法律、文化的影響，以及這些制約因素對項目實施的影響，并理解應(yīng)承擔(dān)的責(zé)任。課程目標(biāo)課程目標(biāo)對畢業(yè)要求的支撐程度（H、M、L）畢業(yè)要求1畢業(yè)要求2畢業(yè)要求6ILO-1M(0.2)ILO-2H(0.4)ILO-3H(0.4)注：1.支撐強度分別填寫H、M或L（其中H表示支撐程度高、M為中等、L為低）。四、課程主要內(nèi)容與基本要求第1章語音處理概述1、智能語音處理的定義與應(yīng)用場景。2、語音信號的基本特性與物理原理。3、數(shù)字語音處理的基本流程與關(guān)鍵技術(shù)。4、智能語音技術(shù)的發(fā)展歷史與前沿趨勢。了解智能語音處理技術(shù)的基本原理、基本流程，熟悉智能語音處理的前沿趨勢。通過聯(lián)系當(dāng)前社會上互聯(lián)網(wǎng)行業(yè)的發(fā)展現(xiàn)狀和智能語音處理的發(fā)展?fàn)顩r，為學(xué)生樹立職業(yè)目標(biāo)。第2章語音信號處理基礎(chǔ)1、語音信號的產(chǎn)生與聲學(xué)模型2、數(shù)字信號采集與量化3、語音特征提取方法：短時傅里葉變換（STFT）、梅爾頻率倒譜系數(shù)（MFCC）、梅爾倒譜系數(shù)（Mel-spectrogram）濾波器設(shè)計與頻譜分析熟悉語音信號處理的基礎(chǔ)知識，包括數(shù)字信號采集與量化，特征提取方法。語音識別技術(shù)1、自動語音識別（ASR）系統(tǒng)框架2、聲學(xué)模型與語言模型：HMM、GMM與DNN-HMM模型3、端到端語音識別：CTC與注意力機制4、預(yù)訓(xùn)練語言模型與語音識別結(jié)合（Wav2Vec、Whisper）5、噪聲魯棒性與語音增強技術(shù)了解語音識別的系統(tǒng)框架，熟悉經(jīng)典聲學(xué)模型與語言模型，了解常見的語音增強技術(shù)。語音合成技術(shù)1、文本到語音轉(zhuǎn)換（TTS）原理2、參數(shù)合成與波形合成方法：語音拼接法與參數(shù)化合成WaveNet與基于深度學(xué)習(xí)的生成模型3、自然語言處理在語音合成中的角色4、個性化語音合成與情感語音生成。了解語音合成技術(shù)的原理，熟悉語音合成技術(shù)的應(yīng)用場景和角色。語音分離與增強1、語音增強的基本方法：降噪與回聲消除2、盲源分離與獨立分量分析（ICA）3、深度學(xué)習(xí)方法在語音分離中的應(yīng)用：U-Net與Conv-TasNet4、多通道語音處理與麥克風(fēng)陣列技術(shù)了解語音增強基本方法：降噪和回聲消除，熟悉盲道分離與獨立分量分析技術(shù)。說話人識別與驗證1、說話人識別任務(wù)的定義與分類：辨認(rèn)與驗證2、特征提取方法：MFCC、i-vector、x-vector3、深度學(xué)習(xí)模型在說話人識別中的應(yīng)用：DNN、CNN與RNN模型4、應(yīng)用場景：語音安全、身份驗證與語音指紋技術(shù)了解說話人識別的定義與分類，熟悉MFCC、i-vector、x-vector等特征提取方法，了解說話人識別的具體應(yīng)用場景。情感與語音分析1、語音情感分析的任務(wù)與應(yīng)用2、特征工程與深度學(xué)習(xí)模型：LSTM、Transformer等3、多模態(tài)情感分析：結(jié)合文本與視頻數(shù)據(jù)4、情感檢測與情緒識別系統(tǒng)開發(fā)了解語音情感分析的任務(wù)與應(yīng)用，結(jié)合文本與視頻數(shù)據(jù)的多模態(tài)情感分析。語音交互與對話系統(tǒng)1、語音助手的構(gòu)建原理與流程2、關(guān)鍵技術(shù)：語音識別（ASR）與語音合成（TTS）集成3、對話管理與自然語言理解（NLU）4、大語言模型（如GPT）在語音交互中的應(yīng)用熟悉語音助手的構(gòu)建原理與流程，了解大語言模型在語音交互中的應(yīng)用。五、課程學(xué)時安排章節(jié)號教學(xué)內(nèi)容學(xué)時數(shù)學(xué)生任務(wù)對應(yīng)課程目標(biāo)1第1章語音處理概述2完成作業(yè)ILO-12第2章語音信號處理基礎(chǔ)2完成實驗ILO-13第3章語音識別技術(shù)4完成作業(yè)和實驗ILO-24第4章語音合成技術(shù)2課堂討論ILO-25第5章語音分離與增強4完成作業(yè)和實驗ILO-26第6章說話人識別與驗證2課堂討論ILO-37第7章情感與語音分析4完成作業(yè)ILO-38第8章語音交互與對話系統(tǒng)4完成作業(yè)和實驗ILO-3實踐環(huán)節(jié)及基本要求序號實驗項目名稱學(xué)時基本要求學(xué)生任務(wù)實驗性質(zhì)實驗類別1基于MFCC的語音特征提取2理解語音特征提取技術(shù)完成對中文語音數(shù)據(jù)的特征提取與可視化驗證必做2基于GMM-DNN-HMM的語音識別2理解語音特征編碼及任務(wù)評估完成對語音特征提取并深度神經(jīng)網(wǎng)絡(luò)編碼，實現(xiàn)語音識別及任務(wù)評估驗證必做3基于深度學(xué)習(xí)的定向人聲分離2理解語音分離技術(shù)完成深度學(xué)習(xí)語音分類模型的搭建及任務(wù)評估驗證必做4基于深度學(xué)習(xí)的人機對話的實例2理解人機對話系統(tǒng)的原理及框架完成在AIstudio或Langchain框架上調(diào)用大語言模型實現(xiàn)人機對話任務(wù)綜合必做注：1.實驗性質(zhì)指演示性、驗證性、設(shè)計性、綜合性等；2.實驗類別指必做、選做等。七、考核方式及成績評定考核內(nèi)容考核方式評定標(biāo)準(zhǔn)（依據(jù)）占總成績比例支撐課程目標(biāo)過程考核含到課率、課堂討論發(fā)言、平時課堂平臺作業(yè)等點名記錄提問記錄作業(yè)成績10%ILO-1ILO-2ILO-3實驗考核實驗操作驗收及實驗報告實驗操作成績報告批改成績30%ILO-2ILO-3期末考核論文課程報告60%ILO-1ILO-2考核類別考查成績登記方式百分制八、推薦教材與主要參考書（一）推薦教材：自編講義（二）主要參考書：(1)《語音信號數(shù)字處理》 電子工業(yè)出版