5.3數(shù)字音頻及應(yīng)用5.3.1數(shù)字音頻的獲取5.3.2數(shù)字音頻的表示與應(yīng)用5.3.3數(shù)字音頻的編輯與播放5.3.4語(yǔ)音識(shí)別與語(yǔ)音合成5.3.1數(shù)字音頻的獲取聲音/音頻的特性和類型聲音(sound)由振動(dòng)產(chǎn)生，通過(guò)空氣等介質(zhì)進(jìn)行傳播聲音是一種波，它由許多不同頻率的諧波組成，諧波的頻率范圍稱為聲音的“帶寬”兩種音頻：話音或語(yǔ)音(speech)，專指人的說(shuō)話聲音，帶寬僅為300～3400Hz全頻帶聲音(如音樂(lè)聲、風(fēng)雨聲、汽車聲等)，其帶寬可達(dá)到20Hz～20kHz人耳可聽(tīng)見(jiàn)的聲音（20Hz～20kHz）在信息技術(shù)中稱為音頻信號(hào)，簡(jiǎn)稱音頻(audio)數(shù)字音頻的獲取步驟：2.量化（quantization，模數(shù)轉(zhuǎn)換)3.編碼（encoding）1.取樣（sampling）取樣模擬聲音信號(hào)取樣的目的是把時(shí)間上連續(xù)的信號(hào)轉(zhuǎn)換成時(shí)間上離散的信號(hào)量化量化是把每個(gè)樣本從模擬量轉(zhuǎn)換成為數(shù)字量(8位或16位整數(shù)表示)數(shù)字音頻01100011001···編碼將所有樣本的二進(jìn)制代碼組織在一起，并進(jìn)行數(shù)據(jù)壓縮時(shí)間上離散的一組樣本一組二進(jìn)制整數(shù)數(shù)字音頻的獲取設(shè)備音頻的聯(lián)機(jī)獲取設(shè)備(聲卡)聲波轉(zhuǎn)換為電信號(hào)音頻的獲取設(shè)備：手機(jī)、數(shù)碼錄音筆麥克風(fēng)（microphone）聲音卡（soundcard）模擬音頻數(shù)字音頻取樣、量化和編碼音頻的重建與播放計(jì)算機(jī)輸出聲音分為兩步：1重建：把音頻信號(hào)從數(shù)字形式轉(zhuǎn)換成模擬信號(hào)形式，由聲卡完成2播放：將模擬音頻信號(hào)經(jīng)處理和放大后送到音箱(揚(yáng)聲器)關(guān)于音箱：普通音箱接收的是重建的模擬聲音信號(hào)數(shù)字音箱直接接收數(shù)字聲音信號(hào)，失真更小數(shù)字音頻011010011101…插值數(shù)模轉(zhuǎn)換解碼把壓縮編碼的數(shù)字音頻恢復(fù)為壓縮編碼前的狀態(tài)把聲音樣本從數(shù)字量轉(zhuǎn)換為模擬量把時(shí)間上離散的一組樣本轉(zhuǎn)換成在時(shí)間上連續(xù)的模擬音頻信號(hào)重建的模擬音頻信號(hào)聲卡的功能與邏輯組成音頻的獲取與編碼音頻的重建與播放MIDI消息的輸入MIDI音樂(lè)的合成DSPDMA接口PC總線取樣，量化D/A重建，濾波聲音輸出聲音輸入音樂(lè)合成器mixerMIDI接口聲卡的主要功能選講：

聲卡的物理實(shí)現(xiàn)

聲卡主要由2塊芯片組成：主處理芯片：包括數(shù)字信號(hào)處理器、MIDI控制、I/O控制等

CODEC芯片：負(fù)責(zé)多聲道取樣、A/D與D/A轉(zhuǎn)換、混音處理等音頻主芯片音頻混合芯片運(yùn)算放大器功率放大器MIDI/joystickMIC輸入/線路輸入PCI總線線路輸出揚(yáng)聲器AudioCODEC芯片當(dāng)前PC機(jī)的聲卡大多已不再做成獨(dú)立的插卡形式，而是與主板集成在一起，稱為集成聲卡2種音頻技術(shù)規(guī)范：

-AC’97音頻技術(shù)規(guī)范

-HDAudio選講：

聲卡的幾種類型硬聲卡：除CODEC芯片外，主板上還有1塊音頻主處理芯片，很多音效處理任務(wù)無(wú)需CPU參與就可獨(dú)立完成

聲卡的類型獨(dú)立聲卡：以擴(kuò)展卡形式插在機(jī)箱中使用集成聲卡軟聲卡：主板上僅1塊CODEC芯片，負(fù)責(zé)取樣與量化處理，I/O控制器部分集成在主板上的南橋芯片中，DSP的功能需由CPU協(xié)助完成

聲卡的組成部分均集成在主板或SOC芯片上5.3.2數(shù)字音頻的

表示與應(yīng)用數(shù)字音頻的表示及其參數(shù)數(shù)字音頻是使用二進(jìn)位表示的一種串行比特流，其數(shù)據(jù)按時(shí)間順序進(jìn)行組織數(shù)字音頻的主要參數(shù)有：取樣頻率：語(yǔ)音的取樣頻率低，一般為8k~16kHz全頻帶聲音(如音樂(lè))取樣頻率高，一般為44.1k~48kHz量化位數(shù)：通常為8位、12位或16位聲道數(shù)目：?jiǎn)温暤罏?，雙聲道為2碼率(比特率)，即每秒鐘的數(shù)據(jù)量未經(jīng)壓縮的數(shù)字音頻最常用的文件擴(kuò)展名為“.wav”數(shù)字音頻碼率的計(jì)算未壓縮時(shí)數(shù)字音頻的碼率計(jì)算公式碼率=取樣頻率

×

量化位數(shù)

×

聲道數(shù)（單位：bit/s）例：聲音類型信號(hào)帶寬(Hz)取樣頻率(kHz)量化位數(shù)(bits)聲道數(shù)未壓縮時(shí)的碼率數(shù)字語(yǔ)音300～340088164kb/sCD立體聲20～2000044.11621411.2kb/s壓縮編碼之后數(shù)字音頻的碼率為：壓縮后的碼率=未壓縮時(shí)的碼率/壓縮比例：上面CD唱片的立體聲音樂(lè)壓縮為MP3后，若壓縮比是12，則該MP3音樂(lè)的碼率是：1411.2/12≈118kb/s左右數(shù)字音頻的數(shù)據(jù)壓縮數(shù)據(jù)壓縮的必要性：為了降低存儲(chǔ)成本和提高在網(wǎng)絡(luò)上的傳輸效率數(shù)據(jù)壓縮的可能性：聲音中包含有大量冗余信息；人耳靈敏度有限，允許有一定失真而不易察覺(jué)數(shù)字音頻壓縮編碼的方法：全頻帶聲音：國(guó)際標(biāo)準(zhǔn)MPEG；工業(yè)標(biāo)準(zhǔn)DolbyAC-3數(shù)字語(yǔ)音：固定電話使用ADPCM編碼手機(jī)使用高效率的混合編碼技術(shù)所謂“MP3音樂(lè)”，它是一種采用MPEG-1層3編碼的高質(zhì)量數(shù)字音頻,壓縮比大約10～12倍，使一張普通CD光盤(pán)上可以存儲(chǔ)大約100首MP3歌曲，可連續(xù)播放10小時(shí)。數(shù)字音頻的文件類型及其應(yīng)用音頻格式文件擴(kuò)展名編碼類型效果主要應(yīng)用開(kāi)發(fā)者WAV.wav未壓縮聲音達(dá)到CD品質(zhì)支持多種采樣頻率和量化位數(shù)，獲得廣泛支持微軟公司FLAC.flac無(wú)損壓縮壓縮比為2:1左右高品質(zhì)數(shù)字音樂(lè)Xiph.Org基金會(huì)APE.ape無(wú)損壓縮壓縮比為2:1左右高品質(zhì)數(shù)字音樂(lè)MatthewT.AshlandM4A.m4a無(wú)損壓縮壓縮比為2:1左右QuickTime,iTunes,iPod，RealPlayer蘋(píng)果公司MP3.mp3有損壓縮MPEG-1audio層3壓縮比為8:1～12:1因特網(wǎng)，MP3音樂(lè)ISOWMA.wma有損壓縮壓縮比高于MP3使用數(shù)字版權(quán)保護(hù)因特網(wǎng)，音樂(lè)微軟公司AC3.ac3有損壓縮壓縮比可調(diào)，支持5.1、7.1聲道DVD,數(shù)字電視，家庭影院等美國(guó)Dolby公司AAC.aac有損壓縮壓縮比可調(diào)，支持5.1、7.1聲道DVD,數(shù)字電視，家庭影院等ISOMPEG-2/MPEG-4什么是流媒體？在因特網(wǎng)上收聽(tīng)(看)音(視)頻節(jié)目的2種方式：下載存儲(chǔ)方式：先下載存儲(chǔ)在計(jì)算機(jī)中，下載完畢后再播放（缺點(diǎn)：需要等待較長(zhǎng)時(shí)間，并需要較大的存儲(chǔ)容量）流式傳輸方式：邊下載、邊播放（優(yōu)點(diǎn)：只需要下載一部分?jǐn)?shù)據(jù)之后,就可以開(kāi)始一邊播放一邊下載，等待時(shí)間短、存儲(chǔ)需求小）流媒體就是一種允許在網(wǎng)絡(luò)上讓用戶一邊下載一邊收看(聽(tīng))音視頻媒體的媒體分發(fā)(delivery)技術(shù)例如：RealNetworks公司的RealMedia（RealAudio和RealVideo）微軟公司的WindowsMediaServices(WMA、WMV和ASF)蘋(píng)果公司的QuickTime選講：

流媒體是如何工作的？流媒體播放軟件

Web服務(wù)器Web瀏覽器流媒體專用服務(wù)器

音頻(視頻)流媒體文件

網(wǎng)頁(yè)

（客戶計(jì)算機(jī)）http協(xié)議3點(diǎn)擊流媒體節(jié)目，啟動(dòng)流媒體播放程序RTSP/TCPRTP/UDP6播放器可以邊播放邊接收數(shù)據(jù)，并可以控制播放、暫停、快進(jìn)、快倒等5將音(視)頻節(jié)目傳輸給客戶計(jì)算機(jī)RTCP/UDPHTML網(wǎng)頁(yè)1請(qǐng)求網(wǎng)頁(yè)2服務(wù)器送回網(wǎng)頁(yè)4向流媒體服務(wù)器發(fā)出請(qǐng)求5.3.3數(shù)字音頻的編輯數(shù)字音頻編輯軟件的功能主要功能：1

編輯音頻：如聲音剪輯、復(fù)制、調(diào)節(jié)音量2

效果處理：如混響、回聲、淡入、淡出等3

錄音4

音頻的格式轉(zhuǎn)換5播放聲音數(shù)字音頻的參數(shù)左聲道信號(hào)波形右聲道信號(hào)波形淡入淡出時(shí)間刻度播放標(biāo)尺音頻編輯軟件的典型用戶界面5.3.4語(yǔ)音識(shí)別與語(yǔ)音合成什么是語(yǔ)音識(shí)別什么是語(yǔ)音識(shí)別？將人的說(shuō)話聲音轉(zhuǎn)換成相應(yīng)的文字，這需要計(jì)算機(jī)自動(dòng)識(shí)別出語(yǔ)音信號(hào)中的單詞和語(yǔ)匯，甚至理解其語(yǔ)義（內(nèi)容）。應(yīng)用：語(yǔ)音撥號(hào)、語(yǔ)音導(dǎo)航、設(shè)備操作控制、語(yǔ)音文檔檢索、聽(tīng)寫(xiě)數(shù)據(jù)錄入、計(jì)算機(jī)同聲翻譯等。幾種不同復(fù)雜程度的語(yǔ)音識(shí)別技術(shù)：孤立語(yǔ)音/連續(xù)語(yǔ)音識(shí)別小詞匯量/大詞匯量語(yǔ)音識(shí)別特定人/非特定人語(yǔ)音識(shí)別語(yǔ)音識(shí)別是人工智能領(lǐng)域的一個(gè)重要研究課題語(yǔ)音識(shí)別進(jìn)展近幾年在GPU平臺(tái)、大數(shù)據(jù)訓(xùn)練和深度學(xué)習(xí)算法的支持下，電話語(yǔ)音數(shù)據(jù)Switchboard基準(zhǔn)測(cè)試的詞錯(cuò)率已經(jīng)降低至6%以下，達(dá)到了與人工語(yǔ)音識(shí)別差不多的水準(zhǔn)。安靜背景、標(biāo)準(zhǔn)口音、常見(jiàn)詞匯上的語(yǔ)音識(shí)別已經(jīng)達(dá)到可用狀態(tài)中科大訊飛公司在國(guó)際最高水平的語(yǔ)音合成比賽BlizzardChallenge(暴風(fēng)雪競(jìng)賽)中7項(xiàng)指標(biāo)全部第一，參加第4屆CHiMEChallenge國(guó)際多通道語(yǔ)音分離和識(shí)別大賽也獲取了全部3項(xiàng)賽事的第一名，中文語(yǔ)音識(shí)別系統(tǒng)保持絕對(duì)領(lǐng)先，英語(yǔ)語(yǔ)音識(shí)別同樣也達(dá)到了國(guó)際領(lǐng)先水平

應(yīng)用舉例iPhone手機(jī)的Siri

使用語(yǔ)音完成查找資料、查詢天氣、設(shè)定手機(jī)日歷、設(shè)定鬧鈴等中科大訊飛公司開(kāi)發(fā)的“訊飛輸入法”集語(yǔ)音輸入、手寫(xiě)輸入和軟鍵盤(pán)輸入于一體；微信中口述自動(dòng)轉(zhuǎn)文字微軟公司的全自動(dòng)同聲傳譯系統(tǒng)，講演者用英文演講，后臺(tái)的計(jì)算機(jī)一氣呵成自動(dòng)完成語(yǔ)音識(shí)別、英中翻譯以及中文語(yǔ)音合成訊飛公司開(kāi)發(fā)的便攜式實(shí)時(shí)翻譯機(jī)“訊飛·譯唄”，解決了方言、俚語(yǔ)和背景噪聲的干擾問(wèn)題，可在中文和其他十多種語(yǔ)言之間進(jìn)行精準(zhǔn)的同聲互譯，并可充當(dāng)速記員進(jìn)行記錄并顯示

什么是計(jì)算機(jī)合成音頻？計(jì)算機(jī)合成音頻就是計(jì)算機(jī)模仿人說(shuō)話或演奏音樂(lè)計(jì)算機(jī)合成音頻有兩類：計(jì)算機(jī)合成話音（語(yǔ)音）：計(jì)算機(jī)模仿人把一段文字朗讀出來(lái)，即把文字轉(zhuǎn)換為說(shuō)話聲音（簡(jiǎn)稱為T(mén)TS）應(yīng)用：有聲查詢、文稿校對(duì)、語(yǔ)言學(xué)習(xí)、語(yǔ)音秘書(shū)、自動(dòng)報(bào)警、殘疾人服務(wù)等計(jì)算機(jī)合成音樂(lè)（MIDI）：計(jì)算機(jī)模擬各種樂(lè)器發(fā)聲并按照樂(lè)譜演奏音樂(lè)應(yīng)用：計(jì)算機(jī)作曲、配器等文語(yǔ)轉(zhuǎn)換（TTS）文本分析韻律處理語(yǔ)音合成文本合成語(yǔ)音詞典,發(fā)音規(guī)則庫(kù)語(yǔ)音庫(kù)韻律規(guī)則庫(kù)1對(duì)文本進(jìn)行分析，判斷每一個(gè)字的正確讀音，將文字序列轉(zhuǎn)換成一串發(fā)音符號(hào)（如國(guó)際音標(biāo)或漢語(yǔ)拼音）2根據(jù)文句的結(jié)構(gòu)、位置、使用的標(biāo)點(diǎn)符號(hào)以及上下文等，確定發(fā)音時(shí)語(yǔ)氣的變換以及讀音的輕重緩急，這些都由一組韻律控制參數(shù)來(lái)進(jìn)行控制3根據(jù)發(fā)音標(biāo)注，從語(yǔ)音庫(kù)中取出相應(yīng)的語(yǔ)音基元，按照韻律控制參數(shù)的要求，利用特定的語(yǔ)音合成技術(shù)對(duì)語(yǔ)音基元進(jìn)行調(diào)整和修改，最終合成出符合要求的流暢自然的語(yǔ)音計(jì)算機(jī)合成音樂(lè)（MIDI）音樂(lè)合成器音樂(lè)MIDI文件媒體播放器MIDI消息計(jì)算機(jī)合成音樂(lè)需要三個(gè)要素：樂(lè)器、樂(lè)譜和“演奏員”聲卡上的音樂(lè)合成器能像電子琴一樣模仿幾十種不同的樂(lè)器發(fā)出聲音，它按照MIDI消息合成出不同音色和音調(diào)的音符，通過(guò)揚(yáng)聲器播放出音樂(lè)來(lái)

樂(lè)譜在計(jì)算機(jī)中使用一種叫做MIDI的音樂(lè)描述語(yǔ)言來(lái)表示。使用MIDI描述的音樂(lè)稱為MIDI音樂(lè)。一首樂(lè)曲對(duì)應(yīng)一個(gè)MIDI文件，其文件擴(kuò)展名為.MID或.MIDI媒體播放器軟件相當(dāng)于“演奏員”。播放MIDI音樂(lè)時(shí)，它先從磁盤(pán)上讀入.MID文件，解釋其內(nèi)容，然后以MIDI消息的形式向聲卡上的音樂(lè)合成器發(fā)出各種指令選講：

音樂(lè)合成器PC機(jī)聲卡一般都帶有MIDI音源（音樂(lè)合成器）MIDI音源有兩種：調(diào)頻合成器（一種受控的電子振蕩器）。音色單調(diào)，效果較差，已很少使用波表合成器。音色豐富，效果很好，可擴(kuò)展，現(xiàn)廣泛使用波表合成器的原理預(yù)先將真實(shí)樂(lè)器演奏的各個(gè)音符的波形數(shù)字化，把它們組織成一個(gè)個(gè)波表文件存放在存儲(chǔ)器中播放時(shí)合成器軟件根據(jù)樂(lè)器類型和音符參數(shù)等將相應(yīng)的波形數(shù)據(jù)修飾成所要求的音強(qiáng)和時(shí)長(zhǎng)，然后合成、加工后播放低通濾波采樣、量化加工處理樂(lè)器演奏