地方方言的語音識別算法與實現(xiàn)研究摘要目前隨著科技的迅速發(fā)展，全球化進程加快，世界就像“縮小”了一樣，國內(nèi)各地區(qū)之間的交流也變得頻繁起來，語音識別技術(shù)作為實現(xiàn)實時翻譯的基礎(chǔ)也得到了迅猛發(fā)展。在2002年中科院自動化所及其所屬模式科技(Pattek)公司發(fā)布了他們共同推出的"天語"中文語音系列產(chǎn)品--PattekASR，結(jié)束了中文語音識別產(chǎn)品自1998年以來一直由國外公司壟斷的歷史。目前我國語音識別技術(shù)已經(jīng)基本上與國外同步，在漢語語音識別技術(shù)上還有自己的特點與優(yōu)勢，并達到國際先進水平。本文主要使用python語言工具，采用隱馬爾可夫模型對溫州市文成縣的方言進行語音識別方法研究。首先，系統(tǒng)介紹了溫州方言的由來及分類，講述了溫州方言即甌語的主要流行使用地方，以及“三里不同調(diào)，十里不同音”的特點。接著，介紹了語音識別主要使用的隱馬爾可夫模型的一些概念，還有使用的高斯隱馬爾可夫模型的應(yīng)用范圍，講述了MFCC梅爾特征系數(shù)的提取的原理及流程。然后，對語音識別原理和實現(xiàn)過程做了整體概述。實現(xiàn)語音識別時先通過迅捷音頻錄制工具錄制了一些wav格式的溫州方言的日常用語語音作為訓(xùn)練集，并音頻里進行預(yù)處理，將一些不必要的雜音去除，將音頻信號轉(zhuǎn)換成計算機能識別的數(shù)字信號后，通過建立的HMM模型，對經(jīng)過MFCC特征提取的音頻數(shù)據(jù)進行訓(xùn)練獲得訓(xùn)練集，最后使用測試集對訓(xùn)練好的模型進行驗證測試。關(guān)鍵詞：語音識別；python；HMM；溫州方言目錄15202摘要 緒論1.1研究背景及其研究意義隨著科學(xué)技術(shù)的發(fā)展，全球化進程不斷加快，國內(nèi)各地區(qū)之間的人員、物流來往也變得頻繁起來。因此，人與人之間的交流就顯得非常重要。語音識別技術(shù)的成熟使人們可以使用不同的語言進行交流。簡單來說，語音識別技術(shù)實際上是一種使用計算機將語音信號自動轉(zhuǎn)換為文本的技術(shù)，這是將人類語音信號轉(zhuǎn)換為文本的過程。在現(xiàn)實生活中，大多數(shù)年輕一代較少向他們的孩子講本地方言。普通話是大眾的主流，但是老一輩仍然習(xí)慣于使用方言來和別人進行交流。科學(xué)技術(shù)的發(fā)展，使得計算機的軟硬件也日趨成熟，加上語音識別技術(shù)的成熟，實時語音識別已經(jīng)實現(xiàn)，主流的漢英翻譯已經(jīng)實現(xiàn)?；贖MM的溫州方言語音識別方法研究試圖通過語音識別技術(shù)將溫州方言翻譯成中文。語音識別的領(lǐng)域主要包括信號處理、模型識別、概率與信息理論、聲音和聽覺機制?；镜恼Z音技術(shù)主要模塊包括語音信號信息處理和語音特性信息提取技術(shù)模塊、統(tǒng)計學(xué)和聲學(xué)處理模型、發(fā)音處理字典和詞典、語言聲學(xué)模型等。對于來溫州游玩的旅客在和使用當?shù)胤窖越涣鞯娜藴贤〞r，他們可能會存在交流障礙，因此有必要對溫州方言語音識別方法進行研究。HMM模型作為一種基本型的統(tǒng)計分析模型，是一種比較有價值和比較經(jīng)典的機器深度學(xué)習(xí)統(tǒng)計模型。它被廣泛地研究應(yīng)用于人機語言圖像識別、自然語言處理、模式識別等多個科學(xué)技術(shù)研究領(lǐng)域。使用此模型可以實現(xiàn)完整的語音識別功能。使用python語言，研究基于HMM模型的溫州方言語音識別方法，并對模型進行訓(xùn)練和測試，以選擇更準確的模型。它可以識別一些日常的溫州方言，減少由于交流中使用不同語言造成的交流障礙，促進人與人之間的交流。1.2研究現(xiàn)狀語音識別技術(shù)的研究始于二十世紀五十年代，1952年，AT&Tbell實驗室開發(fā)了Audry系統(tǒng)，這是世界上第一個能夠識別十個連續(xù)英文數(shù)字的實驗系統(tǒng)REF_Ref23368\r\h[3]。1960年代計算機的應(yīng)用加速了語音識別技術(shù)的發(fā)展，并提供了兩個主要發(fā)現(xiàn)：動態(tài)計劃(DP)和線性預(yù)測分析(LP)。其中LP解決了音頻信號生成的問題，該模型的提出對語音識別技術(shù)的發(fā)展有重大影響。19世紀70年代，在應(yīng)用語音自動識別的各領(lǐng)域的綜合應(yīng)用技術(shù)方面已經(jīng)取得了重大突破。itakura成功地將使用線性函數(shù)預(yù)測方法進行函數(shù)編碼(LPC)應(yīng)用于語音識別，Saku和Chiba將動態(tài)編程思想應(yīng)用于語音識別，提出了動態(tài)時間混合算法。語音信號提取和不等式調(diào)整功能能有效解決長時間的語音識別問題；同時介紹了矢量量化理論與隱馬爾可夫模型。同時，統(tǒng)計方法已開始用于解決主要的語音識別問題，使用不確定組的大量詞匯為后續(xù)的連續(xù)語音識別技術(shù)的成熟提供重要的基礎(chǔ)。在隨著互聯(lián)網(wǎng)和多媒體技術(shù)時代的進步而到來，從實踐性轉(zhuǎn)變?yōu)楝F(xiàn)代語音識別系統(tǒng)的過渡成為了迫切需求。美國、韓國和日本等許多先進國家，還有ibm、apple、at&t和ntt等一些知名公司正在將語音識別系統(tǒng)付諸實踐。在研究開發(fā)上投入了大量的資金。dragon的ibmviavoice和dragondectate系統(tǒng)是最為有名的。這些詞匯管理系統(tǒng)都具有新的說話人適應(yīng)功能，因此使用者無需學(xué)習(xí)所有的詞匯表即可不斷地提高自己在使用中的詞匯辨認率。中國從1970年代末就開始深入研究語音技術(shù)，直到1980年代后期，中國科學(xué)院聲學(xué)研究所、清華大學(xué)自動化研究所、四川大學(xué)、西北工業(yè)大學(xué)等科研機構(gòu)和許多科研機構(gòu)都在研究上投入了大量資金，許多研究人員致力于研究基礎(chǔ)的聲學(xué)模型及語音識別算法研究與改進REF_Ref13301\r\h。雖然，我國起步基數(shù)低，計算機水平低，在1980年代語音識別研究中還沒有形成自己的特點。但是，自1990年代初以來，我國對語音識別技術(shù)研究的發(fā)展步伐已經(jīng)越來越接近于國際上的先進水平。在國家科學(xué)與技術(shù)研究計劃的大力支持下，以及“八五”、“九五”國家生命科學(xué)基金和“國家863計劃”等計劃的實施下，取得了多項成果。學(xué)習(xí)漢語基本語言能力，在文字翻譯轉(zhuǎn)換為語音的技術(shù)上，中國科學(xué)技術(shù)大學(xué)的iFLYTEK擁有世界上最先進的核心技術(shù)。中國科學(xué)院聲學(xué)研究所還根據(jù)長期積累而開發(fā)出獨特的產(chǎn)品：從語音識別技術(shù)的角度來看，中國科學(xué)院自動化研究所具有明顯的技術(shù)優(yōu)勢：社會語言學(xué)是中文語言學(xué)和實驗語言學(xué)。迄今為止，語音識別已經(jīng)研究和開發(fā)了許多新型產(chǎn)品，并且中小型詞匯非特定語音識別系統(tǒng)和特定年齡人群的語音識別系統(tǒng)精度接近100%。目前，語音識別器件和計算機系統(tǒng)都已經(jīng)能夠被集成到智能化的芯片中。例如，某些手機、電話、電話交換機和其他產(chǎn)品都具有帶有語音撥號，語音應(yīng)答等功能的芯片，這些都是依賴于語音技術(shù)的發(fā)展才得以實現(xiàn)。1.3論文結(jié)構(gòu)安排本文主要敘述了基于HMM實現(xiàn)溫州方言語音識別方法研究。首先介紹了溫州方言的發(fā)展歷史及特點，然后講述了python語言的一些特點。講述了HMM的一些基本原理，闡述了MFCC梅爾倒譜系數(shù)的原理及實現(xiàn)過程。講述了進行語音識別的具體流程，然后對其實驗結(jié)果進行分析。論文主要包括7個部分，具體的安排方案如下：第一部分主要是介紹溫州方言語音識別課題的研究發(fā)展背景及其意義、語音識別研究發(fā)展現(xiàn)狀，然后將論文結(jié)構(gòu)和工作進行了簡單闡述。第2部分主要介紹溫州方言語特點和python語言的特點。第3部分主要介紹隱馬爾可夫模型的基本原理和示例。第4部分主要介紹MFCC梅爾頻率倒譜系數(shù)的基本原理及其實現(xiàn)過程。第5部分介紹了語音識別的具體流程。第6部分是對該語音識別實驗結(jié)果的分析。第7部分是對本次書寫論文的總結(jié)以及對接下來的展望。

2基礎(chǔ)準備2.1溫州方言概述溫州方言是吳語的一種次方言，民間也稱甌語。它被當?shù)氐臐h族人民廣泛使用。它屬于漢藏語系-漢語-吳語-甌江話-溫州話。它的發(fā)音和語法與中國通用的普通話有很大不同。不能使用溫州方言與使用北部使用吳語的人交流，因為它屬于南部的吳語，北部的吳語與其不同。溫州方言（甌語）可大致分為三類：純甌語區(qū)，準甌語區(qū)和半甌語區(qū)。純甌語區(qū)講純正口音，包括溫州鹿城，龍灣和甌海三個區(qū)以及瑞安市區(qū)。溫州方言（甌語）具有很強的內(nèi)部一致性，但是區(qū)域差異也很大，包括語音差異和詞匯差異，因此有時很難在兩個不同的地區(qū)使用當?shù)氐臏刂莘窖灾g進行交流溝通REF_Ref12452\r\h[4]。溫州話的復(fù)雜性可以描述為“三里不同調(diào)，十里不同音”。2013年12月，網(wǎng)民在微博上發(fā)布了“中國十大最困難的方言”排名，溫州方言在難度指數(shù)中排名第一。溫州話也有悠久的歷史，溫州最重要的一種閩語方言，就是溫州閩語，這也就是吳語的一個重要分支。趙元任的《現(xiàn)代吳語研究》首次明確提出了對吳語的一種科學(xué)界限和定義，甌語自此被學(xué)界普遍認為已經(jīng)發(fā)展成為現(xiàn)代吳語的一個重要分支。王力的《中國語文概論》則宣稱該語言支系為吳語的溫臺系。1997年由中國社會科學(xué)院、澳大利亞大學(xué)人文社會科學(xué)研究院共同主編撰寫的《中國語言地圖集》將吳語劃分劃成為六個方言大部分，甌語則被統(tǒng)稱為吳語甌江片。溫州吳語方言是南部吳語具代表性的漢語方言，也繼承中國民族傳統(tǒng)的舊語和漢語文明的文化遺產(chǎn)，一直保存著許多古代漢語的發(fā)音。溫州是南戲的發(fā)源地，流傳下來的南戲創(chuàng)作作品中也包括了許多溫州方言REF_Ref12919\r\h[4]。由于使用溫州方言的南戲作品對元曲和元明小說產(chǎn)生了巨大的影響，學(xué)者們在進行批注驗證此類作品的過程中，往往會使用大量溫州方言。溫州方言中的大多數(shù)比較舊的詞匯都可以上溯到“江東方言”，這也就是溫州方言的主要起源。在秦漢時期，漢人正式發(fā)現(xiàn)和探索了吳越地區(qū)，但浙南和福建仍然被認為是越族人民的世界，由越族成員建立的東甌州和閩越州一直都是處于一個封閉的狀態(tài)。盡管漢武帝時期，整個國家都遷到江淮河之間，但眾所周知的是只有甌越的王公貴胄搬走了。在此期間，有越來越多的人使用漢語詞匯，不過甌越方言的主要詞匯仍是土著詞語。六朝十國時期，江東地區(qū)的兩個方言被重新劃分，分別為吳語和閩語。在北方發(fā)生了幾處變化之后，溫州方言仍然保留著許多古老的中國特色。因此，溫州方言的唐詩和宋詞讀起來比普通話更順暢。然而，長期以來，溫州方言是公認的中國最難學(xué)習(xí)的方言之一。同時，由于地理條件的限制，不同地區(qū)的溫州方言的差異足以使溫州人也不能完全聽懂各個地區(qū)的溫州方言。2.2python語言概述Python是一種面向?qū)ο?、解釋型的腳本語言。它具有以下特點：學(xué)習(xí)相比其他語言容易很多。Python是一種注重簡單思想的語言，它可以用十分簡潔的語言，讓人理解這段代碼的含義。還有它的偽代碼編程功能被認為是其最重要的技術(shù)優(yōu)勢之一，它可以使程序員可以在開發(fā)Python程序時專注于解決問題，而無需了解該語言的具體實現(xiàn)原理。Python作為免費的開源軟件之一，簡單的理解是，用戶可以直接通過python語言來開發(fā)和制作自己的應(yīng)用程序，而不必再花錢支付或者過分擔心其版權(quán)的問題。python還可以在商務(wù)上免費地使用，隨著開放源代碼軟件產(chǎn)品在行業(yè)的迅速發(fā)展，許多大型的商業(yè)軟件企業(yè)現(xiàn)在已經(jīng)開始遷移其產(chǎn)品到開放源代碼(例如Java)。Python的開源是很好的理由之一，因為大家都可以使用，可以相互交流，對于改進Python的想法在交流碰撞中不斷成熟發(fā)展，因此Python在不斷的創(chuàng)新和改進。python實際上是一種高級語言，因此在使用python進行程序設(shè)計時，不必再過多地考慮一些底層細節(jié)。大多數(shù)編譯語言都是基于平臺的，而Python被定義為一種跨平臺的編譯語言。只要為該平臺提供一個相應(yīng)的Python解釋器，就可以在該平臺上工作。此外，Python社區(qū)也非?；钴S，大量的用戶使用它，并在遇到問題時進行交流，所以社區(qū)中有許多學(xué)習(xí)借鑒的經(jīng)驗，也使得其中包含了許多解決方案來應(yīng)對開發(fā)中的各種環(huán)境，即使在小眾不主流的場景中也是如此。Python有很強的拓展性，除了上述特點外，Python還有一些缺點。比如說性能低下：Python程序的運行速度明顯低于Java，C和C++。其次，源代碼很難完全加密。與其他編譯語言相比，其他編譯語言進行編譯的源程序更難直接地在未編譯過的目標應(yīng)用程序上使用。實際上，這兩個缺點并不那么嚴重。近年來，隨著計算機硬件的飛速發(fā)展，它的操作、運行速度越來越快，因此軟件工程更多地關(guān)注軟件的可靠性和實現(xiàn)的功能，而不是軟件操作的效率。而且軟件行業(yè)的當前趨勢就是開源，比如Java應(yīng)用程序反向編譯很簡單，但不會影響他的流行使用，所以源代碼難以加密也不是什么太大的缺點。

3隱馬爾可夫模型3.1原理隱馬爾可夫模型的核心就是狀態(tài)這一概念，狀態(tài)本身是離散的隨機變量，用于描述隨機過程。隱馬爾可夫模型（HiddenMarkovModel，HMM）一開始是由L.E.Baum和其他一些學(xué)者在一系列統(tǒng)計論文中發(fā)表REF_Ref15541\r\h[6]。HMM是一個雙重隨機的過程，準確地說，它是兩組狀態(tài)和三個矩陣。其中兩組狀態(tài)是：隱藏狀態(tài)和觀察狀態(tài)。HMM的假設(shè)是，在隱藏狀態(tài)之間存在馬爾可夫鏈，這對應(yīng)于初始狀態(tài)矩陣和狀態(tài)轉(zhuǎn)換矩陣REF_Ref15616\r\h[7]。其中的馬爾可夫鏈：設(shè)馬爾可夫鏈的狀態(tài)空間是，一個馬爾可夫鏈可被轉(zhuǎn)移概率完全表示，定義如下：（3.1）如果轉(zhuǎn)移概率和時間無關(guān)，則得到齊次馬爾可夫鏈，其矩陣表示方式如下：（3.2）假設(shè)觀察狀態(tài)由隱藏狀態(tài)（混淆矩陣）通常，使用三元組的代數(shù)形式可用來直接描述一個隱馬爾可夫代數(shù)模型。隱馬爾可夫狀態(tài)模型實際上就是對所有標準馬爾可夫模型的一種系統(tǒng)的擴展，增加了描述一組所有可以被直接觀測觀察到的其他狀態(tài)和這些其他狀態(tài)和所有隱以被觀測觀察到的其他狀態(tài)之間仍然存在著一種概率性的相互關(guān)系。矩陣是一個方矩陣，它反映了隱藏狀態(tài)之間的概率轉(zhuǎn)換，即表示從到的概率。矩陣不一定是正方形矩陣，而是反映已知的隱藏狀態(tài)。觀察狀態(tài)的條件概率，即表示從到的概率。雖然不能依靠現(xiàn)有知識來確定天氣狀況的轉(zhuǎn)移，但仍然希望獲得天氣報告。一種方法是假設(shè)此模型的每個狀態(tài)僅取決于先前的狀態(tài)。該假設(shè)稱為馬爾可夫假設(shè)，可以大大簡化問題。但是，這個假設(shè)還有很多不足，比如會導(dǎo)致許多重要信息的丟失。在天氣方面，這個馬爾可夫假設(shè)被描述為：假設(shè)如果知道前幾天的天氣信息，就可以預(yù)測今天的天氣。當然，這個例子也有些不切實際。但是，這樣一個簡化的系統(tǒng)可以使的分析更輕松，因此通常接受這個假設(shè)。在談?wù)揌MM時，簡單介紹一下以俄羅斯數(shù)學(xué)家AndreiMarkov命名的MarkovProcess，這是一個具有馬爾可夫性質(zhì)的離散隨機過程的代表模型。在此過程中，每個狀態(tài)的轉(zhuǎn)移僅僅取決于之前的個已經(jīng)發(fā)生的狀態(tài)。此過程稱為階模型。是影響過渡的狀態(tài)數(shù)。一階模型是最簡單的馬爾可夫過程，每個狀態(tài)的轉(zhuǎn)換僅取決于先前的狀態(tài)，這與確定性系統(tǒng)不同，因為此轉(zhuǎn)換是概率性的而不是確定性的REF_Ref15616\r\h[7]。3.2示例假設(shè)是時間和狀態(tài)的離散隨機過程，如果過去狀態(tài)的的條件概率分布僅是的函數(shù)，則是時間n的狀態(tài)，也就是說，通常所說的狀態(tài)僅與到先前狀態(tài)，該過程是一階馬爾可夫過程REF_Ref15616\r\h[7]。公式如下：（3.3）現(xiàn)實生活中有許多這些問題。示例：我現(xiàn)在正在寫論文。在鍵盤上鍵入的字符字符串是觀察字符串，但是實際編寫的段落是隱藏字符串。輸入法的任務(wù)是盡可能從鍵入的一系列字母開始猜猜要寫什么，然后將最可能的選擇放在開頭，這可以被認為是HMM模型。再舉一個例子：我發(fā)出的一系列連續(xù)聲音是一系列觀察結(jié)果，而我真正想要表達的段落是一系列狀態(tài)。大腦的作用是通過連續(xù)的聲音來判斷最想表達的單詞的內(nèi)容。HMM模型能解決三個經(jīng)典問題：觀測序列概率的計算和評估（向前向后算法）隱藏序列的最大概率解決方案預(yù)測（Viterbi算法）Viterbiargmax算法是最希望得到的搜索序列及其維特比中間變量。在此，根據(jù)前一時刻的概率和轉(zhuǎn)移的概率，搜索當前時刻最可能的情況，然后遞歸地找到最佳解決方案。在此過程中，引入了一個變量來將經(jīng)過的節(jié)點存儲在該節(jié)點的前面，該變量以顯示。

4MFCC特征4.1MFCC概述語音識別(speechrecognition)和說話人識別(speakerrecognition)這兩種最常用的語音功能就是梅爾頻率倒譜系數(shù)(MFCC)。對于有關(guān)人類雙耳的不同聽覺振動功能和反應(yīng)機制問題進行深入研究結(jié)果發(fā)現(xiàn)，人類的耳朵在不同聲音頻率下有不同程度的敏感度。向每個人耳朵內(nèi)部施加壓力強度不同的兩種高頻聲音成分，這直接使得聲音檢測困難，因為兩種高頻聲音成分的大量存在也會直接嚴重影響低頻聲音成分的準確辨識，這種現(xiàn)象被稱為掩蔽效應(yīng)。由于頻率較低的聲音在內(nèi)耳蝸基底膜上行波傳遞的距離大于頻率較高的聲音，故一般來說，低音容易掩蔽高音，而高音掩蔽低音較困難。在低頻處的聲音掩蔽的臨界帶寬較高頻要小REF_Ref8205\r\h[13]。因此，人們配置了一系列帶寬濾波器來對輸入信號進行濾波，從低頻到高頻這一段頻帶內(nèi)按臨界帶寬的大小由密到疏安排一組帶通濾波器。從高密度帶寬到低頻稀有臨界帶寬再到高頻帶。每個通帶濾波器輸出的信號能量被認為是信號的基本特征，經(jīng)過額外處理后可以用作語音輸入特征REF_Ref8205\r\h[13]。MFCC表示的梅爾頻率倒譜系數(shù)，顧名思義，提取MFCC特征涉及兩個主要步驟，轉(zhuǎn)換為梅爾頻率并執(zhí)行倒譜分析。在語音識別系統(tǒng)中，第一步就是提取語音的特征。也就是說，必須通過提取可被識別為數(shù)據(jù)的音頻信號成分，并丟棄其他影響特征提取的信息，例如背景噪音和情緒。在這過程中知道聲音是如何發(fā)出的對理解語音識別很有幫助。人類通過聲音通道產(chǎn)生聲音，并根據(jù)聲音通道的形狀來確定產(chǎn)生的是哪種聲音，聲音通道的形狀包括鋸齒狀等。如果可以準確地知道聲音的形狀，則可以準確地知道語音所生成的音素。聲音通道的形狀顯示在短期功率譜的包絡(luò)中，MFCC是可以準確描述這些范圍的功能。從那時起，在語音識別領(lǐng)域，MFCC以這一近人特性脫穎而出，而且永不超越。在這一點上，已經(jīng)提到的聲道形狀非常重要，它可能會出現(xiàn)在短期功率譜的范圍內(nèi)。聲譜圖（Spectrogram）：在處理語音信號的過程中，如何描述它非常重要。如果描述不同，則顯示的信息也將不同。哪些解釋對聲譜圖的觀察和理解有幫助？在這里，首先了解到它是一個頻譜。在此，該語音被分為許多幀，每個語音幀對應(yīng)于一個頻譜（通過短期FFT計算），并且頻譜表示頻率和能量之間的關(guān)系。在實際使用中，頻譜有三種類型：線性幅度頻譜，對數(shù)幅度頻譜和自功率頻譜（由于對數(shù)幅度頻譜中每條頻譜線的幅度都是對數(shù)計算的，因此坐標的單位是（分貝），轉(zhuǎn)換的目的是低振幅，是通過使該成分高于高振幅成分來觀察隱藏在低振幅噪聲中的周期信號。首先，可以在這里更好地觀察音素的特性。此外，通過觀察共振峰及其變化，可以更好地感知聲音。隱馬爾可夫模型通過對頻譜圖進行隱式建模，可提供出色的識別性能。另一個功能是能夠直觀地評估TTS（文本到語音）系統(tǒng)的質(zhì)量并直接比較合成語音與自然語音頻譜的匹配能力。4.1.1梅爾頻率梅爾刻度就是一種根據(jù)人類耳朵在等距時間內(nèi)音高的改變進行感官判別而確定的一種非線性頻率的刻度。梅爾刻度與頻率之間的赫茲關(guān)系公式：（4.1）4.1.2倒譜分析倒譜的含義是從時域信號執(zhí)行傅里葉變換，然后執(zhí)行下一個記錄的逆傅里葉逆變換。它可以分為復(fù)倒譜、實倒譜和功率倒譜。對于功率倒譜來說，倒譜分析主要是應(yīng)用于對信號進行分解，并將兩個信號之間的卷積變換成兩個信號之間的加法運算。然后是音頻頻譜圖，所謂的語音共振峰峰值表示了語音的主要共振頻率及其組成成分，也就是共振峰它決定了信號頻域的包絡(luò)，提供了聲音的辨識屬性。因此，對于識別其他聲音，它是如此重要，需要提取頻譜的包絡(luò)信息。倒譜分析已經(jīng)將兩部分對應(yīng)的時域信號的卷積關(guān)系轉(zhuǎn)化為了線性加關(guān)系，所以只需要將倒譜通過一個低通濾波器即可獲得包絡(luò)部分對應(yīng)的時域信號?？梢岳斫庠碱l譜由兩部分組成：包絡(luò)和頻譜細節(jié)REF_Ref8205\r\h[13]。如何將它們分開？也就是說，如何根據(jù)一個給定的分別使和滿足？為了更好地實現(xiàn)這個目標，必須玩一些數(shù)學(xué)技巧。即在頻譜中進行FFT。在頻譜上執(zhí)行傅里葉變換等效于逆傅里葉(IFFT)。實際上，由于已經(jīng)知道，因此可以獲得。是的低頻部分。接下來，可以通過把通過低通濾波器濾波來得到。從此處將它們分開以獲得所需的，即頻譜包絡(luò)。其實就是倒譜，其中則是倒譜的低頻部分，它描述了頻譜包絡(luò)。倒譜是通過對信號進行傅里葉變換后經(jīng)過對數(shù)運算變換后再進行逆傅里葉變換而獲得的頻譜。4.2MFCC提取流程4.2.1預(yù)加重預(yù)加重實際上是使語音信號經(jīng)由高通濾波器：（4.2）表達式的值是0.9?1.0，通常使用0.97。預(yù)加重的主要目的之一就是通過強調(diào)信號的高頻部分，來實現(xiàn)使其信號從低頻到高頻的平坦化，并且可以使其從低頻延伸到高頻的部分保持相等，并且可以使用相同的信噪比,找到信號的頻譜。同時，通過在信號發(fā)生的過程中排除對聲帶及其嘴唇的干擾，并校正由于發(fā)音系統(tǒng)抑制的語音信號高頻段，來強調(diào)高頻段的共振峰。4.2.2分幀以及加窗首先，將個采樣點集合在稱為幀的觀測單位中。通常，值為或，范圍時間約為到毫秒。兩個相鄰幀之間有一個重疊的區(qū)域，以防止兩個相鄰幀之間發(fā)生太多變化。在一個互相重疊的采樣區(qū)域內(nèi)的它可能通常會同時包含個取樣點，的每個取樣數(shù)值通常大致表示為一個的或REF_Ref16080\r\h[13]。通常，用于語音進行高頻語音圖像識別的高頻語音圖像信號對其采樣的額定頻率一般設(shè)定為或。對于，幀長度為個采樣點，相應(yīng)的每個時間段幀寬的長度大小可以通過定義公式為。在每個幀上乘上一個漢明窗，并改幀左側(cè)和右側(cè)之間的連續(xù)性。4.2.3快速傅里葉變換通常很難直接觀察或者看到不同時域中各個信號同時發(fā)生的能量變化，因此通常把它們直接轉(zhuǎn)化成作為頻域內(nèi)各個信號的射頻能量變化分布圖并用來幫助進行射頻觀測。不同的能量強度分布會分別揭示其發(fā)出不同強度聲波的特性。因此，要精確想更好地準確獲得與漢明窗相乘后的聲波頻譜和其他能量的分布，就必須對每一幀音頻進行快速傅里葉變換。在每一個經(jīng)過分幀加窗后的信號進行快速傅里葉變換之后，獲得的頻譜模的二次方就是一個語音信號的功率譜。4.2.4三角帶通濾波器將能量譜通過一組梅爾尺度的一個三角形濾波器組，并用一個有m個三角濾波器的濾波器組(這些三角濾波器的能譜數(shù)量與臨界濾波帶上的三角濾波器數(shù)量接近)。m通常至少需要20以上，30以下。每個點與之間的連續(xù)距離的值都會隨著它與的距離值逐漸地地減小而逐漸地變得減小，并且隨著它與的距離值逐漸地增大。三角帶寬高通信號濾波器主要設(shè)計具有兩個基本設(shè)計目的：平滑強調(diào)頻譜，消除其他諧波相互作用的直接影響及同時強調(diào)整個聲音最初的一個共振峰。(因此，mfcc的輸入?yún)?shù)中沒有任何指示要給出輸入相同語音的輸出聲道和輸入音高或者說只是語音聲道的低低，這就可能意味著平時使用一個mfcc的輸入語音聲道辨認識別系統(tǒng)有時可能根本不會直接地感受到與輸入相同語音的這種聲道高低差異不會產(chǎn)生任何大的影響。)也可以減小計算復(fù)雜度此值。計算每個濾波器組輸出的對數(shù)的能量。4.2.5使用離散余弦變換(DCT)獲得MFCC系數(shù)將上述的對數(shù)能量帶入離散余弦變換，求出L階的Mel-scale倒譜參數(shù)。L階指MFCC系數(shù)階數(shù)，通常取12到16。這里M是三角濾波器個數(shù)。通常將一幀的基本對數(shù)信號能量乘以相加(其中定義：一幀的基本對數(shù)信號平方之和，再次乘以從相應(yīng)的對數(shù)值中計算得出的下一個)。它會一點一點地增加，包括單位能量和其他倒譜參數(shù)。注意：如果需要添加其他的語音功能以便于測試辨別率，也可以考慮在此時間段內(nèi)添加它們。其他常見的語音功能主要包括音高、過零率以及共振峰。動態(tài)差分參數(shù)(其中包括一階和二階差異)中標準倒譜參數(shù)MFCC僅反映一個語音參數(shù)靜態(tài)性，語音的動態(tài)特性可以用這些靜態(tài)特征的差分譜來描述。實驗證明，動態(tài)與靜態(tài)特性的結(jié)合能夠有效提高系統(tǒng)認知的性能。圖4-1MFCC參數(shù)提取基本流程

5語音識別5.1語音識別原理及實現(xiàn)過程語音識別過程包括獲取壓縮聲音的電子信號表示并通過對連續(xù)聲音進行采樣來量化每個采樣值。采樣值主要是從重疊幀中被提取出來的，特征向量則是表示在重疊幀中被采取的頻率內(nèi)容。語音信號的收集方法語音信號的收集也是必不可少的。語音信號的處理，這種語音一般都是經(jīng)由麥克風(fēng)向計算機輸入。麥克風(fēng)把聲波信號轉(zhuǎn)換成相應(yīng)的電壓信號，并使用A/D設(shè)備(包括聲卡等)對其信號進行了采樣，以將連續(xù)的電壓信號直接轉(zhuǎn)換成一種可由電腦計算機自動處理的數(shù)字信號。當前，多媒體電腦和計算機非常普及流行，并且其中的聲卡，揚聲器和麥克風(fēng)都已經(jīng)成為了個人電腦和計算機使用的標準。其中，聲卡是使用計算機技術(shù)來處理語音消息的重要組成部分。它還包括了一種可以把聲卡驅(qū)動到現(xiàn)代操作系統(tǒng)中的錄音軟件，以便收集到語音信號并另存作為錄音文檔。接下來，根據(jù)在識別語音中需要表達的各個單詞語音信號的特點，語音識別的過程主要包括以下五個方面：5.1.1聲學(xué)信號預(yù)處理語音信號的預(yù)處理即收集到準確的語音信號之后，在開始進入諸如辨認、合成、擴展等實際應(yīng)用之前，可能還需要對其進行濾波、A/D轉(zhuǎn)換、預(yù)加重和端點搜索。對其信息進行數(shù)據(jù)過濾主要認為有兩種工作目的。一種設(shè)計方法目的是可以用來測量抑制采樣頻率范圍大于2的整個輸入輸出信號所有源的分量，這樣更能有效防止混合式信號的干擾。另一種抑制方法就是對50hz的兩個工頻電磁干擾信號進行工頻抑制。因此，該信號濾波器必須對所使用的器件是高頻帶狀信號濾波。預(yù)加重處理的目標是通過對高頻或者低頻進行強調(diào)來實現(xiàn)信號頻譜的平坦化，并且在整個頻帶中由低頻或者高頻保留信號的頻率。頻譜分析很容易，因為可以使用相同的信噪比找到頻譜。端點搜索法就是在分析和確定所有包括語音的信號段中所有語音的開頭和結(jié)尾。它不但可以延長和縮短對端點進行檢測和處理的時間，還可以消除靜默期間產(chǎn)生的噪音干擾REF_Ref16194\n\h[15]。目前，主要采用兩種特殊類型的分析方法：時域性特征法和頻域性特征法。使用時域性特征法來實現(xiàn)對語音聲道的音量及其過零功率的檢測。該計算雖然很小，但是可能會由于人們呼吸聲音導(dǎo)致錯誤的識別，并且使得在不同的呼吸聲量進行計算都可能會導(dǎo)致不同的檢查結(jié)果。頻域性特征法將聲譜變化與熵的檢驗應(yīng)用于語音檢驗，這需要大量的計算。人類數(shù)字語音信號數(shù)據(jù)提取系統(tǒng)特征參數(shù)的實際提取運算頻率不得低于10khz。根據(jù)音素的需要采樣記錄頻率計算定理，為了更好地保證使得音素語音消息信號的需要采樣記錄數(shù)據(jù)頻率能夠準確包括所需要的所有單詞語音信息，計算機需要采樣數(shù)據(jù)頻率至少一般應(yīng)不得大于音素需要采樣記錄的所有語音消息信號中所需要包含的所有語音信息頻率之兩倍。通常，信號被劃分為幾個塊，信號的各個塊被統(tǒng)一地稱為某一幀。為了防止發(fā)生遺漏還有保護一些丟失任何可能導(dǎo)致整個框架結(jié)構(gòu)丟失大量數(shù)據(jù)信息的一些重要信息，應(yīng)將框架重疊。例如，當使用20khz的采樣圖像面積速率時，標準幀數(shù)量約為10ms，其中包含200個樣本。圖4-1語音識別系統(tǒng)流程圖不同人說話的聲音不相同，隨著頻譜的變化總是不同的，但是總有一些共同的特征使它們不同。人類語言受到詞匯，語法和含義的限制。在識別語音的過程中，可以充分利用這些局限性以及用于交互式環(huán)境的相關(guān)信息。因此，通過將諸如詞的形成，語法和語義之類的實質(zhì)性約束與語音識別專家提出的“明顯的性功能”相結(jié)合，“自下而上”或“自上而下”的交互功能可以配置形成知識系統(tǒng)。5.1.2聲學(xué)特征提取聲學(xué)特征提取就是在對信號進行了預(yù)處理之后，這也就是接下來整個工作過程中最重要的步驟，特征性提取。目前，主流的數(shù)學(xué)特征參數(shù)有用于線性數(shù)學(xué)預(yù)測的函數(shù)倒譜系數(shù)(LPCC)和梅爾倒譜系數(shù)(MFCC)。兩個特征參數(shù)在倒譜域的語音信號中相互作用。前者以雙線性函數(shù)模型為其出發(fā)點，并使用LPC技術(shù)找到倒譜系數(shù)。后者用于模擬聽覺的模型，并通過濾波器分組模型來實現(xiàn)使用語音傳感器輸出發(fā)聲，并且可以使用一個離散傅里葉變換(DFT)對其進行轉(zhuǎn)換。所謂的聲高周期就是指一個聲帶振蕩頻率(基頻)下的振蕩周期。基音周期檢測技術(shù)是早期語音識別研究重要方法和研究重點，因為它可以有效地識別和表征語音信號的基本特點。所謂的共振峰就是一個能量被集中到語音和信號上的一個區(qū)域，因為它們都是影響發(fā)音聲帶質(zhì)量和音調(diào)的主要決定性因素，其共振峰的特點就在于語音和聲帶的物理性質(zhì)。這也是一個非常重要的功能參數(shù)。此外，許多研究人員已開始將其應(yīng)用于深度學(xué)習(xí)的各種功能的提取，并取得了長足的進步。5.1.3聲學(xué)模型聲學(xué)模型在語音識別系統(tǒng)中占有非常重要的地位，語音識別在本質(zhì)上來說就是對模式識別進行的一個過程，而模式識別成功的關(guān)鍵在于對分類器進行分類和決策。通常，孤立詞和中小型單詞匯識別動態(tài)時間規(guī)整(dtw)分類器都可以幫助用戶獲得良好的識別結(jié)果，較高的識別效率，較低的系統(tǒng)費用和開銷以及非常成功的詞匯匹配算法。語音識別。但是，在具有大量特定詞匯的非特定語音識別的應(yīng)用情況下，DTW識別的有效性迅速下降。此時，由于隱馬爾可夫模型(HMM)是傳統(tǒng)語音，因此極大地提高了其對教學(xué)和識別效果的使用。識別通常，連續(xù)高斯混合模型GMM也稱為GMM-HMM框架，因為它用于描述狀態(tài)功率密度函數(shù)REF_Ref2382\r\h[15]。同時，隨著現(xiàn)有的深度機器人學(xué)習(xí)技術(shù)的進步和發(fā)展，利用先進的深度神經(jīng)網(wǎng)絡(luò)技術(shù)完成了對聲學(xué)的建模，形成了一種被稱為DNN-HMM框架，替換了現(xiàn)有GMM-HMM框架，在語音識別技術(shù)方面也取得了優(yōu)異的應(yīng)用。高斯混合模型：對于隨機向量，如果同時概率密度函數(shù)服從公式5.1，則它遵循高斯分布，并寫為。（5.1）但是，高斯混合模型具有一些缺陷。高斯混合模型在向量空間附近的非線性流形中的數(shù)據(jù)建模方面非常差。例如，一些數(shù)據(jù)分散在球的兩側(cè)，并且球非常靠近。使用適當?shù)姆诸惸Ｐ停梢允褂靡恍﹨?shù)來區(qū)分球兩邊的數(shù)據(jù)。但是，當使用高斯混合模型構(gòu)建實際分布時，需要許多高斯組件才能準確地描述它們。因此，能夠找到可以更有效地使用語音信息進行分類的模型?，F(xiàn)在考慮離散隨機序列，如果切換概率具有如下的馬爾可夫?qū)傩?，并且未來狀態(tài)和過去狀態(tài)是獨立的，則稱為馬爾可夫鏈。當切換概率與時間無關(guān)時，它被稱為一種馬爾可夫鏈。馬爾可夫鏈的輸出具有預(yù)定義的一對一對應(yīng)關(guān)系，還具有隨機性。馬爾可夫鏈的每個狀態(tài)的輸出都是概率分布函數(shù)。在這種情況下，無法直接觀察馬爾可夫鏈的狀態(tài)。只能將其推斷為遵循狀態(tài)變化影響概率分布的另一個變量。調(diào)用此模型，以使用隱馬爾可夫序列假說將數(shù)據(jù)建模為隱馬爾可夫模型。語音識別系統(tǒng)隱藏的馬爾可夫模型用于解釋音素內(nèi)部子狀態(tài)的變化，以解決功能序列和多個基本語音單元之間的對應(yīng)關(guān)系的問題。5.1.4語言模型語言模型主要是解釋一種人類語言所表達的方式和習(xí)慣，并且側(cè)重于解釋一個單詞之間的內(nèi)在聯(lián)系及其順序結(jié)構(gòu)。在語音識別和數(shù)字化解碼的過程中，觸發(fā)單詞典與其他單詞之間進行通訊，參考語言模型將信息傳遞到其他單詞之間。將語言模型劃分為規(guī)律性模型與統(tǒng)計學(xué)模式，統(tǒng)計性語言模型利用概率學(xué)和統(tǒng)計理論方法描述對特定于某個語言單元的統(tǒng)計定律。最簡單的語言模型是n-gram語言的模型(N-gramLM)。n-gramnn語言單詞模型可以假設(shè)在一個給定的語言上下文中當前一個語言單詞的單字概率只與當前n-1個詞的單詞概率有直接關(guān)聯(lián)。然后，單詞的發(fā)音序列為和的概率可以近似為：（5.2）為了能夠得到這個公式中的各個單詞在某些特殊情況下都是由給定的上文帶有的概率，就必須要求有一定量的這種語言文本進行估算?？梢酝ㄟ^直接利用所有包含上文的單詞對于全部的上文單詞對中的百分比來進行計算這種概率，即（5.3）對于未出現(xiàn)在文本中的單詞堆，應(yīng)該使用諸如Good-Turing估計和Kneser-Ney平滑之類的平滑方法對它們進行近似取值。5.1.5解碼與字典解碼器是識別階段的關(guān)鍵組成部分，要么是通過經(jīng)過訓(xùn)練的模型對語音進行解碼以獲得最可能的單詞序列，或者是基于中間識別結(jié)果生成識別，以進行后續(xù)的組成處理REF_Ref2382\n\h[16]。

6實驗結(jié)果與分析6.1實驗結(jié)果事先收集數(shù)據(jù)：通過迅捷音頻錄制工具錄制了一些wav格式的溫州方言的日常用語語音作為訓(xùn)練集的音頻數(shù)據(jù)以及測試數(shù)據(jù)。通過使用AdobeAudition軟件對音頻文件進行一次預(yù)處理，將其背景音等雜音過濾掉。步驟如下：下載打開AdobeAudition軟件后，在文件面板的空白處雙擊導(dǎo)入音頻文件。然后用鼠標把文件拖拽到右邊的音頻編輯軌道上，添加之后可以看到音頻的波形。圖6-1音頻波形圖之后用時間選擇工具在波形上面拖動，選中雜音部分。圖6-2音頻雜音部分通過使用效果-修復(fù)功能里的降噪器中的“獲取特性”按鈕。并將降噪級別的數(shù)值改為80%以上100%以下，避免降噪時把對話的聲音也消除掉，然后點擊“保存”按鈕保存這個是噪音特性。最后再一次選擇效果-修復(fù)-降噪器在彈出的窗口點擊“加載”按鈕，加載剛才保存的噪音特性，再點擊波形全選按鈕，通過試聽按鈕，確認降噪后的效果，無誤后點擊確定。圖6-3音頻使用降噪器修復(fù)后波形圖點擊上面的多軌按鈕切換到多軌模式，并用鼠標把音頻拖拽到音軌1上。圖6-4調(diào)節(jié)音頻音量大小增大對話聲音的音量，把鼠標移動到音軌1前面調(diào)節(jié)音量的按鈕處拖動增大說話音量減小噪聲音量，調(diào)節(jié)到合適程度，最大程度消除噪音。使用wave模塊讀取wav音頻文件，畫圖時域圖像。pylab.plot(time,wave_data[0])pylab.subplot(212)pylab.plot(time,wave_data[1],c="g")pylab.xlabel("time(seconds)")pylab.show()圖6-5語音信號的波形和頻率分布打開wav文檔，文件的路徑可以根據(jù)需要進行修改創(chuàng)建PyAudio對象，然后將波形數(shù)據(jù)轉(zhuǎn)換為數(shù)組，wave_data=numpy.fromstring(str_data,dtype=numpy.short)。將名為wave_data的數(shù)組進行修改后成為2列，行的個數(shù)自動與列進行順序匹配。在使用修改名為shape的數(shù)組屬性時，注意使得數(shù)組中的總長度一定保持不變。將數(shù)組轉(zhuǎn)置，繪制波形圖，修改采樣位置點數(shù)，修改后的采樣位置點數(shù)和修改起始長度位置可以進行不同的采樣位置和起始長度圖像音頻分析波形圖像分析。常規(guī)顯示采樣頻率一半的頻譜。其中python導(dǎo)入的numpy模塊自帶了快速傅里葉變換的函數(shù)。fftdata=np.fft.fft(waveData[0,:])fftdata=abs(fftdata)hz_axis=np.arange(0,len(fftdata))plt.figure()plt.plot(hz_axis,fftdata,c='b')plt.xlabel('hz')plt.ylabel('am')對上面的音頻數(shù)據(jù)進行傅里葉變換可以得到：圖6-6傅里葉變換后的頻域特征梅爾頻率倒譜系數(shù)(MFCC)通過分析與語音內(nèi)容密切相關(guān)的13個特殊頻率對應(yīng)的能量分布，確定語音與之對應(yīng)的文字，這些特殊頻率可以作為語音識別的特征。通過讀取training文件夾中的訓(xùn)練音頻樣本，使每個音頻能夠?qū)?yīng)一個MFCC矩陣，而每個MFCC矩陣都有一個類別字典，當傳過來的directory匹配當前的特征模型時，把路徑添加到對應(yīng)的列表中，這樣所有類別相同MFCC都合并在一起，就形成訓(xùn)練集。由訓(xùn)練集樣本可以訓(xùn)練一個用于匹配的HMM模型。遍歷所有的音頻數(shù)據(jù)，讀取訓(xùn)練集數(shù)據(jù)以及testing文件夾中的測試樣本，整理測試樣本后，針對每一個測試樣本：分別使用5個HMM模型，然后對測試樣本進行評分（其語音識別正確率）。然后對5個模型中評分最高的模型所屬類別作為預(yù)測類別。遍歷5個模型后判斷MFCCS與哪一個HMM模型更加匹配。圖6-7MFCC特征提取圖像6.2實驗分析在波形檔中記載了不同的采樣工作時刻之間的位移，這種音頻文件與文字并沒有太大關(guān)聯(lián)。但是如果把這種函數(shù)通過傅里葉變換，就可以把在特定時間域范圍內(nèi)的聲音函數(shù)分解成一系列頻率不同的正弦函數(shù)的疊加，并且可以通過其頻譜的特定分布方式，建立這些音頻的內(nèi)容和文本之間存在的對應(yīng)關(guān)系，這就有了語音識別成文字的可能。但光是這些函數(shù)不能直接變成文字，而且音頻文件中的噪音以及每次說話的語氣、不同人說話的聲音都會有差異，因此通過提取一段話的主要特征，并使用大量的數(shù)據(jù)去訓(xùn)練這個特征得到一種模型，這樣語音識別的成功率才會更高。梅爾頻率倒譜用于提取語音識別特征，然后通過HMM模型進行模式識別，搜索與測試樣本最匹配的聲音模型，進而識別語音內(nèi)容。實現(xiàn)語音識別需要將音頻里的一些不必要的雜音去除，這個過程可以通過AdobeAudition軟件實現(xiàn)。使用降噪器獲取噪音特性進行降噪，再通過增大說話音量、減小噪音音量最大程度消除噪音，在編程中通過控制采樣頻率的大小來減少噪音影響。將音頻信號轉(zhuǎn)換成計算機能識別的數(shù)字信號，這個過程可以通過傅里葉變換得到實現(xiàn)。可以通過python官方網(wǎng)站下載需要的解釋器并使用pycharm編譯器來進行編程。建立以HMM模型為基礎(chǔ)的訓(xùn)練模型進行訓(xùn)練得到訓(xùn)練集，輸入測試的wav格式的音頻文件，通過對訓(xùn)練好的模型進行對比匹配，輸出較符合的文本信息。自己通過迅捷音頻錄制工具錄制了一些wav格式的溫州方言的日常用語語音作為訓(xùn)練集的音頻數(shù)據(jù)。訓(xùn)練文件夾中的音頻來獲取訓(xùn)練集，并對測試文件夾中的音頻文件進行分類。讀取訓(xùn)練文件夾中的音頻，使得每個音頻對應(yīng)一個有類別屬性的MFCC矩陣。合并同一類別的所有MFCC，以形成訓(xùn)練集。通過上面的訓(xùn)練集樣本訓(xùn)練可以用于匹配的HMM模型。訓(xùn)練過程中的音頻數(shù)據(jù)的不同以及音頻中噪音的影響使得訓(xùn)練集的準確性不同，所以訓(xùn)練模型時的音頻數(shù)量一定程度上會影響語音識別的正確性。因此在錄制溫州方言音頻時將同一句話分別錄入10次為一組來增加識別的準確性。

7總結(jié)與展望這次畢業(yè)論文設(shè)計的是語音識別方面的溫州方言語音識別方法研究，這是我在學(xué)校課程中沒有學(xué)到過的全新的知識，在學(xué)習(xí)的過程中我逐漸