第1章引言1.1研究背景及意義隨著各類人工智能的快速發(fā)展，各種以人工智能為基礎(chǔ)的產(chǎn)品為人們帶來了的便利，而人機交互在其中發(fā)揮重要的作用REF_Ref15739\r\h[1]。在科技飛速發(fā)展的今天，我們應(yīng)重視社會上的某些特定人群，如失聰人群。根據(jù)一份關(guān)于殘疾的調(diào)查，目前中國有8500萬名各種類型的殘疾人員，這是一個很好的數(shù)字，也是一個很好的數(shù)字REF_Ref15742\r\h[2]。在他們當中，失聰?shù)娜藬?shù)超過2000萬，是一個很大的比例。聾啞人在各種場合都會遇到溝通問題，比如在車站里，聾啞人想要買票，在醫(yī)院里，聾啞人和醫(yī)生交流病情，在銀行里，自己需要向工作人員表示自己需要取錢等，都會遇到溝通的問題REF_Ref15588\r\h[3]。而目前我國手語教育的發(fā)展相對滯后，缺乏手語教育的社會性人才，使我國各高校的教育水平普遍偏低。隨著全球化和信息化的快速發(fā)展，人們的交流和互動變得越來越普遍。然而，對于一些特殊人群，如聾啞人，交流和互動可能就不容易了。聾啞人存在語言和聽障的限制，無法通過口語進行交流，在社交互動、教育、就業(yè)等方面受到了很大的障礙。因此，為了幫助聾啞人進行更加友好的交流，人們開始利用技術(shù)手段研究和開發(fā)聾啞人輔助交流系統(tǒng)。聾啞人輔助交流系統(tǒng)是一種多模態(tài)交互系統(tǒng)，以機器學(xué)習(xí)、計算機視覺、自然語言處理等技術(shù)為基礎(chǔ)，在幫助聾啞人通過手語、文字和語音等多種方式進行交流。其中，手語識別是聾啞人輔助交流系統(tǒng)中的關(guān)鍵技術(shù)之一，此外，為了提供更加全面的服務(wù)，該系統(tǒng)還可以結(jié)合各種計算機硬件設(shè)備和軟件程序，例如智能手環(huán)、智能眼鏡、移動設(shè)備以及即時通訊軟件等，為聾啞人帶來更為便捷的交流方式。雖然聾啞人輔助交流系統(tǒng)的發(fā)展存在挑戰(zhàn)，例如識別準確率、人機交互等方面的問題，但是當前，這個領(lǐng)域的研究也正在獲得突破性進展。聾啞人輔助交流系統(tǒng)的研究和應(yīng)用，對于聾啞人的生活和社交、教育和就業(yè)等方面都有著重要的意義和作用。這種系統(tǒng)的研究和應(yīng)用，對于聾啞人的生活和社交、教育和就業(yè)等方面都有著重要的意義和作用。雖然聾啞人輔助交流系統(tǒng)還面臨各種技術(shù)和實際的挑戰(zhàn)，但是當前這個領(lǐng)域的研究也正在獲得突破性進展，不斷推動著聾啞人群體的走向更加平等和自主的社會參與。1.2國內(nèi)外研究現(xiàn)狀1.2.1國內(nèi)研究現(xiàn)狀江西財經(jīng)大學(xué)軟件與物聯(lián)網(wǎng)工程學(xué)院的張維提出了一種基于神經(jīng)網(wǎng)絡(luò)的手語翻譯系統(tǒng)REF_Ref4316\r\h[7]。在一個手套中安裝各種傳感器對手部進行觀測，并對各種手勢數(shù)據(jù)進行采集。在電腦上完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，將訓(xùn)練，結(jié)束的權(quán)值矩陣轉(zhuǎn)移到數(shù)據(jù)手套上利用單片機完成對穿戴者做出的手語動作進行識別。平均識別成功率在95%以上。國內(nèi)對聾啞人輔助交流系統(tǒng)的研究起步較早，主要涵蓋以下幾個方面：1.中文手語識別技術(shù)的研究：中文手語是中國聾啞人用于交流的主要方式之一，對于開發(fā)聾啞人輔助交流系統(tǒng)具有重要意義。國內(nèi)研究團隊采集大量中文手語視頻數(shù)據(jù)，研究中文手語的特征提取和手勢識別算法，取得了進展。2.聲音轉(zhuǎn)文字技術(shù)的研究：聲音轉(zhuǎn)文字技術(shù)可以將公共場所的聲音信息轉(zhuǎn)化為文字，方便聾啞人理解。中國科學(xué)院自動化研究所等研究機構(gòu)在該領(lǐng)域取得了一些成果，但實用性還有待提高。3.聾啞人教育技術(shù)的研究：針對聾啞人群體的特殊需求，國內(nèi)研究團隊開發(fā)了一系列教育技術(shù)工具，例如手語教學(xué)軟件、視頻字幕制作軟件等，幫助聾啞人更好地學(xué)習(xí)和交流。1.2.2國外研究現(xiàn)狀在上世紀九十年代末，國外的研究人員就已經(jīng)著手聾啞人交互設(shè)備的相關(guān)研究。研究團體多以實驗室為主，展開對聾啞人交互設(shè)備的基礎(chǔ)研究。2010年，科威特大學(xué)團隊的A.S.Tolba提出了一種基于手套的手勢識別系統(tǒng)，使用手套設(shè)備捕捉手勢并用最小距離分類器對手勢進行分類，最后將手勢轉(zhuǎn)變成阿拉伯語語音，用于解決聽力障礙人群與其他人的之間的交流問題REF_Ref15746\r\h[4]。2014年，英國鄧迪大學(xué)的StephenJ.McKenna提出了基于軌跡的隱馬爾科夫模型識別，一般選用高清攝像頭捕獲手勢動作的圖像信息，并在健全和殘疾的受試者中測試了他們自己的手勢詞匯REF_Ref26336\r\h[5]。2020年，印度安那大學(xué)的P.S.Neethu提出了一種手勢檢測與識別辦法，它是基于深度學(xué)習(xí)算法的，所使用的數(shù)據(jù)集是從開放存取圖像數(shù)據(jù)集中獲得的。先對圖像進行掩模，并對手部區(qū)域進行手指分割、將分割手指圖像的歸一化使用CNN分類器進行手指識別，識別率達到了96.2%REF_Ref15749\r\h[6]。隨著ANN技術(shù)的不斷發(fā)展，在人機交互中的作用越來越重要。如果能夠把人工神經(jīng)網(wǎng)絡(luò)手勢識別技術(shù)與可穿戴設(shè)備結(jié)合起來，開發(fā)出一種可以讓聾啞人與健全人進行交流的人機交互系統(tǒng)，而且它還具有攜帶便利，體積較小，識別率高等優(yōu)點，可以用它來解決聾啞人與健全人之間的溝通問題，讓聾啞人能夠更加積極、樂觀，從而推動社會主義和諧社會的平衡發(fā)展。

第2章整體設(shè)計2.1系統(tǒng)設(shè)計方案在圖2.1中給出了該系統(tǒng)的整體設(shè)計結(jié)構(gòu)。系統(tǒng)由STM32單片機、手勢識別模塊、語音識別模塊、姿態(tài)傳感器、電源模塊、語音合成模塊、WIFI模塊組成。該系統(tǒng)的目的是在聾啞人與正常人進行溝通的時候，可以制作一副手套，可以對聾啞人的手勢信息進行收集，并使用神經(jīng)網(wǎng)絡(luò)算法對實驗人員的手勢信息進行分類，最終以語音、文字的形式表達出他們的手語。在正常人想要與聾啞人進行交談的時候，可以使用語音模塊對正常人的語音進行識別，將正常人的發(fā)出的語音以軟件中動畫的形式展示給聾啞人，從而讓聾啞人與正常人的溝通需要得到滿足。語音合成模塊語音合成模塊STM32電源模塊WiFi模塊語音識別模塊手勢識別模塊姿態(tài)傳感器圖2.1系統(tǒng)的總體設(shè)計框圖在圖3.2中，可以看到一種手語實時翻譯的聾啞人無障礙交互系統(tǒng)，分別安裝了語音識別模塊，語音合成模塊在手掌和前臂的位置上安裝了姿態(tài)傳感器，將MCU、無線串口模塊和語音識別模塊都收集到了我們自制的電路板上。在圖中，電腦可以將正常人語音識別的結(jié)果通過文字的方式呈現(xiàn)給聾啞人。圖2.2聾啞人與健全人的人機交互系統(tǒng)在與正常人進行對話的時候，失聰者會帶著，就是普通人對聾啞人做出相應(yīng)動作或是說話，電壓并將其傳送到控制模塊，同時，通過語音合成模塊，手勢識別模塊獲得信息，并將其傳送到上位機，通過上位機展示出文字使得正常人與聾啞人的無障礙交流。TTL的串口通信獲得的X,Y,Z3個坐標軸的變化，并將其傳送到Matlab,MATLAB在接收到失聰者的手背和前臂的姿勢信息后，將其歸一化，并將其輸入到預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，由神經(jīng)網(wǎng)絡(luò)進行判定，最終得出結(jié)果。然后，將所獲得的特征矢量，以無線方式傳送至Arduino單片機，再由SYN6288中文語音合成模塊，根據(jù)所獲得的特征矢量，用相應(yīng)的語言，將失聰者的動作信息轉(zhuǎn)化為正常者能夠聽懂的動作信息，實現(xiàn)了失聰者與正常者之間的溝通。本研究將正常人與聾啞人進行互動，并將其分成兩個步驟：一是聲音辨識，二是動作演示。首先是聲音辨識模組對聲音進行辨識，ArduinoMCU主控制模組將辨識的結(jié)果轉(zhuǎn)換成動作模組的動作資料，最終的動作資料則是Unit3D的動作資料，而通信模組則是將動作資料以無線方式傳送到Unit3D，以達到動作的效果。如果想和聾啞人進行溝通，每個人對LD3320A的語音模塊說出語音。LD3320A語音模塊對語音進行識別，當識別成功的時候，向Arduino微控制器發(fā)送16進制指令，上傳到上位機展示文字顯示，Arduino微控制器將x、y軸的偏移量。在Unity里可根據(jù)聲音來控制角色做出動作，將健全人的語音信息轉(zhuǎn)化為聾啞人可以看到的文字，從而實現(xiàn)健全人與聾啞人進行溝通的目標。2.2本章小結(jié)這一章專門描述了一個可供聾啞人與正常人無障礙建設(shè)使用的即時輔助交流系統(tǒng)。分別介紹了手勢翻譯與語音翻譯的無障礙交互系統(tǒng)所選擇的芯片和其他元件，并對系統(tǒng)各個模塊展開了調(diào)試工作。

第3章硬件設(shè)計3.1主控模塊本系統(tǒng)所采用的主控模塊是STM32F103微控制器，其原理圖如圖4.1所示，其核心芯片是STM32F0，控制板上有多個數(shù)字輸入輸出，并集成多個IO口，選擇STM32F103的理由主要有如下幾個方面STM32F103微控制器與STM32F0微控制器比較，成本較低，主板功能類似于STM32F0，并且去掉了STM32F0上的一些對于所提出人機交互系統(tǒng)無用的功能。將其尺寸縮小至38*55mm，比STM32F0小了近一半，滿足了所做人機交互系統(tǒng)體積小的要求REF_Ref15752\r\h[8REF_Ref15759\r\h-11]。STM32F103單片機采用16根模擬管腳，實現(xiàn)了對彎度檢測信號的多路同步收集，實現(xiàn)了對彎度檢測的反饋REF_Ref15762\r\h[12REF_Ref15769\r\h-15]。此外，它有5個串口UART接口，實現(xiàn)與手勢傳感器相連，對手掌和前臂的偏移量進行采集，還可以與無線串口模塊相連，實現(xiàn)數(shù)據(jù)的無線傳輸。STM32F103微控制器所采用的數(shù)據(jù)接口是microUSB，普通的手機數(shù)據(jù)線即可進行數(shù)據(jù)的下載與傳輸，集成了5V/1A與3.3V/1A的穩(wěn)壓芯片，為所接的設(shè)備提供更穩(wěn)定的電壓REF_Ref3271\r\h[16]。此外，本電路板還采用了CH340G的串行通訊晶片，用作UART-USB轉(zhuǎn)換器。工作在12MHz的頻率下，能得到一個穩(wěn)定的資料交換效果要求電腦上安裝一個驅(qū)動器。數(shù)據(jù)手套的模擬電壓信號需要由模擬輸入管腳來獲得，通過對模擬輸入的管腳的調(diào)用intflexSensorPin=A0，也就是實現(xiàn)對A0管腳的呼叫，模擬輸入管腳分別從A0到A15，總共有16個管腳REF_Ref9153\r\h[17]。每一個數(shù)據(jù)手套的5個彎曲傳感器都與STM32F103微控制器中的5個管腳連接，嵌在數(shù)據(jù)手套上的姿態(tài)傳感器與串口UART接口可以完成單手的信息采集，兩個數(shù)據(jù)手套之間的數(shù)據(jù)的傳輸是由無線串口模塊來完成的，最終將所收集的雙手姿勢數(shù)據(jù)一起用串口打印出來，采集的雙手手指的電壓數(shù)據(jù)與手掌、前臂的角度信息呈現(xiàn)如下。圖3.1STM32F103原理圖3.2手勢識別模塊手勢識別模塊是聾啞人輔助交流系統(tǒng)中非常重要的部分，它能夠識別用戶的手勢并將手勢信號轉(zhuǎn)換成文本或語音輸出，從而幫助聾啞人士進行交流。其中，手勢識別傳感器PAJ7620U2是一款比較常用的手勢識別模塊，其可以快速識別15種不同的手勢，而且具有低功耗、高準確度等特點，非常適合作為交互式手勢識別應(yīng)用的核心。接下來，將姿態(tài)傳感器與單片機相連，可以采用常規(guī)的SPI或I2C接口方式進行通信，同時需要進行相關(guān)的數(shù)據(jù)處理和算法優(yōu)化，以實現(xiàn)更高的手勢識別準確性和系統(tǒng)響應(yīng)速度?？傊?，手勢識別模塊的設(shè)計和實現(xiàn)對于聾啞人輔助交流系統(tǒng)的功能和性能都有很大的影響，在實踐中需要充分考慮各種因素，并進行有效的模塊集成和算法優(yōu)化。圖3.2手勢識別傳感器模塊原理圖另一方面，姿態(tài)傳感器的選擇也十分重要，因為它能夠幫助系統(tǒng)感知用戶手部在空間中的位置和方向，從而更精確地識別用戶的手勢并進一步提高手勢識別的準確性。6軸角度傳感器是一種常用的姿態(tài)傳感器，其包含了一個三軸加速度計和一個三軸陀螺儀，可以同時感測物體的線性加速度和旋轉(zhuǎn)角速度，從而實時計算物體的姿態(tài)角度。選擇尺寸較小的6軸角度傳感器可以方便地嵌入到數(shù)據(jù)手套和前臂微控制器中，從而實現(xiàn)更好的集成和便攜性REF_Ref15778\r\h[21REF_Ref2748\r\h-22]。圖3.3中顯示了將姿態(tài)傳感器與單片機相連的方法。圖3.3姿態(tài)傳感器與微控制器的連接方式姿態(tài)傳感器的參考坐標，如圖3.4所示。圖3.4姿態(tài)傳感器參考坐標3.3通信模塊在圖3.5中，可以看到人機交互系統(tǒng)中所選用的無線串口模塊，它之所以采用無線串口模塊，是因為可以讓交互系統(tǒng)不受電線的干擾，從而可以讓普通人在進行手勢識別和語音識別功能中變得更加便利，不會因為電線的影響，而造成手語打得不夠準確。這個系統(tǒng)總共使用了三個無線模組，每一雙手套都使用了一個，另外一個則插入了電腦中?？梢允闺娔X與電腦間無線連接。圖3.5DL-30無線串口模塊實物圖無線串口模塊有兩種方法，一種是兩個無線模塊之間的傳輸方法，另外是多個無線模塊之間的傳輸方法。在多個無線模塊之中實行傳送的方式中，可以從整個對比框架、且含有相同的波特率的無線模塊接收到一個無線模塊的數(shù)據(jù)，可以從其所屬的串口發(fā)送。在這個傳送模式中，傳輸?shù)臄?shù)據(jù)會有著一定比例的錯誤率，并且當無線模塊數(shù)量有很多的時候，其錯誤率會有很大的上升，所以，在進行設(shè)置的時候，我們一定要采用了第一種方式，就是兩個模塊之間的傳輸方式，這樣就可以保證數(shù)據(jù)不會丟失。兩個無線模塊之間的傳輸模式可以分為a和b，一個串口用來發(fā)送數(shù)據(jù)，另一個串口用來接收發(fā)送數(shù)據(jù)串口所發(fā)出的數(shù)據(jù)，在這種傳輸模式中，同一個波特率只能允許有兩個串口可以相互通信，并且可以做到數(shù)據(jù)不丟失。所以，本系統(tǒng)選擇了第一種傳送方式。3.4語音合成模塊選擇了圖4.7中的語音合成模塊，使其可以用較低的成本，得到較高的體驗度的語音播報效果?？梢赞D(zhuǎn)換為多種中文和英語的語音，所發(fā)出的語音能給我們一種完美的感受。采用串口通信方式，接收控制器發(fā)出的命令，并發(fā)出與命令相對應(yīng)的語音，從而實現(xiàn)從文本到語音的轉(zhuǎn)換REF_Ref29977\r\h[23REF_Ref15782\r\h-24]。圖3.6SYN6288中文語音合成原理圖圖3.7SYN6288中文語音合成模塊實物圖圖4.8是一個語音合成模塊的工作流程圖，我們可以把Arduino單片機的串口與語音芯片相連，同時還可以從Arduino單片機的串口向該芯片發(fā)送一個控制命令，讓該芯片發(fā)出一個對應(yīng)的聲音，而該命令則會被轉(zhuǎn)換成一個語音，并由一個功率放大器來增強該語音，最終通過揚聲器來播放該語音REF_Ref15785\r\h[25REF_Ref24245\r\h-26]。圖3.8語音合成模塊的流程示意圖3.5語音識別模塊在手語實時翻譯的聾啞人無障礙交互系統(tǒng)中，將語音控制技術(shù)與上位機技術(shù)結(jié)合起來，將發(fā)出的語音轉(zhuǎn)換成聾啞人可以理解的文字。為了滿足識別的實時性，我們選擇了LD3320A作為語音芯片REF_Ref15788\r\h[27]。詳細結(jié)果如圖4.9所示。該系統(tǒng)是飛音云公司開發(fā)的一種聲音識別系統(tǒng)。這個語音識別模塊可以最多識別用戶五百多條語音，它可以滿足日常對話的需要，與本系統(tǒng)的要求相吻合。圖3.9語音識別模塊原理圖圖3.10LD3320A語音識別模塊3.6電源模塊為方便起見，本設(shè)計采用了單獨電源的方式。選擇了7.4V和1300MAH的鋰電池，將其用作外部供電設(shè)備REF_Ref2225\r\h[28]。如圖4.10中所示可滿足聾啞人日常出行需求。圖3.11電源供電模塊MPU6050姿態(tài)傳感器原理圖語音識別模塊原理圖手勢識別模塊原理圖

STM32主控原理圖WiFi串口原理圖

第4章系統(tǒng)軟件設(shè)計4.1系統(tǒng)軟件設(shè)計流程圖初始化初始化開始語音識別并上傳到上位機顯示識別到手勢？否是圖4.1系統(tǒng)主程序流程圖該系統(tǒng)的軟件設(shè)計流程圖包括以下四個主要步驟（如上圖4.1所示）：1.開始：系統(tǒng)開始啟動并進行初始化，并通過傳感器獲取用戶的手勢信號。2.初始化：初始化過程中，系統(tǒng)將讀入傳感器采集到的信號，并對信號進行預(yù)處理、濾波和分析，以得到準確的手勢數(shù)據(jù)。3.是否識別到手勢：系統(tǒng)根據(jù)設(shè)定好的手勢庫對采集到的手勢數(shù)據(jù)進行識別，同時判斷是否檢測到有效手勢，如果檢測到有效手勢，則進入下一步處理。4.語音識別并上傳到上位機顯示：系統(tǒng)接著將檢測到的手勢轉(zhuǎn)化為相應(yīng)的語音信號，并將語音信號上傳到上位機進行顯示或其他相應(yīng)操作，從而實現(xiàn)與聾啞人的交互式通信。在實際實現(xiàn)過程中，系統(tǒng)可以根據(jù)用戶的需求和特定應(yīng)用場景進行相應(yīng)的優(yōu)化和改進，例如增加用戶操作界面、語音控制等功能，并使用機器學(xué)習(xí)算法對手勢庫進行優(yōu)化和擴充，進一步提高系統(tǒng)的交互式性能和用戶體驗。

4.2手勢識別傳感器軟件設(shè)計初始化初始化開始保存結(jié)束是否識別到手勢輸入是否正確否是是否圖4.2手勢識別模塊流程圖手勢識別傳感器軟件設(shè)計流程圖可以分為以下幾個步驟（如上圖4.2所示）：1.開始：系統(tǒng)啟動并進行初始化。2.初始化：傳感器進行初始化，并進行數(shù)據(jù)采集和處理。3.是否識別到手勢：傳感器采集到手勢數(shù)據(jù)，并識別進行判別，判斷是否有有效手勢。4.輸入是否正確：對于識別到的手勢，進行輸入的正確性判斷，如果輸入正確，則跳到下一步；否則跳到第5步。5.保存：將識別失敗的手勢保存下來以便日后進行優(yōu)化。6.結(jié)束：完成當前檢測并等待下一次檢測。

4.3語音合成模塊軟件設(shè)計初始化初始化開始喇叭結(jié)束是否語音合成輸出是否正確否是是否圖4.3語音合成模塊流程圖下面是音合成模塊軟件設(shè)計流程圖的主要步驟（如上圖4.3所示）：1.開始：系統(tǒng)啟動并進行初始化。2.初始化：語音合成模塊進行初始化，并加載相應(yīng)的語音合成引擎。3.是否語音合成：判斷是否檢測到語音信號的輸入，如果有語音信號輸入，則進入下一步處理；否則跳到結(jié)束。4.輸入是否正確：對于語音輸入的內(nèi)容進行正確性判斷，如果輸入正確，則進入下一步處理；否則跳到結(jié)束。5.喇叭：將語音信號通過喇叭或其他音頻輸出設(shè)備進行輸出。6.結(jié)束：完成當前處理并等待下一次語音輸入。

4.4語音識別模塊軟件設(shè)計初始化語音識別初始化語音識別開始結(jié)束麥克風(fēng)設(shè)置正確識別是否正確否是是否建立語音命令識別是否正確將識送給執(zhí)行設(shè)備別語音對錯誤不執(zhí)行否否是圖4.4語音合成模塊流程圖以下是聾啞人輔助交流系統(tǒng)的音合成模塊流程圖分析（如上圖4.4所示）：1.開始：系統(tǒng)啟動并進行初始化。2.初始化語音識別：建立所需的語音識別引擎和處理算法。3.建立語音命令：將用戶常用的語音命令建立對應(yīng)的指令集，例如“打開電視”、“關(guān)閉燈光”，以便后續(xù)進行匹配和識別。4.麥克風(fēng)設(shè)置是否正確：檢測麥克風(fēng)工作狀態(tài)，確認麥克風(fēng)是否設(shè)置正確。5.語音識別：對麥克風(fēng)輸入的語音信號進行識別和匹配，判斷是否與已建立的語音命令匹配。6.若匹配成功：將匹配成功的語音命令發(fā)送給執(zhí)行設(shè)備。7.若匹配失?。翰粓?zhí)行，保持原有狀態(tài)。8.識別是否正確：對于匹配的結(jié)果，進行準確性判斷，如果正確，則跳到第6步；否則跳到第7步。9.結(jié)束：完成當前檢測并等待下一次語音輸入。4.5姿態(tài)傳感器軟件設(shè)計姿態(tài)傳感器軟件設(shè)計如圖所示：初始化初始化開始結(jié)束偏移量顯示MPU6050輸出角度MPU6050姿態(tài)解算MPU6050自檢圖4.5姿態(tài)模塊流程圖以下是聾啞人輔助交流系統(tǒng)的姿態(tài)傳感器軟件設(shè)計分析（如上圖4.5所示）：1.開始：系統(tǒng)啟動并進行初始化。2.初始化：對姿態(tài)傳感器進行初始化，并將所需參數(shù)進行配置。3.MPU6050自檢：自檢是用來檢測IMU（慣性測量單元）的參考值是否正確，即是否存儲正確的參考值或者是否處于正常工作狀態(tài)。4.MPU6050姿態(tài)解算：對原始數(shù)據(jù)進行加速度計校準，計算陀螺儀的漂移速率，利用卡爾曼濾波算法進行姿態(tài)解算，計算當前的姿態(tài)信息（如俯視角、翻滾角、偏航角）。5.MPU6050輸出角度：將計算得到的姿態(tài)角度信息輸出到控制臺或可視化界面。6.偏移量顯示：在可視化界面上顯示IMU的偏移量信息，以幫助用戶更好地了解IMU的狀態(tài)和性能。7.結(jié)束：完成當前處理并等待下一次姿態(tài)傳感器數(shù)據(jù)輸入。

第5章實驗及結(jié)果分析5.1健全人向聾啞人交互整體實驗及結(jié)果5.1.1實驗步驟在本實驗中，我們對以上所做出的實物所有的功能進行實驗，目的是實現(xiàn)聾啞人與健全人的溝通，將實物拿出健全人向聾啞人做動作或是說話通過上位機轉(zhuǎn)化為文字，使聾啞人能夠理解。這些動作都來自中國普通話的基礎(chǔ)語言和手勢動作，因為要進行的是靜止動作，所以我們選擇了兩種不同的動作，包括兩種動作。本研究以4位受試者為研究對象，男女各半平均分，年紀大概在24~30歲。實驗開始前，對所選取對象進行數(shù)據(jù)的采集，所測出的數(shù)據(jù)會拿來模擬神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集。測繪數(shù)據(jù)的時候，實驗者要根據(jù)自己的想法來說出語言或做手勢。原因是不同的人在做動作時因為每個人的姿勢和角度的不同，他們所作出的動作會存在一定的差別。最后，建立了一個人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集合。啟動試驗：1.把實驗計劃和實驗經(jīng)過的程序放在ArduinoIDE中，然后燒錄到STM32F103MCU中。2.試驗人員佩戴資料手套3.打開兩只手的數(shù)據(jù)手套的電力開關(guān)，以向其提供電力4.啟動MATLAB，運行MATLAB，把收集到的手語信息傳送到MATLAB，通過MATLAB內(nèi)的神經(jīng)網(wǎng)絡(luò)，對收集到的信息進行辨識，最后得出辨識結(jié)果。5.在正確地識別之后，MATALB將會顯示出相應(yīng)的手語圖像，并將其傳遞到MATALB中，從而讓MATALB的聲音通過MATALB來實現(xiàn)。假設(shè)實驗人員說話或者做出一些簡單的動作，那樣的話上位機會識別出這個語音或動作相應(yīng)的文字，上位機會以文字的方式顯示出來，顯示出來正確是文字就說明這是正確的。5.1.2測試結(jié)果分析在一個模糊矩陣中，每個模糊矩陣的行數(shù)都對應(yīng)著一個模糊的分類，每個模糊矩陣的列數(shù)都對應(yīng)著一個模糊的分類。斜線上的單位與正確的分類器相對應(yīng)。在對角線之外的區(qū)域，相應(yīng)于一個錯誤的歸類。模糊矩陣圖表最右側(cè)的一欄代表了每一個分類中，被預(yù)測出的是對的和錯的分類的比例。這種指示器叫做精確度。模糊矩陣下端的一行是每一種類型中，正確與錯誤的樣本所占的比例。這種指示器一般被稱作“召回”。圖5.1四位志愿者的識別成功率從圖5.1的4個圖中可以看到，對幾個單手的數(shù)字手語和兩個雙手手語所呈現(xiàn)的識別率還算成功，所有識別率可以到93.8%。但有時我們會把一些手勢誤認為是別的手勢。例如，在辨認手語中，A被誤認為手語中的“1”有八次。在做手語3號的試驗中，有兩次將1號正確歸類為1號，2次將4號正確歸類為4號。從4名受試者得到的4個模糊矩陣中，1和9的模糊度最大。從手勢上來看，1號和9號的手勢并沒有太大的區(qū)別，只有食指的姿勢不同，1號手語的時候，食指的姿勢是筆直的，2號手語的時候，食指的姿勢是彎曲的。綜合以上得出的結(jié)論，我們可以看到，在面對手型相似的手語時，容易產(chǎn)生識別結(jié)果混淆的情況，如圖所示，分別是各類手勢的識別成功率，總共有30種手勢，由圖可以明顯看出，最大的識別成功率是98%，最小的識別成功率也是91.2%，平均識別率是94.9%。5.2健全人向聾啞人交互模塊實驗及結(jié)果5.2.1實驗步驟本研究以正常人與聾啞患者的對話為研究對象，從前面所構(gòu)建的人聲資料庫中選取了不同類型的語音，并對其進行了比較。該試驗的目標是把健全人的聲音轉(zhuǎn)化為統(tǒng)一的手語動畫，使其可以聽懂，從而實現(xiàn)健全人與聾啞人的交流。本研究以四位受試者為受試者，分別為四位受試者，分別為四位受試者，以排除區(qū)域?qū)κ茉囌甙l(fā)音的影響。我們的試驗場地為相對較靜的房間，噪音沒有達到38分貝。不同的動作，不同的實驗人員每個都要實驗很多次，達到以數(shù)量取代質(zhì)量。全部實驗人員必須完成所有指定的測試手勢、數(shù)字0到5，英文單詞比如W或Z，和多個詞語比如她，沒有，一定，愛國，善良，怨恨，貓，狗，豬，天氣，姓名，飯，水和一些生活中常見詞匯的識別。當一個聲音被發(fā)送到一個聲音后，該聲音被輸入到該聲音中，并被輸入到一個聲音中，這個聲音就被識別出來了。對4位志愿者每一次的實驗準確率進行記錄，并對其進行統(tǒng)計，最后計算出志愿者們的平均準確率。5.2.2測試結(jié)果分析表5.1不同語音信號識別成功率語音志愿者A志愿者B志愿者C志愿者D093.3%96.7%90.0%90.0%186.7%90.0%93.3%93.3%290.0%93.3%90.0%86.7%386.7%96.7%96.7%83.3%493.3%83.3%83.3%90.0%596.7%86.7%93.3%86.7%Z90.0%93.3%86.7%86.7%W93.3%86.7%90.0%96.7%她86.7%90.0%86.7%93.3%沒有96.7%93.3%83.3%86.7%一定93.3%96.7%96.7%96.7%愛國90.0%86.7%90.0%86.7%善良93.3%96.7%93.3%93.3%怨恨96.7%86.7%86.7%90.0%貓90.0%90.0%86.7%86.7%狗96.7%93.3%90.0%90.0%豬90.0%93.3%86.7%96.7%天氣86.7%90.0%90.0%96.7%姓名96.7%96.7%93.3%83.3%飯93.3%90.0%86.7%90.0%水90.0%86.7%96.7%86.7%人96.7%90.0%90.0%93.3%相對90.0%93.3%86.7%90.0%心93.3%86.7%93.3%93.3%學(xué)習(xí)93.3%90.0%86.7%90.0%榜樣83.3%93.3%90.0%93.3%柱子90.0%90.0%93.3%93.3%平均識別率91.3%91%90.2%90.7%試驗得到的識別率具體如下表5.1，通過所得到的試驗結(jié)果可以看出，語音識別實驗取得了不錯的成功，每個實驗者的語音識別實驗的平均正確識別率為90.8%，最高可達91.3%，這就說明了本文制作的雙向交互系統(tǒng)語音識別是可靠的，整體來說，設(shè)計的人機交互系統(tǒng)中的語音識別環(huán)節(jié)可以高效地實現(xiàn)健全人與聾啞人之間的溝通，而且其識別率也比較高，可以很容易地讓健全人向聾啞人表示他們想要對聾啞人說的內(nèi)容，而且還實現(xiàn)了本雙向交互系統(tǒng)對雙向識別精度的需求。5.3實物功能展示5.3.1手勢識別功能手勢識別傳感器功能實現(xiàn)如下圖所示：通過人向手勢識別傳感器做相應(yīng)的手勢，從而觸發(fā)手勢識別傳感器通過上位機顯示文字。當正常人對手勢識別傳感器做向左的手勢，上位機將顯示向左轉(zhuǎn)的文字。當正常人對手勢識別傳感器做向右的手勢，上位機將顯示向右轉(zhuǎn)的文字。當正常人對手勢識別傳感器做向前的手勢，上位機將顯示往前走的文字。當正常人對手勢識別傳感器做向后的手勢，上位機將顯示往后走的文字。5.3.2姿態(tài)識別功能姿態(tài)別傳感器功能實現(xiàn)如下圖所示：通過對姿態(tài)的識別上位機端的X，Y，Z軸的偏移量產(chǎn)生變化，在不同角度每個軸的偏移量不同。5.3.3語音識別功能語音別傳感器功能實現(xiàn)如下圖所示：在我們對語音識別傳感器說話時，語音識別傳感器會將我們所說的話以為字的方式通過上位機顯示出來比如“你好，你好”。5.4本章小結(jié)在這一章中，分別介紹了聾人與正常人的互動以及正常人與正常人的互動。在此基礎(chǔ)上，本文還對聽力正常者與聽力正常者之間的互動以及聽力正常者與聽力正常者之間的互動進行了研究。所選取的實驗對象是健康志愿者，根據(jù)所得到的實驗結(jié)果，本文所提出的雙向交互系統(tǒng)在手勢識別的正確率為94.9%，最高可達98%，在語音識別的正確率為90.8%，最高可達91.3%。通過對聽力測試數(shù)據(jù)的分析，證明了該方法在聽力測試中的應(yīng)用是可行的和有效的?？梢杂行У亟鉀Q聾啞人在日常生活中的一些交流難題，從而減輕了手語翻譯人員的工作壓力，同時也有利于聾啞人等特殊群體更好地與社會主義和諧社會相融合。

第6章結(jié)論與展望6.1研究結(jié)論為了讓聾啞人可以更加積極、樂觀地融入到和諧社會中，同時也要解決目前手語翻譯人員缺乏以及輔助設(shè)備的成本比較高的問題，本文對一種手語實時翻譯的聾啞人無障礙的雙向交互系統(tǒng)進行了設(shè)計和制造。這個系統(tǒng)可以實現(xiàn)聾啞人與健全人之間的雙向的溝通，而且這種設(shè)備也方便了聾啞人隨身攜帶，而且使用起來也比較簡單。本文涉及的內(nèi)容包含：論文研發(fā)了手語同時翻譯的聾啞人無障礙雙向交流系統(tǒng)。當聾啞人想與健全人交流時，可以制作一副手套，通過通信模塊把采集的手語信息發(fā)送到MATLAB中，并輸出結(jié)果，將得到的結(jié)果通過串口無線傳送到Arduino微控制器，將特征向量對應(yīng)的語音，使SYN6288語音合成模塊發(fā)出與手勢相對應(yīng)的聲音，從而讓健全人可以理解聾啞人的手語。在健壯人與聾啞人進行溝通的時候，健壯人會對語音模塊發(fā)出聲音，LD3320A語音模塊會對聲音進行識別，在識別成功的時候，會向Arduino微控制器發(fā)出一個16進制指令，Arduino微控制器將會收到16進制對應(yīng)的人體角度22個數(shù)據(jù)，然后控制3D人體模型做出與其相應(yīng)的手語動畫，讓聾啞人能夠了解正常人的語音。在手勢識別的過程中，應(yīng)用的是一種以BP神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的識別算法，它能夠保證良好的手勢識別率。在第五章的實驗結(jié)果中，說明了系統(tǒng)對單手和雙手的手語可以達到較好的識別效果。本文建立的可提供聾啞人士即時口譯之雙向互動系統(tǒng)，集軟體與硬體之于一體，成本低廉。將神經(jīng)網(wǎng)絡(luò)、語音識別和3D動畫技術(shù)結(jié)合到一起，將聾啞人與健全人進行溝通，從而使本系統(tǒng)的設(shè)計與智能外設(shè)的特征十分吻合。6.2研究展望基于手勢，語音實時翻譯的聾人無障礙互動系統(tǒng)的設(shè)計與實現(xiàn)，將神經(jīng)網(wǎng)絡(luò)技術(shù)和語音識別技術(shù)用于聾人和正常人之間的交流，并給出了一種系統(tǒng)性的解決方案，這是一種新的應(yīng)用模式，當前尚處在建立一個完整的雙向互動系統(tǒng)框架的階段，但是因為時間的關(guān)系，本課題的研究仍存在著很多的缺陷。沒有在云端或手機端上使用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練與識別，離開了電腦的限制，只構(gòu)建了4種手勢和語音識別的數(shù)據(jù)庫，數(shù)據(jù)庫的種類還需要進一步的充實，最終，在對聾啞人手語和健康人語音的識別精度方面還需要進一步的提升。

參考文獻謝本齊，江煥，劉又瑜，姜林.基于智能眼鏡與云服務(wù)的聾啞人交流系統(tǒng)設(shè)計[J].現(xiàn)代信息科技，2022,6(23)：151-153.李帥，吳玉蓉.面向聾啞人群的無障礙交流輔助系統(tǒng)設(shè)計研究[J].物聯(lián)網(wǎng)技術(shù)，2022,12(11)：113-116.李輝.聾啞人無障礙交流創(chuàng)意產(chǎn)品設(shè)計[J].電子技術(shù)與軟件工程，2022(05)