機(jī)器人開發(fā)介紹——服務(wù)機(jī)器人硬件結(jié)構(gòu)介紹一機(jī)器人課程體系介紹二三目錄小途機(jī)器人產(chǎn)品介紹機(jī)器人開發(fā)平臺(tái)介紹機(jī)器人基礎(chǔ)能力介紹四機(jī)器人開發(fā)平臺(tái)機(jī)器人本體機(jī)器人實(shí)驗(yàn)課程體系理論課（16課時(shí)）語音交互語義理解圖像識(shí)別人臉識(shí)別自主導(dǎo)航……能力實(shí)驗(yàn)（32

課時(shí)）課程體系介紹產(chǎn)業(yè)發(fā)展和應(yīng)用案例核心技術(shù)簡述……機(jī)器人綜合應(yīng)用案例開發(fā)資源包綜合實(shí)驗(yàn)場景介紹項(xiàng)目需求分析概要及詳細(xì)設(shè)計(jì)開發(fā)及測試示例項(xiàng)目資源包場景調(diào)試實(shí)驗(yàn)演示及總結(jié)……機(jī)器人基礎(chǔ)開發(fā)能力包語音交互能力包圖像處理能力包MSC能力包日志處理能力包……機(jī)器人實(shí)驗(yàn)課程體系機(jī)器人實(shí)驗(yàn)套件配套實(shí)驗(yàn)資源實(shí)驗(yàn)指導(dǎo)手冊實(shí)驗(yàn)代碼實(shí)驗(yàn)課程及實(shí)驗(yàn)資源CR-B證書發(fā)明專利實(shí)用新型專利一機(jī)器人課程體系介紹二三目錄小途機(jī)器人產(chǎn)品介紹機(jī)器人開發(fā)平臺(tái)介紹機(jī)器人基礎(chǔ)能力介紹四產(chǎn)品介紹智能服務(wù)機(jī)器人“小途”

“小途”是基于訊飛最新人工智能研究成果研發(fā)并達(dá)到實(shí)用水平的智能服務(wù)機(jī)器人，其能夠獨(dú)立、高效地為用戶提供諸如業(yè)務(wù)咨詢、智能引導(dǎo)、接待講解、宣傳等多種功能。※仿人的全雙工人機(jī)語音交互※5M范圍內(nèi)遠(yuǎn)場識(shí)別和3600聲源定位※情感化中文語音合成※人臉識(shí)別和驗(yàn)證※無軌式自主導(dǎo)航、自助避障、自主充電小途機(jī)器人硬件結(jié)構(gòu)頭部麥克風(fēng)陣列、表情屏幕、單目攝像頭軀干景深攝像頭、13.3寸主顯示屏、高拍儀、身份證閱讀器、票據(jù)打印機(jī)、揚(yáng)聲器底盤差速輪式驅(qū)動(dòng)底盤01020304140CM60CM頸部支持頭部轉(zhuǎn)動(dòng)小途機(jī)器人硬件組成□麥克風(fēng)陣列

聲源定位噪聲抑制□單目攝像頭人像采集人臉識(shí)別圖像分析□雙目攝像頭測距物體識(shí)別動(dòng)作識(shí)別□LCD顯示屏屏幕觸摸操控□身份證閱讀器□揚(yáng)聲器□打印票據(jù)出口□資料拍攝區(qū)□激光傳感器測距地圖建模□超聲波傳感器測距避障□底盤燈帶□急停按鈕□攝像頭□打印機(jī)倉蓋板□紅外線傳感器□充電片□電源按鈕□攝像頭□高拍儀證件拍攝證件識(shí)別證件剪裁□票據(jù)打印機(jī)□雙目攝像頭測距避障

路徑規(guī)劃移動(dòng)導(dǎo)航自主充電□LCD顯示屏表情屏幕小途機(jī)器人音頻流示意圖語音降噪板麥克風(fēng)陣列上位機(jī)ADCFPGAARM處理器加密芯片AIUI語音SDK多路音頻多路I2S單路I2S陣列算法單路音頻CPU處理器音頻功放回音消除語音云主要能力交互多模式喚醒全雙工語音交互屏幕觸摸輔助交互身份識(shí)別非接觸式身份證信息讀取人臉識(shí)別文件掃描A4幅面資料拍照文件上傳自動(dòng)裁剪※A款能力移動(dòng)地圖構(gòu)建路徑規(guī)劃自主避讓精準(zhǔn)導(dǎo)航自主充電打印80MM寬幅熱敏打印定制格式的各種票據(jù)打印小途機(jī)器人主要能力業(yè)務(wù)咨詢業(yè)務(wù)咨詢1、窗口服務(wù)咨詢提供辦事服務(wù)中心所屬窗口服務(wù)范圍的咨詢2、服務(wù)事項(xiàng)咨詢提供近辦事項(xiàng)審批服務(wù)、公共服務(wù)事項(xiàng)的咨詢服務(wù)在哪辦怎么辦需要哪些材料什么時(shí)候可以辦辦理?xiàng)l件多久可以辦好是否收費(fèi)怎么取件3、咨詢要素智能取號(hào)智能取號(hào)1、明確辦事項(xiàng)取號(hào)，保證取號(hào)正確性事項(xiàng)明確直接取號(hào)問題不明確引導(dǎo)取號(hào)2、已注冊人臉取號(hào)流程引導(dǎo)明確事項(xiàng)無感知人臉識(shí)別確認(rèn)手機(jī)號(hào)打印取號(hào)單3、未注冊人臉取號(hào)流程引導(dǎo)明確事項(xiàng)無感知人臉采集輸入手機(jī)號(hào)打印取號(hào)單4、已預(yù)約取號(hào)通過人臉檢測與預(yù)約庫人臉信息對(duì)比，如果已預(yù)約，直接提示打印取號(hào)單取號(hào)智能預(yù)約智能預(yù)約1、明確辦事項(xiàng)取號(hào)，保證取號(hào)正確性事項(xiàng)明確直接取號(hào)問題不明確引導(dǎo)取號(hào)2、已注冊人臉預(yù)約流程引導(dǎo)明確事項(xiàng)無感知人臉識(shí)別確認(rèn)手機(jī)號(hào)打印預(yù)約單預(yù)約日期及時(shí)間3、未注冊人臉預(yù)約流程引導(dǎo)明確事項(xiàng)無感知人臉采集輸入手機(jī)號(hào)打印預(yù)約單預(yù)約日期及時(shí)間智能引導(dǎo)1、確定服務(wù)需求2、推薦窗口辦理步驟1說明若機(jī)器人可滿足需求，直接提供服務(wù)步驟2說明自動(dòng)規(guī)劃相應(yīng)窗口的行走路線3、引導(dǎo)至咨詢臺(tái)步驟3說明對(duì)于復(fù)雜無法理解的引導(dǎo)至咨詢臺(tái)智能引導(dǎo)接待輔助主要特點(diǎn)：即時(shí)生效的定制化接待講解方案標(biāo)準(zhǔn)規(guī)范化的接待講解流程可獨(dú)立或與講解員配合完成講解機(jī)器人接待講解功能集播音、場所陳列間移動(dòng)接待于一體，運(yùn)用標(biāo)準(zhǔn)流利的語音配以豐富定制化講解內(nèi)容滿足多樣化接待講解需求。小途機(jī)器人產(chǎn)品功能交互會(huì)聊天能理解全雙工智能語音交互隨意打斷多模態(tài)交互簡單流程情感表現(xiàn)豐富親切自然引導(dǎo)會(huì)帶路能講解接待導(dǎo)覽DIY配置路徑規(guī)劃自主導(dǎo)航自主避障辦事會(huì)辦事能提醒標(biāo)準(zhǔn)化辦事流程便捷高效個(gè)性化內(nèi)容推送自動(dòng)提醒多類型證件自動(dòng)識(shí)別校正裁剪多領(lǐng)域票據(jù)模板隨心選擇咨詢會(huì)服務(wù)能推薦業(yè)務(wù)咨詢廣泛涉獵周邊信息貼心查詢熱門信息智能排行娛樂會(huì)賣萌能學(xué)習(xí)天氣、新聞出行、故事……支持多場景功能擴(kuò)展機(jī)器人開發(fā)環(huán)境配置01實(shí)驗(yàn)?zāi)康牧私夥?wù)機(jī)器人開發(fā)環(huán)境搭建的基本流程掌握服務(wù)機(jī)器人開發(fā)環(huán)境搭建掌握服務(wù)機(jī)器人測試應(yīng)用開發(fā)與調(diào)試02實(shí)驗(yàn)條件和工具實(shí)驗(yàn)環(huán)境

JDK1.8WindowsX86/64ADB工具AndroidStudio軟件PC機(jī)03實(shí)驗(yàn)步驟JDK下載與安裝JDK變量環(huán)境的配置ADB工具環(huán)境配置AndroidStudio的下載與安裝運(yùn)行AndroidStudio機(jī)器人能力包導(dǎo)入能力包導(dǎo)入的配置功能集成示例JDK下載與安裝JDK的官方下載地址：/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

JDK的安裝過程比較簡單，基本上就是在安裝界面點(diǎn)擊“下一步”按鈕即可，在安裝的時(shí)候只需要注意將JDK和JRE安裝到同一個(gè)目錄，JDK默認(rèn)安裝成功后，會(huì)在系統(tǒng)目錄下出現(xiàn)兩個(gè)文件夾，一個(gè)代表JDK，一個(gè)代表JRE。JDK的全稱是JavaSEDevelopmentKit，也就是Java開發(fā)工具箱。SE表示標(biāo)準(zhǔn)版。JDK是Java的核心，包含了Java的運(yùn)行環(huán)境（JavaRuntimeEnvironment）、Java工具和給開發(fā)者開發(fā)應(yīng)用程序時(shí)調(diào)用的Java類庫。JDK變量環(huán)境的配置由于在程序開發(fā)時(shí)需要使用的JDK命令不屬于windows自己的命令，所以要想使用，就需要進(jìn)行路徑配置。

單擊“計(jì)算機(jī)-屬性-高級(jí)系統(tǒng)設(shè)置”，單擊“環(huán)境變量”。在“系統(tǒng)變量”欄下單擊“新建”，創(chuàng)建新的系統(tǒng)環(huán)境變量。需要?jiǎng)?chuàng)建的系統(tǒng)環(huán)境變量及相關(guān)流程如下：新建->變量名“JAVA_HOME”，變量值“C:\ProgramFiles\Java\jdk1.8.0_181”（即JDK的安裝路徑）編輯->變量名“Path”，在原變量值的最后面加“;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin”新建->變量名“CLASSPATH”,變量值“.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar”完成環(huán)境變量的配置后，需要進(jìn)行確認(rèn)，方法如下：打開電腦的“命令提示符”窗口，輸入java-version命令。JDK變量環(huán)境的配置ADB工具環(huán)境配置具體流程步驟如下：ADB下載，下載地址：/upload/adb.zip將下載的ADB工具包進(jìn)行解壓縮，記住解壓縮的目錄地址；右鍵計(jì)算機(jī)，屬性--高級(jí)系統(tǒng)設(shè)置--環(huán)境變量，打開環(huán)境變量配置窗口在打開的環(huán)境變量界面，點(diǎn)擊下方的系統(tǒng)變量中新建按鈕，在彈出的新建系統(tǒng)變量界面輸入如下信息后點(diǎn)擊確定按鈕：變量名：adb變量值：adb工具解壓保存目錄（可以點(diǎn)擊“瀏覽目錄”按鈕進(jìn)行選擇）雙擊系統(tǒng)變量列表中的Path項(xiàng)，在彈出的編輯系統(tǒng)變量界面，點(diǎn)擊右側(cè)的“新建”按鈕，然后輸入%adb%后點(diǎn)擊確定按鈕打開的命令提示符窗口，輸入adb，回車，如果界面顯示adb的提示，說明已經(jīng)配置成功了ADB工具環(huán)境配置AndroidStudio的下載與安裝首先是從地址/studio/

下載AndroidStudio安裝包，下載完成后得到一個(gè)安裝包，鼠標(biāo)雙擊安裝包啟動(dòng)安裝程序運(yùn)行AndroidStudio第一次啟動(dòng)AndroidStudio時(shí)，需要設(shè)置一下SDK的安裝目錄，因此會(huì)彈出如下圖所示的對(duì)話框，在這里，我們選擇在安裝時(shí)設(shè)置的SDK目錄運(yùn)行AndroidStudio打開AndroidStudio之后，默認(rèn)會(huì)按步驟幫我們創(chuàng)建一個(gè)app的項(xiàng)目；首先，我們選擇創(chuàng)建新的項(xiàng)目，點(diǎn)擊如下圖所示按鈕：運(yùn)行AndroidStudio然后，輸入示例應(yīng)用的相關(guān)信息的界面，這里可以全部默認(rèn)，直接點(diǎn)擊下方的Next按鈕，如下圖：運(yùn)行AndroidStudio接著，進(jìn)入選擇目標(biāo)設(shè)備和SDK的界面，直接默認(rèn)，按Next進(jìn)入下一步，后面的步驟一樣，默認(rèn)點(diǎn)擊Next按鈕一直到最后顯示Finish按鈕的界面，點(diǎn)擊Finish按鈕，完成整個(gè)應(yīng)用創(chuàng)建步驟運(yùn)行AndroidStudio在這個(gè)打開的app工程窗口界面，我們先查看一下已經(jīng)安裝好的AndroidSDK，打開AndroidSDK管理窗口。在這里，我們可以看到已經(jīng)安裝的AndroidSDK版本及相關(guān)工具的信息，同時(shí)也可以下載新的AndroidSDK。運(yùn)行AndroidStudio完成AndroidSDK的確認(rèn)之后，我們來試試運(yùn)行這個(gè)項(xiàng)目，為了運(yùn)行方便，我們直接使用機(jī)器人開發(fā)平臺(tái)來作為模擬器。完成連接后，我們通過ADB工具可以查看機(jī)器人開發(fā)平臺(tái)與電腦的連接狀態(tài)。首先，通過前文提供的ADB下載地址下載ADB工具包，解壓到電腦上的桌面位置；然后，按鍵盤上的windows鍵，在運(yùn)行輸入框位置輸入cmd，回車打開“命令提示符”軟件；輸入指令：cddesktop，回車（命令行此時(shí)進(jìn)入了電腦的桌面目錄）輸入指令：cdadb，回車（進(jìn)入adb目錄）輸入指令：adbdevices，回車，當(dāng)命令提示符軟件界面顯示如下圖所示的設(shè)備信息時(shí)，說明機(jī)器人開發(fā)平臺(tái)已經(jīng)與電腦正確連接上。運(yùn)行AndroidStudioADB指令下能夠顯示機(jī)器人開發(fā)平臺(tái)設(shè)備時(shí)，在AndroidStudio的界面上就可以查看設(shè)備的連接信息了。我們直接點(diǎn)擊編譯運(yùn)行按鈕，當(dāng)應(yīng)用能夠正常完成編譯后，機(jī)器人開發(fā)平臺(tái)屏幕界面上會(huì)顯示“HelloWorld!”的界面機(jī)器人能力包導(dǎo)入完成了項(xiàng)目工程的創(chuàng)建后，我們現(xiàn)在開始導(dǎo)入機(jī)器人開發(fā)的能力包，首先，我們導(dǎo)入應(yīng)用必需的機(jī)器人基礎(chǔ)能力開發(fā)包和需要依賴的日志能力包，以及AIUI能力開發(fā)包（注：實(shí)驗(yàn)中所有使用到的能力包都在“機(jī)器人應(yīng)用開發(fā)能力包資源”目錄中），主要流程如下：將機(jī)器人基礎(chǔ)能力開發(fā)包c(diǎn)ommonAbility-release.aar和starrobot-logability.aar以及AIUI能力包aiuilibrary-release.aar拷貝到應(yīng)用的/app/libs文件夾中；在/app/src/main目錄下創(chuàng)建assets文件夾，再在assets目錄下創(chuàng)建cfg和vad兩個(gè)目錄；將AIUI的配置文件aiui.cfg拷貝到cfg目錄下，將AIUI的vad文件meta_vad_16k.jet拷貝到vad目錄下；能力包導(dǎo)入的配置完成了應(yīng)用的能力包導(dǎo)入后，我們需要對(duì)工程的能力包依賴關(guān)系及權(quán)限配置等信息進(jìn)行配置，主要流程如下：在build.gradle文件中添加能力包的依賴在AndroidManifest.xml文件中添加應(yīng)用權(quán)限設(shè)置機(jī)器人的基礎(chǔ)硬件能力進(jìn)行初始化表情硬件初始化成功機(jī)器人基礎(chǔ)能力初始化initRobotAbility方法延遲3秒顯示Love表情方法場景的onCreate方法中調(diào)用初始化方法功能集成示例04實(shí)驗(yàn)思考題在自己機(jī)器上對(duì)開發(fā)環(huán)境配置問題進(jìn)行練習(xí)總結(jié)在實(shí)驗(yàn)過程中遇到的問題和解決方法思考在實(shí)驗(yàn)過程中還有哪些可以完善的01OPTION0203用人工智能助力人才培養(yǎng)學(xué)習(xí)未來創(chuàng)造未來機(jī)器人開發(fā)平臺(tái)介紹一機(jī)器人課程體系介紹二三目錄小途機(jī)器人產(chǎn)品介紹機(jī)器人開發(fā)平臺(tái)介紹機(jī)器人基礎(chǔ)能力介紹四基于服務(wù)機(jī)器人，用于AI核心能力開發(fā)，包括：1）機(jī)器人本體；2）開發(fā)板：主控一、主控二、電源板；3）教學(xué)平臺(tái)：封裝的能力包、詳細(xì)的開發(fā)文檔、示例DEMO；4）定制化系統(tǒng)：系統(tǒng)硬件固件、系統(tǒng)固件、APP、OAT遠(yuǎn)程升級(jí)；5）人機(jī)交互平臺(tái)：全雙工交互、語義技能定制等一系列實(shí)驗(yàn)開發(fā)套裝。機(jī)器人開發(fā)平臺(tái)機(jī)器人開發(fā)平臺(tái)PCBA燈帶FPC板9849C,V1.0BPCBALOGO板9924C,V1.0身份證閱讀器臺(tái)式居民身份證閱讀器4英寸數(shù)字液晶屏W402384AAA,V0,3.97"&16:10駐極體麥克BOM6027GL100-G323N-R6935PCBA麥克板9848C,V2.0六麥硅膠套麥克風(fēng)陣列硅膠套13.3英寸數(shù)字液晶屏B133HAN02.7,13.3"&16:913.3英寸觸摸屏GPK1376A,V1.0,電容式,13.3"&16:9,帶背膠PCBA主板19845C,V3.0,RK3399,4GBLPDDR3/SAMSUNG,32GBeMMCWIFI內(nèi)置無源天線(短)YJ005S.300235.S01,FPC,2400MHz-2500MHz/5150MHz-5850MHz,引線IPEXⅠ代端子,D1.13*L60mmWIFI內(nèi)置無源天線(長)YJ005S.300236.S01,FPC,2400MHz-2500MHz/5150MHz-5850MHz,引線IPEXⅠ代端子,D1.13*L157mmRTC電池CR2032-CMOS-2PIN1.25-40-厚膠,鋰離子,200mAh,3VPCBA主板29846C,V3.0,RK3399,4GBLPDDR3/SAMSUNG,32GBeMMCPCBA電源板9847C,V3.0PCBAUSB板9923C,V1.0揚(yáng)聲器MDX040A08426U-08X-01帶屏蔽LVDS線20454-30P=20454-30P-350mm-異面,有鹵/AD-170803-001非標(biāo)連接線-12.5-12P=2.5-12P-850mm-同面,帶導(dǎo)電布及醋酸膠布,有鹵/0319-JL012-850-2非標(biāo)連接線-22.5-12P=2.5-12P-500mm-同面,帶導(dǎo)電布及醋酸膠布,有鹵/PHB-12P-12P-500非標(biāo)連接線-32.5-16Y=2.5-16Y-500mm&MX1.25-6Y-600mm-同面多色,帶導(dǎo)電布及醋酸膠布,有鹵/PHB-16P-16P-500+MX1.25-6Y-600非標(biāo)連接線-4MX1.25-6Y=PHB-6Y-200mm-同面,有鹵非標(biāo)連接線-5PHB-18P=4P-400+PH-4Y-600同面-MH1.25-5P+SH1.0-4P-400+SM-2Y-300,加屏蔽線,有鹵/一豐非標(biāo)連接線-6USBB公-DC5525=PHB2.0-10P-800mm,有鹵非標(biāo)連接線-72.5-8P=2.5-8P-1250mm-同面,帶導(dǎo)電布及醋酸膠布,有鹵/0319-JL008-1250-2非標(biāo)連接線-8PHB-18P=6P-200-4P-400-3P-300-4P-400,帶醋酸膠布,有鹵非標(biāo)連接線-92.5-16Y=2.5-8Y-200mm&2.5-8Y-600mm-同面多色,帶導(dǎo)電布及醋酸膠布,有鹵/PHB-16P-8P-600-8P-200網(wǎng)絡(luò)連接線-1直通線,600mm,黑色,不帶護(hù)套,有鹵/0319-RJ45-600網(wǎng)絡(luò)線電源轉(zhuǎn)接線KZ-WJ2EDGKA-5.08-3P,公座,3P,5.08mm,單排,綠色DC5521100mm熱縮電源適配器DELLDA295PSO-0124V-12.3A直流減速電機(jī)TJP66FGb50i-24V-60R-Z6074舵機(jī)DHV840攝像頭11320-8M-FF-V10攝像頭21310-8M-FF-V103D攝像頭ASTRAS，焊接4Pin的插座打印機(jī)MS-D347-TL，USB通信，配高度65mm打印紙支架熱敏打印紙紙張寬度80mm，紙卷直徑50mmUSB數(shù)據(jù)線Type-A，Micro-B3D攝像頭前置攝像頭與高拍儀臉部燈帶、腹部燈帶、眼睛屏六麥麥克風(fēng)陣列身份證閱讀器打印機(jī)舵機(jī)、直流減速電機(jī)一機(jī)器人課程體系介紹二三目錄小途機(jī)器人產(chǎn)品介紹機(jī)器人開發(fā)平臺(tái)介紹機(jī)器人基礎(chǔ)能力介紹四相關(guān)依賴能力包Starrobot-ttsability-1.0.0.aar語音合成依賴庫starrobot-mscability-1.0.0.aarmsc能力庫starrobot-commonAbility-1.0.0.aar機(jī)器人能力庫starrobot-logability-1.0.0.aar機(jī)器人能力log庫starrobot-aiuiability-1.0.0.aarAIUI能力庫Msc.jarMSC基礎(chǔ)依賴庫hydra-framework-2.1.0.aarhydra混合框架基礎(chǔ)庫croods-mserver-.aarhydra混合框架服務(wù)庫croods-cmpt-utils-.aarhydra混合框架工具庫ocrability-release.aarOcr識(shí)別庫cropability-release.aar圖片裁切工具庫FaceEngineJni_V1_3.jar人臉離線識(shí)別引擎jnilibs

.so庫cfg

AIUI配置文件，以及本地的資源配置文件ivw語音合成依賴的文件vad音頻監(jiān)測工具文件platform.jks項(xiàng)目編譯的簽名文件服務(wù)機(jī)器人硬件結(jié)構(gòu)頭部麥克風(fēng)陣列、表情屏幕、單目攝像頭軀干景深攝像頭、13.3寸主顯示屏、高拍儀、身份證閱讀器、票據(jù)打印機(jī)、揚(yáng)聲器底盤差速輪式驅(qū)動(dòng)底盤01020304140CM60CM頸部支持頭部轉(zhuǎn)動(dòng)硬件能力管理機(jī)器人所有功能部件的能力管理通過調(diào)用統(tǒng)一的硬件管理類HardwareServer中相應(yīng)的功能接口實(shí)現(xiàn)，該功能類采用單例的模式，在硬件能力初始化時(shí)自動(dòng)注冊，進(jìn)行硬件能力調(diào)用時(shí)直接使用即可?！觖溈孙L(fēng)陣列

聲源定位噪聲抑制□單目攝像頭人像采集人臉識(shí)別圖像分析□雙目攝像頭測距物體識(shí)別動(dòng)作識(shí)別□LCD顯示屏屏幕觸摸操控□身份證閱讀器□揚(yáng)聲器□打印票據(jù)出口□資料拍攝區(qū)□激光傳感器測距地圖建?！醭暡▊鞲衅鳒y距避障□底盤燈帶□急停按鈕□攝像頭□打印機(jī)倉蓋板□紅外線傳感器□充電片□電源按鈕□攝像頭□高拍儀證件拍攝證件識(shí)別證件剪裁□票據(jù)打印機(jī)□雙目攝像頭測距避障

路徑規(guī)劃移動(dòng)導(dǎo)航自主充電□LCD顯示屏表情屏幕表情展示關(guān)機(jī)EYE_SHUT_DOWN生氣EYE_OPERATE_ANGLE暈EYE_OPERATE_DIZZY疑問EYE_OPERATE_QUESTION傷心EYE_OPERATE_SAD睡覺EYE_OPERATE_SHEEP等待EYE_OPERATE_WAIT閃爍EYE_OPERATE_BLINK無聊EYE_OPERATE_BORED拍照EYE_OPERATE_CAMERA開心EYE_OPERATE_HAPPY愛心EYE_OPERATE_LOVE哭泣EYE_OPERATE_WEEP連網(wǎng)EYE_OPERATE_WIFI吃驚EYE_OPERATE_SURPRISED喚醒EYE_OPERATE_WAKEUP……方法：HardwareServer.getInstance().doEmojiAction(mode)參數(shù)：mode需要顯示的表情（int）//機(jī)器人做開心表情

HardwareServer.getInstance().doEmojiAction(EmojiAction.MODE.EYE_OPERATE_HAPPY);燈帶效果——面部燈帶從左到右MODE_LEFT_RIGHT

從右到左MODE_RIGHT_LEFT

從中間到兩邊MODE_EDGE_CENTER從兩邊到中間MODE_CENTER_EDGE紅色

COLOR_RED綠色

COLOR_GREEN藍(lán)色

COLOR_BLUE……方法：HardwareServer.getInstance().doFaceLightAction(mode)參數(shù)：mode顯示的效果（byte）//面部燈帶效果：從兩邊到中間

HardwareServer.getInstance().doFaceLightAction(LightCode.FaceLight.MODE_EDGE_CENTER);燈帶效果——腹部燈帶1、打開腹部燈帶方法：HardwareServer.getInstance().takeCenterLightOn();2、關(guān)閉腹部燈帶方法：HardwareServer.getInstance().takeCenterLightOff();3、腹部燈帶閃爍方法：HardwareServer.getInstance().takeCenterLightBlink();紅外線測距方法：HardwareServer.getInstance().getTDistance();返回類型：float//獲取距離

floatdistance=HardwareServer.getInstance().getTDistance();身份證掃描儀方法：HardwareServer.getInstance().startIdScanWithListener(callback);參數(shù)：callback身份證掃描信息結(jié)果反饋（BaseHardware.idScanCallback）身份證掃描儀機(jī)器人能力初始化身份證掃描能力調(diào)用身份證掃描能力監(jiān)聽身份證信息展示身份證數(shù)據(jù)解析if(b&&TextUtils.equals(s,"idscanner")){

//調(diào)用身份證掃描儀監(jiān)聽方法

initIdCardListener();}

else{

Log.e(TAG,“身份證掃描能力初始化失敗");}//身份證掃描儀能力監(jiān)聽

privatevoidinitIdCardListener(){

HardwareServer.getInstance().startIdScanWithListener(newBaseHardware.idScanCallback(){@Override

public

voidonIDscanEnd(IDCardInfoidCardInfo,byte[]bytes){ }});}IDCardInfoidCardInfobyte[]bytes//身份證照片StarCommonAbility.getInstance().initAbility(this.getApplicationContext(),RobotType.TYPE_TEACHING,newStarCommonAbility.onResultCallback(){@Override

public

voidonResult(booleanb,Strings){

}});打印機(jī)/*定義打印格式（行）*/List<PrinterLines>data=newArrayList();PrinterLinesitem0=newPrinterLines(1,1,1,1);item0.setText("申請(qǐng)回執(zhí)");item0.setPaintBold(1);//設(shè)置字體加粗data.add(item0);PrinterLinesitem1=newPrinterLines(0,0,1,0);item1.setText("業(yè)務(wù)名稱："+);data.add(item1);方法：HardwareServer.getInstance().print(data,callback)參數(shù)：data打印的數(shù)據(jù)（List<PrinterLines>）callback結(jié)果回調(diào)（BaseHardware.onResultCallback）打印機(jī)/*定義打印格式（行）*/PrinterLinesline2=newPrinterLines();line2.setAlignment(1);line2.addParam(PrintCmd.PrintQrcode("/",25,6,1));line2.setFeedLines(3);printLines.add(line2);打印機(jī)HardwareServer.getInstance().print(data,newBaseHardware.onResultCallback(){@OverridepublicvoidonResult(booleanresult,Stringmessage){if(result){Log.d(TAG,"打印成功");}else{Log.e(TAG,"打印失敗：原因"+message);}}});前置攝像頭/高拍儀Step1.初始化攝像頭服務(wù)Step2.設(shè)置攝像機(jī)準(zhǔn)備狀態(tài)回調(diào)Step3.設(shè)置拍照結(jié)果回調(diào)Step5.關(guān)閉前置攝像頭Step4.打開前置攝像頭//Step2設(shè)置攝像機(jī)準(zhǔn)備狀態(tài)回調(diào)cameraHelper.setOnCameraPrepareListener(newCameraHelper.OnCameraPrepareListener(){@Overridepublicvoidprepare(){//攝像機(jī)服務(wù)已經(jīng)準(zhǔn)備好

//開始調(diào)用拍照

cameraHelper.takePicture();}});//Step4打開前置攝像頭（支持預(yù)覽）cameraHelper.openCamera(frameView,CameraHelper.CAMERAID.CAMERA_FRONT);//Step4打開前置攝像頭（不需要預(yù)覽）cameraHelper.openCamera(CameraHelper.CAMERAID.CAMERA_FRONT);//Step5關(guān)閉攝像頭cameraHelper.closeCamera();//Step1初始化攝像機(jī)服務(wù)CameraHelpercameraHelper=newCameraHelper();//Step3設(shè)置拍照結(jié)果回調(diào)（獲取照片）cameraHelper.setGetBitmapListener(newCameraHelper.GetBitmapListener(){@OverridepublicvoidgetBitmap(Bitmapbitmap){//獲取到的照片bitmap}});底盤調(diào)用底盤能力，實(shí)現(xiàn)底盤相關(guān)功能，包括移動(dòng)、轉(zhuǎn)向、地圖設(shè)置、網(wǎng)絡(luò)設(shè)置等。定點(diǎn)移動(dòng)、直線移動(dòng)指定距離、旋轉(zhuǎn)指定角度、取消移動(dòng)指令、急停、位置校準(zhǔn)、獲取地點(diǎn)列表、獲取底盤實(shí)時(shí)狀態(tài)舵機(jī)與直流減速電機(jī)點(diǎn)頭搖頭向左轉(zhuǎn)頭抬頭低頭水平居中垂直居中向右轉(zhuǎn)頭語音喚醒語音喚醒項(xiàng)目工程搭建及能力包導(dǎo)入注冊硬件能力注冊語音喚醒事件監(jiān)聽監(jiān)聽事件的處理注銷事件監(jiān)聽語音喚醒WakeUpActionHelper

mWakeUpActionHelper=newWakeUpActionHelper(mContext);

mWakeUpActionHelper.setOnWakeUpActionListener(newWakeUpActionHelper.OnWakeUpActionListener(){

@Override

publicbooleangetAngle(intangle){

mWakeupListener.onWakeupSuccess("normal");

returntrue;

}

@Override

publicvoidonRotateEnd(intangle){

}

@Override

publicvoidonForwardEnd(){

}

});機(jī)器人應(yīng)用能力概覽語義理解身份證信息讀取語音合成語音轉(zhuǎn)寫能力拍照打印底盤移動(dòng)頭部動(dòng)作表情燈帶OCR人臉識(shí)別圖像裁剪語音喚醒測距硬件能力軟件能力人臉識(shí)別引擎語義理解引擎語音合成引擎語音轉(zhuǎn)寫引擎引擎OCR引擎機(jī)器人+咨詢應(yīng)用機(jī)器人+辦事機(jī)器人+帶路機(jī)器人……語音識(shí)別功能的開發(fā)實(shí)現(xiàn)學(xué)習(xí)未來創(chuàng)造未來01實(shí)驗(yàn)?zāi)康牧私釧IUI開放平臺(tái)賬號(hào)申請(qǐng)、應(yīng)用創(chuàng)建及配置掌握使用開發(fā)套件完成機(jī)器人智能應(yīng)用的開發(fā)與調(diào)試掌握語音識(shí)別能力接口的調(diào)用開發(fā)02實(shí)驗(yàn)條件和工具實(shí)驗(yàn)環(huán)境

AndroidStudio智能機(jī)器人套件（語音識(shí)別模塊）AIUI平臺(tái)PC機(jī)03實(shí)驗(yàn)步驟步驟1AIUI賬號(hào)申請(qǐng)及平臺(tái)設(shè)置步驟2項(xiàng)目工程搭建及能力包導(dǎo)入步驟3項(xiàng)目AIUI能力導(dǎo)入及配置步驟4功能代碼開發(fā)AIUI賬號(hào)申請(qǐng)及平臺(tái)設(shè)置由于本次實(shí)驗(yàn)開發(fā)語音識(shí)別功能應(yīng)用使用的是科大訊飛的AIUI語音識(shí)別功能，我們需要先到訊飛的AIUI平臺(tái)申請(qǐng)賬號(hào)，并完成平臺(tái)上相關(guān)的功能設(shè)置，具體步驟如下：使用瀏覽器訪問AIUI開放平臺(tái)，地址：/index-aiui；點(diǎn)擊右上角“注冊”按鈕，進(jìn)入注冊頁面，根據(jù)要求完成注冊信息的填寫，注冊賬號(hào)；使用注冊的賬號(hào)登錄AIUI開放平臺(tái)，點(diǎn)擊頁面上方“我的應(yīng)用”菜單，進(jìn)入應(yīng)用管理頁面，在應(yīng)用管理頁面點(diǎn)擊“創(chuàng)建”應(yīng)用按鈕，開始添加應(yīng)用；在應(yīng)用添加界面，輸入應(yīng)用的相關(guān)信息（輸入應(yīng)用名稱，選擇安卓應(yīng)用平臺(tái)，應(yīng)用分類選擇“服務(wù)機(jī)器人”）后，點(diǎn)擊“確認(rèn)創(chuàng)建”按鈕完成應(yīng)用的添加；完成了應(yīng)用的創(chuàng)建后，就進(jìn)入了應(yīng)用的信息顯示界面，在這里，我們可以看到應(yīng)用中需要使用的appid和appkey；點(diǎn)擊頁面右側(cè)的“應(yīng)用配置”菜單，進(jìn)入應(yīng)用配置頁面，在這里，可以對(duì)應(yīng)用的語音識(shí)別參數(shù)進(jìn)行設(shè)置?？筛鶕?jù)產(chǎn)品特點(diǎn)及主要客戶群體按需選擇語種、方言、領(lǐng)域和距離，智能機(jī)器人及開發(fā)板套件采用了6麥麥克風(fēng)環(huán)形陣列，為遠(yuǎn)程拾音模式，可選擇遠(yuǎn)場拾音模式。在“高級(jí)設(shè)置”中，可以對(duì)語音識(shí)別展示效果的選項(xiàng)，可以為“識(shí)別結(jié)果添加標(biāo)點(diǎn)”、“識(shí)別結(jié)果優(yōu)先阿拉伯?dāng)?shù)字”和“progressive流式識(shí)別”。AIUI賬號(hào)申請(qǐng)及平臺(tái)設(shè)置項(xiàng)目工程搭建及能力包導(dǎo)入項(xiàng)目AIUI能力導(dǎo)入及配置項(xiàng)目AIUI能力導(dǎo)入及配置完成了工程項(xiàng)目的搭建后，我們需要在項(xiàng)目工程中集成AIUI能力，具體步驟如下：首先，導(dǎo)入配置文件，將aiui.cfg文件導(dǎo)入到應(yīng)用工程目錄：src/main/assets/cfg/（該文件示例工程同目錄中可獲?。?；修改aiui.cfg文件中的配置信息，修改代碼中*標(biāo)識(shí)的位置，主要包括appid，appkey，scene（場景），將AIUI平臺(tái)創(chuàng)建的應(yīng)用相關(guān)信息填入。功能代碼開發(fā)AIUI能力初始化注冊AIUI監(jiān)聽開啟AIUI服務(wù)關(guān)閉AIUI服務(wù)//始化機(jī)器人AIUI能力

AIUIAbility.getInstance().initAIUIAbility(getApplicationContext());

//初始化語音合成能力

SpeechHelper.getInstance().initSpeech(getApplicationContext());

AIUIAbility.getInstance().addNLPListener(this);

AIUIAbility.getInstance().start();

//注冊aiui監(jiān)聽AIUIHelper.getlnstance().aaddNLPListener(this）/***AIUI的吾文監(jiān)聽回調(diào)。*@param-bean語義結(jié)果數(shù)據(jù)集合*///開始語音處理Executors.newSingleThreadExecuter().submit(new-Runnable(){@Override·public-voidrun(){AlUlHelper.getlnstance()}});//停止AIUI服務(wù)AIUIHelper.getlnstance().stop();04實(shí)驗(yàn)思考題在自己機(jī)器上對(duì)開發(fā)環(huán)境配置問題進(jìn)行練習(xí)利用AIUI技能，設(shè)計(jì)某一場景下語音設(shè)計(jì)思考語音識(shí)別基本原理，調(diào)研相關(guān)文獻(xiàn)和資源01OPTION0203用人工智能助力人才培養(yǎng)學(xué)習(xí)未來創(chuàng)造未來語音合成功能的開發(fā)實(shí)現(xiàn)學(xué)習(xí)未來創(chuàng)造未來01實(shí)驗(yàn)?zāi)康牧私釧IUI開放平臺(tái)賬號(hào)申請(qǐng)、應(yīng)用創(chuàng)建及配置掌握使用開發(fā)套件完成機(jī)器人智能應(yīng)用的開發(fā)與調(diào)試掌握語音合成能力接口的調(diào)用開發(fā)02實(shí)驗(yàn)條件和工具實(shí)驗(yàn)環(huán)境JDK1.81.AndroidStudio2.ADB1.0.40機(jī)器人基礎(chǔ)能力包機(jī)器人AIUI能力包機(jī)器人開發(fā)平臺(tái)PC設(shè)備03實(shí)驗(yàn)步驟步驟1AIUI開放平臺(tái)應(yīng)用添加及設(shè)置步驟2項(xiàng)目工程搭建及能力包導(dǎo)入步驟3項(xiàng)目AIUI能力導(dǎo)入及配置步驟4功能代碼開發(fā)AIUI開放平臺(tái)應(yīng)用添加及設(shè)置參考“語音識(shí)別技術(shù)體驗(yàn)_實(shí)驗(yàn)指導(dǎo)書”完成AIUI開發(fā)平臺(tái)的應(yīng)用添加，獲取應(yīng)用的appid和appkey項(xiàng)目工程搭建及能力包導(dǎo)入?yún)⒖肌胺?wù)機(jī)器人開發(fā)環(huán)境搭建_實(shí)驗(yàn)指導(dǎo)書”，包導(dǎo)入后需要進(jìn)行編譯配置等操作項(xiàng)目AIUI能力導(dǎo)入及配置完成了工程項(xiàng)目的搭建后，我們需要在項(xiàng)目工程中集成AIUI能力，具體步驟如下：1）首先導(dǎo)入配置文件，將aiui.cfg文件導(dǎo)入到應(yīng)用工程目錄：src/main/assets/cfg/（該文件示例工程同目錄中可獲取）；2）修改aiui.cfg文件中的配置信息，主要包括appid，appkey，scene（場景），將AIUI平臺(tái)創(chuàng)建的應(yīng)用相關(guān)信息填入。功能代碼開發(fā)AIUI能力初始化注冊AIUI監(jiān)聽解析處理語義指令語音合成調(diào)用關(guān)閉AIUI服務(wù)//延遲調(diào)用語音合成方法

newHandler().postDelayed(newRunnable(){

@Override

publicvoidrun(){SpeechHelper.getInstance().speak("大家好，我是智能機(jī)器人助理，有問題可以直接問我哦");}

},5000);//解析AIUI結(jié)果，處理語義指令@Override

publicvoidonAiuiResponse(Stringsemantic){

Log.d("語義結(jié)果",semantic);

}

04實(shí)驗(yàn)思考題在自己機(jī)器上對(duì)開發(fā)環(huán)境配置問題進(jìn)行練習(xí)利用AIUI技能，給自己項(xiàng)目添加新的技能思考語音合成基本原理，調(diào)研相關(guān)文獻(xiàn)和資源01OPTION0203用人工智能助力人才培養(yǎng)學(xué)習(xí)未來創(chuàng)造未來語音交互問答庫及技能設(shè)計(jì)學(xué)習(xí)未來創(chuàng)造未來01實(shí)驗(yàn)?zāi)康牧私釧IUI商店技能、自定義技能和問答庫的添加基本流程了解AIUI平臺(tái)語義設(shè)計(jì)和配置方法掌握基礎(chǔ)的語義技能中意圖、語料、實(shí)體及輔助詞的配置方法02實(shí)驗(yàn)條件和工具實(shí)驗(yàn)環(huán)境JDK1.81.AndroidStudio2.ADB1.0.40機(jī)器人基礎(chǔ)能力包機(jī)器人AIUI能力包機(jī)器人開發(fā)平臺(tái)電腦；瀏覽器PC設(shè)備03實(shí)驗(yàn)步驟步驟1AIUI開放平臺(tái)應(yīng)用添加及設(shè)置步驟2項(xiàng)目工程搭建及能力包導(dǎo)入步驟3項(xiàng)目AIUI能力導(dǎo)入及配置步驟4功能代碼開發(fā)AIUI開放平臺(tái)應(yīng)用添加及設(shè)置在使用AIUI開放平臺(tái)的語義理解功能之前，我們需要先參考“語音識(shí)別技術(shù)體驗(yàn)_實(shí)驗(yàn)指導(dǎo)書”完成應(yīng)用的添加，然后，在應(yīng)用配置頁面開啟應(yīng)用的“語義理解”功能。開啟了應(yīng)用的語義理解功能之后，我們就可以對(duì)應(yīng)用的語義技能進(jìn)行配置了，包括商店技能、自定義問答和自定義技能的添加，其中自定義問答和自定義技能需要在技能工作室中進(jìn)行配置。AIUI開放平臺(tái)應(yīng)用添加及設(shè)置——商店技能

技能商店中的很多開放技能都提供免費(fèi)使用，我們可以直接在應(yīng)用中集成這些技能。

在應(yīng)用配置頁面的“語義技能”區(qū)域點(diǎn)擊下方的“商店技能”，然后點(diǎn)擊下方的“添加商店技能”按鈕。在彈出的技能添加界面，選擇我們需要添加的商店技能（在本次實(shí)驗(yàn)中，我們添加“天氣”，“航班”，“笑話”三個(gè)商店技能），然后點(diǎn)擊界面下方的“確定”按鈕，完成技能的添加。

完成技能的添加后，我們需要點(diǎn)擊頁面左上角的“保存修改”按鈕，保存我們應(yīng)用的配置信息。AIUI開放平臺(tái)應(yīng)用添加及設(shè)置——技能工作室當(dāng)商店技能無法滿足我們個(gè)性化的需求，需要處理特定的任務(wù)，例如，實(shí)現(xiàn)校園卡業(yè)務(wù)的咨詢和辦理，日常的帶路等任務(wù)時(shí)，我們可以利用技能工作室（SkillStudio）完成自定義技能的設(shè)計(jì)、開發(fā)、測試、發(fā)布等工作；開發(fā)者可以通過可視化的界面，快速高效地將自己的創(chuàng)意、產(chǎn)品或服務(wù)，通過語音技能傳達(dá)給智能硬件的用戶。點(diǎn)擊AIUI開放平臺(tái)頁面上方的“技能工作室”菜單，進(jìn)入“技能控制臺(tái)”頁面。AIUI開放平臺(tái)應(yīng)用添加及設(shè)置——我的問答庫在某些較為簡單場景中，我們希望智能硬件設(shè)備在接收到指定問題時(shí)能夠回答固定的一種或幾種答復(fù)時(shí)，例如Q：“你的名字是什么”A：“我叫小途，是你的貼心秘書”，可以利用“我的問答庫”功能實(shí)現(xiàn)。問答庫的QA沒有語法上的要求，按正常表述習(xí)慣錄入即可。同時(shí)平臺(tái)支持“一問一答”、“一問多答”和“多問多答”的配置。操作步驟：點(diǎn)擊“創(chuàng)建問答庫”按鈕，填入問答庫名稱，點(diǎn)擊“創(chuàng)建”即可完成創(chuàng)建。繼續(xù)創(chuàng)建主題，填入想要的問題和答案即可。另外，問答對(duì)可以通過excel模板編輯后進(jìn)行批量導(dǎo)入和導(dǎo)出操作。AIUI開放平臺(tái)應(yīng)用添加及設(shè)置——我的技能語音技能（Skill）是指智能硬件可以使用自然的語言交流提供服務(wù)的能力，實(shí)現(xiàn)不同服務(wù)的能力，可以定義為一個(gè)技能。例如，實(shí)現(xiàn)天氣查詢服務(wù)，我們定義了“天氣”技能；實(shí)現(xiàn)機(jī)器人控制服務(wù)，我們定義了“機(jī)器人控制”技能。意圖指用戶在技能中可能的請(qǐng)求或目的。作為“機(jī)器人控制”技能，可以滿足用戶增大音量、減小音量、查詢電量等需求。AIUI開放平臺(tái)應(yīng)用添加及設(shè)置——我的技能用戶在完成某一意圖時(shí)，可能會(huì)有很多種提問方式，這些提問方式我們統(tǒng)稱為語料。為保證良好的體驗(yàn)，開發(fā)者需要盡可能完善用戶所有的提問方式。下表展示了“機(jī)器人控制”技能中的意圖和語料。技能意圖語料機(jī)器人控制增大聲音聲音大一點(diǎn)大點(diǎn)聲減小聲音聲音小點(diǎn)我聽不見電量查詢你還有多少電你沒電了嗎AIUI開放平臺(tái)應(yīng)用添加及設(shè)置——我的技能為了方便快速編寫相似語料，模板語料提供了可選的寫法幫我（呼叫|撥打）張三[的電話|的手機(jī)]，等同于：幫我呼叫張三幫我撥打張三的電話幫我撥打張三的手機(jī)符號(hào)釋義（）必選符，不可缺省[]可選符，可缺省{}語義槽|或AIUI開放平臺(tái)應(yīng)用添加及設(shè)置——實(shí)體與輔助詞語料中，同一類型的名詞將會(huì)被總結(jié)為實(shí)體。示例：明天合肥天氣怎么樣后天北京天氣怎么樣抽象成模板語料為：{time}{city}天氣怎么樣其中，time為時(shí)間實(shí)體，city為城市實(shí)體。為了滿足開發(fā)者快速編寫語料的需求，同時(shí)兼顧語料的可維護(hù)性，平臺(tái)提出了輔助詞的概念。實(shí)體和輔助詞在本質(zhì)上都是同一類詞的集合，一些會(huì)嚴(yán)重影響到我們理解的詞，我們傾向使用實(shí)體去定義，另一些不會(huì)太影響我們理解的詞，我們則傾向于用輔助詞去定義。在如下語料中：[幫我][定一下]從{合肥}到{廣州}的[飛機(jī)票][我要][買一張]從{合肥}到{廣州}的[機(jī)票][給我][預(yù)約]從{合肥}到{廣州}的[航班]語料的主體結(jié)構(gòu)沒有變化，開發(fā)者實(shí)際關(guān)注的信息也只有出發(fā)地和目的地，但是用戶的表達(dá)方式卻千變?nèi)f化，此時(shí)我們可以把這句話抽象成：{helpMe}{book}從{startCity}到{endCity}的{ticket}其中，startCity和endCity為實(shí)體，helpMe、book和ticket的為輔助詞項(xiàng)目工程搭建及能力包導(dǎo)入?yún)⒖肌胺?wù)機(jī)器人開發(fā)環(huán)境搭建_實(shí)驗(yàn)指導(dǎo)書”，包導(dǎo)入后需要進(jìn)行編譯配置等操作項(xiàng)目AIUI能力導(dǎo)入及配置完成了工程項(xiàng)目的搭建后，我們需要在項(xiàng)目工程中集成AIUI能力，具體步驟如下：1）首先，導(dǎo)入配置文件，將aiui.cfg文件導(dǎo)入到應(yīng)用工程目錄：src/main/assets/cfg/（該文件示例工程同目錄中可獲取）；2）修改aiui.cfg文件中的配置信息修改代碼中*標(biāo)識(shí)的位置，主要包括appid，appkey，scene（場景），將AIUI平臺(tái)創(chuàng)建的應(yīng)用相關(guān)信息填入功能代碼開發(fā)AIUI能力初始化解析處理語義指令注冊AIUI監(jiān)聽關(guān)閉AIUI服務(wù)04實(shí)驗(yàn)思考題在自己機(jī)器上對(duì)開發(fā)環(huán)境配置問題進(jìn)行練習(xí)思考語義理解基本原理，查找相關(guān)文獻(xiàn)和資源思考語義理解的整個(gè)流程01OPTION0203用人工智能助力人才培養(yǎng)學(xué)習(xí)未來創(chuàng)造未來學(xué)習(xí)未來創(chuàng)造未來語音查詢功能的開發(fā)實(shí)現(xiàn)01實(shí)驗(yàn)?zāi)康氖炀氄莆照Z音合成、語音識(shí)別、語義理解相關(guān)技術(shù)的使用方法能夠基于業(yè)務(wù)需求完成簡單的語義設(shè)計(jì)掌握簡單的語音交互場景設(shè)計(jì)，并能完成語音交互智能應(yīng)用的開發(fā)02實(shí)驗(yàn)條件和工具實(shí)驗(yàn)環(huán)境JDK1.81.AndroidStudio2.ADB1.0.40機(jī)器人基礎(chǔ)能力包機(jī)器人AIUI能力包機(jī)器人開發(fā)平臺(tái)PC設(shè)備03實(shí)驗(yàn)步驟步驟1交互場景需求設(shè)計(jì)步驟2AIUI開放平臺(tái)應(yīng)用添加及設(shè)置步驟3項(xiàng)目工程搭建及能力包導(dǎo)入步驟4項(xiàng)目AIUI能力導(dǎo)入及配置步驟5功能代碼開發(fā)交互場景需求設(shè)計(jì)在本次實(shí)驗(yàn)中，我們基于機(jī)器人開發(fā)平臺(tái)完成一個(gè)智能語音客服系統(tǒng)，該系統(tǒng)圍繞在線商城的業(yè)務(wù)咨詢場景，可以識(shí)別和理解用戶通過語音提出的問題，并對(duì)問題進(jìn)行語音回答；該系統(tǒng)需要支持以下場景的語音交互問答：閑聊（包括天氣問詢、維基百科、唐詩宋詞）商品咨詢（包括商品描述、價(jià)格、庫存信息等）訂單查詢（查詢訂單狀態(tài)、物流狀態(tài)等）所有的這些功能，都是通過人機(jī)交互的方式，由機(jī)器人開發(fā)平臺(tái)與用戶進(jìn)行直接的語言溝通進(jìn)行展現(xiàn)。AIUI開放平臺(tái)應(yīng)用添加及設(shè)置獲取appid和appkey參考“語音識(shí)別技術(shù)體驗(yàn)_實(shí)驗(yàn)指導(dǎo)書”完成AIUI開放平臺(tái)的應(yīng)用添加，獲取應(yīng)用的appid和appkey開啟“語義理解”功能在應(yīng)用配置頁面開啟應(yīng)用的“語義理解”功能添加商店技能在應(yīng)用配置頁面完成商店技能“天氣”、“百科”、“詩詞對(duì)答”的添加添加自定義問答在應(yīng)用配置頁面完成自定義問答的添加添加自定義技能在AIUI平臺(tái)完成自定義技能的添加，具體的添加操作可以參考實(shí)驗(yàn)指導(dǎo)書保存應(yīng)用配置保存AIUI平臺(tái)的應(yīng)用配置項(xiàng)目工程搭建及能力包導(dǎo)入?yún)⒖肌胺?wù)機(jī)器人開發(fā)環(huán)境搭建_實(shí)驗(yàn)指導(dǎo)書”，包導(dǎo)入后需要進(jìn)行編譯配置等操作項(xiàng)目AIUI能力導(dǎo)入及配置完成了工程項(xiàng)目的搭建后，我們需要在項(xiàng)目工程中集成AIUI能力，具體步驟如下：首先，導(dǎo)入配置文件，將aiui.cfg文件導(dǎo)入到應(yīng)用工程目錄：src/main/assets/cfg/（該文件示例工程同目錄中可獲取）修改aiui.cfg文件中的配置信息修改代碼中*標(biāo)識(shí)的位置，主要包括appid，appkey，scene（場景），將AIUI平臺(tái)創(chuàng)建的應(yīng)用相關(guān)信息填入。功能代碼開發(fā)——AIUI能力的集成機(jī)器人能力初始化初始化AIUI能力語音識(shí)別AIUI能力停止AIUI服務(wù)解析處理語義指令//解析AIUI結(jié)果，處理語義指令@Override

publicvoidonAiuiResponse(Stringsemantic){

Log.d("語義結(jié)果",semantic);

}//能力層初始化StarRobotAbility.getInstance().initAbility(getApplicationContext(),newStarRobotAbility.onResultCallback(){

}

if(isSuccess){

//初始化AIUI能力

initAIUI();}

else{

Log.e(TAG,"能力初始化失敗，原因:"+msg);}//語音識(shí)別AIUI能力初始化

privatevoidinitAIUI(){

//注冊aiui監(jiān)聽

AIUIHelper.getInstance().addNLPListener(this);AIUIHelper.getInstance().setInputMode(AIUIAdapter.MODE_VOICE);

AIUIHelper.getInstance().setSleepEnable(false);

AIUIHelper.getInstance().start();}//停止AIUI服務(wù)

AIUIHelper.getInstance().stop();功能代碼開發(fā)——語音交互結(jié)果進(jìn)行處理創(chuàng)建json數(shù)據(jù)解析類回調(diào)方法中進(jìn)行解析數(shù)據(jù)讀取語音合成調(diào)用語音內(nèi)容播放//json數(shù)據(jù)解析的類，用來配合Gson工具進(jìn)行解析publicclassSemanticBean{

//用戶說的話

privateStringtext="";

//響應(yīng)碼

privateStringrc="-1";//用于json解析

publicstaticTypegetClassType(){

returnnewTypeToken<SemanticBean>(){}.getType();}}//onAiuiResponse回調(diào)方法中進(jìn)行數(shù)據(jù)解析

publicvoidonAiuiResponse(Stringsemantic){

….}//解析AIUI結(jié)果SemanticBeansemanticBean=(SemanticBean)jsonToObject(semantic,SemanticBean.class);

//text內(nèi)容不為空時(shí)直接進(jìn)行語音合成

if(!TextUtils.isEmpty(semanticBean.getAnswer())){SpeechHelper.getInstance().speak(semanticBean.getAnswer());}04實(shí)驗(yàn)思考題在自己機(jī)器上對(duì)開發(fā)環(huán)境配置問題進(jìn)行練習(xí)利用AIUI技能時(shí)，遇到哪些問題，如何解決的嘗試平臺(tái)上的其它技能0102OPTION0203用人工智能助力人才培養(yǎng)學(xué)習(xí)未來創(chuàng)造未來人臉識(shí)別功能開發(fā)實(shí)現(xiàn)學(xué)習(xí)未來創(chuàng)造未來01人臉識(shí)別技術(shù)簡介人臉識(shí)別——人臉檢測對(duì)圖片或視頻流中的人臉進(jìn)行檢測人臉識(shí)別——人臉關(guān)鍵點(diǎn)定位對(duì)人臉特征中的關(guān)鍵點(diǎn)進(jìn)行定位人臉識(shí)別——人臉身份驗(yàn)證對(duì)兩張上傳的人臉照片進(jìn)行比對(duì)，來判斷是否為同一個(gè)人人臉識(shí)別——人臉屬性準(zhǔn)確識(shí)別人臉屬性類別，例如性別、年齡、表情、胡須、面部動(dòng)作狀態(tài)等?？梢杂糜趶V告定向投放或顧客信息分析，讓你秒懂客戶心。人臉識(shí)別——人臉?biāo)阉鞲鶕?jù)采集的人臉圖片，在已有的人臉庫中進(jìn)行快速的檢索，匹配出相似度高的人臉結(jié)果人臉識(shí)別——技術(shù)流程人臉圖像采集及檢測人臉圖像預(yù)處理人臉圖像特征提取人臉圖像匹配與識(shí)別02訊飛開放平臺(tái)人臉識(shí)別介紹訊飛開放平臺(tái)使用人臉識(shí)別——人臉比對(duì)人臉識(shí)別——人臉比對(duì)人臉識(shí)別——人臉比對(duì)（人證合一）通過上傳兩張照片，對(duì)比兩張照片中的人臉特征信息，判斷是否為同一個(gè)人并返回對(duì)應(yīng)相似度分值。人臉識(shí)別——人臉比對(duì)（人證合一）通過上傳兩張照片，對(duì)比兩張照片中的人臉特征信息，判斷是否為同一個(gè)人并返回對(duì)應(yīng)相似度分值。人臉識(shí)別——人臉比對(duì)（人證合一）通過上傳兩張照片，對(duì)比兩張照片中的人臉特征信息，判斷是否為同一個(gè)人并返回對(duì)應(yīng)相似度分值。人臉識(shí)別——人臉比對(duì)人臉識(shí)別——人臉比對(duì)（人證合一）開發(fā)配置完成后，需要在開發(fā)平臺(tái)對(duì)于的應(yīng)用Appid的人臉比對(duì)功能下設(shè)置IP白名單，否則人臉比對(duì)會(huì)失敗人臉識(shí)別——人臉比對(duì)（人證合一）開發(fā)配置完成后，需要在開發(fā)平臺(tái)對(duì)于的應(yīng)用Appid的人臉比對(duì)功能下設(shè)置IP白名單，否則人臉比對(duì)會(huì)失敗人臉識(shí)別——人臉驗(yàn)證與檢索人臉識(shí)別——人臉驗(yàn)證與檢索人臉驗(yàn)證——1:1相似度對(duì)比通過提取兩張人臉的特征進(jìn)行相似度對(duì)比，最終返回相應(yīng)的置信度得分，系統(tǒng)根據(jù)特征匹配程度決定“拒絕”或者“接受”。用于判斷兩個(gè)輸入人臉是否屬于同一人，適用于身份識(shí)別及相似臉查詢等應(yīng)用查詢?nèi)四槞z索——1:N相似度對(duì)比在大規(guī)模人臉數(shù)據(jù)庫中找出與待檢索人臉相似度最高的一個(gè)或多個(gè)人臉。本系統(tǒng)通過預(yù)先創(chuàng)建的待查人員的面部特征索引，可以在百萬級(jí)別以上人臉數(shù)據(jù)庫中迅速查找，可用于身份確認(rèn)以及身份查詢等應(yīng)用場景03人臉識(shí)別流程及接口方法

訊飛開放平臺(tái)賬號(hào)創(chuàng)建注冊賬號(hào)實(shí)名認(rèn)證創(chuàng)建自己的應(yīng)用訊飛開放平臺(tái)網(wǎng)址：/

人臉識(shí)別——人臉驗(yàn)證與檢索人臉識(shí)別——人臉驗(yàn)證與檢索04實(shí)驗(yàn)?zāi)繕?biāo)了解訊飛開放平臺(tái)MSC的人臉識(shí)別技術(shù)掌握機(jī)器人開發(fā)套件相機(jī)的使用掌握人臉識(shí)別功能在機(jī)器人上的應(yīng)用開發(fā)05實(shí)驗(yàn)條件和工具實(shí)驗(yàn)環(huán)境JDK1.81.AndroidStudio2.ADB1.0.40機(jī)器人基礎(chǔ)能力包PC設(shè)備；機(jī)器人開發(fā)平臺(tái)訊飛開放平臺(tái)SDK包06實(shí)驗(yàn)步驟步驟1開放平臺(tái)賬號(hào)申請(qǐng)及能力注冊步驟2項(xiàng)目工程搭建及能力包導(dǎo)入步驟3項(xiàng)目MSC能力導(dǎo)入步驟4功能代碼開發(fā)開放平臺(tái)賬號(hào)申請(qǐng)及能力注冊由于本次實(shí)驗(yàn)開發(fā)的人臉識(shí)別功能應(yīng)用使用的是科大訊飛開放平臺(tái)提供的人臉識(shí)別能力，我們需要先到訊飛的開放平臺(tái)申請(qǐng)賬號(hào)，并完成平臺(tái)上相關(guān)能力注冊，具體流程如下：首先，我們要在訊飛開放平臺(tái)進(jìn)行賬號(hào)注冊，地址：/完成注冊后，登陸開放平臺(tái)，進(jìn)入控制臺(tái)點(diǎn)擊“創(chuàng)建應(yīng)用”，完成應(yīng)用相關(guān)信息的輸入后，點(diǎn)擊“提交”按鈕此時(shí)，進(jìn)入“我的應(yīng)用”界面，可以看到添加的應(yīng)用信息，包括appid等，點(diǎn)擊“其他”，在彈出的界面中選擇“人臉驗(yàn)證與檢索”的管理服務(wù)，可以選擇對(duì)應(yīng)的服務(wù)完成SDK的下載點(diǎn)擊“SDK下載”按鈕，下載開放平臺(tái)的MSC能力包開放平臺(tái)賬號(hào)申請(qǐng)及能力注冊項(xiàng)目工程搭建及能力包導(dǎo)入?yún)⒖肌胺?wù)機(jī)器人開發(fā)環(huán)境搭建_實(shí)驗(yàn)指導(dǎo)書”，包導(dǎo)入后需要進(jìn)行編譯配置等操作項(xiàng)目MSC能力導(dǎo)入

完成了工程項(xiàng)目的搭建后，我們需要在項(xiàng)目工程中集成開放平臺(tái)的MSC能力，具體步驟如下：首先，將MSC能力包文件mscability-release.aar文件拷貝到項(xiàng)目工程的/app/libs目錄下；然后，解壓從訊飛開放平臺(tái)下載的人臉識(shí)別SDK能力包，在libs目錄下找到Msc.jar文件，拷貝到項(xiàng)目工程目錄/app/libs目錄下；接著，將SDK能力包libs目錄下的所有armeabi目錄拷貝到工程目錄/app/src/main/jniLibs下（若沒有這個(gè)目錄，自己創(chuàng)建）。項(xiàng)目MSC能力導(dǎo)入完成SDK的集成后，我們需要再編譯配置文件中進(jìn)行能力包的導(dǎo)入配置，打開app目錄下的build.gradle文件，添加下圖中紅框位置中代碼：進(jìn)行拍照人臉注冊人臉識(shí)別創(chuàng)建人臉組功能代碼開發(fā)——調(diào)試運(yùn)行流程功能代碼開發(fā)——攝像頭拍照及API介紹功能代碼開發(fā)——相機(jī)使用及API介紹CameraHelpercameraHelper=newCameraHelper(mContext);cameraHelper.setOnCameraPrepareListener(newCameraHelper.OnCameraPrepareListener(){@Overridepublicvoidprepare(){Log.d(TAG,"相機(jī)已經(jīng)準(zhǔn)備好");}});cameraHelper.setGetBitmapListener(newCameraHelper.GetBitmapListener(){@OverridepublicvoidgetBitmap(Bitmapbitmap){

}});//打開相機(jī)，0相機(jī)IDcameraHelper.openCamera(frameLayout,0);//獲取預(yù)覽幀cameraHelper.takePreView();//拍照cameraHelper.takePicture();//關(guān)閉相機(jī)cameraHelper.closeCamera();功能代碼開發(fā)MSC能力注冊人臉信息注冊人臉組操作界面控件初始化人臉識(shí)別//開放平臺(tái)應(yīng)用appidprivatefinalstaticStringSPEECH_APPID="********";//注冊MSC能力

StarMscAbility.getInstance().initWithAppid(this,SPEECH_APPID);

//初始化控件

privatevoidinitView(){

//組ID顯示text

mTxtGroupid=findViewById(R.id.groupid);

//人臉標(biāo)識(shí)顯示text

mEdtAuthid=findViewById(R.id.online_authid);…//創(chuàng)建組privatevoidcreateGroup(){

newFaceGroupHelper(this).createGroup(newFaceGroupHelper.onResultCallback(){…//設(shè)置識(shí)別結(jié)果回調(diào)faceDetectHelper.setFaceVerifyResultCallback(newStarMscAbility.onResultCallback(){

@Override

publicvoidonResult(booleanresult,Stringmsg){…//人臉注冊registerHelper.setOnRegisterListener(newFaceRegisterHelper.OnRegisterListener(){

publicvoidonSucceed(){

showToast("注冊成功:"+mEdtAuthid.getText());}07實(shí)驗(yàn)思考題思考人臉識(shí)別流程及基本機(jī)制Android攝像機(jī)調(diào)用、相冊調(diào)用機(jī)制調(diào)研相關(guān)文獻(xiàn)，了解最新人臉識(shí)別技術(shù)原理01OPTION0203用人工智能助力人才培養(yǎng)學(xué)習(xí)未來創(chuàng)造未來證件文字識(shí)別功能開發(fā)實(shí)現(xiàn)學(xué)習(xí)未來創(chuàng)造未來01實(shí)驗(yàn)?zāi)康牧私庥嶏w開放平臺(tái)賬號(hào)申請(qǐng)、應(yīng)用創(chuàng)建及配置了解訊飛開放平臺(tái)文字識(shí)別相關(guān)API掌握身份證識(shí)別WebAPI的使用02實(shí)驗(yàn)條件和工具實(shí)驗(yàn)環(huán)境JDK1.81.AndroidStudio2.ADB1.0.40機(jī)器人基礎(chǔ)能力包機(jī)器人OCR能力包PC設(shè)備機(jī)器人開發(fā)平臺(tái)03實(shí)驗(yàn)步驟步驟1開放平臺(tái)賬號(hào)申請(qǐng)及應(yīng)用創(chuàng)建步驟2項(xiàng)目工程搭建及能力包導(dǎo)入步驟3功能代碼開發(fā)解析處理語義指令開放平臺(tái)賬號(hào)申請(qǐng)及應(yīng)用創(chuàng)建

由于本次實(shí)驗(yàn)使用的文字識(shí)別功能使用的是科大訊飛開放平臺(tái)提供的印刷文字識(shí)別能力，我們需要先到訊飛的開放平臺(tái)申請(qǐng)賬號(hào)，并在平臺(tái)上選擇相關(guān)能力，具體流程如下：首先，我們要在訊飛開放平臺(tái)進(jìn)行賬號(hào)注冊，地址：/解析處理語義指令開放平臺(tái)賬號(hào)申請(qǐng)及應(yīng)用創(chuàng)建完成注冊后，登陸開放平臺(tái)，進(jìn)入控制臺(tái)解析處理語義指令開放平臺(tái)賬號(hào)申請(qǐng)及應(yīng)用創(chuàng)建在應(yīng)用管理菜單點(diǎn)擊“創(chuàng)建應(yīng)用”，完成應(yīng)用相關(guān)信息（應(yīng)用平臺(tái)需要選擇Android平臺(tái)）的輸入后，點(diǎn)擊“提交”按鈕解析處理語義指令開放平臺(tái)賬號(hào)申請(qǐng)及應(yīng)用創(chuàng)建進(jìn)入“我的應(yīng)用”界面，可以看到添加的應(yīng)用信息，點(diǎn)擊下面創(chuàng)建的應(yīng)用欄目，進(jìn)入到應(yīng)用的具體信息頁面，然后點(diǎn)擊左側(cè)欄的功能按鈕，這里我們點(diǎn)擊“文字識(shí)別”下拉菜單，進(jìn)入到菜單里面，然后點(diǎn)擊“身份證識(shí)別”。我們可以看到應(yīng)用的基本信息，APPID和APIKey以及接口調(diào)用的地址等信息，這些信息會(huì)在后續(xù)的程序代碼中使用到。注冊AIUI監(jiān)聽解析處理語義指令項(xiàng)目工程搭建及能力包導(dǎo)入?yún)⒖肌胺?wù)機(jī)器人開發(fā)環(huán)境搭建_實(shí)驗(yàn)指導(dǎo)書”，包導(dǎo)入后需要進(jìn)行編譯配置等操作功能代碼開發(fā)能力層初始化圖像OCR相機(jī)拍照并裁減Camera初始化顯示和關(guān)閉//顯示拍照

privatevoidshowTakePic(){…privatevoidshowOcr(){…//顯示OCRprivatevoidshowBack(){…//返回

//關(guān)閉

protectedvoidonStop(){super.onStop();…cameraHelper.closeCamera();//能力層初始化//注意：在調(diào)用能力層功能應(yīng)，必領(lǐng)先進(jìn)行此步操作StarCommonAbility,getInstance().initAbility(mContext,.Robo