第8章嵌入式人工智能實例

【教材8.4-8.6節(jié)物體認知系統(tǒng)】第14講人工智能通識教程人工智能通識教程

導讀：人工智能分為學習與推理兩大基本過程，學習又分為有監(jiān)督學習與無監(jiān)督學習兩大類，目前人工智能研究中的學習大部分為有監(jiān)督學習。一般來說，人工智能的學習算法大多在性能較高的通用計算機上進行，但是，人工智能真正落地的產(chǎn)品為種類繁多的嵌入式計算機系統(tǒng)。嵌入式人工智能就是指含有基本學習或推理算法的嵌入式智能產(chǎn)品，本節(jié)以物體認知系統(tǒng)為例學習人工智能。第2頁共22頁8.4物體認知系統(tǒng)EORS概述8.5在PC機上運行EORS訓練軟件8.6EORS的視頻演示人工智能通識教程目錄人工智能通識教程8.4物體認知系統(tǒng)EORS概述8.4.1物體認知系統(tǒng)EORS的概念物體認知：即說出物體的名字，是幼兒學習啟蒙的開端，蘊含了人類智能中的“示教、學習、識別”基本過程。嵌入式物體認知系統(tǒng)：（EmbeddedObjectRecognitionSystem，EORS），以嵌入式計算機為核心，利用圖像、聲音、氣味、形態(tài)等傳感器采集物體信息，進行標記、訓練與推理的系統(tǒng)。基于圖像識別的嵌入式物體認知系統(tǒng)：利用嵌入式計算機通過攝像頭采集物體圖像，利用圖像識別相關算法進行訓練、標記，訓練完成后，可進行推理完成對圖像的識別。嵌入式人工智能：以微控制器MCU或應用處理器MPU為核心，具備基本學習或推理算法，融合傳感器采樣、濾波處理、邊緣計算、通信及執(zhí)行機構等功能于一體的嵌入式計算機系統(tǒng)。隨著機器學習理論與算法的發(fā)展、嵌入式芯片性能的提高、嵌入式智能終端的市場需求而出現(xiàn)了嵌入式人工智能，它的應用開發(fā)，不僅僅涉及人工智能算法，還涉及到傳感器應用、嵌入式軟硬件設計等，具有較高的技術門檻，可以通過適當?shù)姆绞浇档瓦@個門檻，期望通過物體認知系統(tǒng)這一可操作實踐的例子，使嵌入式人工智能能夠落地。第4頁共22頁人工智能通識教程自研軟件：自研嵌入式物體認知系統(tǒng)AHL-EORS，具體型號為AHL-EORS-D1-H，其中D1-H是嵌入式微處理器型號。主要目標：用于嵌入式人工智能入門教學，試圖把復雜問題簡單化，利用最小的資源、最清晰的流程體現(xiàn)人工智能中“標記、訓練、推理”的基本知識要素。學生成長：學生可通過本系統(tǒng)來獲得人工智能的相關基礎知識，并真實體會到人工智能的學習快樂，消除畏懼心理，使其敢于自行開發(fā)自己的人工智能系統(tǒng)。案例應用場景：AHL-EORS除了用于教學，本身亦可用于產(chǎn)品缺陷檢測、數(shù)字識別、數(shù)量計數(shù)等實際應用系統(tǒng)中。8.4.2物體認知系統(tǒng)EORS的目標手勢識別數(shù)字識別模型訓練第5頁共22頁人工智能通識教程8.5.1物體認知功能的實現(xiàn)流程本節(jié)給出物體認知功能的實現(xiàn)流程、物體認知系統(tǒng)訓練軟件EORS的下載與安裝、EORS軟件的操作步驟、基于EORS訓練軟件進行物體認知的實例。通過本節(jié)的學習，可以直觀地了解人工智能的基本實現(xiàn)過程。圖8-5物體認知功能的一般過程8.5在PC機上運行EORS訓練軟件

1．基于計算機進行物體認知的一般過程（1）采集與標記。采集即通過攝像頭獲取物體的圖像，標記即對圖片進行標記，告訴用戶是這是什么物體。（2）模型選擇與訓練。選擇合適的人工智能算法模型，利用計算機對圖像進行訓練，以獲取圖像特征并優(yōu)化模型參數(shù)。（3）推理。有一張新的圖片，作為已訓練好模型的輸入，該模型的輸出是確定這張圖片是什么物體。數(shù)據(jù)采集與標記：生成數(shù)據(jù)集模型訓練：獲取模型參數(shù)推理：物體識別第6頁共22頁通過攝像頭對“石頭、剪刀、布”三種手形進行識別，具體做法如下：

2．實現(xiàn)物體認知功能的具體做法1）進行“石頭、剪刀、布”圖像樣本的數(shù)據(jù)采集與標記。①在PC機建立一個名為Hands的文件夾②在Hands文件夾中新建data文件夾③在data文件夾中新建“石頭、剪刀、布”對應的三個文件夾④布手形的若干幅圖片：321張⑤石頭手形的若干幅圖片：320張⑥剪刀手形的若干幅圖片：398張將每種手形的圖片文件分別存放至rock、scissors和paper文件夾中，這一個過程，就是標記。第7頁共22頁人工智能通識教程在自研的訓練軟件平臺上，可以完成如下工作：（1）數(shù)據(jù)采集（2）模型訓練（3）構建生成EORS訓練軟件2）利用EORS訓練軟件進行訓練。3）利用AHL-EORS-D1-H軟件完成推理AHL推理軟件終端實時推理效果在自研的推理平臺上，可以完成如下工作：（1）加載推理模版文件（2）實時推理（3）嵌入式終端實時呈現(xiàn)結果第8頁共22頁人工智能通識教程EORS訓練軟件的下載8.5.2物體認知系統(tǒng)EORS訓練軟件的下載與安裝

1．EORS訓練軟件的下載軟件下載路徑：百度搜索“蘇州大學嵌入式學習社區(qū)”官網(wǎng)，然后在金葫蘆專區(qū)→AHL-EORS欄目→EORS_Setup，進行下載。下載網(wǎng)址：/下載后的安裝包第9頁共22頁人工智能通識教程

2．EORS訓練軟件的安裝EORS訓練軟件的安裝步驟如下：（1）運行安裝程序。雙擊下載的EORS_Setup.exe，系統(tǒng)會彈出用戶權限提示窗口，點擊“是”以允許安裝程序進行修改。（2）選擇安裝語言。選擇安裝時使用的語言為“簡體中文”，點擊“確定”。（3）選擇安裝路徑。默認安裝路徑是“C:\ProgramFiles(x86)\EORS”，如需更改路徑，可點擊“瀏覽”按鈕選擇新的安裝位置。點擊“下一步”繼續(xù)。（4）選擇附加組件。若需要附加快捷方式，可勾選“創(chuàng)建桌面快捷方式”。點擊“下一步”繼續(xù)。（5）開始安裝。點擊“安裝”，等待安裝程序完成，安裝過程耗時約1分鐘。（6）完成安裝。安裝完成后，勾選“運行EORS”或手動點擊桌面快捷方式運行軟件。點擊“完成”退出安裝程序。安裝完成后的軟件快捷方式第10頁共22頁人工智能通識教程首次運行EORS軟件時，若出現(xiàn)右圖所示的錯誤提示彈窗，則需根據(jù)軟件左下角“軟件幫助”安裝依賴軟件Graphviz。Graphviz軟件的安裝步驟如下：圖8-6缺少軟件依賴錯誤提示（1）下載Graphviz安裝包?！败浖椭?>打開Graphviz官網(wǎng)->Download→Windows→graphviz-12.2.1(64-bit)EXEinstaller

下載。（2）運行安裝程序。雙擊安裝包->點擊“是”->點擊“下一步”。（3）閱讀許可協(xié)議。選擇“我接受”->“下一步”安裝。（3）添加環(huán)境變量。勾選“AddGraphviztothesystemPATHforallusers”。（4）選擇安裝目錄。（5）開始安裝。（6）完成安裝。圖8-7EORS軟件界面整體布局第11頁共22頁人工智能通識教程EORS訓練軟件提供了從數(shù)據(jù)采集到模型訓練和結果驗證的完整流程。用戶可以按照軟件的功能模塊逐步完成任務。本節(jié)將介紹操作流程，幫助用戶熟悉軟件的使用方法并順利完成訓練任務。表8-1數(shù)據(jù)集文件夾結構要求圖8-8模型訓練界面8.5.3EORS訓練軟件的操作步驟

1．對現(xiàn)有數(shù)據(jù)集進行訓練第一級文件夾（數(shù)據(jù)集名稱）第二級文件夾（data）第三級文件夾（類別標簽）數(shù)據(jù)集圖片Handsdatapaperpaper-image1.jpgpaper-image2.jpg…rockrock-image1.jpg…scissorsscissors-image1.jpg…1）圖像數(shù)據(jù)集的組織方式2）進入“模型訓練”界面第12頁共22頁人工智能通識教程圖8-9導入數(shù)據(jù)集信息圖8-10模型訓練3）導入數(shù)據(jù)集4）模型訓練（1）點擊“導入數(shù)據(jù)集”按鈕。（2）導入數(shù)據(jù)集。（1）界面右邊設置超參數(shù)。（2）“普通訓練”選項卡，選擇需要訓練的模型類型（如MobileNetv2），開始訓練。第13頁共22頁人工智能通識教程默認的超參數(shù)圖8-10模型訓練5）更改超參數(shù)6）軟件自動存儲模型文件（1）訓練輪數(shù)（2）批量大?。?）學習率。（4）測試集比率（5）tail（6）alpha（1）模型訓練結束后，軟件會自動將模型的結構、權重和配置以H5格式文件（.keras）的形式保存至第一級根文件夾下，這是訓練好的模型文件。第14頁共22頁人工智能通識教程

2．驗證訓練的效果1）導入一張圖片對數(shù)據(jù)集訓練后，可以按照下列步驟檢驗訓練的效果，仍以Hands為例。2）選擇模型3）開始預測圖8-12圖片識別結果選擇一個訓練好的模型文件圖8-11導入預測圖片在圖像分類任務中，置信度表示模型對于預測結果的信心程度。如果模型對某個類別的預測概率較高，那么模型就相信該圖像屬于這個類別的可能性較大。第15頁共22頁本節(jié)將通過一個具體的實例，進一步闡述如何使用在PC機上運行的EORS訓練軟件，進行物體認知。人工智能通識教程8.5.4基于EORS訓練軟件進行物體認知的實例

1．訓練目標

以經(jīng)典的手寫數(shù)字識別問題為例，通過EORS軟件進行手寫0-9數(shù)字的模型訓練和驗證。

2．訓練集的準備與組織將收集到的手寫數(shù)字圖片分別放置在【03-Software\CH02\Numbers\data】文件下的0-9文件夾中，這一步也順便完成了標記工作。

3．在EORS軟件中進行模型訓練將手寫數(shù)字數(shù)據(jù)集導入EORS軟件，選擇MobileNetV2模型，使用默認的超參數(shù)或者稍微調整一下超參數(shù)，點擊“開始訓練”按鈕，進行模型訓練。圖8-13模型訓練第16頁共22頁人工智能通識教程在EORS軟件的“首頁”中選擇剛剛訓練好的模型文件，選擇測試集（test）文件夾的下一級分類文件夾中的某一張手寫數(shù)字圖片，點擊“”按鈕進行圖像推理，完成了物體認知。圖8-14圖像推理

4．驗證訓練的效果推理結果顯示預測結果為：3置信度：95.25%第17頁共22頁人工智能通識教程本節(jié)給出EORS的視頻演示，以便直觀了解物體認知系統(tǒng)。8.6EORS的視頻演示8.6.1了解EORS硬件系統(tǒng)學習嵌入式人工智能離不開嵌入式硬件，嵌入式物體認知系統(tǒng)AHL-EORS-D1-H具有價格低、功能強、操作便利等特點，為學習嵌入式技術基礎、實時操作系統(tǒng)、嵌入式人工智能等提供硬件實體。嵌入式物體認知系統(tǒng)以D1-H微處理器為核心，外圍搭載LCD顯示屏與攝像頭等，采用標準USB接口進行數(shù)據(jù)傳輸與系統(tǒng)供電。圖8-15AHL-EORS硬件系統(tǒng)第18頁共22頁人工智能通識教程芯片：D1-H是全志科技首款基于64位RISC-V指令集的芯片，集成了64位玄鐵C906核心（32KBI-cache+32KBD-cache），1GHz+主頻，支持：可支持Linux、RTOS等系統(tǒng)。同時支持最高4K的H.265/H.264解碼，內(nèi)置：內(nèi)置一顆HiFi4DSP（32KBI-cache+32KBD-cache、64KBI-RAM+64KBD-RAM），外接：最高可外接2GBDDR3，應用領域：智慧城市、智能汽車、智能商顯、智能家電、智能辦公和科研教育等領域。表8-3