基于TFLite的手掌檢測模型部署邊緣智能計算應用手掌檢測在嵌入式設(shè)備中的部署和運行邊緣智能計算應用職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結(jié)07任務拓展08手掌檢測在嵌入式設(shè)備中的部署和運行了解模型部署相關(guān)流程。掌握手掌檢測在嵌入式設(shè)備中的部署和運行。職業(yè)能力目標01知識目標技能目標職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結(jié)07任務拓展08手掌檢測在嵌入式設(shè)備中的部署和運行

此任務要求首先要將模型進行保存與工程打包，接著使用MobaXterm工具將工程下載到嵌入式開發(fā)板中，最后進行工程代碼的解壓與運行，得到檢測結(jié)果。任務描述任務要求完成模型的保存與工程打包；掌握MobaXterm工具的使用；完成下載工程到開發(fā)板中。任務描述與要求02職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結(jié)07任務拓展08手掌檢測在嵌入式設(shè)備中的部署和運行任務分析MobaXterm軟件是如何實現(xiàn)將工程文件下載到開發(fā)板的？如何使用工程代碼進行解壓和運行？任務分析與計劃03任務計劃表項目名稱基于TFLite的手掌檢測模型部署任務名稱手掌檢測在嵌入式設(shè)備中的部署和運行計劃方式自主設(shè)計計劃要求請用8個計劃步驟來完整描述出如何完成本次任務序號任務計劃1

2

3

45678通過上面的思考，你是否對本任務要完成的工作有所了解？讓我們一起來制訂完成本次任務的實施計劃吧！任務分析與計劃03職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結(jié)07任務拓展08手掌檢測在嵌入式設(shè)備中的部署和運行手部關(guān)鍵點204知識儲備手勢識別1MediaPipeHands304手勢識別在計算機科學中，手勢識別是通過數(shù)學算法來識別人類手勢的一個議題。手勢識別可以來自人的身體各部位的運動，但一般是指臉部和手的運動。04手勢識別用戶可以使用簡單的手勢來控制或與設(shè)備交互，讓計算機理解人類的行為。其核心技術(shù)為手勢分割、手勢分析以及手勢識別。04手勢識別手勢無論是靜態(tài)或動態(tài)，其識別順序首先需進行圖像的獲取手的檢測和分割手勢的分析，然后進行靜態(tài)或動態(tài)的手勢識別。04手勢識別手勢分割是手勢識別過程中關(guān)鍵的一步，手勢分割的效果直接影響到下一步手勢分析及最終的手勢識別。目前最常用的手勢分割法主要包括基于單目視覺的手勢分割和基于立體視覺的手勢分割。04手勢識別手勢分析是完成手勢識別系統(tǒng)的關(guān)鍵技術(shù)之一。通過手勢分析，可獲得手勢的形狀特征或運動軌跡。手勢的形狀和運動軌跡是動態(tài)手勢識別中的重要特征，與手勢所表達意義有直接的關(guān)系。04手勢識別手勢識別是將模型參數(shù)空間里的軌跡(或點)分類到該空間里某個子集的過程，其包括靜態(tài)手勢識別和動態(tài)手勢識別，動態(tài)手勢識別最終可轉(zhuǎn)化為靜態(tài)手勢識別。04手勢識別手勢識別應用場景家庭娛樂智能駕駛智能穿戴手部關(guān)鍵點204知識儲備手勢識別1MediaPipeHands3MediaPipeHands是一種高保真手和手指跟蹤解決方案，它采用機器學習（ML）僅從單個幀中推理出手部的21個3D坐標04MediaPipeHands當前最先進的方法主要依賴于強大的算力，而使用MediaPipe提供的解決方案實現(xiàn)了在手機上進行實時檢測的性能，甚至可以同時辨識到多只手。04MediaPipeHandsMediaPipe框架將在未來被廣泛地研發(fā)，更多的開發(fā)者也將加入到此行列中對手部識別和模擬應用進行開發(fā)。04MediaPipeHands手部關(guān)鍵點204知識儲備手勢識別1MediaPipeHands3在計算機視覺領(lǐng)域中，手勢識別被廣泛應用于人機交互、手語識別等場景中，而手勢識別依賴于手部關(guān)鍵點檢測，并且隨著移動終端和移動互聯(lián)網(wǎng)的普及，手勢識別也廣泛應用于移動終端中。04手部關(guān)鍵點04手部關(guān)鍵點04手部關(guān)鍵點識別是指對于任何一幅給定的圖像，如果圖像中有手，則定位手的21個關(guān)鍵點的位置，每個關(guān)鍵點的位置用它在圖像中的橫縱坐標表示；這21個關(guān)鍵點包括大拇指、食指、中指、無名指、小拇指的指尖、指間關(guān)節(jié)，以及手心，不區(qū)分左右手；21個關(guān)鍵點在手上的位置分布如圖所示：手部關(guān)鍵點04指尖識別是指只對伸出食指這種手勢的食指指尖進行定位的技術(shù)，是一種特殊的手部關(guān)鍵點識別；手部關(guān)鍵點04手部關(guān)鍵點檢測圖片中的手部并返回坐標信息，精準定位食指指尖、及4個輔助關(guān)鍵點的坐標位置。04手部關(guān)鍵點給定任意的圖片，如果其中手勢的類別是伸出食指，那么返回指尖的位置，其中位置用橫縱坐標表示；04手部關(guān)鍵點因為只需要識別指尖的位置，本方法在處理速度與精確度上要優(yōu)于識別所有關(guān)鍵點的方法。04手部關(guān)鍵點應用場景：學習機點讀學習平板、陪伴機器人等兒童學習設(shè)備，基于食指指尖檢測，精準定位書本上的內(nèi)容模塊，實現(xiàn)自動跟讀、點讀搜題等效果，讓學習機變得更“聰明”職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結(jié)07任務拓展08手掌檢測在嵌入式設(shè)備中的部署和運行05任務實施模型保存與工程打包1下載工程到開發(fā)板205拷貝任務2轉(zhuǎn)換好的RKNN模型到工程中模型保存與工程打包#拷貝手掌檢測模型!cpmodels/palm_detectionu8.rknnsrc/hand_tracking_rknn/models/#拷貝手掌關(guān)節(jié)點檢測模型!cpmodels/hand_landmarku8.rknnsrc/hand_tracking_rknn/models/打包手掌檢測項目使用tar命令進行打包05任務實施模型保存與工程打包1下載工程到開發(fā)板205下載工程包模型保存與工程打包工程包名稱：hand_tracking_rknn.tgz05在MobaXterm軟件中創(chuàng)建一個新的ssh會話模型保存與工程打包05輸入ssh登陸的密碼，并確定是否記住ssh登陸密碼模型保存與工程打包05RK3399pro開發(fā)板登陸成功，出現(xiàn)如下打印模型保存與工程打包05將下載到PC的手掌檢測案例，發(fā)送到RK3399pro開發(fā)板中模型保存與工程打包05在MobaXterm軟件遠程RK3399PRO開發(fā)板的會話窗口中，依次輸入如下命令，在開發(fā)板上運行手掌檢測案例（注：運行前確認USB攝像頭和顯示器已連接到開發(fā)板上）模型保存與工程打包05在RK3399PRO開發(fā)板連接的顯示器上我們可以看到如下結(jié)果模型保存與工程打包職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結(jié)07任務拓展08手掌檢測在嵌入式設(shè)備中的部署和運行任務檢查與評價06序號評價內(nèi)容評價標準分值得分1知識運用（20%）掌握相關(guān)理論知識，理解本次任務要求，制定詳細計劃，計劃條理清晰，邏輯正確（20分）20分

理解相關(guān)理論知識，能根據(jù)本次任務要求、制定合理計劃（15分）了解相關(guān)理論知識，有制定計劃（10分）無制定計劃（0分）2專業(yè)技能（40%）很好的完成模型保存與工程打包，創(chuàng)建ssh對話，將發(fā)送到RK3399pro開發(fā)板中，在開發(fā)板上運行手掌檢測案例。（40分）40分

完成模型保存與工程打包，創(chuàng)建ssh對話，將發(fā)送到RK3399pro開發(fā)板中。（30分）完成模型保存與工程打包，創(chuàng)建ssh對話。（20分）完成模型保存與工程打包。（10分）沒有完成模型保存與工程打包。（0分）3核心素養(yǎng)（20%）具有良好的自主學習能力、分析解決問題的能力、整個任務過程中有指導他人（20分）20分

具有較好的學習能力和分析解決問題的能力，任務過程中無指導他人（15分）能夠主動學習并收集信息，有請教他人進行解決問題的能力（10分）不主動學習（0分）4課堂紀律（20%）設(shè)備無損壞、設(shè)備擺放整齊、工位區(qū)域內(nèi)保持整潔、無干擾課堂秩序（20分）20分

設(shè)備無損壞、無干擾課堂秩序（15分）無干擾課堂秩序（10分）干擾課堂秩序（0分）總得分1、請參照評價標準完成自評和對其他小組的互評。2、各組請代表分析本組任務實施經(jīng)驗。職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結(jié)07任務拓展08手掌檢測在嵌入式設(shè)備中的部署和運行任務小結(jié)07職業(yè)能力目標01