基于TFLite的手掌檢測(cè)模型部署邊緣智能計(jì)算應(yīng)用基于rknn的手掌檢測(cè)邊緣智能計(jì)算應(yīng)用職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測(cè)了解RKNN的相關(guān)知識(shí)了解仿射變化，歸一化，量化等概念了解OpenCV的相關(guān)知識(shí)掌握OpenCV的使用掌握掌握RKNN模型的加載和使用掌握如何使用RKNN模型去檢測(cè)手掌掌握手掌檢測(cè)的流程職業(yè)能力目標(biāo)01知識(shí)目標(biāo)技能目標(biāo)職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測(cè)

此任務(wù)要求使用轉(zhuǎn)換后的RKNN模型對(duì)手掌進(jìn)行目標(biāo)檢測(cè)和識(shí)別，并繪制手掌輪廓。任務(wù)描述任務(wù)要求掌握手掌目標(biāo)檢測(cè)；完成手掌圖片的截?。徽莆帐终脐P(guān)節(jié)節(jié)點(diǎn)檢測(cè)。任務(wù)描述與要求02職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測(cè)任務(wù)分析我們要如何使用RKNN模型去檢測(cè)手掌呢？我們應(yīng)該用什么辦法去獲取手掌的關(guān)鍵點(diǎn)呢？任務(wù)分析與計(jì)劃03任務(wù)計(jì)劃表項(xiàng)目名稱基于TFLite的手掌檢測(cè)模型部署任務(wù)名稱基于rknn的手掌檢測(cè)計(jì)劃方式自主設(shè)計(jì)計(jì)劃要求請(qǐng)用8個(gè)計(jì)劃步驟來(lái)完整描述出如何完成本次任務(wù)序號(hào)任務(wù)計(jì)劃1

2

3

45678通過(guò)上面的思考，你是否對(duì)本任務(wù)要完成的工作有所了解？讓我們一起來(lái)制訂完成本次任務(wù)的實(shí)施計(jì)劃吧！任務(wù)分析與計(jì)劃03職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測(cè)04知識(shí)儲(chǔ)備手掌關(guān)鍵點(diǎn)介紹21非極大值抑制3圖片的仿射變化4置信度與置信區(qū)間5邊緣填充算法和np.pad()函數(shù)04手掌關(guān)鍵點(diǎn)介紹在計(jì)算機(jī)視覺(jué)領(lǐng)域中，手勢(shì)識(shí)別被廣泛應(yīng)用于人機(jī)交互、手語(yǔ)識(shí)別等場(chǎng)景中，而手勢(shì)識(shí)別依賴于手掌關(guān)鍵點(diǎn)檢測(cè)，并且隨著移動(dòng)終端和移動(dòng)互聯(lián)網(wǎng)的普及，手勢(shì)識(shí)別也廣泛應(yīng)用于移動(dòng)終端中。04手掌關(guān)鍵點(diǎn)介紹手掌關(guān)鍵點(diǎn)是指手掌中的各個(gè)關(guān)節(jié)點(diǎn)，現(xiàn)有技術(shù)中手部關(guān)鍵點(diǎn)檢測(cè)最常用的方法是使用深度卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)輸出手部關(guān)鍵點(diǎn)的三維坐標(biāo)。04手掌關(guān)鍵點(diǎn)介紹手掌的21個(gè)關(guān)鍵點(diǎn)04知識(shí)儲(chǔ)備手掌關(guān)鍵點(diǎn)介紹邊緣填充算法和np.pad()函數(shù)21非極大值抑制3圖片的仿射變化4置信度與置信區(qū)間504邊緣填充算法我們?cè)讷@取的圖像往往會(huì)存在一些無(wú)關(guān)的信息，因此我們要對(duì)圖像進(jìn)行預(yù)處理，其主要目的是消除圖像中無(wú)關(guān)的信息，恢復(fù)有用的真實(shí)信息，增強(qiáng)有關(guān)信息的可檢測(cè)性和最大限度地簡(jiǎn)化數(shù)據(jù)，從而改進(jìn)特征抽取、圖像分割、匹配和識(shí)別的可靠性。04邊緣填充算法下面將介紹和圖像預(yù)處理相關(guān)的兩個(gè)應(yīng)用：邊緣填充算法和np.pad（）函數(shù)04邊緣填充算法邊緣填充算法是先求出多邊形的每條邊與掃描線的交點(diǎn)，然后將交點(diǎn)右側(cè)的所有像素顏色全部取為補(bǔ)色（或反色）。按任意順序處理完多邊形的所有邊后，就完成了多邊形的填充任務(wù)。04邊緣填充算法邊緣填充算法利用了圖像處理中的求“補(bǔ)”或求“反”的概念，對(duì)于黑白圖像，求補(bǔ)就是把RGB(1,1,1)（白色）的像素置為RGB(0,0,0)（黑色），反之亦然。對(duì)于彩色圖像，求補(bǔ)就是將背景色置為填充色，反之亦然。04邊緣填充算法在卷積神經(jīng)網(wǎng)絡(luò)中，為了避免因?yàn)榫矸e運(yùn)算導(dǎo)致輸出圖像縮小和圖像邊緣信息丟失，常常采用圖像邊緣填充技術(shù)，即在圖像四周邊緣填充0，使得卷積運(yùn)算后圖像大小不會(huì)縮小，同時(shí)也不會(huì)丟失邊緣和角落的信息。在Python的numpy庫(kù)中，常常采用numpy.pad()進(jìn)行填充操作。語(yǔ)法結(jié)構(gòu)參數(shù)解釋pad(array,pad_width,mode,**kwargs)返回值：數(shù)組array：表示需要填充的數(shù)組；pad_width：表示每個(gè)軸（axis）邊緣需要填補(bǔ)的長(zhǎng)度。參數(shù)輸入方式為：（(before_1,after_1),…(before_N,after_N)）。mode：表示填充的方式（取值：str字符串或用戶提供的函數(shù)）,總共有11種填充模式；04邊緣填充算法填充方式‘constant’——表示連續(xù)填充相同的值，每個(gè)軸可以分別指定填充值，constant_values=（x,y）時(shí)前面用x填充，后面用y填充，缺省值填充0‘edge’——表示用邊緣值填充‘linear_ramp’——表示用邊緣遞減的方式填充‘maximum’——表示最大值填充‘mean’——表示均值填充‘median’——表示中位數(shù)填充‘minimum’——表示最小值填充‘reflect’——表示對(duì)稱填充‘symmetric’——表示對(duì)稱填充‘wrap’——表示用原數(shù)組后面的值填充前面，前面的值填充后面04知識(shí)儲(chǔ)備手掌關(guān)鍵點(diǎn)介紹21非極大值抑制3圖片的仿射變化4置信度與置信區(qū)間5邊緣填充算法和np.pad()函數(shù)非極大值抑制，簡(jiǎn)稱為NMS算法，英文為Non-MaximumSuppression。其思想是搜素局部最大值，抑制非極大值。NMS算法在不同應(yīng)用中的具體實(shí)現(xiàn)不太一樣，但思想是一樣的。04非極大值抑制目標(biāo)檢測(cè)的過(guò)程中在同一目標(biāo)的位置上會(huì)產(chǎn)生大量的候選框，這些候選框相互之間可能會(huì)有重疊，此時(shí)我們需要利用非極大值抑制找到最佳的目標(biāo)邊界框，消除冗余的邊界框。04非極大值抑制而非極大值移植就是選擇其中置信度最大，并去除像素點(diǎn)較少的框。04非極大值抑制非極大值抑制，在計(jì)算機(jī)視覺(jué)任務(wù)中得到了廣泛的應(yīng)用，例如邊緣檢測(cè)、人臉檢測(cè)、目標(biāo)檢測(cè)（DPM，YOLO，SSD，F(xiàn)asterR-CNN）等。04非極大值抑制04知識(shí)儲(chǔ)備手掌關(guān)鍵點(diǎn)介紹21非極大值抑制3圖片的仿射變化4置信度與置信區(qū)間5邊緣填充算法和np.pad()函數(shù)圖像的幾何變換主要包括：平移、縮放、旋轉(zhuǎn)、仿射、透視等等。圖像變換是建立在矩陣運(yùn)算基礎(chǔ)上的，通過(guò)矩陣運(yùn)算可以很快的找到不同圖像的對(duì)應(yīng)關(guān)系。04圖片的仿射變化圖像的幾何變換主要分為三類：剛性變換、仿射變換和透視變換。04圖片的仿射變化仿射變換是建立在轉(zhuǎn)至矩陣叉乘基礎(chǔ)上以實(shí)現(xiàn)圖像的平移、縮放、旋轉(zhuǎn)、仿射、透視變換的方法。04圖片的仿射變化04知識(shí)儲(chǔ)備手掌關(guān)鍵點(diǎn)介紹21非極大值抑制3圖片的仿射變化4置信度與置信區(qū)間5邊緣填充算法和np.pad()函數(shù)我們先探究一個(gè)問(wèn)題04置信度與置信區(qū)間假設(shè)你想知道美國(guó)有多少人熱愛足球。為了得到100％正確的答案，你可以做的唯一一件事是向美國(guó)的每一位公民詢問(wèn)他們是否熱愛足球。根據(jù)維基百科，美國(guó)有超過(guò)3.25億的人口。與3.25億人談話并不現(xiàn)實(shí)，因此我們必須通過(guò)問(wèn)更少的人來(lái)得到答案。04置信度與置信區(qū)間我們可以通過(guò)在美國(guó)隨機(jī)抽取一些人（與更少人交談）并獲得熱愛足球的人的百分比來(lái)做到這一點(diǎn)，但是我們不能100％確信這個(gè)數(shù)字是正確的，或者這個(gè)數(shù)字離真正的答案有多遠(yuǎn)。04置信度與置信區(qū)間所以，我們?cè)噲D實(shí)現(xiàn)的是獲得一個(gè)區(qū)間，例如，對(duì)這個(gè)問(wèn)題的一個(gè)可能的答案是：「我95％相信在美國(guó)足球愛好者的比例是58％至62％」。這就是置信區(qū)間和置信度名字的來(lái)源，我們有一個(gè)區(qū)間，并且我們對(duì)它此一定的信心。04置信度與置信區(qū)間置信度：也稱可靠度，置信水平，即估計(jì)值與總體參數(shù)在一定允許的誤差范圍以內(nèi)，其相應(yīng)的概率有多大，這個(gè)相應(yīng)的概率稱作置信度。置信區(qū)間：置信區(qū)間是由樣本（總體樣本，不是真實(shí)樣本）構(gòu)造的對(duì)總體參數(shù)估計(jì)的一個(gè)區(qū)間，每一個(gè)置信區(qū)間會(huì)對(duì)應(yīng)一個(gè)置信水平，表示真實(shí)參數(shù)落在置信區(qū)間中的概率。置信區(qū)間隨著置信度的變化而變化。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測(cè)05在做模型轉(zhuǎn)換之前，需要搭建環(huán)境，安裝所需的Python依賴包，手動(dòng)安裝以下依賴包：opencv-python==4.5.5.62certifi==2021.10.8matplotlib==3.1.0pillow==5.3.0thirdparty/rknn_toolkit-1.7.1-cp36-cp36m-linux_x86_64.whl

安裝依賴在命令行中，安裝依賴包可以寫一個(gè)或多個(gè)包同時(shí)安裝任務(wù)實(shí)施05任務(wù)實(shí)施導(dǎo)入依賴包安裝完依賴一定不要忘記導(dǎo)入哦！importcv2importnumpyasnpfrommatplotlibimportpyplotaspltfromPILimportImageimportcsvfromrknn.apiimportRKNNfromsrc.miscimportnon_max_suppression_fast,_get_hand_source_points,_coordinate_affine,_draw_palm,printSoursePoints,printDetectedPoints,printDetectedTangle,printAllTureIndex,printAllAnchorsTangle05rknn模型加載frame=cv2.imread('./images/liuxiang.jpg')im2=cv2.cvtColor(frame,cv2.COLOR_RGB2BGR)plt.imshow(im2)rknn模型載入函數(shù)任務(wù)實(shí)施05rknn模型加載任務(wù)實(shí)施加載模型./models/palm_detectionu8.rknn，并初始化運(yùn)行時(shí)加載模型./models/hand_landmarku8.rknn，并初始化運(yùn)行時(shí)讀取錨點(diǎn)文件./models/anchors.csv，用于被識(shí)別圖像的區(qū)域劃分05輸入圖片預(yù)處理任務(wù)實(shí)施為原圖補(bǔ)padding，時(shí)圖片變?yōu)檎叫慰s放圖片為256*256大小將圖片存儲(chǔ)空間保存為地址連續(xù)空間執(zhí)行成功輸出預(yù)處理后的圖片，如下圖：05手掌目標(biāo)檢測(cè)（CPU模擬rk3399pro的情況下運(yùn)算速度較慢）任務(wù)實(shí)施下圖是手掌檢測(cè)的關(guān)鍵點(diǎn)坐標(biāo)（顯示的數(shù)字的坐標(biāo)，為keypoints數(shù)組的偏移量所指向的元素）執(zhí)行成功后打印05模型置信度計(jì)算任務(wù)實(shí)施將模型輸出結(jié)果out_clf轉(zhuǎn)換為概率執(zhí)行成功輸出：以第0個(gè)結(jié)果為例：整數(shù)值-23.71446，轉(zhuǎn)概率值5.02274e-11。表示成功，之后標(biāo)記所有置信度大于0.5的位置執(zhí)行成功輸出：148714891549155015511552155316141615161705獲得置信度滿足要求的手掌識(shí)別結(jié)果任務(wù)實(shí)施執(zhí)行成功后，打印N*18尺寸的數(shù)組，每一個(gè)18長(zhǎng)度的子項(xiàng)表示一個(gè)置信度大于0.5的識(shí)別結(jié)果。candidate_detect=out_reg[detecion_mask]

print(candidate_detect)獲得置信度滿足要求錨點(diǎn)位置信息執(zhí)行成功后，打印N*4尺寸的數(shù)組，每一個(gè)4長(zhǎng)度的子項(xiàng)表示一個(gè)置信度大于0.5的錨點(diǎn)信息。candidate_anchors=anchors[detecion_mask]print(candidate_anchors)05獲得置信度滿足要求置信度實(shí)際數(shù)值任務(wù)實(shí)施執(zhí)行成功后，一系列置信度大于0.5的實(shí)際置信度數(shù)字集合probabilitiesUsable=probabilities[detecion_mask]print(probabilitiesUsable)05獲得所有置信度大于0.5的預(yù)選框信息任務(wù)實(shí)施執(zhí)行成功后，打印一系列預(yù)選框在原圖中的位置尺寸信息，并在原圖中打印出來(lái)使用非極大值抑制，得出最終手掌所在的位置執(zhí)行成功打印圖片，為非極大值抑制后的圖片顯示結(jié)果，如下圖05在原圖中打印手掌檢測(cè)的最終結(jié)果任務(wù)實(shí)施使用非極大值抑制，所確定的最佳輸出，打印該結(jié)果下，手掌目標(biāo)檢測(cè)的7個(gè)關(guān)鍵點(diǎn)坐標(biāo)，如下圖：05獲得手掌的精確范圍和放向任務(wù)實(shí)施基于上一步驟得到的手掌檢測(cè)結(jié)果，我們通過(guò)如下步驟，計(jì)算手掌反射變換所需要的3個(gè)點(diǎn)的坐標(biāo)source通過(guò)手掌目標(biāo)檢測(cè)的結(jié)果，我們可以使用0和2坐標(biāo)可以得到左圖紅色向量我們將向量乘以1.5并加上掌心2點(diǎn)的坐標(biāo)，可以得到有圖方向一致大小為原來(lái)1.5倍的綠色向上的向量，并得到此綠色向量終點(diǎn)的坐標(biāo)。我們將左圖中的向量做90度逆時(shí)針旋轉(zhuǎn)，可以達(dá)到圖中指向左側(cè)的綠色向量，并得到此綠色向量終點(diǎn)的坐標(biāo)05任務(wù)實(shí)施如果執(zhí)行成功，我們將得到source的3個(gè)手掌范圍范圍坐標(biāo)如下：[[57.75703178.80229][57.75703121.95381][0.90854454178.80229]]并將這三個(gè)點(diǎn)的坐標(biāo)打印到原圖中，如下圖：05截取檢測(cè)到的手掌圖片并展示任務(wù)實(shí)施使用仿射變換截取手掌圖片，如下圖：并打印通過(guò)反射變換截取到的手掌圖片，如下圖：05檢測(cè)手掌的指關(guān)節(jié)坐標(biāo)任務(wù)實(shí)施檢測(cè)并繪制手掌的21個(gè)坐標(biāo)點(diǎn)，坐標(biāo)對(duì)應(yīng)關(guān)系和輸出結(jié)果如下：下圖是手掌關(guān)節(jié)檢測(cè)的關(guān)鍵點(diǎn)坐標(biāo)（數(shù)字為keypoints數(shù)組的偏移量），如下圖：職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于rknn的手掌檢測(cè)任務(wù)檢查與評(píng)價(jià)06序號(hào)評(píng)價(jià)內(nèi)容評(píng)價(jià)標(biāo)準(zhǔn)分值得分1知識(shí)運(yùn)用（20%）掌握相關(guān)理論知識(shí)，理解本次任務(wù)要求，制定詳細(xì)計(jì)劃，計(jì)劃條理清晰，邏輯正確（20分）20分

理解相關(guān)理論知識(shí)，能根據(jù)本次任務(wù)要求、制定合理計(jì)劃（15分）了解相關(guān)理論知識(shí)，有制定計(jì)劃（10分）無(wú)制定計(jì)劃（0分）2專業(yè)技能（40%）很好的完成環(huán)境的配置，對(duì)手掌的目標(biāo)檢測(cè)，對(duì)得到的錨點(diǎn)框使用仿射變換，對(duì)手掌區(qū)域的圖像進(jìn)行平移，旋轉(zhuǎn)，縮放和截取，對(duì)手掌關(guān)節(jié)節(jié)點(diǎn)檢測(cè)，并標(biāo)記輸入截取到的手掌數(shù)據(jù)。（40分）40分

完