盾構(gòu)機(jī)滾刀頭磨損識別系統(tǒng)設(shè)計(jì)案例目錄TOC\o"1-3"\h\u23264盾構(gòu)機(jī)滾刀頭磨損識別系統(tǒng)設(shè)計(jì)案例 1307951.1相關(guān)技術(shù)介紹 1278901.2識別技術(shù)實(shí)現(xiàn) 41.1相關(guān)技術(shù)介紹1.1.1機(jī)器視覺機(jī)器視覺是讓帶有攝像頭的微處理器單元模仿生物的視覺能力[16]，具體的說，就是使用MCU或計(jì)算機(jī)和攝像頭代替人眼對物體進(jìn)行物體的識別和分類等操作，在一些場景中使用機(jī)器來代替人的勞動(dòng)，從而解放生產(chǎn)力[17]。這一技術(shù)起始于二十世紀(jì)七十年代，但因當(dāng)時(shí)計(jì)算機(jī)算法與算力的局限，該技術(shù)進(jìn)入低潮期，近幾年，隨著最近神經(jīng)網(wǎng)絡(luò)算法的不斷迭代，同時(shí)計(jì)算機(jī)算力的提高，應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)使得機(jī)器視覺的精確度大大提升，該技術(shù)又再次被廣泛應(yīng)用。機(jī)器視覺被廣泛應(yīng)用在物體識別，物體分類等領(lǐng)域。對磨損滾刀頭的識別任務(wù)是一種典型的圖像分類問題。1.1.2卷積神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是一種通過模仿動(dòng)物和人的神經(jīng)元之間的信息傳遞，進(jìn)行分布式信息處理的算法模型[18]，最先在1943年由心理學(xué)家Mcculloch提出，在1953年隨著馮諾伊曼第一臺(tái)計(jì)算機(jī)研制成功，并將其使用計(jì)算機(jī)表示出來，但由于當(dāng)時(shí)計(jì)算機(jī)算力限制（中央處理器CPU的運(yùn)算能力和存儲(chǔ)器RAM的存儲(chǔ)數(shù)據(jù)能力），其處理問題效率低下，且精度不高；隨著近幾年計(jì)算機(jī)算力爆發(fā)式的增長和許多研究者將其不斷優(yōu)化，神經(jīng)網(wǎng)絡(luò)模型解決實(shí)際問題的能力得到不斷提高[19]，于是再次回到研究人員的視野中，卷積神經(jīng)網(wǎng)絡(luò)就是是神經(jīng)網(wǎng)絡(luò)的一種優(yōu)化與發(fā)展。它將神經(jīng)元排列在寬度高度和深度三個(gè)維度，長和寬是圖像的輸入層，深度表示圖像的顏色，采用這種結(jié)構(gòu)，可以清楚的反應(yīng)2維圖片的信息，將其信息儲(chǔ)存在一個(gè)矩陣中，并能反應(yīng)其顏色信息，有效增強(qiáng)物體識別精度?；诰矸e神經(jīng)網(wǎng)絡(luò)的物體區(qū)分技術(shù)現(xiàn)已應(yīng)用于圖像處理，物體分類，物體檢測，遙感技術(shù)等領(lǐng)域[20]，并且還在飛速的發(fā)展之中，在卷積神經(jīng)網(wǎng)絡(luò)模型大放異彩之后，又出現(xiàn)了AlexNet、ResNet和VGG等網(wǎng)絡(luò)模型[21]，在金融、刑偵、醫(yī)療等對精確性要求極高的領(lǐng)域成功應(yīng)用。圖1.1普通神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的對比1.1.3k210芯片勘智K210芯片是嘉楠科技旗下一款微控制單元（MCU），其最大的特點(diǎn)是內(nèi)置了一個(gè)自主研發(fā)的神經(jīng)網(wǎng)絡(luò)硬件加速器（KPU），可以進(jìn)行更高效、快速的卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算[22]。在AI計(jì)算方面，K210的算力可以達(dá)到0.8TFLPOPS，相較于同功耗的各種芯片都更高，其內(nèi)置各種SPI、I2C系統(tǒng)總線，可外接攝像頭（ov2640）、lcd顯示屏，能夠高性能的處理計(jì)算機(jī)視覺問題并在顯示屏實(shí)時(shí)顯示。圖1.2KendryteK210內(nèi)部架構(gòu)1.1.4亞博智能開發(fā)板亞博智能開發(fā)板是深圳智能科技采用K210芯片，集成LCD屏幕，OV2640傳感器攝像頭，ESP8285機(jī)器視覺常用模組，非常適合進(jìn)行AI的邊緣計(jì)算，本文用其模仿盾構(gòu)機(jī)磨損滾刀頭的識別過程。1—Type-C接口：用于供電、下載固件和串口調(diào)試等。2—狀態(tài)指示燈：判斷開發(fā)板是否處于正常運(yùn)行且處于何種運(yùn)行狀態(tài)。3—WiFi模塊串口和按鍵：可用于燒錄WiFi模塊的固件或者和K210串口通訊。4—撥輪開關(guān)keypad：三通道撥輪開關(guān)。5—RESET鍵：K210芯片的復(fù)位鍵。6—觸摸板接口：用于連接觸摸板排線，排線金手指向上。7—顯示器接口：用于連接顯示器排線，排線金手指向上8—K210芯片：開發(fā)板主芯片，整個(gè)板子的核心處理器。9—外擴(kuò)排針：開發(fā)板已經(jīng)把K210所有IO口引出，可以供外部設(shè)備連接使用。10—I2C接口：可外接I2C從機(jī)設(shè)備進(jìn)行通訊。11—RGB燈：設(shè)置三個(gè)IO口電平，點(diǎn)亮不同顏色。12—麥克風(fēng)：記錄聲音的設(shè)備。13—LED燈：發(fā)光，可以用作做指示燈。14—麥克風(fēng)陣列接口：用于連接麥克風(fēng)陣列。15—BOOT鍵：復(fù)位鍵，也可以作為自定義功能按鍵使用。圖1.2開發(fā)板正面1.2識別技術(shù)實(shí)現(xiàn)對盾構(gòu)機(jī)滾刀頭是否磨損進(jìn)行判斷，是一個(gè)經(jīng)典的物體的二分類模型，在有關(guān)機(jī)器學(xué)習(xí)算法中，解決二分類問題應(yīng)用較多的算法有邏輯回歸、k最近鄰決策樹、感知機(jī)、聚類算法、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等算法[23]，本文盾構(gòu)機(jī)的特征較難提取，且需要視覺能力進(jìn)行實(shí)時(shí)檢測，故可以搭建卷積神經(jīng)網(wǎng)絡(luò)，并制作磨損滾刀頭的數(shù)據(jù)集對其進(jìn)行訓(xùn)練，使其具備自動(dòng)判斷滾刀頭是否磨損的能力。由于實(shí)驗(yàn)條件有限，本文采用亞博智能開發(fā)板模擬換刀現(xiàn)場工控機(jī)完成對滾刀頭磨損程度的識別，驗(yàn)證其可行性。1.2.1代碼部分整個(gè)代碼流程分為AI模型和K210驅(qū)動(dòng)兩部分，代碼流程圖如圖1.3所示：圖1.3代碼流程圖PaddleAIstudio部分：制作并上傳盾構(gòu)集滾刀頭樣本集選取磨損的滾刀頭和完好的滾刀頭照片作為數(shù)據(jù)集上傳到paddleAIstudio平臺(tái)，作為數(shù)據(jù)集。解壓數(shù)據(jù)集執(zhí)行如圖1.4所示代碼解壓數(shù)據(jù)：圖1.4解壓數(shù)據(jù)操作預(yù)處理數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)格式并分為兩類；圖1.5預(yù)處理數(shù)據(jù)搭建神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；測試集模型評估；因訓(xùn)練集的樣本有限且神經(jīng)網(wǎng)絡(luò)模型仍需改進(jìn)，所以測試訓(xùn)練結(jié)果的精度為0.8，在以后的研究中可嘗試增加訓(xùn)練集樣本并優(yōu)化神經(jīng)網(wǎng)絡(luò)模型，以提高識別磨損滾刀頭的精確度。測試代碼運(yùn)行結(jié)果如下：圖1.6模型評估結(jié)果格式轉(zhuǎn)換，paddle飛槳平臺(tái)訓(xùn)練出來的模型不能直接在k210上運(yùn)行，需通過k210官方提供的轉(zhuǎn)換器nncase轉(zhuǎn)換成kmodel文件，才能在K210上運(yùn)行。執(zhí)行如下代碼完成轉(zhuǎn)換：下載nnc工具：轉(zhuǎn)換命令：下載komdel模型到k210代碼文件夾用于k210運(yùn)行。K210開發(fā)板部分：本文使用亞博智能公司的k210開發(fā)板，使用vscode搭建開發(fā)環(huán)境，安裝cmake編譯環(huán)境；代碼流程如下：系統(tǒng)內(nèi)部初始化：為了防止K210芯片程序跑飛或卡死，同時(shí)防止之前執(zhí)行的操作干擾當(dāng)前指令，要對K210內(nèi)部執(zhí)行初始化，系統(tǒng)內(nèi)部初始化包括：①系統(tǒng)時(shí)鐘初始化②串口初始化③硬件引腳初始化④IO電壓設(shè)置⑤系統(tǒng)中斷初始化⑥Flash初始化外部硬件初始化：盾構(gòu)機(jī)滾刀頭的磨損識別模擬，需要使用到的外部硬件有攝像頭與LCD顯示屏，同樣要對這些硬件執(zhí)行初始化任務(wù)。加載模型：①模型初始化②加載模型編譯燒錄程序：①在vscode中輸入下列代碼編譯程序：cdbuildcmake..-DPROJ=catdog_classification-G"MinGWMakefiles"Make②使用CH340串口與kflash（k210自帶燒錄軟件）燒錄程序。1.2.2執(zhí)行過程代碼的執(zhí)行邏輯如下：等待攝像頭采集畫面；傳入攝像頭采集的圖像到KPU運(yùn)行模型；等待KPU處理完成；獲取KPU