第一部分設(shè)計(jì)概述1.1設(shè)計(jì)目的新冠病毒的肆虐讓整個(gè)2020年籠罩在恐慌之中，戴口罩成了人們外出必備的“新日?！薄Ｐ鹿诓《局饕ㄟ^(guò)飛沫傳播和接觸傳播，正確選擇佩戴口罩，可有效阻隔病毒傳播。但在人流量龐大的商圈、車站等場(chǎng)所，仍有許多人拒絕佩戴口罩。若能在這些場(chǎng)所進(jìn)行當(dāng)前人群口罩檢測(cè)，則能有效避免冠狀病毒的傳播。本作品是一種能實(shí)時(shí)檢測(cè)識(shí)別人臉口罩佩戴情況并進(jìn)行語(yǔ)音播報(bào)的系統(tǒng)，準(zhǔn)確度高達(dá)95.2%,系統(tǒng)處理速度可達(dá)25fps左右。除此之外，本作品具備較高的可拓展性，稍加更改就可在更多的領(lǐng)域得到1.2應(yīng)用領(lǐng)域基于深度學(xué)習(xí)的人臉捕獲及口罩檢測(cè)系統(tǒng)可以適用于人流量大的場(chǎng)所，實(shí)現(xiàn)了人臉檢測(cè)與跟蹤以及人臉口罩識(shí)別的功能，并將識(shí)別結(jié)果進(jìn)行播報(bào)，可以輔助疫情防控工作的開(kāi)展。除此之外，本系統(tǒng)的人臉檢測(cè)系統(tǒng)有著廣泛的應(yīng)用范圍。在智能家居領(lǐng)域，可以通過(guò)我們的系統(tǒng)實(shí)現(xiàn)人類闖入報(bào)警裝置，在攝像頭捕捉到的區(qū)域檢測(cè)到人臉后觸發(fā)報(bào)警；在新冠疫情期間，我們的系統(tǒng)可以安裝在商圈、旅游景點(diǎn)，實(shí)時(shí)檢測(cè)人流密度，為實(shí)時(shí)限流措施提供參考。1.3主要技術(shù)特點(diǎn)1.4關(guān)鍵性能指標(biāo)兩個(gè)方面進(jìn)行了分析。識(shí)別精度可達(dá)到95.2%,而系統(tǒng)延遲僅僅40ms左右，可達(dá)到25fps的幀率。1.5主要?jiǎng)?chuàng)新點(diǎn)3、在網(wǎng)絡(luò)的head部分對(duì)邊框回歸和類別預(yù)測(cè)做了不對(duì)稱設(shè)計(jì)，進(jìn)一步提升性能。系統(tǒng)框架創(chuàng)新點(diǎn)1、為了加快系統(tǒng)設(shè)計(jì)，采用了Xilinx專用于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)處理單元(DPU)。在設(shè)計(jì)系統(tǒng)過(guò)程中，可根據(jù)系統(tǒng)的具體情況配置DPU的參數(shù)，將該IP集成到所選器件PL中，通過(guò)PS端軟件控制，實(shí)現(xiàn)多種卷積神經(jīng)網(wǎng)絡(luò)的加速。2、利用PYNQ框架，可以在開(kāi)發(fā)板上動(dòng)態(tài)地加載比特流實(shí)現(xiàn)系統(tǒng)所需硬件電路，靈活方便。3、利用VitisAI編譯模型，將浮點(diǎn)模型轉(zhuǎn)換為定點(diǎn)模型，降低了計(jì)算復(fù)雜度，并且需要的內(nèi)存帶寬更少，提高了模型速度。第二部分系統(tǒng)組成及功能說(shuō)明2.1整體介紹下后處理基于深度學(xué)習(xí)的人臉檢測(cè)系統(tǒng)由PS端、PL端與外設(shè)及其接口組成。其中，外設(shè)包括、攝像頭(通過(guò)USB3.0連接)、語(yǔ)音模塊(通過(guò)UART連接)和VGA顯示(通過(guò)MiniDP轉(zhuǎn)VGA連接),開(kāi)發(fā)板內(nèi)部還提供了2GB的LPDDR4;PS端包括openCV采集處理模塊、后處理Suppression,NMS)算法對(duì)候選區(qū)域進(jìn)行篩選，得到合適的區(qū)域信息面并框出人臉位置。PL端中的特征提取模塊對(duì)預(yù)處理后的圖像進(jìn)行ZynqUltraScale+MPSoC開(kāi)發(fā)板，并基于Linaro96BoardsConsumerUltra96-V2開(kāi)發(fā)板系統(tǒng)框圖如下圖所示：ProcessingSystem(P44→圖3Ultra96-V2系統(tǒng)框圖2.2各模塊介紹本系統(tǒng)采用的是超微1601U攝像頭上圖所示，輸出圖像大小為1280×720,最高幀率可達(dá)30fps。該攝像頭通過(guò)USB3.0接口與開(kāi)發(fā)曝光控制AEC和自動(dòng)白平衡AEB,可以調(diào)節(jié)亮度、對(duì)比度、色飽和度、色調(diào)等基礎(chǔ)參數(shù)。通過(guò)系統(tǒng)PS端的OpenCV來(lái)完成攝像頭相關(guān)參數(shù)的深度學(xué)習(xí)處理單元(DPU)進(jìn)行處理。對(duì)于一幀圖像，該模塊接收到來(lái)自神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊的3780個(gè)候選框信息(包括邊框坐標(biāo)、識(shí)別標(biāo)簽、置信度)。后處理模塊首先對(duì)這些候選框進(jìn)行篩選，留下置信度大于0.6的候選框。這一步可以滑動(dòng)窗口會(huì)導(dǎo)致很多窗口與其他窗口存在包含或者大部分交叉的情最大),并且抑制那些分?jǐn)?shù)低的窗口。引腳名稱UART串行數(shù)據(jù)輸出地電源地喇叭+喇叭-觸發(fā)輸入口1音頻輸出圖5語(yǔ)音模塊及其引腳介紹本系統(tǒng)中語(yǔ)音模塊的功能是在系統(tǒng)檢測(cè)完畢且后處理模塊統(tǒng)計(jì)畫(huà)面人數(shù)后，將檢測(cè)結(jié)果通過(guò)語(yǔ)音的方式播報(bào)給外界。語(yǔ)音模塊JQ8900-16P選用了SoC方案，集成了一個(gè)16位的MCU,能夠靈活更換SPI-flash內(nèi)的語(yǔ)音內(nèi)容，有一線串口控制模式和RX232串口控制由于開(kāi)發(fā)板上有多個(gè)USB接口，我們采用USB轉(zhuǎn)串口的方式來(lái)控制語(yǔ)音模塊。具體控制方式為把檢測(cè)到的人數(shù)轉(zhuǎn)化為語(yǔ)音模塊的控制指令，通過(guò)串口發(fā)送到該模塊，語(yǔ)音模塊對(duì)指令進(jìn)行解碼之后播報(bào)存放在該模塊內(nèi)的相應(yīng)音頻。結(jié)果展示部分——顯示控制經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)處理之后的圖像由開(kāi)發(fā)板上的MiniDP接口外接MiniDP轉(zhuǎn)VGA轉(zhuǎn)接頭，連接到VGA顯示器進(jìn)行顯示。識(shí)別模塊本系統(tǒng)中卷積神經(jīng)網(wǎng)絡(luò)模塊的功能是對(duì)攝像頭采集圖像中的人(1)數(shù)據(jù)集的制作(1)無(wú)口罩人群口罩的圖片(來(lái)源于網(wǎng)絡(luò))。具體地，我們從WIDERFace中篩選出7000張，從MAFA中篩選出2000張，自己根據(jù)已有的戴口罩的數(shù)據(jù)集生成了2000張左右，最終分為訓(xùn)練集13000張，測(cè)試集300張。的圖片與無(wú)口罩的圖片的組合，如圖6最右所示，因?yàn)樵诮?jīng)典數(shù)據(jù)集2)神經(jīng)網(wǎng)絡(luò)模型的搭建和訓(xùn)練本系統(tǒng)采用的目標(biāo)檢測(cè)算法為anchor-base的one-stage算法，整個(gè)網(wǎng)絡(luò)參考了RetinaNet[4]進(jìn)行設(shè)計(jì)，可分為backbone、neck、部分中，F(xiàn)PN[6]有很好的特征提取功能，引入FPN能解決較為復(fù)雜的問(wèn)題。但由于FPN需要額外的卷積計(jì)算，它也在一定程度上降低了速度。由于本次應(yīng)用只有兩個(gè)類別，有口罩和無(wú)口罩，識(shí)別困難度比較低，我們參考了SSD[7]的結(jié)構(gòu)，去掉FPN部分，僅用一個(gè)卷積層調(diào)整通道。對(duì)于head部分，由于只有兩個(gè)類別，我們減少了class分支的卷積層，不再與boxes分支對(duì)稱。減少卷積層并沒(méi)有引起精度下降，但進(jìn)一步提升了速度。我們anchor設(shè)置如下：820,最大尺寸為127。整體網(wǎng)絡(luò)框架如下所示：boxbox圖5整體網(wǎng)絡(luò)框架整體網(wǎng)絡(luò)可分為兩部分——特征提取模塊與邊框回歸及分類模立立double_blaze_blockP412×20圖6特征提取模塊對(duì)于特征提取模塊的處理如圖6所示。令輸入圖像為P0,其尺寸為192×320;P1由P0經(jīng)過(guò)一個(gè)卷積層和兩個(gè)blaze_block得到，本模塊的輸出，即識(shí)別模塊的輸入。其中blaze_block由由v2D+Add組成。各層參數(shù)詳見(jiàn)本文附錄中軟件模型的源代碼。邊框回歸及分類模塊對(duì)P3、P4、P5進(jìn)行分析。RetinaNet類別分支和邊框分支分別采用了四個(gè)卷積層，本設(shè)計(jì)采用了RetinaNet的head設(shè)計(jì)思想，但是進(jìn)行了改進(jìn)：我們減少了卷積層的數(shù)量，邊框分支采用三個(gè)卷積層，類別分支采用兩個(gè)卷積層。因?yàn)橹挥袃蓚€(gè)類別，所以我們的類別分支和邊框分支采用了不對(duì)稱設(shè)計(jì)，將類別分支的卷積層進(jìn)一步減少。減少類別分支的卷積層對(duì)準(zhǔn)確率幾乎沒(méi)有影響，但提升了速度。(3)硬件部分加載帶Xilinx的DPUIP的比特流文件，把DPU燒寫(xiě)到開(kāi)發(fā)板的PL3.1完成情況本系統(tǒng)目前可以實(shí)現(xiàn)：實(shí)時(shí)檢測(cè)并跟蹤人臉位置，人臉位置被框出；人臉檢測(cè)框上方給出目標(biāo)是否戴口罩mask/nomask以及置信度；定時(shí)對(duì)當(dāng)前人數(shù)與未佩戴口罩人數(shù)進(jìn)行語(yǔ)音播報(bào)。3.2人臉檢測(cè)