(12)發(fā)明專利(10)授權(quán)公告號CN115240259B(21)申請?zhí)?02210894051.8(22)申請日2022.07.27(65)同一申請的已公布的文獻(xiàn)號申請公布號CN115240259A(43)申請公布日2022.10.25(73)專利權(quán)人西安電子科技大學(xué)(72)發(fā)明人王蓉芳李智遠(yuǎn)朱孟達(dá)慕彩紅(74)專利代理機(jī)構(gòu)西安智大知識產(chǎn)權(quán)代理事務(wù)所61215GO6V40/16(2022.0(56)對比文件(54)發(fā)明名稱一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法及其檢測系統(tǒng)(57)摘要本發(fā)明公開了一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法及其檢測系統(tǒng)，在原始YOLOX算法上改進(jìn)，在網(wǎng)絡(luò)的空間金字塔池化結(jié)構(gòu)中使用更小的池化核，能夠幫助模型更輕松地檢測到課堂環(huán)境下的小尺度人臉并提高整體的人臉檢測性能；在網(wǎng)絡(luò)中加入混合注意力模塊，讓模型學(xué)習(xí)抑制無用的背景信息，提升檢測精度；在網(wǎng)絡(luò)中加入自適應(yīng)空間特征融合操作，解決PAFPN結(jié)構(gòu)中存在的不一致問題；使用EIOU損失函數(shù)代替IOU損失函數(shù)，使真實(shí)框與預(yù)測框的寬度差和高度差最小，能加快收斂速度；使用遷移學(xué)習(xí)預(yù)訓(xùn)練操作解決數(shù)據(jù)不足的問題，提升模型在課堂環(huán)境下人臉檢測的精度；劃分模塊，將2S1、將課堂環(huán)境下人臉檢測數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集；進(jìn)行調(diào)整，再對步驟S1劃分的訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)；S3、構(gòu)建基于YOLOX深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測卷積神經(jīng)網(wǎng)絡(luò)，將其命名為S4、使用EIOU損失函數(shù)和交叉熵?fù)p失函數(shù)構(gòu)建損失函數(shù)；S5、使用預(yù)訓(xùn)練數(shù)據(jù)集對YOLOXs-face網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得預(yù)訓(xùn)練模型；S6、使用步驟S2處理后的訓(xùn)練集在步驟S5中得到的預(yù)訓(xùn)練模型基礎(chǔ)上繼續(xù)訓(xùn)練檢測結(jié)果；量化評價(jià)。2.根據(jù)權(quán)利要求1所述的一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法，其特征在于：所述步驟S1中，將課堂環(huán)境下人臉檢測數(shù)據(jù)集中的樣本進(jìn)行隨機(jī)劃分，按照11:4:5的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。3.根據(jù)權(quán)利要求1所述的一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法，其特征在于：所述步驟S2具體方法為：像的大小，并依照概率對圖片進(jìn)行水平翻轉(zhuǎn)，最后對圖像的色調(diào)、飽和度和亮度進(jìn)行隨機(jī)的改變，實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)；S203、對步驟S201預(yù)處理后的驗(yàn)證集，和步驟S202預(yù)處理后的訓(xùn)練集，分別進(jìn)行真實(shí)框調(diào)整。4.根據(jù)權(quán)利要求1所述的一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法，其特征在于：所述步驟S3具體方法為：S301、構(gòu)建基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測網(wǎng)絡(luò)，命名為YOLOXs-face;YOLOXs-face網(wǎng)絡(luò)包含特征提取模塊、特征加強(qiáng)模塊和特征點(diǎn)預(yù)測模塊；S302、構(gòu)建包含卷積層、批歸一化層和SiLU非線性激活層的CBS模塊；S303、構(gòu)建包含卷積層、批歸一化層和SiLU非線性激活層的殘差模塊；S304、基于步驟S302的CBS模塊構(gòu)建Focus模塊，該模塊首先會(huì)對輸入的圖像進(jìn)行切片處理，將輸入由三通道擴(kuò)充到十二通道，再使用一個(gè)CBS模塊對特征層進(jìn)行卷積操作；S305、基于步驟S302的CBS模塊構(gòu)建SPP模塊，該模塊由CBS模塊和最大池化操作組成；3S306、基于步驟S302的CBS模塊和步驟S303的殘差模塊構(gòu)建CSP_N模塊和CSP2_N模塊，CSP_N模塊包含主干支路和殘差支路，其主干支路包含一個(gè)CBS模塊和N個(gè)殘差模塊，殘差支路上包含一個(gè)CBS模塊，將數(shù)據(jù)分別輸入主干支路和殘差支路中，得到大小相同的特征層，將特征層進(jìn)行堆疊后再經(jīng)過CBS模塊得到輸出；CSP2_N模塊包含主干支路和殘差支路，其主干支路包含一個(gè)CBS模塊和N個(gè)去除殘差邊的殘差模塊，殘差支路上包含一個(gè)CBS模塊，將數(shù)據(jù)分別輸入主干支路和殘差支路中，得到大小相同的特征層，將特征層進(jìn)行堆疊后再經(jīng)過CBS模塊得到輸出；S307、基于步驟S302的CBS模塊、步驟S304的Focus模塊、步驟S305的SPP模塊以及步驟S306的CSP_N模塊和CSP2_N模塊構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)YOLOXs-face的特征提取模塊CSPDarkNet網(wǎng)絡(luò)，該結(jié)構(gòu)會(huì)對輸入的數(shù)據(jù)進(jìn)行特征提取操作；將步驟S2經(jīng)過數(shù)據(jù)增強(qiáng)的訓(xùn)練集中的數(shù)據(jù)輸入CSPDarkNet網(wǎng)絡(luò)，在CSPDarkNet結(jié)構(gòu)的中間層、中下層和底層共獲得三個(gè)有效特征層；S308、構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)YOLOXs-face的特征加強(qiáng)模塊Attention網(wǎng)絡(luò)，該網(wǎng)絡(luò)由三個(gè)CBAM注意力模塊組成；將步驟S307得到的三個(gè)有效特征層分別輸入到三個(gè)CBAM注意力模塊中，得到三個(gè)混合注意力特征層；S309、基于步驟S302的CBS模塊和步驟S306的CSP2_N模塊構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)三個(gè)混合注意力特征層輸入PAFPN網(wǎng)絡(luò)中，先在FPN網(wǎng)絡(luò)中通過上采樣的方式進(jìn)行特征傳遞融合，再在FAN網(wǎng)絡(luò)中通過下采樣融合方式得到三個(gè)加強(qiáng)特征層；S310、構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)YOLOXs-face的特征加強(qiáng)模塊ASFF網(wǎng)絡(luò)，該網(wǎng)絡(luò)由三個(gè)自適應(yīng)空間特征融合模塊組成；將步驟S309得到的三個(gè)加強(qiáng)特征層輸入ASFF網(wǎng)絡(luò)中，讓不同的特征層自適應(yīng)地融合，得到三個(gè)融合特征層；S311、基于步驟S302的CBS模塊構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)YOLOXs-face的特征點(diǎn)預(yù)測YoloHead網(wǎng)絡(luò)，該網(wǎng)絡(luò)由YoloHead模塊組成；將步驟S310得到的三個(gè)融合特征層輸入YoloHead網(wǎng)絡(luò)中，對特征層進(jìn)行分類與回歸操作，得到三個(gè)不同尺度的預(yù)測結(jié)果；S312、將步驟S311得到的預(yù)測結(jié)果進(jìn)行整合，得到最終的課堂環(huán)境下人臉檢測結(jié)果。5.根據(jù)權(quán)利要求4所述的一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法，其特征絡(luò)、PAFAN網(wǎng)絡(luò)和ASFF網(wǎng)絡(luò)組成，特征點(diǎn)預(yù)測由YoloHead網(wǎng)絡(luò)組成；所述步驟S307中，有效特征層。6.根據(jù)權(quán)利要求4所述的一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法，其特征在于所述：步驟S305中構(gòu)建的SPP模塊，包含兩個(gè)CBS模塊和三個(gè)池化核大小分別為7×7,5×5和3×3的最大池化操作組成。7.根據(jù)權(quán)利要求4所述的一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法，其特征在于：所述步驟S311中，YoloHead模塊先使用卷積操作調(diào)整輸入特征層的通道數(shù)，再將調(diào)整后的特征層分別輸入分類支路和回歸支路，其中，分類支路先使用兩個(gè)CBS模塊對特征進(jìn)行提取，再使用卷積操作預(yù)測類別，回歸支路先使用兩個(gè)CBS模塊對特征進(jìn)行提取，分別使4用兩個(gè)1×1卷積操作得到置信度和回歸參數(shù)。8.根據(jù)權(quán)利要求1所述的一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法，其特征置信度的損失和類別預(yù)測的損失；其中，IOU表示預(yù)測框與真實(shí)框的交并比，b和b?分別表示預(yù)測框和真實(shí)框的中心點(diǎn)，p表示兩個(gè)點(diǎn)之間的歐式距離，c表示預(yù)測框和真實(shí)框的最小外接框的對角線距離，C和C分別表示預(yù)測框和真實(shí)框的最小外接框的寬度和高度；進(jìn)一步的，用于計(jì)算LB和Las的交叉熵?fù)p失函數(shù)LB.為：LBWL=-(ylogo(p)+(1-y)lo9.根據(jù)權(quán)利要求1所述的一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法，其特征在于：步驟S5和步驟S6中，對人臉檢測網(wǎng)絡(luò)YOLOXs-face進(jìn)行訓(xùn)練時(shí)，采用Adam優(yōu)化器進(jìn)行優(yōu)化。10.一種實(shí)現(xiàn)權(quán)利要求1至9的任意一種檢測方法的檢測系統(tǒng)，其特征在于：包括：劃分模塊，將課堂環(huán)境下采集的人臉檢測數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集；預(yù)處理模塊，對驗(yàn)證集和訓(xùn)練集的圖像大小進(jìn)行調(diào)整，再對訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)；網(wǎng)絡(luò)模塊，構(gòu)建基于YOLOX深度網(wǎng)絡(luò)的YOLOXs-face網(wǎng)絡(luò)；預(yù)訓(xùn)練模塊：使用預(yù)訓(xùn)練數(shù)據(jù)集對YOLOXs-face網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得預(yù)訓(xùn)練模型；訓(xùn)練模塊，在預(yù)訓(xùn)練模型的基礎(chǔ)上，使用預(yù)處理模塊處理后的訓(xùn)練集對YOLOXs-face網(wǎng)絡(luò)進(jìn)行訓(xùn)練；驗(yàn)證模塊，在訓(xùn)練的同時(shí)，使用預(yù)處理模塊處理后的驗(yàn)證集進(jìn)行驗(yàn)證，保存驗(yàn)證集上表現(xiàn)最優(yōu)的網(wǎng)絡(luò)模型；檢測模塊，使用劃分后的測試集在保存的最優(yōu)網(wǎng)絡(luò)模型上進(jìn)行測試，得到課堂環(huán)境下人臉檢測結(jié)果。5一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法及其檢測系統(tǒng)技術(shù)領(lǐng)域[0001]本發(fā)明屬于深度學(xué)習(xí)檢測技術(shù)領(lǐng)域，尤其涉及一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法及其檢測系統(tǒng)。背景技術(shù)[0002]課堂是人臉檢測技術(shù)的應(yīng)用場景之一。在傳統(tǒng)的教學(xué)環(huán)境中，老師只能通過在課堂上點(diǎn)名或者簽到的方式來對學(xué)生的到課情況進(jìn)行統(tǒng)計(jì)，但當(dāng)學(xué)生較多時(shí)，使用這種方法非常浪費(fèi)時(shí)間。將人臉檢測技術(shù)引入課堂中，可對學(xué)生的課堂出勤率、專注度等情況進(jìn)行實(shí)時(shí)檢測分析，幫助老師了解班級出勤情況以及每個(gè)學(xué)生的上課狀態(tài)和學(xué)習(xí)狀況，進(jìn)而在教學(xué)方式和策略上做出相應(yīng)調(diào)整來提高教學(xué)質(zhì)量。[0003]在課堂環(huán)境下的人臉檢測任務(wù)中，存在以下幾方面的難點(diǎn)：[0005]2、課堂環(huán)境中學(xué)生的姿態(tài)無法預(yù)估，存在較多的嚴(yán)重遮擋、非典型姿態(tài)以及模糊[0008]5、可用的課堂環(huán)境下人臉檢測數(shù)據(jù)集較少且制作數(shù)據(jù)集代價(jià)高昂，不足以支撐大型復(fù)雜網(wǎng)絡(luò)的訓(xùn)練；[0009]現(xiàn)有技術(shù)方案包括基于傳統(tǒng)手工特征的人臉檢測方法和基于深度學(xué)習(xí)的人臉檢測方法。[0010]在人臉檢測領(lǐng)域引入深度學(xué)習(xí)方法之前，人臉檢測工作主要基于經(jīng)典方法，即從圖像(或圖像上的滑動(dòng)窗口)中提取手工特征，然后將特征輸入分類器(或分類器集合)中檢測可能的人臉區(qū)域。這些檢測器的性能在很大程度上取決于特征的計(jì)算效率和表達(dá)能力。隨著研究人員的不斷改進(jìn)和探索，基于傳統(tǒng)手工特征的人臉檢測方法取得了不錯(cuò)的檢測效果。但人工根據(jù)經(jīng)驗(yàn)設(shè)計(jì)的特征具有很大的局限性，很容易暗等)的干擾，所以基于傳統(tǒng)手工特征的人臉檢測方法的應(yīng)用場景受限且在復(fù)雜環(huán)境下的魯棒性不好。同時(shí)，傳統(tǒng)人臉檢測算法不能在沒有人為干預(yù)的情況下自動(dòng)地從原始圖像中提取出對檢測任務(wù)有用的特征，而且由于性能的限制，傳統(tǒng)方法無法處理大量的數(shù)據(jù)。[0011]隨著2012年深度神經(jīng)網(wǎng)絡(luò)在圖像分類方面的突破性工作，人臉檢測的模式也發(fā)生了巨大的轉(zhuǎn)變。受深度學(xué)習(xí)在計(jì)算機(jī)視覺中快速發(fā)展的啟發(fā)，在過去的幾年里，許多基于深度學(xué)習(xí)的框架被應(yīng)用于人臉檢測領(lǐng)域，在檢測的準(zhǔn)確性方面取得了顯著的提高。因?yàn)闄z測效率高、穩(wěn)定性強(qiáng)的優(yōu)點(diǎn)，基于深度學(xué)習(xí)的各類人臉檢測算法模型已經(jīng)成為人臉檢測任務(wù)的主流框架，隨著研究人員對新技術(shù)和新網(wǎng)絡(luò)的研究探索，越來越多優(yōu)秀的基于深度學(xué)習(xí)據(jù)基準(zhǔn)上都取得了十分先進(jìn)的結(jié)果。但在過去很長一段時(shí)間里，人臉檢測算法只追求檢測6精度的提升而忽視了模型的大小和算法的檢測速度，甚至不少算法以增大網(wǎng)絡(luò)模型和降低檢測速度為代價(jià)換取檢測進(jìn)度的提升，這些算法的訓(xùn)練難度很大且對硬件設(shè)備有很高的要發(fā)明內(nèi)容[0012]為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提出一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法及其檢測系統(tǒng)，在網(wǎng)絡(luò)的空間金字塔池化結(jié)構(gòu)中使用更小的池化核，能夠幫助模型更輕松地檢測到課堂環(huán)境下的小尺度人臉并提高整體的人臉檢測性能；在網(wǎng)絡(luò)中加入混合注意力模塊，讓模型學(xué)習(xí)抑制無用的背景信息，提升檢測精度；在網(wǎng)絡(luò)中加入自適應(yīng)空間特征融合操作，解決PAFPN結(jié)構(gòu)中存在的不一替IOU損失函數(shù)，使真實(shí)框與預(yù)測框的寬度差和高度差最小，能加快收斂速度；使用遷移學(xué)習(xí)預(yù)訓(xùn)練操作解決數(shù)據(jù)不足的問題，提升模型在課堂環(huán)境下人臉檢測的精度。[0013]為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：[0015]S1、將課堂環(huán)境下人臉檢測數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集；[0016]S2、讀取步驟S1劃分的訓(xùn)練集和驗(yàn)證集中的圖像，將其轉(zhuǎn)換為RGB格式并對圖像的大小進(jìn)行調(diào)整，再對步驟S1劃分的訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)；[0017]S3、構(gòu)建基于YOLOX深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測卷積神經(jīng)網(wǎng)絡(luò)，將其命名為[0018]S4、使用EIOU損失函數(shù)和交叉熵?fù)p失函數(shù)構(gòu)建本方法的損失函數(shù)；[0020]S6、使用步驟S2處理后的訓(xùn)練集在步驟S5中得到的預(yù)訓(xùn)練模型基礎(chǔ)上繼續(xù)訓(xùn)練YOLOXs-face網(wǎng)絡(luò)，使用步驟S2處理后的驗(yàn)證集進(jìn)行驗(yàn)證，保存驗(yàn)證集上表現(xiàn)最優(yōu)的網(wǎng)絡(luò)模[0021]S7、使用步驟S1劃分的測試集在步驟S6保存的網(wǎng)絡(luò)模型上測試，得到課堂環(huán)境下人臉檢測結(jié)果；[0022]S8、對步驟S7中得到的檢測結(jié)果，利用F1系數(shù)與平均精度對網(wǎng)絡(luò)模型的檢測性能進(jìn)行量化評價(jià)。[0023]具體的，步驟S1中，將課堂環(huán)境下人臉檢測數(shù)據(jù)集中的樣本進(jìn)行隨機(jī)劃分，按照11:4:5的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。[0025]S201、對步驟S1劃分的驗(yàn)證集中的圖像進(jìn)行預(yù)處理，首先將圖像轉(zhuǎn)換成RGB格式，再使用雙線性插值方法將驗(yàn)證集和測試集的圖像大小等比縮放，最后通過給圖像加灰條的方法統(tǒng)一圖像的大小；[0026]S202、對步驟S1劃分的訓(xùn)練集中的圖像進(jìn)行預(yù)處理，首先將圖像轉(zhuǎn)換成RGB格式，然后對圖像進(jìn)行等比縮放，再對圖片的寬高比進(jìn)行隨機(jī)縮放；通過給圖像加灰條的方法統(tǒng)一圖像的大小，并依照概率對圖片進(jìn)行水平翻轉(zhuǎn)，最后對圖像的色調(diào)、飽和度和亮度進(jìn)行隨[0027]S203、對步驟S201預(yù)處理后的驗(yàn)證集，和步驟S202預(yù)處理后的訓(xùn)練集，分別進(jìn)行真7實(shí)框調(diào)整。[0029]S301、構(gòu)建基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測網(wǎng)絡(luò)，命名為YOLOXs-face;YOLOXs-face網(wǎng)絡(luò)包含特征提取模塊、特征加強(qiáng)模塊和特征點(diǎn)預(yù)測模塊。[0030]S302、構(gòu)建包含卷積層、批歸一化層和SiLU非線性激活層的CBS模塊；[0031]S303、構(gòu)建包含卷積層、批歸一化層和SiLU非線性激活層的殘差模塊；[0032]S304、基于步驟S302的CBS模塊構(gòu)建Focus模塊，該模塊首先會(huì)對輸入的圖像進(jìn)行切片處理，將輸入由三通道擴(kuò)充到十二通道，再使用一個(gè)CBS模塊對特征層進(jìn)行卷積操作；[0033]S305、基于步驟S3差支路上包含一個(gè)CBS模塊，將數(shù)據(jù)分別輸入主干支路和殘差支路中，得到大小相同的特征層，將特征層進(jìn)行堆疊后再經(jīng)過CBS模塊得到輸出；CSP2_N模塊包含主干支路和殘差支路，其主干支路包含一個(gè)CBS模塊和N個(gè)去除殘差邊的殘差模塊，殘差支路上包含一個(gè)CBS模塊，將數(shù)據(jù)分別輸入主干支路和殘差支路中，得到大小相同的特征層，將特征層進(jìn)行堆疊后再經(jīng)過CBS模塊得到輸出；步驟S306的CSP_N模塊和CSP2_N模塊構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)YOLOXs-face的特征提取模塊CSPDarkNet網(wǎng)絡(luò)，該結(jié)構(gòu)會(huì)對輸入的數(shù)據(jù)進(jìn)行特征提取操作；將步驟S2經(jīng)過數(shù)據(jù)增強(qiáng)的訓(xùn)練集中的數(shù)據(jù)輸入CSPDarkNet網(wǎng)絡(luò)，在CSPDarkNet結(jié)構(gòu)的中間層、中下層和底層共獲得三個(gè)有效特征層；[0036]S308、構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)YOLOXs-face的特征加強(qiáng)模塊Attention網(wǎng)絡(luò)，該網(wǎng)絡(luò)由三個(gè)CBAM注意力模塊組成；將步驟S307得到的三個(gè)有效特征層分別輸入到三個(gè)[0037]S309、基于步驟S302的CBS模塊和步驟S306的CSP2_N模塊構(gòu)建步驟S301人臉檢測到的三個(gè)混合注意力特征層輸入PAFPN網(wǎng)絡(luò)中，先在FPN網(wǎng)絡(luò)中通過上采樣的方式進(jìn)行特征傳遞融合，再在FAN網(wǎng)絡(luò)中通過下采樣融合方式得到三個(gè)加強(qiáng)特征層；[0038]S310、構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)YOLOXs-face的特征加強(qiáng)模塊ASFF網(wǎng)絡(luò)，該網(wǎng)絡(luò)由三個(gè)自適應(yīng)空間特征融合模塊組成；將步驟S309得到的三個(gè)加強(qiáng)特征層輸入ASFF網(wǎng)絡(luò)[0039]S311、基于步驟S302的CBS模塊構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)YOLOXs-face的特征點(diǎn)預(yù)測YoloHead網(wǎng)絡(luò)，該網(wǎng)絡(luò)由YoloHead模塊組成；將步驟S310得到的三個(gè)融合特征層輸入YoloHead網(wǎng)絡(luò)中，對特征層進(jìn)行分類與回歸操作，得到三個(gè)不同尺度的預(yù)測結(jié)果；[0040]S312、將步驟S311得到的預(yù)測結(jié)果進(jìn)行整合，得到最終的課堂環(huán)境下人臉檢測結(jié)[0041]進(jìn)一步的，步驟301中，特征提取模塊由CSPDarkNet網(wǎng)絡(luò)組成，特征加強(qiáng)模塊由8[0042]進(jìn)一步的，步驟S305中構(gòu)建的SPP模塊，包含兩個(gè)CBS模塊和三個(gè)池化核大小分別為7×7,5×5和3×3的最大池化操作組成；模塊和CSP2_1模塊的輸出作為有效特征層。[0044]進(jìn)一步的，步驟S311中，YoloHead模塊先使用卷積操作調(diào)整輸入特征層的通道數(shù)，再將調(diào)整后的特征層分別輸入分類支路和回歸支路，其中，分類支路先使用兩個(gè)CBS模塊對特征進(jìn)行提取，再使用卷積操作預(yù)測類別，回歸支路先使用兩個(gè)CBS模塊對特征進(jìn)行提取，分別使用兩個(gè)1×1卷積操作得到置信度和回歸參數(shù)。別代表置信度的損失和類別預(yù)測的損失。[0050]其中，IOU表示預(yù)測框與真實(shí)框的交并比，b和b??分別表示預(yù)測框和真實(shí)框的中心C?分別表示預(yù)測框和真實(shí)框的最小外接框的寬度和高度。[0054]進(jìn)一步的，步驟S5和步驟S6中，對人臉檢測網(wǎng)絡(luò)YOLOXs-face進(jìn)行訓(xùn)練時(shí)，采用[0056]劃分模塊，將課堂環(huán)境下采集的人臉檢測數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集；[0057]預(yù)處理模塊，對驗(yàn)證集和訓(xùn)練集的圖像大小進(jìn)行調(diào)整，再對訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)；[0060]訓(xùn)練模塊，在預(yù)訓(xùn)練模型的基礎(chǔ)上，使用預(yù)處理模塊處理后的訓(xùn)練集對YOLOXs-face網(wǎng)絡(luò)進(jìn)行訓(xùn)練；[0061]驗(yàn)證模塊，在訓(xùn)練的同時(shí)，使用預(yù)處理模塊處理后的驗(yàn)證集進(jìn)行驗(yàn)證，保存驗(yàn)證集上表現(xiàn)最優(yōu)的網(wǎng)絡(luò)模型；[0062]檢測模塊，使用劃分后的測試集在保存的最優(yōu)網(wǎng)絡(luò)模型上進(jìn)行測試，得到課堂環(huán)境下人臉檢測結(jié)果。[0063]所述預(yù)訓(xùn)練數(shù)據(jù)集采用WIDERFACE數(shù)據(jù)集。[0065]1)使用更小核的空間金字塔池化結(jié)構(gòu)。空間金字塔池化結(jié)構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所9示，其使用不同大小的池化核對輸入特征層進(jìn)行最大池化操作，從輸入特征層中提取到不同尺寸的空間特征信息，這樣處理能夠提升模型的檢測精度和魯棒性。并且相較于那些只能處理固定輸入大小圖片的包含全連接層的卷積神經(jīng)網(wǎng)絡(luò)模型，空間金字塔池化結(jié)構(gòu)不會(huì)限制輸入圖片的大小，能使網(wǎng)絡(luò)的使用場景更加靈活。在本發(fā)明中，將池化核的大小依次修改為7×7,5×5和3×3,在網(wǎng)絡(luò)的空間金字塔池化結(jié)構(gòu)中使用更小尺度的池化核能夠幫助模型更輕松地檢測到課堂環(huán)境下的小尺度人臉并提高整體的人臉檢測性能。[0066]2)加入混合閾注意力機(jī)制融合操作。計(jì)算機(jī)視覺中的注意力機(jī)制借鑒了人類的注意力思維方式。在處理視覺信息時(shí)，人類會(huì)對接收到的信息予以不同程度的關(guān)注，重點(diǎn)關(guān)注有利于結(jié)果預(yù)測的信息，同時(shí)自動(dòng)忽略無關(guān)內(nèi)容。在計(jì)算機(jī)視覺中，一般使用掩形成注意力機(jī)制，模型通過給輸入的各個(gè)位置賦予不同的權(quán)值來達(dá)到關(guān)注重要信息而忽略無關(guān)內(nèi)容的目的。本發(fā)明在網(wǎng)絡(luò)中加入注意力機(jī)制可以讓模型學(xué)習(xí)抑制無用的背景信息，提升檢測精度。本發(fā)明使用的注意力模塊流程圖如圖7所示，其詳細(xì)內(nèi)容在圖8中展示。[0067]3)加入自適應(yīng)空間特征融合操作。在YOLOX-s中，會(huì)使用PAFPN網(wǎng)絡(luò)對三個(gè)有效特征層進(jìn)行特征融合操作，然后再使用高層語義信息進(jìn)行大目標(biāo)檢測，低層語義信息進(jìn)行小目標(biāo)檢測。在課堂環(huán)境中，教室前后人臉的尺度普遍差距較大，即在同一張圖片中既有大尺度人臉又有小尺度人臉，在這種情況下，不同層上的特征之間的沖突往往會(huì)占據(jù)PAFPN的主要部分，這種不一致性會(huì)干擾訓(xùn)練過程中的梯度計(jì)算，并降低特征金字塔的有效性。本發(fā)明通過在PAFPN結(jié)構(gòu)之后加入自適應(yīng)空間特征融合模塊來解決PAFPN結(jié)構(gòu)中存在的不一致問題。圖9以自適應(yīng)空間特征融合模塊-3為例展示了自適應(yīng)空間特征融合模塊的結(jié)構(gòu)，自適應(yīng)特征融合的實(shí)現(xiàn)簡單，給模型增加的計(jì)算量微乎其微。[0068]4)使用EIOU改進(jìn)損失函數(shù)。因?yàn)閅OLOX-s網(wǎng)絡(luò)使用的IOU損失存在局限性，所以本損失和寬高損失，其中寬高損失直接使真實(shí)框與預(yù)測框的寬度差和高度差最小，能加快收斂速度。[0069]5)使用遷移學(xué)習(xí)預(yù)訓(xùn)練操作。對于課堂環(huán)境下的人臉檢測任務(wù)，可用于模型訓(xùn)練的公開數(shù)據(jù)集太少，且制作數(shù)據(jù)集代價(jià)高昂，為了解決數(shù)據(jù)不足的問題，本發(fā)明引入遷移學(xué)習(xí)預(yù)訓(xùn)練操作，先使用WIDERFACE數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，得到通用的人臉檢測模型，再在通用模型的基礎(chǔ)上訓(xùn)練課堂環(huán)境人臉檢測數(shù)據(jù)集，得到針對課堂環(huán)境的人臉檢測模型。相較于隨機(jī)初始化網(wǎng)絡(luò)參數(shù)，使用遷移學(xué)習(xí)預(yù)訓(xùn)練操作能夠加快模型在訓(xùn)練過程中的收斂速度，提升模型在課堂環(huán)境下人臉檢測的精度。附圖說明[0070]圖1為本發(fā)明的流程圖。[0071]圖2為本發(fā)明本發(fā)明提出的YOLOXs-face的總體結(jié)構(gòu)圖。[0072]圖3為本發(fā)明CSPDarkNet網(wǎng)絡(luò)的結(jié)構(gòu)圖。[0073]圖4為本發(fā)明PAFPN的[0074]圖5為YoloHead模塊的結(jié)構(gòu)圖。[0075]圖6為空間金字塔池化結(jié)構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu)圖。[0076]圖7為混合注意力模塊的整體結(jié)構(gòu)圖。[0077]圖8為混合注意力模塊中通道注意力機(jī)制和空間注意力機(jī)制的詳細(xì)結(jié)構(gòu)圖，其中，圖(a)為通道注意力模塊，圖(b)為空間注意力模塊。[0078]圖9為以自適應(yīng)空間特征融合模塊-3為例展示自適應(yīng)空間特征融合模塊的結(jié)構(gòu)。具體實(shí)施方式[0079]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述。[0080]本發(fā)明提供了一種基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法及其檢測系統(tǒng)，首先將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集及測試集；然后對訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)；再構(gòu)建基于YOLOX深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測卷積神經(jīng)網(wǎng)絡(luò)；使用預(yù)訓(xùn)練數(shù)據(jù)集對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到預(yù)訓(xùn)練模型；使用訓(xùn)練集在預(yù)訓(xùn)練模型的基礎(chǔ)上對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，保存在驗(yàn)證集上表現(xiàn)最優(yōu)的模型；最后用最優(yōu)的模型對測試集進(jìn)行測試，得到課堂環(huán)境下人臉檢測的各項(xiàng)指標(biāo)結(jié)果。本發(fā)明在原YOLOX目標(biāo)檢測算法的基礎(chǔ)上加入了一系列的使用更小核的空間金字塔池化結(jié)構(gòu)，加入混合注意力模塊和自適應(yīng)空間特征融合模塊，使用EIOU改進(jìn)損失函數(shù)，以及使用遷移學(xué)習(xí)預(yù)訓(xùn)練操作，實(shí)現(xiàn)在較少的計(jì)算資源的前提下有效提高對課堂環(huán)境下人臉檢測的精度。圖片作為驗(yàn)證集，500張圖片作為測試集。[0084]S2、讀取步驟S1劃分的訓(xùn)練集和驗(yàn)證集中的圖像，將其轉(zhuǎn)換為RGB格式并對圖像的大小進(jìn)行調(diào)整，再對步驟S1劃分的訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)，具體如下：[0085]S201、對步驟S1劃分的驗(yàn)證集中的圖像進(jìn)行預(yù)處理，首先將圖像轉(zhuǎn)換成RGB格式，再使用雙線性插值方法將驗(yàn)證集和測試集的圖像大小等比縮放，使得圖像的長邊為640,最后創(chuàng)建一個(gè)大小為640×640的灰色圖片，將縮放后的圖像放在灰色圖片的中央；[0086]S202、對步驟S1劃分的訓(xùn)練集中的圖像進(jìn)行預(yù)處理，首先將圖像轉(zhuǎn)換成RGB格式，然后對圖像進(jìn)行等比縮放，再對圖片的寬高比進(jìn)行隨機(jī)改變，再創(chuàng)建一個(gè)大小為640×640的灰色圖片，將縮放后的圖像放在灰色圖片的中央，并依照概率對圖片進(jìn)行水平翻轉(zhuǎn)，最后對圖像的色調(diào)、飽和度和亮度進(jìn)行隨機(jī)的改變，實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)；[0087]S203、對步驟S201預(yù)處理后的驗(yàn)證集，和步驟S202預(yù)處理后的訓(xùn)練集，分別進(jìn)行真實(shí)框調(diào)整。[0088]S3、參加圖2構(gòu)建基于YOLOX深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測卷積神經(jīng)網(wǎng)絡(luò)，將其命名為YOLOXs-face,具體如下：[0089]S301、構(gòu)建基于YOLO深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測網(wǎng)絡(luò)，命名為YOLOXs-face;YOLOXs-face網(wǎng)絡(luò)包含特征提取模塊、特征加強(qiáng)模塊和特征點(diǎn)預(yù)測模塊，特征提取模塊由預(yù)測由YoloHead網(wǎng)絡(luò)組成；11[0091]CBS模塊由1個(gè)卷積層、1個(gè)批歸一化層和1個(gè)SiLU非線性激活層組成，卷積層的卷積核大小根據(jù)使用場景的不同而變化，卷積層后面依次為批歸一化層和SiLU激活層。[0092]S303、構(gòu)建包含2個(gè)卷積層、2個(gè)批歸一化層和2個(gè)SiLU非線性激活層的殘差模塊；[0093]殘差模塊由2個(gè)卷積層、2個(gè)批歸一化層和2個(gè)SiLU非線性激活層組成，2個(gè)卷積層的卷積核大小依次為：1×1、3×3,每個(gè)卷積層后面加一層批歸一化層核SiLU激活層，輸出層和輸入進(jìn)行殘差連接后作為該模塊的最終輸出。[0094]S304、基于步驟S302的CBS模塊構(gòu)建Focus模塊，該模塊首先會(huì)對輸入的圖像進(jìn)行切片處理，將輸入由三通道擴(kuò)充到十二通道，再使用一個(gè)CBS模塊對特征層進(jìn)行卷積操作；[0095]Focus模塊在一張圖片中每隔一個(gè)像素取一個(gè)值，將輸入由三通道擴(kuò)充到十二通道，再使用一個(gè)卷積核大小為3×3的CBS模塊調(diào)整特征層通道數(shù)。[0096]S305、基于步驟S302的CBS模塊構(gòu)建SPP模塊，該模塊包含兩個(gè)CBS模塊和三個(gè)池化核大小分別為7×7,5×5和3×3的最大池化操作；[0097]SPP模塊首先使用一個(gè)卷積核大小為1×1的CBS模塊調(diào)整輸入特征層通道數(shù)，然后使用三個(gè)大小分別為7×7,5×5和3×3的池化核對特征層進(jìn)行最大池化操作，接下來將這三個(gè)提取到的特征層和初始特征層進(jìn)行堆疊，再使用一個(gè)卷積核大小為1×1的CBS模塊調(diào)整堆疊特征層的通道數(shù)得到最終輸出。塊，CSP_N模塊包含主干支路和殘差支路，其主干支路包含一個(gè)CBS模塊和N個(gè)殘差模塊，殘差支路上包含一個(gè)CBS模塊，將數(shù)據(jù)分別輸入兩條支路中，得到兩個(gè)大小相同的特征層，將兩個(gè)特征層堆疊后再經(jīng)過一個(gè)CBS模塊得到輸出；CSP2_N模塊包含主干支路和殘差支路，其主干支路包含1個(gè)CBS模塊和N個(gè)去除殘差邊的殘差模塊，殘差支路上包含一個(gè)CBS模塊，將數(shù)據(jù)分別輸入兩條支路中，得到兩個(gè)大小相同的特征層，將兩個(gè)特征層堆疊后再經(jīng)過一個(gè)步驟S306的CSP_N模塊和CSP2_N模塊構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)YOLOXs-face的特征提取模塊CSPDarkNet網(wǎng)絡(luò)，該結(jié)構(gòu)會(huì)對輸入的數(shù)據(jù)進(jìn)行特征提取操作；將步驟S2經(jīng)過數(shù)據(jù)增強(qiáng)的訓(xùn)練集中的數(shù)據(jù)輸入CSPDarkNet網(wǎng)絡(luò)，在CSPDarkNet結(jié)構(gòu)的中間層、中下層和底層共獲得三個(gè)大小分別為80×80×128、40×40×256和20×20×512的有效特征層；出作為有效特征層，上述CBS模塊的卷積核大小均為3×3。[0101]S308、構(gòu)建步驟S301人臉檢測網(wǎng)絡(luò)YOLOXs-face的特征加強(qiáng)模塊Attention網(wǎng)絡(luò)，該網(wǎng)絡(luò)由三個(gè)CBAM注意力模塊組成；將步驟S307得到的三個(gè)有效特征層分別輸入到三個(gè)CBAM注意力模塊中，得到三個(gè)大小分別為80×80×128、40×40×256和20×20×512的混合注意力特征層；[0102]通道注意力模塊：首先對輸入特征層分別進(jìn)行全局最大池化和全局平均池化處理，之后使用共享全連接層對池化后特征層進(jìn)行處理，然后將得到的兩個(gè)結(jié)果相加，再使用Sigmod激活函數(shù)進(jìn)行處理得到輸入特征層每個(gè)通道的權(quán)值，最后將權(quán)值與輸入特征層相乘得到輸出；采樣的方式進(jìn)行特征傳遞融合，再在FAN網(wǎng)絡(luò)中通過下采樣融合方式得到三個(gè)大小分別為由三個(gè)自適應(yīng)空間特征融合模塊組成；將步驟S309得到的三個(gè)加強(qiáng)特征層輸入ASFF網(wǎng)絡(luò)[0108]YoloHead模塊先使用一個(gè)1×1卷積操作調(diào)整輸入特征層包含預(yù)測框的回歸系數(shù)(x,y,w,h)、預(yù)測框包含物體的置信度以及預(yù)測框中物體是人臉的概率；9/12頁9/12頁[0116]進(jìn)一步的，用于計(jì)算LB和LcLs的交叉熵?fù)p失函數(shù)Lm為：[0119]S5、使用預(yù)訓(xùn)練數(shù)據(jù)集對YOLOXs-face網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得預(yù)訓(xùn)練模型；對人臉檢測網(wǎng)絡(luò)YOLOXs-face進(jìn)行訓(xùn)練時(shí)，批處理大小為24,采用Adam優(yōu)化器進(jìn)行優(yōu)化，初始學(xué)習(xí)率為0.001,每訓(xùn)練一輪，學(xué)習(xí)率都乘以0.98,共訓(xùn)練400輪。[0120]S6、使用步驟S2處理后的訓(xùn)練集在步驟S5中得到的預(yù)訓(xùn)練模型基礎(chǔ)上繼續(xù)訓(xùn)練YOLOXs-face網(wǎng)絡(luò)，并使用步驟S2處理后的驗(yàn)證集進(jìn)行驗(yàn)證，保存驗(yàn)證集上表現(xiàn)最優(yōu)的網(wǎng)絡(luò)模型；步驟S5和步驟S6中，對人臉檢測網(wǎng)絡(luò)YOLOXs-face進(jìn)行訓(xùn)練時(shí)，批處理大小為24,采用Adam優(yōu)化器進(jìn)行優(yōu)化，初始學(xué)習(xí)率為0.001,每訓(xùn)練一輪，學(xué)習(xí)率都乘以0.98,共訓(xùn)練400輪。[0121]S7、使用步驟S1劃分的測試集在步驟S6保存的網(wǎng)絡(luò)模型上測試，得到課堂環(huán)境下人臉檢測結(jié)果；[0122]S8、對步驟S7中得到的檢測結(jié)果，利用F1系數(shù)與平均精度對網(wǎng)絡(luò)模型的檢測性能進(jìn)行量化評價(jià)。[0123]一種基于YOLOX深度網(wǎng)絡(luò)的課堂環(huán)境下人臉檢測方法的檢測系統(tǒng)，包括：[0124]劃分模塊，將課堂環(huán)境下采集的人臉檢測數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集；[0125]預(yù)處理模塊，對驗(yàn)證集和訓(xùn)練集的圖像大小進(jìn)行調(diào)整，再對訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)；[0126]網(wǎng)絡(luò)模塊，構(gòu)建基于YOLOX深度網(wǎng)絡(luò)的YOLOXs-face網(wǎng)絡(luò)；[0127]預(yù)訓(xùn)練模塊：使用預(yù)訓(xùn)練數(shù)據(jù)集對YOLOXs-face網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得預(yù)訓(xùn)練模型；[0128]訓(xùn)練模塊，在預(yù)訓(xùn)練模型的基礎(chǔ)上，使用預(yù)處理模塊處理后的訓(xùn)練集對YOLOXs-face網(wǎng)絡(luò)進(jìn)行訓(xùn)練；[0129]驗(yàn)證模塊，在訓(xùn)練的同時(shí)，使用預(yù)處理模塊處理后的驗(yàn)證集進(jìn)行驗(yàn)證，保存驗(yàn)證集上表現(xiàn)最優(yōu)的網(wǎng)絡(luò)模型；[0130]檢測模塊，使用劃分后的測試集在保存的最優(yōu)網(wǎng)絡(luò)模型上進(jìn)行測試，得到課堂環(huán)境下人臉檢測結(jié)果。[0131]所述預(yù)訓(xùn)練數(shù)據(jù)集采用WIDERFACE數(shù)據(jù)集。[0132]仿真實(shí)驗(yàn)[0134]表1本發(fā)明的實(shí)驗(yàn)環(huán)境配置名稱參數(shù)AMDEPYC7302512G64核顯存深度學(xué)習(xí)框架部分中圖像來自于互聯(lián)網(wǎng)，在本發(fā)明中用于訓(xùn)練網(wǎng)絡(luò)獲得課堂環(huán)境下人臉檢測模[0138]本發(fā)明用到的數(shù)據(jù)中的圖像大小不一致，在數(shù)據(jù)預(yù)處理階段將其大小統(tǒng)一至640[0139]下面分別利用F1系數(shù)與平均精度(AveragePrecision,AP)對本發(fā)明提出的的IOU值，并取最大的IOU值為MaxIOU。此時(shí)再設(shè)置一個(gè)門限閾值(一般設(shè)置為0.5),當(dāng)[0150]精確率(Precision)