利用注意力機(jī)制提升FasterR-CNN對(duì)遮擋行人檢測(cè)效能研究目錄 2第一章前言 21.1研究背景及意義 21.2國內(nèi)外研究現(xiàn)狀 3第二章相關(guān)理論知識(shí) 62.1WiderPerson行人檢測(cè)數(shù)據(jù)集 62.2卷積神經(jīng)網(wǎng)絡(luò) 82.3相關(guān)評(píng)價(jià)參數(shù) 2.3.1精準(zhǔn)率、準(zhǔn)確率、召回率、交并比 2.3.2行人檢測(cè)評(píng)價(jià)指標(biāo) 2.4本章小結(jié) 第三章FasterR-CNN算法 3.1FasterR-CNN算法原理 3.2FasterR-CNN算法流程 3.3算法流程中相關(guān)結(jié)構(gòu)的理論介紹 3.3.1主干特征提取網(wǎng)絡(luò) 3.3.3ROIPooling層 3.3.4分類預(yù)測(cè)和回歸預(yù)測(cè) 3.4本章小結(jié) 第四章實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析 4.1實(shí)驗(yàn)?zāi)康?4.2實(shí)驗(yàn)環(huán)境介紹 4.3實(shí)驗(yàn)設(shè)計(jì) 4.3.1主干特征提取網(wǎng)絡(luò)的設(shè)計(jì) 4.3.2注意力機(jī)制的設(shè)計(jì) 4.3.3損失函數(shù)的設(shè)計(jì) 4.4實(shí)驗(yàn)過程 4.5實(shí)驗(yàn)結(jié)果與分析 4.5.1訓(xùn)練過程 244.5.2預(yù)測(cè)過程 254.5.3評(píng)估過程 274.6本章小結(jié) 第五章總結(jié)與展望 5.1研究總結(jié) 5.2期望 參考文獻(xiàn) 29摘要關(guān)鍵字：密集場(chǎng)景，行人檢測(cè)，F(xiàn)asterR-CNN第一章前言行人檢測(cè)技術(shù)可以被當(dāng)成是目標(biāo)檢測(cè)的一個(gè)特別的例子，該技術(shù)專門以行人為目會(huì)用矩形框標(biāo)定出視頻幀或單幀圖片中的行人的位置和大小的視覺任務(wù)(陳天羽，成佳也廣泛地應(yīng)用在如車輛的自動(dòng)駕駛等領(lǐng)域當(dāng)中。具體如，近年來大街上的車輛變得越來越多，從這些技術(shù)可以看明白但因這種情況而帶來的交通事故發(fā)生的數(shù)量也在逐年的增加。而行人檢測(cè)技術(shù)中的一個(gè)名為智能駕駛的應(yīng)用就可以很好地減少這種事故的發(fā)生次數(shù)，這個(gè)應(yīng)用是通過使用將位于車輛前后方的物體和人體檢測(cè)出來的方法來減少這類事圖形處理單元(GPU)在不斷革新的過程中會(huì)使得電腦的計(jì)算數(shù)據(jù)的能力不斷地增強(qiáng)(張文天，黃婧怡，2021)。同時(shí)，如今的電腦在處理圖像數(shù)據(jù)的時(shí)候有了更為可靠的硬件支持，這在一定范圍上展示而且在計(jì)算機(jī)視覺等領(lǐng)域也廣泛地去應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)等技術(shù)。也就是由于這些計(jì)算機(jī)軟件和硬件技術(shù)的不斷革新，行人檢測(cè)才能夠得以快速地發(fā)展。目前，在密集場(chǎng)景下有可能會(huì)存在檢測(cè)行人被擋住的情形，而一些現(xiàn)有的行人檢測(cè)算法在這種情況下的檢測(cè)效果仍然可以有很大的提升空間(錢奇遠(yuǎn)，周佳琪，2018)。受到視頻幀或單幀圖片中的行人姿態(tài)、衣著變化以及場(chǎng)景中的光照、氣候和景物遮擋等問題[2的影響，對(duì)于場(chǎng)景中檢測(cè)目標(biāo)過多且目標(biāo)可能存在被擋住的情況仍然是行人檢測(cè)算法實(shí)現(xiàn)中的一大難點(diǎn)?，F(xiàn)如今的許多行人檢測(cè)算法框架已經(jīng)非常成熟了，不過這些框架算法對(duì)于密集場(chǎng)景下的行人檢測(cè)的性能仍然還有很大的提升空間，而對(duì)檢測(cè)行人有影響的因素4主要有以下幾點(diǎn)：被擋住的行人的走路姿勢(shì)；這些跡象表明了檢測(cè)場(chǎng)景的被拍攝角度、檢測(cè)場(chǎng)景國內(nèi)外的一些研究人員這些年提出了很多可以解決以上問題的研究成果。目前，行一、傳統(tǒng)的目標(biāo)檢測(cè)方法。這種方法主要包括光流法等三類。光流法會(huì)根據(jù)檢測(cè)場(chǎng)景中像素的運(yùn)動(dòng)向量的持續(xù)變化和根據(jù)像素創(chuàng)建起來的光流場(chǎng)這兩個(gè)標(biāo)準(zhǔn)來檢測(cè)是不是存在目標(biāo)。在1981年Horn等人[6提出了一種關(guān)于光流的具有實(shí)際應(yīng)用效果的計(jì)算方法，這個(gè)方法也為光流計(jì)算的日后發(fā)展打下了基礎(chǔ)。在這種狀態(tài)里不過在單獨(dú)使用這個(gè)算法的時(shí)侯，它的計(jì)算量會(huì)比較大且處理的過程也會(huì)較為復(fù)雜(付嘉琪，丁麗娜，2021)。片序列的兩幀或者是三幀之間進(jìn)行的，然后要對(duì)得到的這個(gè)結(jié)果進(jìn)行一個(gè)閉值化操作。多幀平均法這兩個(gè)方法以此來得到所需的背景圖像7,范長(zhǎng)軍等人對(duì)運(yùn)動(dòng)中的無人機(jī)進(jìn)二、基于特征檢測(cè)目標(biāo)的方法。早期的目標(biāo)檢測(cè)算法如Bi來進(jìn)行的且需要從輸入的圖片中去了解規(guī)律以及會(huì)使用了解到的規(guī)律來獲得測(cè)試圖片特征做為核心操作的目標(biāo)檢測(cè)算法。那種基于回歸問題的算法如YOLO、SSD等可以將FasterR-CNN等雙階段檢測(cè)算法是那種基于候選框并且可以將檢測(cè)目標(biāo)的位置和其種為了解決雙階段的檢測(cè)算法在實(shí)際應(yīng)用時(shí)具有很大的計(jì)算量等問題從而提出了YOLO該算法的檢測(cè)精度要比FasterR-CNN算法的略微低一點(diǎn)。在2016年被提出的SSD算法后會(huì)使用非極大值的抑制方法來去除掉在這些特征圖中的具有相同部分的或者是不正確的邊界框，剩下的邊界框的集合就是最終的檢測(cè)結(jié)果了(章倩倩，曹博文，2021)。該部分的創(chuàng)作從何其飛教授相關(guān)主題的研究中獲得啟示，主要體現(xiàn)在思路和手法上。在思路上，本文學(xué)習(xí)他對(duì)研究問題細(xì)致剖析的方法，設(shè)定明確的研究目標(biāo)與假設(shè)，搭建嚴(yán)謹(jǐn)?shù)难芯考軜?gòu)。運(yùn)用定量和定性協(xié)同的研究方法，力求在數(shù)據(jù)收集和分析時(shí)保持客觀、準(zhǔn)確，確保研究結(jié)論的科學(xué)性和可信度。盡管本研究受何其飛教授啟發(fā)，但本文在多個(gè)環(huán)節(jié)加入了創(chuàng)新元素，研究設(shè)計(jì)階段采取了更為豐富多樣的數(shù)據(jù)收集方式；數(shù)據(jù)分析時(shí)探索不同變量之間的復(fù)雜關(guān)系，期望研究不僅在理論上有所創(chuàng)新，還能在實(shí)踐中起到指導(dǎo)作用。之后隨著技術(shù)的發(fā)展，許多新的目標(biāo)檢測(cè)算法不斷問世，如此能夠看出如YannLeCun等人提出了一種可以克服空間限制但是在實(shí)際應(yīng)用中的泛化能力較弱的以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的無監(jiān)督方法來進(jìn)行行人檢測(cè)的框架I,在2019年朱昊忠，周芝和等人提出了一種基于將排斥力應(yīng)用于YOLOv3算法中進(jìn)行行人目標(biāo)檢測(cè)的框架[12]等。總體來說，雙階段目標(biāo)檢測(cè)算法將會(huì)在原圖片上生成候選框并且會(huì)以類別為標(biāo)準(zhǔn)進(jìn)行目標(biāo)的檢測(cè)，這類算法為了能夠得以完好地部署并且能夠?qū)崿F(xiàn)實(shí)時(shí)檢測(cè)將會(huì)要求機(jī)器需要有很高的硬件條件(楊柏林，范倩倩，2023)。而單階段目標(biāo)檢測(cè)算法將會(huì)直接在原圖片上預(yù)測(cè)邊界框的偏移量和檢測(cè)目標(biāo)的置信度，這種做法雖然可以使模型能夠?qū)崿F(xiàn)實(shí)時(shí)檢測(cè)，卻會(huì)使算法的檢測(cè)精度變得更低。在這種結(jié)構(gòu)中以深度學(xué)習(xí)為核心的檢測(cè)方法與傳統(tǒng)的檢測(cè)算法相比較具有較高的檢測(cè)適應(yīng)性、較低的背景模型更新要求、更好的檢測(cè)實(shí)時(shí)性等優(yōu)點(diǎn)，這使得以深度學(xué)習(xí)為核心的目標(biāo)檢測(cè)算法在近幾年更加地受到了人們的歡迎[13]。本文主要是去實(shí)現(xiàn)行人檢測(cè)算法--FasterR-CNN算法，并根據(jù)該算法在密集場(chǎng)景下的檢測(cè)情況來研究其存在的一些問題并得到一些對(duì)算法的改進(jìn)意見。 第二章相關(guān)理論知識(shí)WiderPerson行人檢測(cè)數(shù)據(jù)集[141是比較擁擠環(huán)境下的行人檢測(cè)基準(zhǔn)數(shù)據(jù)集，該數(shù)據(jù)集中的圖片大部分都是在網(wǎng)絡(luò)上收集的(呂奇遠(yuǎn)，蔡佳琪，2022)?，F(xiàn)如今已經(jīng)存在的大部分?jǐn)?shù)據(jù)集中的圖片的來源均為交通場(chǎng)景，在此類場(chǎng)景下而該數(shù)據(jù)集中的圖片是從多種場(chǎng)景中選擇拍攝的，以至于它可以彌補(bǔ)現(xiàn)如今大部分?jǐn)?shù)據(jù)集中圖片的環(huán)境為交通場(chǎng)景而導(dǎo)致的數(shù)據(jù)多樣性的不足。該數(shù)據(jù)集中的圖片共計(jì)有13382張，而在這其中的所有圖片中共包含近四十萬個(gè)不同遮擋程度的人體。該數(shù)據(jù)集的三個(gè)子集中的一些注釋統(tǒng)計(jì)如表這些圖片中檢測(cè)人體的類別共包含5類。其中，“pedestrians”表示比較完整的人體，即這個(gè)類包括的是沒有被擋住的行人和被遮擋的不是非常嚴(yán)重的行人，數(shù)據(jù)集中的部分標(biāo)注圖如圖2.1中的(a)所示；“riders”表示騎著自行車的人，數(shù)據(jù)集中的部分標(biāo)注圖如圖2.1中的(b)所示(馮嘉榮，付逸萱，2021);“part了一部分的人，這個(gè)類包括的是被遮擋的程度是非常嚴(yán)重的行人，數(shù)據(jù)集中的部分標(biāo)注圖如圖2.1中的(c)所示；“ignoreregions”表示“假人”,如大型的玩偶以及圖片中的屏幕上的人體，數(shù)據(jù)集中的部分標(biāo)注圖如圖中2.1的(d)所示；“crowd”表示一大群人，出所以我在項(xiàng)目中將這兩個(gè)類刪除了。此外，該數(shù)據(jù)集中的檢測(cè)人體的類別的比例如圖2.2所示，占比最高的檢測(cè)人體是那些“完整的行人”和被遮擋的不是很嚴(yán)重的人體，大約占總量的百分之六十，其次是 “partially-visiblepersons"這個(gè)類，大約占總量的百分之三十，而“riders”這個(gè)類占總量不到百分之一，但由于該數(shù)據(jù)集中大約有236000個(gè)檢測(cè)人體，所以在數(shù)據(jù)集中這個(gè)類別的信息的數(shù)量還是很可觀的(陳國潤(rùn)、邱澤光、周悅文，2023)。卷積神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)被提出的標(biāo)志是由Hubel等人在1962年研究貓的視覺皮層上的細(xì)胞[15的時(shí)候而提出的一個(gè)叫做“感受野”的概念和在1980年Fukushima提出的神經(jīng)認(rèn)知機(jī)16這二者共同配合奠基的(周俊天，張澤琪，陳凱茜，2022)。從這些技術(shù)可以看明白卷積神經(jīng)網(wǎng)絡(luò)從理論研究階段進(jìn)入到了算法的實(shí)現(xiàn)階段的標(biāo)志是由LeCun等卷積神經(jīng)網(wǎng)絡(luò)。之后，有先后出現(xiàn)了AlexNet、VGG、Resnet等結(jié)構(gòu)(成奇遠(yuǎn)，陳君朝，2為提高研究結(jié)果的可靠性和公信力，本文首先通過大量國內(nèi)外文獻(xiàn)的研讀，系統(tǒng)地概括了當(dāng)前領(lǐng)域的研究前沿和理論基礎(chǔ)。結(jié)合研究主題，精心設(shè)計(jì)了一套包括數(shù)據(jù)收集途徑、樣本選取標(biāo)準(zhǔn)以及分析體系在內(nèi)的科學(xué)合理研究方案。采用多數(shù)據(jù)來源進(jìn)行驗(yàn)證，直接體現(xiàn)了研究對(duì)象的真實(shí)情況。在數(shù)據(jù)分析過程中，應(yīng)用了先進(jìn)的統(tǒng)計(jì)分析工具和技術(shù)，確保了研究結(jié)論的科學(xué)性和客觀性。同時(shí)，對(duì)研究中可能出現(xiàn)的誤差進(jìn)行了敏感性分析，增強(qiáng)了結(jié)果的穩(wěn)健性。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以分成五個(gè)部分，它的結(jié)構(gòu)可以用圖2.3來表示。卷積層1池化層1卷積層2池化層2全連接層1全連接層2該層可以被看成是一個(gè)三維的輸入像素的矩陣，它一般情況下都會(huì)包括一個(gè)RGB通道和一個(gè)位于平面上的二維的像素點(diǎn)。這些跡象表明了除此之外，關(guān)于該層的理論還需要知道得是輸入圖像的大小是使用該矩陣的長(zhǎng)和寬來表示的，而輸入圖片的色彩通道則是使用該矩陣的深度來表示的，在這里需要說明的是，RGB彩色圖片的深度的值為3,卷積層所做的工作就是要去抽取輸入數(shù)據(jù)的特征，由于該層的輸出結(jié)果是由它的三個(gè)參數(shù)(卷積核、步長(zhǎng)以及填充)來決定的，因此它在整個(gè)卷積神經(jīng)網(wǎng)絡(luò)中都是具有舉足輕重的地位的，所以有關(guān)這三個(gè)參數(shù)的一些知識(shí)還是需要去了解一點(diǎn)的(陳博文，付澤悅，2017)。在這種狀態(tài)里卷積核可以被看成是上一層的卷積神經(jīng)網(wǎng)絡(luò)中一個(gè)小塊的一部分，而這個(gè)小塊中的這一部分也可以被看成是本層的卷積神經(jīng)網(wǎng)絡(luò)的輸入，在這其中還需要知道的是輸入的圖片的尺寸的值應(yīng)該要比卷積核的尺寸的值大一點(diǎn)，在此類環(huán)境中而且在卷積神經(jīng)網(wǎng)絡(luò)中的被卷積的區(qū)域的大小是與卷積核的大小有關(guān)的，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)對(duì)于整個(gè)項(xiàng)目是起作用的時(shí)候，卷積核會(huì)掃描輸出的FeatureMap,進(jìn)行這個(gè)過程的原則是按照步長(zhǎng)參數(shù)被設(shè)置的值和抽取到的輸入圖片的特征來進(jìn)行制定的(付和羽，徐向陽，2022)。此項(xiàng)研究的成果與劉曉天教授的研究方向基本一致，無論是在研究過程還是最終結(jié)果上，二者在研究方法的選擇上都秉持了嚴(yán)謹(jǐn)?shù)目茖W(xué)態(tài)度和系統(tǒng)性的分析框架。這種相似性不僅體現(xiàn)在對(duì)基礎(chǔ)理論的遵循和運(yùn)用上，更在于通過定量分析與定性討論相結(jié)合的方式，深入剖析了問題的核心特征。在模型構(gòu)建方面，本研究吸收了劉教授關(guān)于動(dòng)態(tài)調(diào)整參數(shù)以適應(yīng)不同環(huán)境變化的觀點(diǎn)，并提出了相應(yīng)的改進(jìn)方案，例如引入新的變量等。這些改進(jìn)不僅在理論上有所創(chuàng)新，也在實(shí)際應(yīng)用中表現(xiàn)出更高的準(zhǔn)確性和可靠性。步長(zhǎng)代表的是一個(gè)距離的值，這個(gè)值表示的是卷積核在特征圖上每一次位置移動(dòng)的距離的值，本文研究背景下我們充分估算了這種情況的影響當(dāng)卷積核會(huì)將得到的特征圖中的所有像素依次掃過的時(shí)候表示步長(zhǎng)的值被設(shè)置為1,而當(dāng)卷積核在下一次掃描時(shí)跳過n-1個(gè)得到的特征圖中的像素的時(shí)候則表示步長(zhǎng)的值被設(shè)置為n[19]。填充的作用就是為了更好地去利用特征圖上的信息，這些信息使用那些位于角落位置的像素來表示，常見的方激勵(lì)函數(shù)的作用就是去提升卷積神經(jīng)網(wǎng)絡(luò)的非線性的表達(dá)能力，它同樣是網(wǎng)絡(luò)中的不可或缺的一部分，該函數(shù)的種類主要有表達(dá)形式為(公式2-1)的線性整流(RELU),表達(dá)形式為(公式2-2)的雙曲正切函數(shù)，表達(dá)形式為(公式2-3)的Sigmoid函數(shù)(史(公式2-1)(公式2-2)(公式2-3)池化層(別名下采樣層)中會(huì)形成一個(gè)由池化大小、步長(zhǎng)和填充來決定大小的矩形區(qū)域，該區(qū)域是通過相互連接的神經(jīng)元構(gòu)成的。在這樣的環(huán)境中該層所發(fā)揮的功能就是使特征圖的維度變得更低以及使特征圖的尺寸能夠保持不變。而池化的種類主要有如下1.使用被卷積區(qū)域的平均值來表示池化后的結(jié)果的池化叫做平均池化19]。2.使用被卷積區(qū)域的最大值來表示池化后的結(jié)果的池化叫做最大池化191。全連接層可以被當(dāng)作是一個(gè)“分類器”,它的目的是對(duì)抽取到的輸入的數(shù)據(jù)的特征進(jìn)行非線性的組合使得它們得以輸出。如此能夠看出卷積核的長(zhǎng)和寬的大小都設(shè)置為1的卷積是由該操作中的那些全連接層的前層是全連接的全連接層轉(zhuǎn)化得來的，而卷積核的長(zhǎng)和寬的大小分別用h和w來表示的全局卷積的前層是由該操作中的那些卷積層是全 樣本使用參數(shù)P來表示，對(duì)于那些預(yù)測(cè)結(jié)果是不正確的樣本使用參數(shù)N些預(yù)測(cè)結(jié)果和實(shí)際情況是一樣的樣本使用參相互組合成4類：將檢測(cè)器中的那種樣本實(shí)際上是正確的且預(yù)測(cè)結(jié)果也是正確的情況稱為正陽性(TP);將檢測(cè)器中的那種樣本實(shí)際上是不正確的但預(yù)測(cè)結(jié)果況稱為正陰性(TN);在這種結(jié)構(gòu)中將檢測(cè)器中的那種樣本實(shí)際上是不正確的但預(yù)測(cè)結(jié)果卻是正確的情況稱為假陽性(FP);將檢測(cè)器中的那種樣本實(shí)際上是正確的但預(yù)測(cè)用實(shí)際上是正確的且預(yù)測(cè)結(jié)果也是正確的樣本(TP)與總樣本中預(yù)測(cè)結(jié)果是正確的示例(TP+FP)的比值來表示精準(zhǔn)率(precision),它的表示形式為(公式2-4)(趙瑾(公式2-4)用總樣本中預(yù)測(cè)結(jié)果和實(shí)際情況是相同的示例(TP+TN)與所(TP+TN+FP+FN)的比值來表示準(zhǔn)確率(accuracy),它的表示形式為(公式2-5)3。(公式2-5)用實(shí)際上是正確的且預(yù)測(cè)結(jié)果也是正確的樣本(TP)與總樣本中實(shí)際情況是正確的示例(TP+FN)的比值來表示召回率(recall),它的表示形式與靈敏度的是一樣的，表(公式2-6)出然后對(duì)平均精度進(jìn)行求平均值的這個(gè)操作[21]。它的表達(dá)形式為(公式2-7)。 第12頁(公式2-7)既然說到了mAP,那就不能不說一下AP了。平均精度(AP)的大小近似于每個(gè)可(公式2-8)數(shù)平均值。其中，最常使用的F-Measure是在α為1的時(shí)候，從這些技術(shù)可以看明白這個(gè)時(shí)候的F-Measure也被叫做F1Score。它的值將精準(zhǔn)率和召回率組合起來考慮，其能2.4本章小結(jié)了WiderPerson行人檢測(cè)數(shù)據(jù)集；其FasterR-CNN221算法是在2015年由任少慶、何凱明等為了解決FastR-CNN算法的成是一個(gè)有體系的系統(tǒng)，這個(gè)系統(tǒng)中包括RPN和Fas選擇性搜索的方式而是利用了RPN。換句話說，RPN和FastR-CNN共同構(gòu)成了Faster性和實(shí)用性，這種結(jié)合也為相關(guān)領(lǐng)域的實(shí)踐提供了有力的理論支撐。輸入圖片輸入圖片F(xiàn)asterR-CNN算法在結(jié)構(gòu)上會(huì)把特征提取、proposalbox的提取、boundingbox的回歸和分類這四個(gè)步驟整合在了一起，這在一定范圍上展示這樣會(huì)使其綜合的功能性得是該算法的步驟更加繁瑣，練習(xí)與檢測(cè)的速率都還有進(jìn)步的可能性。FasterR-CNN算法的基本結(jié)構(gòu)[2如圖3.2所示(吳君和，黃靜宜，2022)。從上圖中不難看出FasterR-CNN算法的架構(gòu)大體上可以分成四個(gè)部分：一、ConvLayers:在FasterR-CNN算法中會(huì)先將輸入圖片的短邊resize到600,然后經(jīng)由一系列的conv層、relu層和pooling層操作以此來對(duì)輸入的圖片進(jìn)行提取特征的操作，最終獲得FeatureMap。本文于研究思路方面別具一格，創(chuàng)新性地將前人有關(guān)此主題的研究成果融入其中，促使研究深度有了明顯增進(jìn)。借助對(duì)過往文獻(xiàn)的有序梳理與整合，著力挖掘該領(lǐng)域里尚未得到充分重視的關(guān)鍵問題以及潛在的研究走向。不只是對(duì)已有理論進(jìn)行了更為詳盡的闡釋，且在此根基之上提出了獨(dú)到的研究視角與分析模式。在具體的研究環(huán)節(jié)中，利用先進(jìn)的研究方法與技術(shù)手段，對(duì)該主題實(shí)施多維度、全方位的剖析。打破了傳統(tǒng)研究的藩籬，從微觀視角洞察事物的內(nèi)在法則和關(guān)聯(lián)脈絡(luò)，參照其他相關(guān)領(lǐng)域的理論與實(shí)踐案例，為化解該主題下的難題提供了更充實(shí)多元的思路。二、RegionProposalNetworks:這一步驟的結(jié)果RegionProposal是經(jīng)由ConvLayers中的FeatureMap進(jìn)行卷積以此來獲得的。在這種狀態(tài)里該層包括兩個(gè)分支，一個(gè)分支用來計(jì)算相應(yīng)的先驗(yàn)框的boundingbox的偏移量以此來獲得該檢測(cè)目標(biāo)的位置；另一個(gè)分支用來預(yù)測(cè)是前景還是背景，通過計(jì)算相應(yīng)的先驗(yàn)框是前景還是背景的概率以此來判斷計(jì)算的這個(gè)先驗(yàn)框中是否包含被用來檢測(cè)的目標(biāo)，本文研究背景下我們充分估算了這種情況的影響但是在這個(gè)過程中卻不會(huì)對(duì)被用來檢測(cè)的目標(biāo)進(jìn)行種類的區(qū)分(張一鳴，三、ROIPooling:該層會(huì)結(jié)合第一步和第二部得到的FeatureMap和RegionProposal的信息，利用RegionProposal對(duì)FeatureMap進(jìn)行截取以此來得到大小一致的Proposal四、Classification:該層包括兩個(gè)分支，一個(gè)分支用來區(qū)分檢測(cè)到的行人；另一個(gè)分支用來移動(dòng)RPN中獲得的boundingbox以此來獲得更加準(zhǔn)確的檢測(cè)框。3.2FasterR-CNN算法流程實(shí)際上，F(xiàn)asterR-CNN算法實(shí)現(xiàn)的過程是很復(fù)雜的，參考圖3.3和圖3.4對(duì)該算法流程的進(jìn)行更加具體的總結(jié)[2]:第一步，F(xiàn)asterR-CNN算法中會(huì)先將輸入圖片的短邊resize到600;第二步，調(diào)整后的圖片將會(huì)利用主干特征提取網(wǎng)絡(luò)(Backbone)進(jìn)行提取特征以此來獲得共享特征層(FeatureMap),在這樣的環(huán)境中在本次實(shí)驗(yàn)進(jìn)行到這一步驟的時(shí)候第三步，將會(huì)對(duì)第一個(gè)步驟中獲得的FeatureMap經(jīng)由一次3*3的卷積，然后再對(duì)獲得的卷積經(jīng)由兩次1*1的卷積，經(jīng)由這三次卷積之后就會(huì)獲得proposalbox;第四步，proposalbox會(huì)與FeatureMap相結(jié)合，然后傳入到ROIPooling層中，ROIPooling層就會(huì)使用proposalbox對(duì)FeatureMap截取。如此能夠看出由于截取的結(jié)果的shape是不一樣的，這時(shí)就需要ROIPooling層會(huì)對(duì)所有的局部的特征圖進(jìn)行池化處理以第五步，對(duì)獲得的每一個(gè)局部特征層進(jìn)行分類和回歸預(yù)測(cè)。主干特征提取網(wǎng)絡(luò)片陣調(diào)整生成全連接層9在沒有用注意力機(jī)制的情況下畫出來的FasterR-CNN算法的流程結(jié)構(gòu)圖。classpredictorLayer13.3算法流程中相關(guān)結(jié)構(gòu)的理論介紹FasterR-CNN網(wǎng)絡(luò)中的主干特征提取網(wǎng)resnet50中共包括50層，它的結(jié)構(gòu)可以被分成五個(gè)階段，但是，其中的第二到第五個(gè)階段在結(jié)構(gòu)上是差不多的。其中，Stage1階段可以被分成兩個(gè)操作步驟，第一個(gè)操作步驟中包含卷積層(conv)、BN(BatchNorm)層和激活函數(shù)(ReLU)這三個(gè)部分，第二個(gè)操作步驟是池化操作，在這種結(jié)構(gòu)中將輸入圖像的shape改變后得到輸出結(jié)果；Stage2階段主要就是進(jìn)行ConvBlock和IDBlock操作。它的總體結(jié)構(gòu)如圖3.6所示(梁CKx3NVBLOCKx50DmXGtU都是殘差網(wǎng)絡(luò)結(jié)構(gòu)。其中，ConvBlock塊是不能夠被用來進(jìn)行連續(xù)串聯(lián)的且它的輸入與輸出的維度也應(yīng)該是不一樣的，從這些描述中看出它的功能就是用于去改變卷積神經(jīng)網(wǎng)絡(luò)的維度，IdentityBlock塊是能夠被用來進(jìn)行連續(xù)串聯(lián)的且它的輸入與輸出的維度是一樣的，它的功能就是用于去加深卷積神經(jīng)網(wǎng)絡(luò)(陳雨彤，周曉茜，2022)。目前的研究趨向和成果與現(xiàn)存的成熟理論框架保持一致，在研究過程中嚴(yán)格依照科學(xué)研究的規(guī)范路徑與嚴(yán)謹(jǐn)作風(fēng)。從研究策劃之初，便全面參考經(jīng)典理論體系的構(gòu)建法則，保證研究框架的合理性與堅(jiān)實(shí)性。數(shù)據(jù)采集階段運(yùn)用多種經(jīng)理論認(rèn)可有效的方式，對(duì)采集到的數(shù)據(jù)運(yùn)用合適的統(tǒng)計(jì)分析策略。在結(jié)果解讀環(huán)節(jié)緊密圍繞已有成熟理論展開。將研究結(jié)論與理論模型進(jìn)行精細(xì)對(duì)比，分析其相似和不同之處。對(duì)于相似的方面，進(jìn)一步講述研究如何豐富和佐證了理論；對(duì)于相異的方面，深入探討其背后的因素，為后續(xù)研究提供參考。二者的結(jié)構(gòu)如下圖3.7和圖3.8所示：深度為16的vgg16是VGGNet模型中比較經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)。在這里將輸入模塊的大小設(shè)定為224*224*3,畫出的vgg16網(wǎng)絡(luò)結(jié)構(gòu)的各個(gè)模塊層次表如表3.1所示：表3.1vgg16網(wǎng)絡(luò)結(jié)構(gòu)的模塊層次表3.3.2RPN網(wǎng)絡(luò)在3.2節(jié)中已經(jīng)提到了這一階段需要進(jìn)行一次3*3的卷積以及分別進(jìn)行一次通道數(shù)為18和36的1*1的卷積。在這里的幾個(gè)數(shù)字的含義需要去說明一下。FeatureMap會(huì)將輸入進(jìn)來的圖片分成38*38的網(wǎng)格，從這些技術(shù)可以看明白每一個(gè)網(wǎng)格上都會(huì)有9個(gè)先驗(yàn)框；每次預(yù)測(cè)都會(huì)出現(xiàn)背景和前景這兩種情況；在一幅圖片中確定一個(gè)目標(biāo)的位置需要四個(gè)參數(shù)，分別是中心點(diǎn)的坐標(biāo)，先驗(yàn)框的長(zhǎng)、寬，正如圖3.9所示(范志潤(rùn)，成凱旋，2021)。所以，從我們將通道數(shù)18拆分成9*2就可以看出這一卷積的作用就是用于判斷先驗(yàn)框是否包含物體；而另一卷積的作用就是用于對(duì)先驗(yàn)框進(jìn)行調(diào)整以此來獲得一個(gè)新的更加準(zhǔn)確的先驗(yàn)框，故而我們將通道數(shù)36拆分成9*4。ROIPOOLing層的操作主要可以被分成三個(gè)部分：第一，利用輸入圖像把proposalsbox映射到共享特征層中的ROLs上的對(duì)應(yīng)位置；第二，把上一步中獲得的位置分成同樣尺寸的sections,這里的sections的數(shù)目與輸出維度是同樣的；第三，對(duì)分好的sections表3.2是為了闡明ROIPOOLing層所做的事情而隨機(jī)提出的一個(gè)數(shù)據(jù)表，后續(xù)的過程會(huì)依據(jù)這個(gè)表來進(jìn)行。首先，該過程要在獲得的局部共享特征層上劃分一個(gè)小一點(diǎn)的區(qū)塊，在下表中就分成了四個(gè)區(qū)塊，這在一定范圍上展示這四個(gè)區(qū)塊會(huì)使用加粗的外框線來跟表中的其余位置進(jìn)行區(qū)分，不過，在具體的FasterR-CNN算法里面卻會(huì)在獲得的局部共享特征層上劃分處出來196個(gè)區(qū)塊；然后要對(duì)每一個(gè)區(qū)塊各自進(jìn)行最大池化的操作，完成池化操作后就可以得到一個(gè)尺寸為2*2的FeatureMap(以該表為例),它的值就可以對(duì)這些局部的FeatureMap進(jìn)行下一步的處理(陳凌雪，范麗娜，2021):判斷這些局部共享特征層是不是包含物體，并且可以對(duì)這個(gè)建議框進(jìn)行調(diào)整，以此來獲得比較準(zhǔn)確3.3.4分類預(yù)測(cè)和回歸預(yù)測(cè)分類預(yù)測(cè)(cls_pred)的目標(biāo)值的數(shù)量是有限的且是無順序的離散量，而且該預(yù)測(cè)的目標(biāo)值只有相同與否的區(qū)別，該預(yù)測(cè)的功能是為了去獲得最終的預(yù)測(cè)框來對(duì)建議框進(jìn)行調(diào)整；回歸預(yù)測(cè)(bbox_pred)的目標(biāo)值是有順序的連續(xù)變量，而且該它的目標(biāo)值可取任意的實(shí)數(shù)，在此類環(huán)境中該預(yù)測(cè)的功能是為了去判定proposalsbox內(nèi)部是不是包括物3.4本章小結(jié)本章是對(duì)本次實(shí)驗(yàn)所使用的檢測(cè)算法--FasterR-CNN的論述。本章的內(nèi)容主要是關(guān)于FasterR-CNN算法的原理理解、算法的實(shí)現(xiàn)流程及其中的Backbone、RPN網(wǎng)絡(luò)、ROIPooling層以及分類預(yù)測(cè)和回歸預(yù)測(cè)。第四章實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析本次實(shí)驗(yàn)的目的是研究FasterR-CNN算法在主干特征提取網(wǎng)絡(luò)分別為resnet50和vgg16以及主干特征提取網(wǎng)絡(luò)是否加入注意力機(jī)制的情況下對(duì)WiderPerson數(shù)據(jù)集的檢測(cè)情況以及性能情況如何。4.2實(shí)驗(yàn)環(huán)境介紹這個(gè)項(xiàng)目是在服務(wù)器上運(yùn)行的，GPU的類型是TITANXP*1的，顯存是12G大小的；CPU的類型是7核Inter(R)Xeon(R)CPUE5-2680v4@2.40GHz的，內(nèi)存是16GB大小的；項(xiàng)目的語言為Python3.8,項(xiàng)目的環(huán)境為PyTorch1.7.0,Cuda11.0。這部分的內(nèi)容主要從主干特征提取網(wǎng)絡(luò)的具體情況、使用了何種注意力機(jī)制以及使用了哪種損失函數(shù)這三個(gè)方面來介紹實(shí)驗(yàn)是怎么進(jìn)行設(shè)計(jì)的(何澤璇，龔海濤，2023)。4.3.1主干特征提取網(wǎng)絡(luò)的設(shè)計(jì)對(duì)于本次實(shí)驗(yàn)中的主要操作部分就是主干特征提取網(wǎng)絡(luò)包括，該網(wǎng)絡(luò)分別采用resnet50和vgg16這兩種。并且分別對(duì)在這兩種情況下的主干網(wǎng)絡(luò)中是不是加入注意力機(jī)制的情況下的檢測(cè)情況進(jìn)行了對(duì)比，本文研究背景下我們充分估算了這種情況的影響分析這幾種情況下哪種情況得到的檢測(cè)效果是更為完美的。4.3.2注意力機(jī)制的設(shè)計(jì)注意力機(jī)制是一種手段，它是將定量的計(jì)算機(jī)資源分配給更為重要的任務(wù)以此來處理更為重要的信息，當(dāng)然，這種手段的前提是計(jì)算機(jī)的計(jì)算能力也應(yīng)該是定量的[23]?，F(xiàn)如今共有二類注意力機(jī)制，一類是自下而上的和與顯著性有關(guān)聯(lián)的注意力機(jī)制，它是無意識(shí)的、需要外部的刺激才可以進(jìn)行驅(qū)動(dòng)的注意力，如最大匯聚、門控機(jī)制等，另一類是自上而下的和基于最大聚焦方式的注意力機(jī)制，它是一種有意識(shí)的，可以主動(dòng)集中于 第22頁當(dāng)真實(shí)值與預(yù)測(cè)值的相減得到的結(jié)果x(x=f(x;)-y;)的絕對(duì)值小于1時(shí)，它的表達(dá)形式為(公式4-1),SmoothL=0.5x2(公式4-1)其它情況下該函數(shù)的表達(dá)形式為(公式4-2)。 第23頁x-0.5(公式4-2)標(biāo)與groundtruth的差異值看作學(xué)習(xí)的損失，它的表達(dá)式為(公式4-3),(公式4-3)4.4實(shí)驗(yàn)過程參數(shù)設(shè)置成本次實(shí)驗(yàn)所對(duì)應(yīng)的主干網(wǎng)絡(luò)的權(quán)值文件。其次，運(yùn)行項(xiàng)目中的一個(gè)名為以至于在程序運(yùn)行結(jié)束后會(huì)得到140個(gè)權(quán)值文件。數(shù)設(shè)置成上一步中生成的驗(yàn)證損失較小的權(quán)值文件。其次，運(yùn)行項(xiàng)目中的一個(gè)名為的一個(gè)名為get_map.py的文件。該過程會(huì)分析這兩種主干網(wǎng)絡(luò)各自的損失的情況以及在同一主干網(wǎng)絡(luò)中是不是添圖4.3表示的是主干網(wǎng)絡(luò)分別是resnet50和vgg16而得到的與訓(xùn)練過程中的損失有訓(xùn)練的速度；而解凍階段的情況則與凍結(jié)階段階段的情況正好相反。而且，這兩個(gè)網(wǎng)絡(luò)的訓(xùn)練損失和驗(yàn)證損失的值都在不斷下降并且在最后逐步趨于平穩(wěn)，證明模型在整個(gè)過程中是在不斷地進(jìn)行學(xué)習(xí)的且最后會(huì)逐漸收斂。圖4.4表示的是主干網(wǎng)絡(luò)為resnet50和在該網(wǎng)絡(luò)中加上SE機(jī)制而得到的與訓(xùn)練過程中的損失有關(guān)聯(lián)的圖像(許文昊，汪婉清，2022)。在這組圖片的左側(cè)部分對(duì)應(yīng)的主干網(wǎng)絡(luò)采用的是resnet50且沒有加注意力機(jī)制的情況。從這些技術(shù)可以看明白對(duì)比這兩幅圖中可以發(fā)現(xiàn)一些規(guī)律，加入SE機(jī)制后，loss曲線的波動(dòng)變得更大了。發(fā)生這種情況的原因就是因?yàn)镾E機(jī)制會(huì)使得模型中的那些表示信息量最大的channel特征變得更多，而會(huì)使得那些不重要的channel特征24]變得更少。4.5.2預(yù)測(cè)過程該過程會(huì)對(duì)比分析這兩種主干網(wǎng)絡(luò)各自的預(yù)測(cè)情況以及在同一主干網(wǎng)絡(luò)中是不是添加注意力機(jī)制這一情況下的預(yù)測(cè)結(jié)果。本篇文章對(duì)結(jié)論進(jìn)行了再次審視，首先從理論上確保了研究假設(shè)的合理性及其邏輯上的一致性。通過系統(tǒng)地梳理并對(duì)比分析相關(guān)文獻(xiàn)資料，文章證明了研究框架的科學(xué)性和實(shí)用性。在此基礎(chǔ)上，文章采用了多種實(shí)證手段對(duì)結(jié)論進(jìn)行了檢驗(yàn)，以確保其穩(wěn)固性和可信度。通過與同類研究的對(duì)比，文章驗(yàn)證了結(jié)論的普遍適用性和創(chuàng)新性。在與已有文獻(xiàn)的結(jié)論進(jìn)行對(duì)比后，本文不僅印證了部分已有理論，還提出了新穎視角，為相關(guān)領(lǐng)域提供了理論發(fā)展的新依據(jù)和實(shí)證支持。同時(shí)，文章還探討了結(jié)論在實(shí)際應(yīng)用中的潛在價(jià)值，為后續(xù)研究提供了方向和啟示。圖4.5表示的是主干網(wǎng)絡(luò)分別采用resnet50和vgg16而得到的預(yù)測(cè)結(jié)果。其中，這組圖片的左側(cè)部分對(duì)應(yīng)的主干網(wǎng)絡(luò)采用的是resnet50。以下兩幅圖片中的每個(gè)框內(nèi)都會(huì)顯示出類別，并將得分標(biāo)記出來。這兩種情況的結(jié)果大體上還是可以的，大部分被遮擋的行人也都被識(shí)別出來了，不過仍有一些被漏掉了。而且采用vgg16能夠更好地去識(shí)別那種遮擋程度很嚴(yán)重的行人，如只露出一小部分身體的行人，這使得該框架得到的結(jié)果圖4.5表示的是主干網(wǎng)絡(luò)為resnet50和在該網(wǎng)絡(luò)中加上SE機(jī)制而得到的預(yù)測(cè)結(jié)果。其中，這組圖片的左側(cè)部分對(duì)應(yīng)的主干網(wǎng)絡(luò)采用的是resnet50。以下兩幅圖片中的每個(gè)框內(nèi)都會(huì)顯示出類別，這在一定范圍上展示并將得分標(biāo)記出來。這兩種情況的結(jié)果大體上還是可以的，大部分被遮擋的行人也都被識(shí)別出來了，不過仍有一些被漏掉了(張文天，黃婧怡，2021)。而且在網(wǎng)絡(luò)中添加注意力機(jī)制后能夠使得網(wǎng)絡(luò)就可以更好地去識(shí)別那種遮擋程度很嚴(yán)重的行人，如只露出一小部分身體的行人，這使得該框架得到的結(jié)果更加的完善、完美。 4.5.3評(píng)估過程該過程會(huì)對(duì)比分析這兩種主干網(wǎng)絡(luò)以及在同一主干網(wǎng)絡(luò)中是不是添加注意力機(jī)制這兩情況下對(duì)于該數(shù)據(jù)集中的“pedestrians”類的識(shí)別精度。圖4.7表示的是主干網(wǎng)絡(luò)分別是resnet50和vgg16而得到的對(duì)于“完整的行人”和被遮擋的不是非常嚴(yán)重的行人這個(gè)類的識(shí)別精度的圖像。其中，這組圖片的左側(cè)部分對(duì)應(yīng)的主干網(wǎng)絡(luò)采用的是resnet50。從下面的兩幅圖中不難發(fā)現(xiàn)，主干網(wǎng)絡(luò)采用vgg16的情況下對(duì)于那些對(duì)于“完整的行人”和被遮擋的不是非常嚴(yán)重的檢測(cè)目標(biāo)的識(shí)別效果是更完美的，這也說明了主干網(wǎng)絡(luò)的類型對(duì)與算法的識(shí)別效果是有影響的(錢奇遠(yuǎn)，周佳琪，2018)。 class:81.56%=pedestriansAP class:81.08%=pedestrians class:81.08%=pedestrians圖4.8表示的是主干網(wǎng)絡(luò)為vgg16和在該網(wǎng)絡(luò)中加上SE機(jī)制而得到的對(duì)于“完整的行人”和被遮擋的不是非常嚴(yán)重的行人這個(gè)類的識(shí)別精度的圖像。在這種狀態(tài)里其中，這組圖片的左側(cè)部分對(duì)應(yīng)的主干網(wǎng)絡(luò)采用的是resnet50。針對(duì)上述這部分內(nèi)容，創(chuàng)新主要體現(xiàn)于視角的創(chuàng)新。首先體現(xiàn)在對(duì)研究對(duì)象有了全新的認(rèn)知和考察。傳統(tǒng)的研究往往將目光集中在對(duì)象的常見特點(diǎn)和普遍聯(lián)系上，而本文卻獨(dú)具匠心，深入挖掘研究對(duì)象那些被忽視的邊緣特征和潛在關(guān)聯(lián)。在研究方法的運(yùn)用上，突破了單一方法的桎梏，創(chuàng)新性地融合了多學(xué)科的研究方式。再者，在理論運(yùn)用方面，嘗試從不同的理論體系中汲取精華，構(gòu)建起綜合性的理論分析框架。如此一來，既能發(fā)現(xiàn)以往研究中未曾涉及的理論空白地帶，又能為相關(guān)領(lǐng)域的理論進(jìn)步注入新的生機(jī)與活力，拓展了理論研究的視野，為后續(xù)研究提供了更為廣闊的思考領(lǐng)域。在此類環(huán)境中從下面的兩幅圖中不難發(fā)現(xiàn)，加入注意力機(jī)制后，對(duì)于那些對(duì)于“完整的行人”和被遮擋的不是非常嚴(yán)重的檢測(cè)目標(biāo)的class:81.56%=pedestriansAP4.6本章小結(jié)本章節(jié)首先對(duì)本次實(shí)驗(yàn)的目的以及實(shí)驗(yàn)環(huán)境進(jìn)行了介紹，之后從主干特征提取網(wǎng)絡(luò)、注意力機(jī)制以及損失函數(shù)三個(gè)方面來對(duì)實(shí)驗(yàn)的設(shè)計(jì)進(jìn)行了闡述，接下來敘述了本次實(shí)驗(yàn)的實(shí)驗(yàn)步驟，最后對(duì)在本項(xiàng)目中得到的實(shí)驗(yàn)結(jié)果進(jìn)行展示和分析。第五章總結(jié)與展望今朝，行人檢測(cè)算法可以說只要有行人就會(huì)有它的用武之地，不只是應(yīng)用于自動(dòng)駕駛、智能機(jī)器人等領(lǐng)域?？墒?，對(duì)于場(chǎng)景中檢測(cè)目標(biāo)過多的行人檢測(cè)，由于行人與行人之間和行人與環(huán)境之間的存在的遮擋以及場(chǎng)景中可能會(huì)存在一些小尺度的檢測(cè)行人等情況的發(fā)生可能會(huì)使行人檢測(cè)算法的性能下降。同時(shí)，被用來進(jìn)行檢測(cè)的行人的姿態(tài)、據(jù)集的統(tǒng)計(jì)特性；關(guān)于卷積神經(jīng)網(wǎng)絡(luò)的知識(shí)論述；精準(zhǔn)率、準(zhǔn)確率、召回率、交并比、的原理、流程及其中的Backbone、RPN網(wǎng)絡(luò)、ROIPOOLing層以及分類和回歸預(yù)測(cè)這5.2期望一、本文所使用的的數(shù)據(jù)集僅僅是WiderPerson,由于時(shí)間緊任務(wù)重，該數(shù)據(jù)集的R-CNN算法的缺點(diǎn)。這個(gè)代碼的訓(xùn)練速度很慢，花費(fèi)的訓(xùn)練時(shí)間也很長(zhǎng)。若在后續(xù)的參考文獻(xiàn)