基于深度學(xué)習(xí)的巡檢機器人指示燈狀態(tài)識別系統(tǒng)設(shè)計摘要隨著我國變電站規(guī)模的不斷擴大，對變電站中各種設(shè)備的巡查越來越困難。由于變電站開關(guān)設(shè)備在變電站中使用、檢修等較為頻繁，僅通過人工檢修方式對變電站指示燈開關(guān)設(shè)備進行檢測，難度很大。因此，以變電站的指示燈狀態(tài)為具體研究對象，本文提出了一種基于深度學(xué)習(xí)的變電站指示燈開關(guān)狀態(tài)識別方法，能自動檢測與識別指示燈開關(guān)的狀態(tài)，對于實現(xiàn)變電站系統(tǒng)智能化具有重要的研究意義與應(yīng)用價值。YOLO（YouOnlyLookOnce）是深度學(xué)習(xí)應(yīng)用在目標識別領(lǐng)域的經(jīng)典算法，它不僅提高了模型的檢測速率，而且增加了模型的識別準確率。本文針對變電站指示燈開關(guān)狀態(tài)的樣本數(shù)量少、目標小、形狀有規(guī)則等特點，使用YOLO算法進行變電站指示燈開關(guān)狀態(tài)識別，YOLO算法在變電站指示燈開關(guān)狀態(tài)識別上具有顯著的優(yōu)勢。最后，以訓(xùn)練好的識別模型為基礎(chǔ)，實現(xiàn)了變電站指示燈開關(guān)狀態(tài)識別程序，同時實現(xiàn)了識別模型的可視化，為變電站工作人員提供了遠程監(jiān)控變電站開關(guān)設(shè)備的服務(wù)，推進了變電站智能化進程。關(guān)鍵詞：深度學(xué)習(xí)；變電站；開關(guān)狀態(tài)識別目錄摘要 ITOC\o"1-3"\f\h\z第1章緒論 11.1研究背景及意義 11.2國內(nèi)外研究現(xiàn)狀 11.3主要研究內(nèi)容 2第2章系統(tǒng)設(shè)計 32.1設(shè)計流程 42.2神經(jīng)網(wǎng)絡(luò)簡介 102.2.1人工神經(jīng)網(wǎng)絡(luò) 42.2.2卷積神經(jīng)網(wǎng)絡(luò) 52.3深度學(xué)習(xí)框架Pytorch 62.4Yolov3算法 72.4.1Yolov3模型原理 72.4.2Darknet-53網(wǎng)絡(luò) 82.5模型構(gòu)建 102.6模型可視化 10第3章數(shù)據(jù)集構(gòu)建 113.1數(shù)據(jù)集預(yù)處理 113.1.1灰度和色彩空間轉(zhuǎn)換 113.1.2幾何變換 113.1.3添加噪聲和濾波 123.2圖片標注 13第4章訓(xùn)練測試 164.1模型訓(xùn)練 164.2模型測試 194.3模型性能評價 20第5章總結(jié)展望 235.1總結(jié) 235.2展望 23參考文獻 24附錄 25

緒論隨著變電站智能化程度的提高，采用巡檢機器人對變電站指示燈狀態(tài)進行巡檢，可以實時監(jiān)測設(shè)備，更好的維護變電站的正常運行。巡檢機器人主要對指示燈狀態(tài)進行識別，通過對圖像識別，能自動判斷并記錄指示燈的狀態(tài)。通過對變電站和巡檢工作人員進行調(diào)研，同時查閱了大量文獻，本課題提出基于深度學(xué)習(xí)的變電站巡檢機器人的圖像識別模型，能夠精確地對變電站中指示燈的狀態(tài)進行分析識別。研究背景及意義由于發(fā)電廠、變電站生產(chǎn)環(huán)境特殊，目前大多數(shù)的設(shè)備的巡檢依舊是采用人工方式，人工巡檢過程緩慢，巡檢信息量不完整且容易出差錯，僅能夠滿足一些巡檢不頻繁、指示燈數(shù)量較少數(shù)據(jù)巡檢要求，缺少了快速及時的記錄與反饋。此外人工巡檢的效率不高，而且工作強度大易疲勞，受環(huán)境和天氣的影響較大，這使得在巡檢過程中非常容易出錯，這就人為的引入了誤差，影響了巡檢數(shù)據(jù)的準確度。因此，需要能實現(xiàn)指示燈狀態(tài)的自動識別，并且快速、準確、高精度的完成變電站指示燈狀態(tài)識別的巡檢記錄工作。指示燈狀態(tài)的自動識別大大提高了現(xiàn)場生產(chǎn)效率和智能化程度，有效避免人工在危險的環(huán)境中停留的可能，優(yōu)秀實用的系統(tǒng)將極大的提高指示燈狀態(tài)的識別效率和準確度。使用深度學(xué)習(xí)來進行指示燈狀態(tài)的自動識別過程，具有重要的理論價值和社會應(yīng)用意義。國內(nèi)外研究現(xiàn)狀目標檢測與識別技術(shù)是目前圖像監(jiān)測識別領(lǐng)域的重點研究方向之一，其根本就是在給出的圖像里，找出圖中需要的所有目標，并對其找出的目標進行分類，同時標出圖中所有目標的位置坐標[1]。隨著科學(xué)技術(shù)和人工智能的進步、智能硬件設(shè)備的不斷出現(xiàn)以及深度學(xué)習(xí)技術(shù)和各種算法的不斷成熟，在我們的日常生活中存在著大量的圖像數(shù)據(jù)，這使得目標檢測與識別技術(shù)在人類生活中起的作用越來越大，同時目標檢測與識別技術(shù)作為計算機視覺領(lǐng)域的基礎(chǔ)性研究課題，也變得越來越受到重視。針對變電站的指示燈狀態(tài)識別問題，相關(guān)學(xué)者和研究人員在傳統(tǒng)的目標檢測與識別方法上進行了改進，并在圖像的檢測與識別上取得了一定的成果[1]。陳安偉等在2012年研發(fā)了一種專門針對變電站使用的專用智能機器人，通過尺度不變特征變換算法對開關(guān)設(shè)備進行準確定位，然后利用霍夫變換實現(xiàn)了開關(guān)設(shè)備的狀態(tài)識別，從而實現(xiàn)了智能機器人自主識別各種形式的開關(guān)設(shè)備的圖像的狀態(tài)[2]。丁四海等通過對開關(guān)設(shè)備的狀態(tài)特征的探索與研究，提出了一種基于數(shù)字圖像處理技術(shù)的開關(guān)設(shè)備狀態(tài)識別的方法[3]。首先對開關(guān)狀態(tài)圖進行陰影去除、邊緣處理、二值化等預(yù)處理操作，然后通過對圖像中開關(guān)設(shè)備的位置定位，以及圖像中開關(guān)設(shè)備的狀態(tài)識別對比，實現(xiàn)了變電站開關(guān)設(shè)備的定位、校正、分割與識別[4]。楊艷召等為了應(yīng)對變電站漢字式開關(guān)的有效監(jiān)控與檢測識別，提出了一種基于SURF的開關(guān)狀態(tài)識別方法，首先獲取圖像中需要識別的開關(guān)目標區(qū)域，并對該目標區(qū)域進行圖像預(yù)處理，然后利用SURF算法分析和對比待識別圖像中和模板圖像中相對應(yīng)區(qū)域的特征點，最后將特征一致的特征點與模板特征點進行對比，判斷需要識別的圖像中的目標的狀態(tài)和目標的類別[5]。邵建雄等針對變電站中開關(guān)設(shè)備的多樣性和復(fù)雜性，提出了基于霍夫森林的圖像中開關(guān)設(shè)備狀態(tài)檢測與識別的方法，此方法通過提取圖像中開關(guān)設(shè)備的多種特征，并利用霍夫森林構(gòu)建檢測與識別過程中所需的分類器，實現(xiàn)了多個圖像中開關(guān)設(shè)備狀態(tài)的同時檢測與位置定位[6]。何雪松將圖像處理技術(shù)與計算機視覺技術(shù)結(jié)合起來，提出了一種基于計算機視覺技術(shù)的圖像中的開關(guān)設(shè)備狀態(tài)檢測與識別方法，通過對圖像中開關(guān)設(shè)備的狀態(tài)圖進行讀取、預(yù)處理、特征分析、狀態(tài)篩選等一系列操作，實現(xiàn)了開關(guān)設(shè)備狀態(tài)的自動檢測與識別[7]。以上提及的方法都能在一定程度上實現(xiàn)變電站指示燈狀態(tài)的自動檢測與識別，但是這些方法針對真實環(huán)境下的變電站指示燈狀態(tài)檢測與識別仍然存在一些不足。受變電站復(fù)雜環(huán)境因素、所需識別的圖像清晰度因素、開關(guān)設(shè)備數(shù)量較多因素等影響，上述方法對指示燈的狀態(tài)檢測效果不穩(wěn)定，且抗干擾能力不足，在對指示燈狀態(tài)識別過程中存在較大概率的誤檢漏檢等情況，并且，現(xiàn)有的方法對具體的應(yīng)用環(huán)境依賴較強，更適合于室內(nèi)環(huán)境穩(wěn)定、圖像清晰的目標識別與檢測，具有較強的針對性和單一性，還未形成對室外環(huán)境復(fù)雜、圖像不清晰的開關(guān)設(shè)備的狀態(tài)檢測與識別。而深度學(xué)習(xí)技術(shù)的顯著特點就是自己學(xué)習(xí)，即能通過不同的圖像中的數(shù)據(jù)學(xué)習(xí)到圖像中的不同的特征，與變電站開關(guān)設(shè)備的環(huán)境多變、數(shù)量繁多等需求相貼合，且現(xiàn)有的各種卷積神經(jīng)網(wǎng)絡(luò)在目標檢測與識別的應(yīng)用上具有較好的識別準確度和速度，因此，將深度學(xué)習(xí)模型應(yīng)用在變電站開關(guān)狀態(tài)檢測與識別上，具有十分深遠的應(yīng)用前景，也能進一步推進變電站智能化進程，解放人力。主要研究內(nèi)容基于深度學(xué)習(xí)的巡檢機器人指示燈狀態(tài)識別問題主要研究內(nèi)容是對變電站中指示燈的狀態(tài)識別。針對變電站指示燈狀態(tài)識別問題，在深度學(xué)習(xí)技術(shù)的基礎(chǔ)上，以變電站的指示燈狀態(tài)識別為研究對象，實現(xiàn)了指示燈狀態(tài)的自動識別，主要工作如下：（1）系統(tǒng)設(shè)計；（2）構(gòu)建數(shù)據(jù)集；（3）用YOLOv3算法對數(shù)據(jù)集訓(xùn)練；（4）結(jié)果分析。第2章系統(tǒng)設(shè)計2.1設(shè)計流程訓(xùn)練基于卷積神經(jīng)網(wǎng)絡(luò)的變電站巡檢機器人的圖像識別模型，使其更精確地對變電站中的指示燈狀態(tài)進行識別。具體步驟如下：開始開始指示燈狀態(tài)圖片數(shù)據(jù)庫指示燈狀態(tài)圖片數(shù)據(jù)庫圖像數(shù)據(jù)集圖像數(shù)據(jù)集測試樣本訓(xùn)練樣本測試樣本訓(xùn)練樣本卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練是否預(yù)測精度符合要求是否預(yù)測精度符合要求機器人巡檢圖像卷積神經(jīng)網(wǎng)絡(luò)模型機器人巡檢圖像卷積神經(jīng)網(wǎng)絡(luò)模型否是發(fā)生故障？否是發(fā)生故障？繼續(xù)巡視發(fā)出警報繼續(xù)巡視發(fā)出警報圖2-1流程結(jié)構(gòu)圖2.2神經(jīng)網(wǎng)絡(luò)簡介深度學(xué)習(xí)(也稱作深度結(jié)構(gòu)化學(xué)習(xí)或者分層學(xué)習(xí)）是一種基于人工神經(jīng)網(wǎng)絡(luò)的更廣泛的機器學(xué)習(xí)方法族中的一部分[8]。學(xué)習(xí)分為有監(jiān)督的、半監(jiān)督的或者是無監(jiān)督的[9]。其中深度學(xué)習(xí)架構(gòu)，包括深度神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，已經(jīng)被應(yīng)用于計算機視覺、語音識別、自然語言處理、社交網(wǎng)絡(luò)、機器翻譯、藥物設(shè)計、醫(yī)學(xué)圖像分析、材料檢查和棋盤游戲程序在內(nèi)的領(lǐng)域中，在這些領(lǐng)域中，它們能力在某些情況下勝過人類專家[10]。2.2.1人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ANN)或聯(lián)結(jié)主義系統(tǒng)是一種構(gòu)成動物大腦的生物神經(jīng)網(wǎng)絡(luò)但又不完全一樣的計算系統(tǒng)[11]。該系統(tǒng)通過案例來“學(xué)習(xí)”并執(zhí)行相應(yīng)任務(wù)，而不用特定于任務(wù)的規(guī)則來進行編程。例如，在圖像識別中，人工神經(jīng)網(wǎng)絡(luò)可能會通過分析一些圖像數(shù)據(jù)來學(xué)習(xí)識別和檢測包含貓的圖像，這些圖像被手工標記為“貓”或“不是貓”，并使用結(jié)果識別在其他包含貓的圖像中的貓[12]。他們這樣做是在沒有貓的任何先驗知識的情況下進行的。比如，它們有毛皮、尾巴、四條腿、胡須和長得像貓的臉。與之不同的是，人工神經(jīng)網(wǎng)絡(luò)會自動從它們處理的圖像數(shù)據(jù)中識別出特征。人工神經(jīng)網(wǎng)絡(luò)是一種稱作基于人工神經(jīng)元的連接單元或節(jié)點所組成的合集，這些單元或節(jié)點模擬了各種生物大腦里的神經(jīng)元。就類似于生物大腦里的的神經(jīng)突觸一樣，其中的每個連接都能夠把信號從一個人工神經(jīng)元傳輸?shù)搅硗庖粋€。負責(zé)接收信號的神經(jīng)元能夠?qū)λM行相應(yīng)的處理，然后向與之連接的另一個附加的人造神經(jīng)元發(fā)出它之前接收的信號[13]。在平?？梢姷囊话闳斯ど窠?jīng)網(wǎng)絡(luò)實現(xiàn)里，人造神經(jīng)元之間相連接處的信號可以看做一個實數(shù)，其中每個人工神經(jīng)元的輸出量由它的輸入量相加之和的一些非線性函數(shù)來計算。把人造神經(jīng)元之間存在的聯(lián)結(jié)稱作“邊”。人造神經(jīng)元和其中邊通常被認為具有隨著學(xué)習(xí)的進行而同時調(diào)整的權(quán)重。權(quán)重能夠增加或減弱神經(jīng)元連接處的信號的強度[12]。人造神經(jīng)元可能有一個閾值，使得只有在總信號超過該閾值的情況下才能夠發(fā)送其接收的信號。在典型的神經(jīng)網(wǎng)絡(luò)中，每一層網(wǎng)絡(luò)都是由多個人造神經(jīng)元聚合組成[13]。不同的網(wǎng)絡(luò)層能夠?qū)λ鼈兊妮斎胄盘栠M行不同類型的轉(zhuǎn)換。信號從輸入層傳播到輸出層時，在這過程之間或許會多次穿過這些層[13]。人工神經(jīng)網(wǎng)絡(luò)方法的最初目的是使用和人腦相同的方式來解決一些問題。但是，隨著時間的推移，人們的注意力逐漸轉(zhuǎn)移到了執(zhí)行特定的任務(wù)上，從而逐漸偏離了生物學(xué)[14]。人工神經(jīng)網(wǎng)絡(luò)已被用在很多領(lǐng)域，其中包括計算機視覺、機器翻譯、社交網(wǎng)絡(luò)過濾玩棋盤和電子游戲。圖2-2人工神經(jīng)網(wǎng)絡(luò)簡圖2.2.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是最近幾年才逐漸發(fā)展起來，并引起了廣泛重視的一種高效的目標識別和檢測的方法[15]?，F(xiàn)在，CNN（卷積神經(jīng)網(wǎng)絡(luò)）已經(jīng)是很多領(lǐng)域的研究熱點了，尤其是在圖像模式分類識別中。卷積神經(jīng)網(wǎng)絡(luò)可以直接輸入原始圖像數(shù)據(jù)進行訓(xùn)練而不用對數(shù)據(jù)進行前期的非常復(fù)雜的預(yù)處理，這一方式節(jié)省了大量時間和精力，因而得到了十分廣泛的使用[16]。K.Fukushima在1980年時提出的新識別機是卷積神經(jīng)網(wǎng)絡(luò)的首個實現(xiàn)網(wǎng)絡(luò)[17]。隨后，越來越多的相關(guān)科研工作者對這個網(wǎng)絡(luò)進行了優(yōu)化。其中，具有代表性的研究成果是Alexander和Taylor一起提出的“改進認知機”，這種方法融合了很多種改進方法的優(yōu)點并且避免了耗時的誤差反向傳播[18]。一般地，CNN的基礎(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)包含了兩層，其中一層稱為特征提取層，每個神經(jīng)元的輸入和前一層的局部接受域相連接，同時提取該局部的特征部分[18]。一旦局部特征被提取出來后，它和其它特征間的位置關(guān)系也能夠確定出來；還有一層稱作特征映射層，多個特征映射組成了網(wǎng)絡(luò)的每個特征計算層，每個特征的映射是一個平面，其中所在平面上全部神經(jīng)元的權(quán)值是一致的[17]。特征映射結(jié)構(gòu)使用了影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，這使得特征映射擁有了位移不變的特性。除此之外，由于一個映射面上的神經(jīng)元共同分享之間的權(quán)值，所以降低了網(wǎng)絡(luò)自由參數(shù)的數(shù)量[18]。卷積神經(jīng)網(wǎng)絡(luò)中的任何一個卷積層都緊緊跟隨著另外一個用于求局部平均與二次提取的計算層，這種特有的兩次特征提取結(jié)構(gòu)降低了特征分辨率[18]。CNN主要被用來作位移的識別、縮放以及其他形式的扭曲不變性的二維圖形[19]。由于CNN的特征檢測層是通過訓(xùn)練數(shù)據(jù)來進行學(xué)習(xí)的，因此在使用CNN時，避免了顯示的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中來進行相應(yīng)的學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也作為是卷積網(wǎng)絡(luò)相對于神經(jīng)元互相相連網(wǎng)絡(luò)之間的一大優(yōu)點。卷積神經(jīng)網(wǎng)絡(luò)因為它具有局部權(quán)值共享的特殊結(jié)構(gòu)在語音識別和圖像處理領(lǐng)域有著特殊的優(yōu)越性，它的布局更類似于現(xiàn)實的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值的共享減弱了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可直接輸入網(wǎng)絡(luò)這一特性避免了特征提取和分類過程中數(shù)據(jù)重建的難度[19]。圖2-3卷積神經(jīng)網(wǎng)絡(luò)2.3深度學(xué)習(xí)框架PytorchPyTorch作為一個開源的Python機器學(xué)習(xí)庫，它基于Torch，被用于自然語言處理等應(yīng)用程序[20]。2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch。它是一個基于Python的可續(xù)計算包，提供兩個高級功能：1、具有強大的GPU加速的張量計算。2、包含了自動求導(dǎo)系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[20]。PyTorch的前身是Torch，它的底層和Torch框架是一樣的，但是它使用了Python重新寫了很多內(nèi)容，不僅變得更加靈活，能夠支持動態(tài)圖，并且提供了Python接口。它是由Torch7團隊研發(fā)的，是一個以Python優(yōu)先的深度學(xué)習(xí)框架，在實現(xiàn)強大的GPU加速的同時支持了動態(tài)神經(jīng)網(wǎng)絡(luò)[21]。PyTorch既可以認為是一種加入了GPU支持的numpy，同時也可以當作一個擁有自動求導(dǎo)功能的強大的深度神經(jīng)網(wǎng)絡(luò)。除Facebook外，它已經(jīng)被Twitter、CMU和Salesforce等機構(gòu)采用[21]。2.4YOLOv3算法在算法的選擇上選擇了YOLOv3算法。YOLO的意思是“YouOnlyLookOnce”的首字母縮寫，它盡管不是最精確的算法，但是它選擇在精確度和速度之間折中，當然效果也是相當不錯。YOLOv3同時借鑒了YOLOv1和YOLOv2，并沒有太多的創(chuàng)新之處，但是它在保持YOLO家族速度的優(yōu)勢的同時，增強了對小物體的檢測識別能力。YOLOv3算法使用一個單獨神經(jīng)網(wǎng)絡(luò)作用在圖像上，通過將圖像劃分多個區(qū)域并且預(yù)測邊界框和每個區(qū)域的概率[21]。對比其他算法，YOLOv3算法更適合對指示燈狀態(tài)這類小物體圖案進行檢測。2.4.1YOLOv3模型原理YOLOv3算法的基本思想可以分為兩個部分：首先，依據(jù)一定的規(guī)則在圖片上生成一系列的目標候選區(qū)域，

然后通過這些候選區(qū)域與圖片上所需要檢測的物體的真實區(qū)域之間的位置關(guān)系對候選區(qū)域進行相應(yīng)的標記[21]。與真實框之間的距離小于閾值的那部分候選區(qū)域就會被標注成為為正樣本，同時把真實框的位置坐標作為正樣本的位置坐標的目標值。距離真實框的距離比較大的那些候選區(qū)域則會被標注為負樣本，負樣本不需要預(yù)測位置坐標或者類別信息[21]。然后是使用卷積神經(jīng)網(wǎng)絡(luò)提取出圖片的特征，并對候選區(qū)域的位置坐標和類別信息進行目標區(qū)域的預(yù)測。這樣就可以將每一個預(yù)測框看成是一個樣本，并根據(jù)真實框相對于它的位置坐標和類別信息來獲取標簽值。通過使用網(wǎng)絡(luò)模型來預(yù)測它的位置和類別，并比較網(wǎng)絡(luò)預(yù)測值和標簽值。這樣就可以來構(gòu)建損失函數(shù)并進行訓(xùn)練了。圖2-4YOLOv3結(jié)構(gòu)圖圖2-4中的三個藍色方框內(nèi)的組件表示的是YOLOv3的三個基本組件：CBL：YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)中最小的組件，由Conv+Bn+Leaky_relu激活函數(shù)三者組成[18]。Resunit：借鑒Resnet網(wǎng)絡(luò)中的殘差結(jié)構(gòu)，讓網(wǎng)絡(luò)可以構(gòu)建的更深[21]。ResX：由一個CBL和X個殘差組件構(gòu)成，是YOLOv3中的大組件[18]。每個Res模塊前面的CBL都能夠起到下采樣的作用，因此經(jīng)過5次Res模塊后，得到的特征圖是608->304->152->76->38->19大小。2.4.2Darknet-53網(wǎng)絡(luò)YOLOv3使用的是一個全新的并且更深層次的卷積神經(jīng)網(wǎng)絡(luò)Darknet-53，這個網(wǎng)絡(luò)是由多個殘差單元疊加組成的[21]。相比較在YOLOv2中使用的Darknet-19網(wǎng)絡(luò)，該網(wǎng)絡(luò)主要是由連續(xù)的1×1和3×3的卷積層組成的，包含有53個卷積層和5個池化層，每個卷積層后面都會有一個批量歸一化層(batchnormalization)[21]。為了解決過擬合的問題，加入了去droput處理。同時引入了多尺度融合的思想，能夠更好地檢測小目標[21]。圖2-5YOLOv3與其它模型的性能對比圖2.5模型構(gòu)建Yolo檢測網(wǎng)絡(luò)包含24個卷積層和2個全連接層，其中卷積層用來提取圖像特征，全連接層用來預(yù)測圖像位置和類別概率值。卷積神經(jīng)網(wǎng)絡(luò)可以通過降維操作訓(xùn)練輸入的指示燈狀態(tài)圖片，進而提高識別精度，其中指示燈狀態(tài)圖像輸入層主要是對圖像進行歸一化預(yù)處理，現(xiàn)場目標特征提取卷積層通過卷積核對目標進行局部感知，提取標志性特征，得到圖像的特征圖譜，再將輸入圖像分割成大小相同的細胞網(wǎng)格，使用圖像目標的中心坐標所在細胞網(wǎng)格進行預(yù)測最后根據(jù)每個細胞網(wǎng)格固有數(shù)量的基礎(chǔ)框，計算出真值交并比最高的基礎(chǔ)框并用來判斷目標是否為指示燈的開啟或關(guān)閉狀態(tài)，將獲取的特征與之前的學(xué)習(xí)進行比對，當滿足一定閾值時判定目標，最終完成指示燈狀態(tài)識別。在YOLOv3原始模型中IoU損失函數(shù)采用的是GIoU損失函數(shù)，其相比原始IoU的優(yōu)化在于增加了錯誤框選的懲罰，即誤差越大懲罰越大，在訓(xùn)練過程過能夠?qū)Σ煌壤臋z測框都有較好的檢測效果，其原理如式(2-1)所示：LGIoU=1?IoU+C?B∪BgtC式Y(jié)olov3中并沒有像其他神經(jīng)網(wǎng)絡(luò)一樣采取單獨池化層，是因為最大池化與使用卷積（stride為2）來做downsample性能并沒有明顯差別，使用卷積（stride為2）相比卷積（步進為1）加池化，還可以減少卷積運算量和一個池化層。數(shù)據(jù)輸入層：對原始數(shù)據(jù)進行預(yù)處理，去均值，把輸入數(shù)據(jù)各個維度都中心化為0，其目的就是把樣本的中心拉回到坐標系原點上。然后進行歸一化處理，通過根據(jù)代碼中給定的標簽，讀取圖片尺寸，讀取識別框的寬度和高度，計算出中心坐標，并把相關(guān)值進行等比例轉(zhuǎn)換（歸一化），然后從每個xml文件中讀出數(shù)據(jù)，用函數(shù)中歸一化，然后生成對應(yīng)圖片的txt文件，將得到信息寫到相應(yīng)的txt標注文件中，即生成相應(yīng)圖片的標注文件。第3章數(shù)據(jù)集構(gòu)建在大多數(shù)應(yīng)用場景下訓(xùn)練模型使用的原始數(shù)據(jù)集并不能滿足理想的訓(xùn)練需要，而獲取更多的數(shù)據(jù)集也會增加訓(xùn)練的成本和帶來更多的工作量，更好的處理方式是進行合適的數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理的主要目的包括增加訓(xùn)練的基礎(chǔ)數(shù)據(jù)量來提高模型的泛化能力和增加噪聲來提高模型的魯棒性兩個方面，經(jīng)典的數(shù)據(jù)增強方法包括：數(shù)據(jù)翻轉(zhuǎn)、數(shù)據(jù)旋轉(zhuǎn)、圖像縮放、圖像裁剪、圖像平移、覆蓋噪聲和修改對比度等處理方法。通過對原有數(shù)據(jù)集數(shù)據(jù)進行此類拓展即可得到大量新的訓(xùn)練數(shù)據(jù)，有效提升模型訓(xùn)練集大小，在原有訓(xùn)練集較小的條件下快速提升目標檢測效果。3.1數(shù)據(jù)集預(yù)處理本次訓(xùn)練用的數(shù)據(jù)集圖片是用相機拍攝的，由于圖片數(shù)量太少，圖片角度和形式單一，達不到訓(xùn)練要求，需要對數(shù)據(jù)集進行預(yù)處理。3.1.1灰度和色彩空間轉(zhuǎn)換通過對圖片進行亮度調(diào)整、對比度飽和度調(diào)整、顏色空間轉(zhuǎn)換、色彩調(diào)整來對數(shù)據(jù)擴增。并且擴增后的數(shù)據(jù)集在訓(xùn)練時可以更好的應(yīng)對真是環(huán)境的變化，對抗真實環(huán)境中存在的光照、色彩、亮度偏差。如圖3-1所示，通過改變圖片的亮暗，將一張圖片變換為多張圖片，從而增加圖片的數(shù)量。圖3-1通過亮度的改變擴增數(shù)據(jù)集3.1.2幾何變換通過對圖片進行旋轉(zhuǎn)、縮放、翻轉(zhuǎn)、裁剪、平移、仿射變換等操作來對數(shù)據(jù)進行擴增。幾何變換可以有效地對抗數(shù)據(jù)中存在的位置偏差、視角偏差、尺寸偏差，而且易于實現(xiàn)，非常實用。如圖3-2所示，通過對圖片進行旋轉(zhuǎn)，將一張圖片變換為多張圖片，從而增加圖片的數(shù)量。圖3-2通過幾何變換擴增數(shù)據(jù)集3.1.3添加噪聲和濾波通過對圖片注入高斯噪聲、椒鹽噪聲、模糊、銳化等操作來對數(shù)據(jù)擴增。在擴增數(shù)據(jù)集的同時在訓(xùn)練時更能應(yīng)對噪聲干擾、成像異常等特殊環(huán)境，幫助CNN學(xué)習(xí)更泛化的特征。如圖3-3所示，通過給圖片注入高斯噪聲，將一張圖片變換為多張圖片，從而增加圖片的數(shù)量。圖3-3通過改變圖片參數(shù)擴增數(shù)據(jù)集圖3-4是擴增后的部分數(shù)據(jù)集：圖3-4擴增后的部分數(shù)據(jù)集3.2圖片標注在進行圖片標注時使用的工具是labelimg。labelimg是一個圖形圖像注釋工具。它用python編寫的，用QT作為圖形界面。注釋被按照ImageNet所使用的PASCALVOC格式存成XML文件。打開需要標注的圖片的文件夾，按順序逐一標注。將要識別的部分框選出來，選擇目標所屬類別，點擊保存。生成XML文件后保存在當前文件夾內(nèi)。文檔中，filename代表文件名，path圖片代表絕對路徑，size代表圖片尺寸與通道數(shù)量，object代表標注框的目標種類，bndbox代表標注框的尺寸。其中，在一個xml文檔中，object標簽個數(shù)可有多個，代表有多個標注框。將所有圖片標注完成后就可以導(dǎo)入框架進行訓(xùn)練了。圖3-5對檢測部位標注圖3-6標注時生成的部分xml文件如圖3-7所示，將生成的XML文件保存在Annotations文件中用于后續(xù)的模型訓(xùn)練。圖3-7標注后的文件圖3-8data文件夾中包含的文件第4章訓(xùn)練測試原始的數(shù)據(jù)集分別經(jīng)過on標注和off標注生成兩個訓(xùn)練數(shù)據(jù)集：on集和off集分別表示指示燈狀態(tài)的開和關(guān)。在獲得所有圖片的標注文件之后，數(shù)據(jù)集將按照比例被分為訓(xùn)練集與測試集。一般來說，需要采用隨機的方式，將數(shù)據(jù)集總數(shù)的90%作為訓(xùn)練集，同時將總數(shù)的10%作為測試集，分別生成train.txt保存訓(xùn)練數(shù)據(jù)文件名，test.txt保存測試數(shù)據(jù)文件名。在生成train.txt、test.txt后，結(jié)合train.txt、test.txt信息和數(shù)據(jù)集的標注文件信息，將圖片文件的絕對路徑、標注框位置信息、類別信息全部整合到一個文件，最后生成兩個用于訓(xùn)練的led_train.txt文件以及用于測試的test.txt文件。最后生成的一部分train.txt、test.txt文件。4.1模型訓(xùn)練在對數(shù)據(jù)集進行訓(xùn)練前，需要對模型文件進行修改。4.1.1修改模型文件每一個[region/yolo]層前的最后一個卷積層中的filters=預(yù)測框的個數(shù)(mask對應(yīng)的個數(shù)，比如mask=0、1、2。代表使用了anchors中的前三對，這里預(yù)測框個數(shù)就應(yīng)該是3*(classes+5)，5的意義是4個坐標+1個置信度代表這個格子含有目標的概率。更改yolov3.cfg文件為custom.cfg文件，其中文件每層yolo前面的filters數(shù)值更改為（class+5）*3，classes數(shù)值改成類別數(shù)。圖4-1更改后的程序圖進行目標特征提取，在根目錄下新建voc_label.py文件，voc_label.py文件主要是調(diào)用已經(jīng)分類好的xml文件和對應(yīng)圖片，定義要檢測的類別，即標注的名稱，通過根據(jù)代碼中給定的標簽，讀取圖片尺寸，讀取識別框的寬度和高度，計算出中心坐標，并把相關(guān)值進行等比例轉(zhuǎn)換（歸一化），然后從每個xml文件中讀出數(shù)據(jù)，用函數(shù)中歸一化，然后生成對應(yīng)圖片的txt文件，將得到信息寫到相應(yīng)的txt標注文件中，生成相應(yīng)圖片的標注文件。規(guī)劃處中心點x坐標比，中心點y坐標比、寬度比、高度比。圖4-2voc_label.py中的部分程序圖date目錄下生成train.txt、test.txt、val.txt三個txt文件，與前面makeTxt.py生成的train.txt有區(qū)別，voc_label.py是Yolo訓(xùn)練前數(shù)據(jù)預(yù)處理一部分，主要功能是根據(jù)ImageSets目錄下的VOC數(shù)據(jù)集train.txt，test.txt，val.txt讀取txt文件中圖片名字，從而讀取Annotations目錄下對應(yīng)的xml文件內(nèi)坐標等信息進行處理，將groudtruth（正確標注框）x,y需要轉(zhuǎn)化為groudtruth的中心坐標，進一步框的x_center，y_center，w，h歸一化到0-1。最終生成一個labels目錄，用來保存x、y、w、h，每張圖片對應(yīng)每個txt文件和train.txt文件和val.txt文件，test.txt文件。圖4-3訓(xùn)練時data目錄生成的文件因為訓(xùn)練用的是yolov3-tiny模型，所以在配置權(quán)重就需要yolov3-tiny.conv.15。采用預(yù)訓(xùn)練權(quán)重文件yolov3-tiny.conv.15。這里需要對程序進行修改。修改后的內(nèi)容如圖4-4所示：圖4-4yolov3-tiny.conv.15部分程序內(nèi)容所有準備工作做好就可以訓(xùn)練數(shù)據(jù)集了。在終端中輸入命令pythontrain.py--datadata/on.data--cfgcfg/yolov3-tiny.cfg--epoch1000--batch-size2--weightsweights/yolov3-tiny.conv.15設(shè)置每張圖片迭代1000次，這個訓(xùn)練過程需要數(shù)個小時。圖4-5終端訓(xùn)練命令本次實驗中，操作系統(tǒng)為Windows10，采用的深度學(xué)習(xí)框架為pytorch。訓(xùn)練完成時會在YOLOv3跟目錄下生成結(jié)果文件result.png，同時會生成best.pt模型文件和last.pt測試文件。訓(xùn)練結(jié)束得到最終的檢測模型。生成的result.png文件如圖4-6所示：圖4-6result.png文件圖（1000次迭代）4.2模型測試以未訓(xùn)練的圖片為驗證對象。實際測試時，共選用10張未進行標注訓(xùn)練的圖片。可以看出，雖然某些指示燈狀態(tài)的圖片光照并不充足，該模型依舊表現(xiàn)優(yōu)異，在10張測試圖片中可以識別出9張圖片的指示燈狀態(tài)。通過在測試集上測試模型的檢測效果，從圖4-7中可以看出檢測效果非常好，訓(xùn)練好的模型可以準確識別出不同圖片的指示燈狀態(tài)。圖4-7部分測試結(jié)果圖從圖中可以看出，盡管檢測的圖片角度有偏差、亮度和清晰度不一致，模型依然可以檢測出圖片的指示燈狀態(tài)。改進算法在不良條件環(huán)境下依然可以做出正確的判斷。4.3模型性能評價選擇精度評價指標mAP(meanaverageprecision)、準確率評價指標Precision、召回率評價指標Recall、標記邊框重合度評價指標GIoU對訓(xùn)練好的模型進行性能評估。mAP評估檢測準確度，mAP值越大證明檢測效果越好，在本次實驗中，檢測目標只有指示燈這一類物體，所以mAP數(shù)值較高，如圖4-8所示：圖4-8mAP精度評價指標值準確率評價指標Precision是識別的精準度，是程序檢測預(yù)測出來的框與測試集正確的框的比值，是識別正確的圖片占整個圖片的比值，數(shù)值越高代表識別精準度越高。經(jīng)過訓(xùn)練該模型的識別精準度已經(jīng)接近于1，可應(yīng)用在實際的指示燈狀態(tài)識別場景。圖4-9是迭代1000次后的Percision的結(jié)果圖。圖4-9Precision準確率評價指標值召回率評價指標Recall是被正確識別出來的指示燈狀態(tài)個數(shù)與測試集中所有指示燈狀態(tài)個數(shù)的比值。經(jīng)過改進后算法1000次迭代訓(xùn)練后的模型，其檢測召回率接達到了95%以上，滿足實際應(yīng)用場景。召回率評價指標Recall的結(jié)果圖如圖4-10所示：圖4-10Recall召回率評價指標值標記邊框重合度評價指標GIoU是作為任意邊框的度量，檢測兩個預(yù)測框的位置損失。簡單來說就是程序預(yù)測出來的框與原來圖片中標記的框的重合程度。數(shù)值越低代表預(yù)測框約精確。經(jīng)過1000次的迭代訓(xùn)練后標記邊框重合度評價指標GIoU已經(jīng)趨近于0。結(jié)果如圖4-11所示：圖4-11GIoU標記邊框重合度評價指標值改進后的YOLOv3算法對于小目標物體檢測的準確度較高。這說明算法改進后提取到了更豐富的細節(jié)特征，改善了原有算法中在檢測小目標情況下會出現(xiàn)的漏檢誤檢、檢測率低等現(xiàn)象?？梢姡Ｐ鸵暂^為優(yōu)異的性能完成了指示燈狀態(tài)識別任務(wù)。實驗結(jié)果表明，運用YOLO算法進行的目標檢測，準確率好，可以在不同工況下對指示燈狀態(tài)圖片進行檢測，滿足了巡檢機器人對指示燈狀態(tài)目標檢測的要求。綜述所述，本文提出的基于深度學(xué)習(xí)的巡檢機器人指示燈狀態(tài)識別問題的研究能夠?qū)χ甘緹魻顟B(tài)進行有效識別，提出的訓(xùn)練技巧與能夠切實提高模型訓(xùn)練效果，所提方法簡單有效，具備一定的實際應(yīng)用價值。第5章總結(jié)展望5.1總結(jié)本文研究了基于深度學(xué)習(xí)的巡檢機器人的指示燈狀態(tài)識別問題，介紹了卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)內(nèi)容，用已有的算法對指示燈的狀態(tài)進行了識別并對算法做了進一步的優(yōu)化來提升YOLOv3算法對小物體的檢測識別能力。另外通過數(shù)據(jù)集的預(yù)處理，對訓(xùn)練圖片進行添加噪聲、改變環(huán)境光、輕微旋轉(zhuǎn)等操作模擬自然環(huán)境下圖片的干擾，通過此數(shù)據(jù)集訓(xùn)練的模型更能準確識別復(fù)雜環(huán)境。在選用算法時選用了對小目標檢測更有利的YOLOv3算法，并在模型訓(xùn)練之前進行了網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的改進，讓YOLOv3算法進一步增強對指示燈這類小目標的識別能力。在構(gòu)建數(shù)據(jù)集時由于樣本圖片較少，對數(shù)據(jù)集進行了擴增后確保訓(xùn)練好的模型足夠準確。訓(xùn)練好的模型經(jīng)過測試表明對指示燈狀態(tài)識別的準確度達到了90%，已經(jīng)可以滿足實際應(yīng)用。綜上，本文提出的基于深度學(xué)習(xí)的巡檢機器人指示燈狀態(tài)識別問題的研究能夠?qū)χ甘緹魻顟B(tài)做出有效的識別，對算法的優(yōu)化可以增強對小物體的檢測能力，最后訓(xùn)練好的模型識別準確率高，具備一定的實際應(yīng)用價值。5.2展望本文提出的基于深度學(xué)習(xí)的巡檢機器人指示燈狀態(tài)識別問題的研究訓(xùn)練好的模型可以進行指示燈狀態(tài)的有效識別，但同時還有很多地方需要改進。本文只針對了圖片的訓(xùn)練及識別，后續(xù)可以對視頻進行實時的檢測識別。通過將視頻的每一幀化為圖像，用訓(xùn)練好的模型對視頻檢測。同時在識別的準確率上也可以做進一步的提升，增加訓(xùn)練的數(shù)據(jù)集的圖片，增加模型訓(xùn)練時的迭代次數(shù)，都可以進一步提升模型識別的準確率。隨著社會的不斷發(fā)展，深度學(xué)習(xí)也將應(yīng)用在更多的場景上，比如最近發(fā)展迅猛的汽車自動駕駛技術(shù)和各種視頻識別技術(shù)，它在為我們提供便利的同時也保護著我們的安全。參考文獻[1]吳正文.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的應(yīng)用研究[D].電子科技大學(xué),2015.[2]施榮.基于深度卷積神經(jīng)網(wǎng)絡(luò)的毫米波圖像目標檢測方法研究[D].哈爾濱工業(yè)大學(xué),2015.[3]李梁.變電站巡檢機器人視頻監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[D].上海交通大學(xué),2013.[4]趙小魚,徐正飛,付淵.一種適用于智能變電站巡檢機器人的異物檢測算法研究[J].現(xiàn)代電子技術(shù),2015,38(10):124-127.[5]曾朱文,鄭連清.無人值守變電站智能遙視系統(tǒng)的研究[D].重慶:重慶大學(xué),2005.[6]景美麗.無人值守變電站中智能視頻監(jiān)控的技術(shù)研究[D].保定:華北電力大學(xué),2012.[7]ShinHC,RothHR,GaoM,etal.DeepConvolutionalNeuralNetworksforComputer-AidedDetection:CNNArchitectures,Da-tasetCharacteristicsandTransferLearning[J].IEEETransactionsonMedicalImaging,2016,35(5):1285-1298.[8]TangY.DeepLearningusingLinearSupportVectorMachines[J].ComputerScience,2015.[9]許可.卷積神經(jīng)網(wǎng)絡(luò)在圖像識別上的應(yīng)用的研究[D].浙江大學(xué),2012.[10]徐姍姍.卷積神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用[D].南京林業(yè)大學(xué),2013.[11]常亮,鄧小明,周明全等.圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J].自動化學(xué)報,2016,42(9):1300-1312.[12]魏小邦.基于計算機視覺的內(nèi)河船舶導(dǎo)航技術(shù)研究[D].大連海事大學(xué),2018.[13]劉東東.基于USB攝像頭的單目視覺測距技術(shù)的研究[D].大連交通大學(xué),2014.[14]王磊.基于Canny邊緣檢測的工業(yè)零件分類識別[J].電子設(shè)計工程,2019,27(21):190-193.[15]楊芳.基于OpenCV的雙目視覺系統(tǒng)目標定位與測距方法研究[D].寧夏大學(xué),2018.[16]聶紅梅,劉忠艷.基于OpenCV的攝像機標定研究[J].微處理機,2017,38(06):58-61.[17]黃秀珍,王佳斌,高發(fā)欽,冉宇瑤.機器雙目視覺里程計定位算法[J].無線電通信技術(shù),2019,45(06):676-681.[18]汪永超,耿麗清.攝像機標定系統(tǒng)方法研究[J].天津職業(yè)技術(shù)師范大學(xué)學(xué)報,2019,29(02):59-62.[19]Edgedetectionbyscalemultiplicationinwaveletdomain[J].LeiZhang,PaulBao.PatternRecognitionLetters.2002,(14).[20]EdgeDetectionwithEmbeddedConfidence.P.Meer,B.Georgescu.IEEETransactionsonPatternAnalysisandMachineIntelligence.2001.[21]RenjieSong,ZiqiZhang,HaiyangLiu.EdgeconnectionbasedCannyedgedetectionalgorithm[J].PatternRecognitionandImageAnalysis,2017,27(4).

附錄：附錄一：voc_label.py程序#-*-codeing=utf-8-*-#@Time:2021/3/3016:13#@Author:宋志虎#@File:voc_label.py.py#@Software:PyCharmimportxml.etree.ElementTreeasETimportpickleimportosfromosimportlistdir,getcwdfromos.pathimportjoinsets=['train','test','val']classes=["on","off"]#我們要檢測開關(guān)狀態(tài)，因此有兩個類別defconvert(size,box):dw=1./size[0]dh=1./size[1]x=(box[0]+box[1])/2.0y=(box[2]+box[3])/2.0w=box[1]-box[0]h=box[3]-box[2]x=x*dww=w*dwy=y*dhh=h*dhreturn(x,y,w,h)defconvert_annotation(image_id):in_file=open('data/Annotations/%s.xml'%(image_id))out_file=open('data/labels/%s.txt'%(image_id),'w')tree=ET.parse(in_file)root=tree.getroot()size=root.find('size')w=int(size.find('width').text)h=int(size.find('height').text)forobjinroot.iter('object'):difficult=obj.find('difficult').textcls=obj.find('name').textifclsnotinclassesorint