電力巡檢無(wú)人機(jī)提供大量的巡檢圖像，但由于電力設(shè)備故障稀少，其中只有少量的設(shè)備缺陷故障圖像可供使用。為了提高設(shè)備缺陷故障識(shí)別精度并減少訓(xùn)練過(guò)擬合問(wèn)題，首先介紹了基于遷移學(xué)習(xí)的小樣本電力巡檢圖像處理方法，通過(guò)圖像裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)等數(shù)據(jù)增強(qiáng)技術(shù)對(duì)小樣本圖像進(jìn)行擴(kuò)充，同時(shí)采用生成對(duì)抗網(wǎng)絡(luò)(GAN)來(lái)擴(kuò)充基礎(chǔ)樣本；并使用遷移學(xué)習(xí)技術(shù)，將基于大規(guī)模圖像數(shù)據(jù)的預(yù)訓(xùn)練深度卷積模型進(jìn)行定制，調(diào)整該神經(jīng)網(wǎng)絡(luò)模型的輸入層和最后兩層參數(shù)，并對(duì)超參進(jìn)行調(diào)優(yōu)。實(shí)驗(yàn)結(jié)果表明，巡檢設(shè)備故障(如導(dǎo)線斷股和絕緣子串脫落等)準(zhǔn)確匹配度近95%，證明了小樣本學(xué)習(xí)和遷移學(xué)習(xí)在輸電線路巡檢圖像處理中具有可行性。關(guān)鍵詞:小樣本；遷移學(xué)習(xí)；輸電線路；數(shù)據(jù)擴(kuò)充；生成對(duì)抗網(wǎng)絡(luò)；圖像識(shí)別0引言條件惡劣的地方。無(wú)人機(jī)具備小巧靈便、容易操控、成本低廉等優(yōu)勢(shì)，且無(wú)人機(jī)巡檢成本僅為人工巡檢的30%，因此無(wú)人機(jī)越來(lái)越多地被使難 (convolutionalneuralnetworks，CNN)在圖像識(shí)別上效果明顯，在數(shù)據(jù)充足情況下已經(jīng)超出人類的識(shí)別準(zhǔn)確率。但是由于電力設(shè)備本身故障少，實(shí)際設(shè)備缺陷樣本少，且與正常設(shè)備圖像樣本數(shù)量嚴(yán)重不平衡，訓(xùn)練出來(lái)的模型容易出現(xiàn)過(guò)擬合(overfitting)和陷入局部最優(yōu)解等現(xiàn)象，導(dǎo)致設(shè)備故障狀態(tài)容易被誤判。目前，大多數(shù)機(jī)器學(xué)習(xí)算法都活中，小樣本數(shù)據(jù)卻較為常見(jiàn)，因而在含小樣本的數(shù)據(jù)集上訓(xùn)練出的模型只能刻畫(huà)局部問(wèn)題，且學(xué)習(xí)得到的信息的可靠性不高。為了提高小樣本類識(shí)別率，本文引入基于遷移學(xué)習(xí)的小樣本處理作為研究課題。在計(jì)算機(jī)視覺(jué)領(lǐng)域，圖像的類別識(shí)別需要通過(guò)大量標(biāo)注圖片進(jìn)行學(xué)習(xí)。為了從少量的圖片中識(shí)別出物體類別，Lake等人提出小樣本數(shù)據(jù)集的標(biāo)準(zhǔn)測(cè)試集(omniglot數(shù)據(jù)集)，同時(shí)發(fā)表了HBPL(hierarchical[3-4]bayesianprogramlearning，分層貝葉斯小樣本學(xué)習(xí))方法，在Omniglot數(shù)據(jù)集上取得了非常好的效果，但存在聯(lián)合參數(shù)空間過(guò)大而，研究了小樣本學(xué)習(xí)甚至零樣本學(xué)習(xí)問(wèn)題，但由于目標(biāo)類別數(shù)受限且精度[5-6]越多地被應(yīng)用于小樣本學(xué)習(xí)。遷移學(xué)習(xí)具有一定的泛化性，能夠從與 [7-8]訓(xùn)練數(shù)據(jù)不同但相似的源領(lǐng)域數(shù)據(jù)中挖掘有用知識(shí)并遷移到目標(biāo)領(lǐng)域數(shù)據(jù)學(xué)習(xí)中，已被應(yīng)用于多個(gè)領(lǐng)域，如文本情感分析、目標(biāo)圖像識(shí)別 [9]、軟件缺陷預(yù)測(cè)和電網(wǎng)調(diào)度風(fēng)險(xiǎn)分析等。 [10][11][12]針對(duì)上述問(wèn)題和分析，本文提出了基于遷移學(xué)習(xí)的小樣本輸電線路包括使用常規(guī)方法擴(kuò)充樣本、使用CycleGAN算法將正常設(shè)備圖像學(xué) [14]習(xí)并轉(zhuǎn)化故障缺陷圖像；然后利用預(yù)訓(xùn)練的MobileNet網(wǎng)絡(luò)模型進(jìn)行遷移學(xué)習(xí)并重新構(gòu)建了相應(yīng)的深度學(xué)習(xí)網(wǎng)絡(luò)模型；最后以國(guó)網(wǎng)四川省電力公司實(shí)際圖像數(shù)據(jù)為例，證明了該方法的有效性。經(jīng)典機(jī)器學(xué)習(xí)算法的主要研究?jī)?nèi)容是樣本數(shù)目趨于無(wú)窮大時(shí)的漸進(jìn)理論，樣本數(shù)量是影響模型算法能力主要因素之一。然而，在現(xiàn)實(shí)生活中，實(shí)際問(wèn)題的數(shù)據(jù)量往往不多，這種情況使得經(jīng)典機(jī)器學(xué)習(xí)算法難有限的條件下利用有限且稀少的數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)的訓(xùn)練與預(yù)測(cè)。本文將使用常規(guī)方法及先進(jìn)的生成對(duì)抗網(wǎng)絡(luò)(generativeadversarialnetworks，GAN)等方式來(lái)擴(kuò)展訓(xùn)練數(shù)據(jù)。1.1常規(guī)方法擴(kuò)充常規(guī)的圖像數(shù)據(jù)擴(kuò)充方式主要分為2種：幾何變換和像素變換。對(duì)經(jīng)過(guò)處理后，本文通過(guò)翻轉(zhuǎn)、旋轉(zhuǎn)、局部放大、扭曲等數(shù)據(jù)擴(kuò)充方圖1圖像數(shù)據(jù)擴(kuò)充對(duì)比dingdataaugmentation1.2生成對(duì)抗網(wǎng)絡(luò)(GAN)為增強(qiáng)圖像數(shù)據(jù)擴(kuò)充，本文研究并使用了生成對(duì)抗網(wǎng)絡(luò)[13]進(jìn)行數(shù)據(jù)增廣，成功將部分正常的設(shè)備圖像轉(zhuǎn)化成缺陷設(shè)備圖像。生成對(duì)抗網(wǎng)絡(luò)(GAN)是一種深度學(xué)習(xí)模型，GAN由生成網(wǎng)絡(luò)G (Generator)和判別網(wǎng)絡(luò)D(Discriminator)組成，對(duì)抗網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示。迭代訓(xùn)練過(guò)程中，生成網(wǎng)絡(luò)G以判別網(wǎng)絡(luò)D無(wú)法判斷其生成圖片真實(shí)性為目標(biāo)，而判別網(wǎng)絡(luò)D以能夠區(qū)分輸入圖片真實(shí)性為到納什均衡點(diǎn)，此時(shí)訓(xùn)練好的生成網(wǎng)絡(luò)G能把任意一個(gè)服從某種分布的隨機(jī)向量轉(zhuǎn)化成和訓(xùn)練集類似的樣本。擴(kuò)充、超分辨率、圖像補(bǔ)全、去噪等方面取得豐碩成果。本文將重點(diǎn)介紹一種能夠有效應(yīng)用于樣本增強(qiáng)的改進(jìn)的GAN方法—CycleGAN。[14]中的樣本轉(zhuǎn)換成Y空間中的樣本。CycleGAN的目標(biāo)就是學(xué)習(xí)從X到本之間相互轉(zhuǎn)化，從而可以用大量正常的絕緣子串樣本生成故障絕緣子串樣本來(lái)彌補(bǔ)其數(shù)量不足的缺陷。的圖片后，還能轉(zhuǎn)換回來(lái)。根據(jù)G(F(x))≈x和F(G(y))≈y，可定義循環(huán)一致性損失L(F,G,X,Y)。從X到Y(jié)的映射F可定義GAN損失sistencyGANYGANX定義CycleGAN損失L(G,D,X,Y)，如式(1)所示：CycleGANX圖4所示是通過(guò)CycleGAN將絕緣子完整類型與絕緣子缺陷類型相互轉(zhuǎn)換的示例，圖片的轉(zhuǎn)換取得了良好效果，(a)組是將絕緣子完整類樣本轉(zhuǎn)換成絕緣子缺陷類樣本，(b)組是將絕緣子缺陷類樣本轉(zhuǎn)1。同時(shí)，CycleGAN作為一種新興的圖片生成技術(shù)，將其應(yīng)用于電力樣本擴(kuò)充時(shí)需要比較多的人工干預(yù)，比如調(diào)整GAN模型、手動(dòng)篩選圖片等，才能獲取滿意的生成圖片(即生成圖片視覺(jué)上判斷為真實(shí)圖片)。GAN2遷移學(xué)習(xí)2.1遷移學(xué)習(xí)與深度學(xué)習(xí)最近各國(guó)在深度學(xué)習(xí)與小樣本數(shù)據(jù)問(wèn)題的結(jié)合方面研究很多?；谟虻难芯磕壳胺譃?個(gè)方向：①基于已知的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)進(jìn)行微調(diào)(fine-tuning)的遷移學(xué)習(xí)(transfer[4]learning)方法；②將深度學(xué)習(xí)與度量學(xué)習(xí)結(jié)合的方法；③將深度學(xué)[15-16]習(xí)與元學(xué)習(xí)結(jié)合的方法。其中，遷移學(xué)習(xí)因?yàn)樵诮鉀Q小數(shù)據(jù)問(wèn)題(有兩個(gè)領(lǐng)域，一個(gè)領(lǐng)域已經(jīng)有很多的數(shù)據(jù)，能成功地建一個(gè)模型，另一個(gè)領(lǐng)域數(shù)據(jù)不多，但是和前面那個(gè)領(lǐng)域是關(guān)聯(lián)的，就可以把那個(gè)模型給遷移過(guò)來(lái))和個(gè)性化問(wèn)題(通過(guò)遷移學(xué)習(xí)把一個(gè)通用的模型遷移到個(gè)性化的數(shù)據(jù)上面)方面具有優(yōu)勢(shì)，所以本文選用主流的遷移學(xué)習(xí)方法。3實(shí)驗(yàn)分析以人工智能算法為核心的電力巡檢無(wú)人機(jī)等已成為電力系統(tǒng)巡檢重要的發(fā)展方向，在實(shí)際電力系統(tǒng)巡檢過(guò)程中，存在故障樣本量有限的問(wèn)題，且要求模型迭代學(xué)習(xí)快、應(yīng)用速度高等。雖然更深和更復(fù)雜的神經(jīng)網(wǎng)絡(luò)可以得到更高的精度，但這種網(wǎng)絡(luò)在模型大小和運(yùn)行速度上沒(méi)有優(yōu)勢(shì)，并不適用于硬件資源有限的嵌入式平臺(tái)，因而各種輕量級(jí)、低延t效的神經(jīng)網(wǎng)絡(luò)模型MobileNet并結(jié)合能夠根據(jù)小樣本數(shù)據(jù)集進(jìn)行微調(diào)2.2模型遷移流程ImageNet超大圖像數(shù)據(jù)集預(yù)訓(xùn)練好的MobileNet網(wǎng)絡(luò)模型；②將標(biāo)注過(guò)的巡檢圖像數(shù)據(jù)集作為輸入，獲取MobileNet網(wǎng)絡(luò)中的卷積部分輸出，利用這個(gè)輸出訓(xùn)練一個(gè)全連接網(wǎng)絡(luò)，然后將MobileNet網(wǎng)絡(luò)中預(yù)訓(xùn)練型進(jìn)行預(yù)測(cè)。3.4實(shí)驗(yàn)結(jié)果3.1實(shí)驗(yàn)環(huán)境及設(shè)備驗(yàn)平臺(tái)。處理器為IntelXeonE5，內(nèi)存641.8深度學(xué)習(xí)框架。實(shí)驗(yàn)數(shù)據(jù)來(lái)自國(guó)網(wǎng)四川省電力公司。3.2評(píng)價(jià)指標(biāo)準(zhǔn)確匹配度(以下簡(jiǎn)稱匹配度)，即預(yù)測(cè)結(jié)果和真實(shí)類別完全一致3.3超參設(shè)置經(jīng)過(guò)多次試驗(yàn)，將本模型訓(xùn)練的超參設(shè)置如下：學(xué)習(xí)率(learningrate)設(shè)置為0.005，既保障模型結(jié)果的匹配度，又使模型具有一定的收斂速度，從而使得訓(xùn)練深層網(wǎng)絡(luò)模型更加容易和穩(wěn)定；為了充分訓(xùn)練學(xué)習(xí)，訓(xùn)練輪數(shù)(epoch)設(shè)為4000，批處理尺寸(batchsize)設(shè)為100。MobileNet模型本身有2個(gè)超參數(shù)：一個(gè)是模型每一層輸入通道原設(shè)備圖像分為4類，其中2個(gè)缺陷樣本類別數(shù)量約為30張/類，2個(gè)正常樣本類別數(shù)量約為近500張/類。缺陷樣本類別存在數(shù)量小且缺陷數(shù)據(jù)和正常設(shè)備數(shù)據(jù)嚴(yán)重不平衡。使用CycleGAN手段擴(kuò)充原始擴(kuò)充對(duì)小樣本學(xué)習(xí)的重要性，分別做了對(duì)比實(shí)驗(yàn)。3.4.1遷移學(xué)習(xí)對(duì)比實(shí)驗(yàn)將基礎(chǔ)數(shù)據(jù)集分割為訓(xùn)練集和數(shù)據(jù)集，訓(xùn)練集由20張/類的2類缺陷樣本類別、320張/類的2類正常樣本組成，測(cè)試集由剩余4類圖片隨機(jī)抽取400張組成。此實(shí)驗(yàn)基于同樣超參設(shè)置的MobileNet深度神經(jīng)網(wǎng)絡(luò)，使用相同訓(xùn)練集和測(cè)試集，訓(xùn)練4000輪，訓(xùn)練過(guò)程使用交叉驗(yàn)證(cross-validation)。控制神經(jīng)網(wǎng)絡(luò)初始權(quán)重不同，實(shí)驗(yàn)A是基于ImageNet預(yù)訓(xùn)練權(quán)重的遷移學(xué)習(xí)，實(shí)驗(yàn)B是基于無(wú)預(yù)訓(xùn)練權(quán)重的圖5展示了不同訓(xùn)練方式訓(xùn)練過(guò)程圖像識(shí)別的匹配度和交叉熵 (crossentropy)的對(duì)比，由圖中可見(jiàn)，實(shí)驗(yàn)A遷移學(xué)習(xí)的訓(xùn)練過(guò)程驗(yàn)B非遷移學(xué)習(xí)的匹配度和交叉熵都震蕩嚴(yán)重且很難收斂。將訓(xùn)練后的模型用于測(cè)試集測(cè)試，實(shí)驗(yàn)A模型的匹配度達(dá)到74%，而實(shí)驗(yàn)B模型的匹配度只有22%。由此可見(jiàn)，預(yù)訓(xùn)練權(quán)重的模型在訓(xùn)練數(shù)據(jù)不平衡條件下訓(xùn)練收斂速小樣本訓(xùn)練中具有一定效果，但是效果不理想，仍需要做進(jìn)一步處理。3.4.2數(shù)據(jù)擴(kuò)充方法對(duì)比實(shí)驗(yàn)此實(shí)驗(yàn)采用基于含ImageNet預(yù)訓(xùn)練權(quán)重的MobileNet深度神經(jīng)訓(xùn)練集由基礎(chǔ)數(shù)據(jù)集2類缺陷樣本隨機(jī)抽取40張/類組成，測(cè)試集由通過(guò)不同的數(shù)據(jù)擴(kuò)充方法將各缺陷類每張圖片擴(kuò)充4倍，樣本數(shù)量為160張/類，以比較不同數(shù)據(jù)擴(kuò)充方法對(duì)圖像識(shí)別性能的影響。圖5交叉熵和圖像匹配度訓(xùn)練過(guò)程對(duì)比ossentropyandimagerecognition實(shí)驗(yàn)中，將訓(xùn)練集中每一缺陷類樣本分別通過(guò)鏡像對(duì)稱(此方法所限，圖片最多擴(kuò)充4倍)、剪切(以包含特征目標(biāo)為條件，隨機(jī)裁剪原、加高斯噪聲(以原圖加上噪聲仍可辨識(shí)物體為噪聲強(qiáng)度上限，隨機(jī)設(shè)置噪聲強(qiáng)度)、扭曲(以原圖扭曲后視覺(jué)上仍可辨識(shí)物體為扭曲程度上限，隨機(jī)扭曲圖片)等方法將原始數(shù)據(jù)擴(kuò)充4倍，并比較了原始訓(xùn)練集與運(yùn)用不同擴(kuò)充方法后的擴(kuò)充訓(xùn)練集對(duì)MobileNet模型識(shí)別輸電線路物體匹配度的影響，實(shí)驗(yàn)結(jié)果見(jiàn)圖6。通過(guò)圖6可知，剪切、旋轉(zhuǎn)、鏡像對(duì)稱、扭曲等數(shù)據(jù)增強(qiáng)方法對(duì)識(shí)了綜合方法(對(duì)樣本圖片隨機(jī)剪切、旋轉(zhuǎn)、鏡像對(duì)稱、扭曲)增強(qiáng)樣本并比較了識(shí)別效果，可見(jiàn)采用綜合方法增強(qiáng)樣本數(shù)據(jù)的方法最好，對(duì)識(shí)3.4.3數(shù)據(jù)擴(kuò)充數(shù)量影響對(duì)比實(shí)驗(yàn)圖6數(shù)據(jù)擴(kuò)充方法對(duì)匹配度的影響nmethodsonrecognitionmatchingdegree將基礎(chǔ)數(shù)據(jù)集分割為訓(xùn)練集和數(shù)據(jù)集，訓(xùn)練集由20張/類的2類缺的2類正常樣本組成，測(cè)試集由剩余4類圖片隨機(jī)抽取400張組成。此實(shí)驗(yàn)采用基于含ImageNet預(yù)訓(xùn)練權(quán)重的的超參設(shè)置相同，測(cè)試集相同，本實(shí)驗(yàn)將探索數(shù)據(jù)遞增擴(kuò)充對(duì)于圖像識(shí)別的匹配度的影響趨勢(shì)。如圖7所示，實(shí)驗(yàn)中2類正常樣本數(shù)量不變，結(jié)果展示了匹配度隨缺陷樣本數(shù)量遞增產(chǎn)生的變化。圖7數(shù)據(jù)擴(kuò)充對(duì)比實(shí)驗(yàn)匹配度tationcontrastexperiment圖8基于數(shù)據(jù)擴(kuò)充的遷移學(xué)習(xí)模型匹配度和交叉熵opyoftransferlearningmodelwithdata由圖7可見(jiàn)，樣本數(shù)量過(guò)少匹配度很低，隨著樣本數(shù)量的增加，圖像識(shí)別的匹配度也會(huì)逐漸提高，直至遞增趨勢(shì)變緩，最終幾乎無(wú)變化。如實(shí)驗(yàn)所示，數(shù)據(jù)集中存在缺陷樣本類數(shù)量過(guò)少的情況，對(duì)小樣本類進(jìn)行數(shù)據(jù)擴(kuò)充，提高了匹配度，且各類樣本數(shù)量達(dá)到均衡時(shí)，匹配度趨近于峰值，而繼續(xù)擴(kuò)充小樣本類，匹配度卻無(wú)明顯變化。所以，當(dāng)數(shù)據(jù)集中存在某些類樣本數(shù)量過(guò)少的情況時(shí)必須對(duì)小樣本類進(jìn)行數(shù)據(jù)擴(kuò)充至高識(shí)別的匹配度。由實(shí)驗(yàn)結(jié)果可知，對(duì)小樣本圖像使用遷移學(xué)習(xí)且運(yùn)用合適的擴(kuò)充方法對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充能較好地提高物體識(shí)別的匹配度，并能防止過(guò)擬合問(wèn)3.5