基于原型網(wǎng)絡(luò)的少樣本圖像分類模型分析案例目錄TOC\o"1-3"\h\u242基于原型網(wǎng)絡(luò)的少樣本圖像分類模型分析案例 1199051.1模型總體設(shè)計(jì) 1124201.2模型管理模塊 2258181.2.1定義卷積塊和嵌入函數(shù) 2187941.2.2圖像映射成嵌入向量 442731.2.3類的原型計(jì)算 4120061.2.4測試點(diǎn)到類原型的距離 5162231.2.5預(yù)測函數(shù) 6141071.2.6模型訓(xùn)練和評(píng)估方法 6217901.3數(shù)據(jù)管理模塊 7105941.1.1數(shù)據(jù)增強(qiáng) 7102111.1.2獲取下一批數(shù)據(jù) 8266011.4數(shù)據(jù)集設(shè)置 8114951.5實(shí)驗(yàn)結(jié)果和分析 91.1模型總體設(shè)計(jì)原型網(wǎng)絡(luò)是一種簡單、高效的少樣本學(xué)習(xí)算法，與孿生網(wǎng)絡(luò)一樣試圖學(xué)習(xí)度量空間來進(jìn)行分類。原型網(wǎng)絡(luò)的基本思想是創(chuàng)建每個(gè)類的原型表示，并根據(jù)類原型與查詢點(diǎn)之間的距離對(duì)查詢點(diǎn)(新點(diǎn))進(jìn)行分類。整個(gè)軟件包含2個(gè)模塊，分別為數(shù)據(jù)管理模塊、模型管理模塊。模型管理模塊提供模型訓(xùn)練、評(píng)估、特征提取、原型計(jì)算和分類等功能。數(shù)據(jù)管理模塊載入數(shù)據(jù)集，從中讀取圖片，構(gòu)建訓(xùn)練集；從數(shù)據(jù)集中隨機(jī)讀取下一批樣本數(shù)據(jù)，如圖3-1所示。圖3-1原型網(wǎng)絡(luò)算法功能分解圖因?yàn)槲覀兿ＭW(wǎng)絡(luò)只從少量數(shù)據(jù)點(diǎn)學(xué)習(xí)，也就是說，希望執(zhí)行少樣本學(xué)習(xí)，所以我們使用階段（episode）式訓(xùn)練。對(duì)于每個(gè)階段，我們從數(shù)據(jù)集中每個(gè)類中隨機(jī)抽取數(shù)據(jù)點(diǎn)作為樣本，構(gòu)建支撐集，并使用支撐集訓(xùn)練模型。類似地，我們從數(shù)據(jù)集中隨機(jī)抽取一些數(shù)據(jù)樣本作為查詢樣本，并嘗試預(yù)測它的類，以評(píng)估模型的性能。因此，通過這種方式，我們的網(wǎng)絡(luò)將學(xué)會(huì)如何從一組較少的數(shù)據(jù)點(diǎn)中學(xué)習(xí)。首先，我們將為支撐集中的所有數(shù)據(jù)點(diǎn)生成嵌入，并通過類中數(shù)據(jù)點(diǎn)的平均嵌入來構(gòu)建類原型，還為查詢點(diǎn)生成嵌入。然后，計(jì)算類原型與查詢點(diǎn)嵌入之間的距離，用度量學(xué)習(xí)方法作為距離度量。之后，對(duì)這個(gè)距離應(yīng)用softmax并得到概率。1.2模型管理模塊1.2.1定義卷積塊和嵌入函數(shù)將Omniglot數(shù)據(jù)集中圖片的大小由原圖的105×105重塑為28×28，再經(jīng)過四個(gè)卷積塊和一個(gè)池化層后獲得特征向量，大小為1×1×128，表3-1展示了卷積和池化的參數(shù)設(shè)定和詳細(xì)操作。訓(xùn)練時(shí)，在經(jīng)過相同權(quán)重的孿生卷積神經(jīng)網(wǎng)絡(luò)之后，樣本集和查詢集中的數(shù)據(jù)分別得到對(duì)應(yīng)的128維特征向量，最后對(duì)得到的特征向量使用相似度度量。圖片在輸入至包含了四層卷積神經(jīng)網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)之后，各個(gè)層次的特征被卷積神經(jīng)網(wǎng)絡(luò)的不同層給提取出來。對(duì)于少樣本數(shù)據(jù)集來說，tanh和sigmoid等激活函數(shù)的擬合能力不如ReLu函數(shù)好，ReLu激活函數(shù)可以使網(wǎng)絡(luò)的非線性得到增強(qiáng)，神經(jīng)網(wǎng)絡(luò)的判別性也由此變得更好，因此我們選擇ReLu激活函數(shù)作為卷積神經(jīng)網(wǎng)絡(luò)的后面的神經(jīng)元。第三層和第四層卷積網(wǎng)絡(luò)層的輸出結(jié)果一起被送至全聯(lián)通層。神經(jīng)網(wǎng)絡(luò)還需要在圖片發(fā)生微小移動(dòng)時(shí)保持較強(qiáng)的不變性，因此加入了一個(gè)max-pooling層在第三個(gè)卷積網(wǎng)絡(luò)層后面，最后特征提取網(wǎng)絡(luò)輸出一個(gè)128維的特征向量。圖3-2Omniglot數(shù)據(jù)集的卷積神經(jīng)網(wǎng)絡(luò)模型示意圖表3-1Omniglot數(shù)據(jù)集的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)設(shè)置1.2.2圖像映射成嵌入向量怎么將圖像中的節(jié)點(diǎn)通過嵌入轉(zhuǎn)換成可計(jì)算的向量或值，一直是當(dāng)前圖像識(shí)別研究領(lǐng)域所關(guān)注的重點(diǎn)問題。在上一節(jié)中描述的四層卷積神經(jīng)網(wǎng)絡(luò)中，圖像被編碼轉(zhuǎn)換成多維特征向量后被映射至嵌入空間中。假設(shè)是一組小樣本的N標(biāo)簽的數(shù)據(jù)集，其中網(wǎng)絡(luò)提取出來的樣本特征是Xi，對(duì)應(yīng)類別是Yi，則表示類別為k的數(shù)據(jù)集合。原型網(wǎng)絡(luò)中的表示映射函數(shù)，用于將圖像Ⅰ轉(zhuǎn)換為向量X。（3-1）在式（3-1）中，H表示輸入圖像的高度，W表示輸入圖像的寬度，C表示輸入圖像的通道數(shù)，D表示嵌入空間的維數(shù)。1.2.3類的原型計(jì)算嵌入空間中的每個(gè)類別都有其類原型(classprototype)，它是該類中一個(gè)特殊的點(diǎn)。借助神經(jīng)網(wǎng)絡(luò)的非線性映射把輸入的圖像映射至嵌入空間中可以獲取圖像的高層特征。在嵌入空間中，一個(gè)類的原型就是此時(shí)訓(xùn)練集中該類全部樣本的加權(quán)平均值，圍繞著類原型，該類別中每個(gè)樣本的嵌入空間表示會(huì)進(jìn)行聚類。預(yù)測分類時(shí)，通過計(jì)算被映射至嵌入空間里的測試圖像與訓(xùn)練集各個(gè)類原型之間的距離，可以實(shí)現(xiàn)分類。定義類原型。（3-2）1.2.4測試點(diǎn)到類原型的距離樣本被原型網(wǎng)絡(luò)映射至高維的嵌入空間里，不同類別樣本之間的距離在該空間里較長，相同類別的樣本之間的距離在該空間里較短。每個(gè)類都有一個(gè)特征向量，集中在某單個(gè)原型表達(dá)周圍，在特征向量空間中取訓(xùn)練集的均值即可獲得該類的原型，然后通過計(jì)算類的原型表達(dá)與嵌入空間中測試圖像之間的距離就可以實(shí)現(xiàn)分類。困難的分類問題通過原型網(wǎng)絡(luò)變換成了更易處理的最近鄰問題。原型網(wǎng)絡(luò)可以在嵌入空間里學(xué)習(xí)類和方向相關(guān)的距離度量，使用哪種距離來構(gòu)造損失函數(shù)很大程度上決定了訓(xùn)練的準(zhǔn)確度和速度。經(jīng)過反復(fù)的實(shí)踐和考量后，本文選擇三種度量方法來計(jì)算嵌入空間中測試點(diǎn)到類原型的距離。（1）歐式距離多維空間中兩個(gè)點(diǎn)和的歐式距離為式（3-3）所示。（3-3）在機(jī)器學(xué)習(xí)中的L2范數(shù)的計(jì)算也和多維向量的歐式距離相似。（2）余弦距離余弦相似度(CosineSimilarity)的原理是通過計(jì)算向量空間中的兩個(gè)向量間夾角的余弦值來度量這兩個(gè)向量對(duì)應(yīng)點(diǎn)之間的距離，在多維空間中，以此推導(dǎo)兩個(gè)點(diǎn)和的余弦相似度為式（3-4），余弦距離為式（3-5）。（3-4）（3-5）（3）皮爾遜相關(guān)系數(shù)皮爾遜相關(guān)系數(shù)(PearsonCorrelationCoefficient)計(jì)算的是兩個(gè)變量的協(xié)方差與標(biāo)準(zhǔn)差的商，用于衡量變量間的相關(guān)度，如式（3-6）所示。其中，X和Y分別代表了兩個(gè)變量樣本，代表樣本X的平均值，代表樣本Y的平均值，皮爾遜相關(guān)系數(shù)的值在－1到1之間。計(jì)算方法如式（3-7）所示。（3-6）（3-7）1.2.5預(yù)測函數(shù)本文定義了一個(gè)可微分的目標(biāo)函數(shù)旨在對(duì)原型神經(jīng)網(wǎng)絡(luò)訓(xùn)練。該網(wǎng)絡(luò)的最終目標(biāo)是要學(xué)習(xí)一個(gè)可以對(duì)圖像類別實(shí)現(xiàn)正確分類的神經(jīng)網(wǎng)絡(luò)，因此此目標(biāo)函數(shù)有兩個(gè)重要要求，一是圖像原型能夠正確體現(xiàn)該類的特征，二是使用合適的分類函數(shù)。本文圖像類別的分類函數(shù)使用的是Softmax回歸函數(shù)，可得x測試點(diǎn)屬于k類別的概率：（3-8）原型網(wǎng)絡(luò)的目標(biāo)函數(shù)可以定義為：（3-9）根據(jù)上述方法可以算出各個(gè)類原型到測試點(diǎn)之間的距離，對(duì)應(yīng)距離最小的類原型所屬類即為測試點(diǎn)所屬的類。圖3-3原型網(wǎng)絡(luò)模型分類示意圖1.2.6模型訓(xùn)練和評(píng)估方法本文采用Adam方法在訓(xùn)練時(shí)優(yōu)化神經(jīng)網(wǎng)絡(luò)，設(shè)定學(xué)習(xí)率為0.001。在訓(xùn)練的過程中，Adam方法能夠自適應(yīng)地更改各個(gè)參數(shù)的學(xué)習(xí)率，收斂的速度較快，在數(shù)據(jù)不密集的情況下該方法也具有較好的適應(yīng)性。本文使用損失函數(shù)與測試精度(TestAccuracy)來作為模型評(píng)價(jià)標(biāo)準(zhǔn)。其中，測試精度的定義為:（3-10）式中，TestImages代表測試集的圖片總數(shù)，CorrectTestImages代表檢驗(yàn)正確的測試集的圖片數(shù)量，測試精度越大意味著模型的識(shí)別效果越準(zhǔn)確。1.3數(shù)據(jù)管理模塊1.1.1數(shù)據(jù)增強(qiáng)樣本量不多的時(shí)候，用深度學(xué)習(xí)領(lǐng)域的方法訓(xùn)練模型，識(shí)別率很多時(shí)候達(dá)不到預(yù)想。這時(shí)可以使用數(shù)據(jù)增強(qiáng)的方式來解決數(shù)據(jù)集的樣本數(shù)不夠的問題，在原有數(shù)據(jù)集上應(yīng)用各種圖像變換方法可以增加數(shù)據(jù)樣本的數(shù)量。這樣既能保證有限的數(shù)據(jù)集被充分地利用以得到更多相似圖片，又能防止因?yàn)檫^度的圖像變換引起原始圖片發(fā)生信息畸變，讓原始圖片保持信息的完整。其旋轉(zhuǎn)結(jié)果如圖3-4所示。圖3-4數(shù)據(jù)集旋轉(zhuǎn)擴(kuò)充示例數(shù)據(jù)增強(qiáng)方法：輸入：原始圖片文件集集img_files；圖片類別label；旋轉(zhuǎn)角度rotation；圖片裁剪大小(img_width,img_height)Beginforindex,img_fileinenumerate(img_files)Doimg=Image.open(img_file)#讀入圖片img=img.rotate(rotation)#轉(zhuǎn)換圖片rotation角度img=img.resize((img_width,img_height))#裁剪圖片train_dataset[label,index]=1.–img#將增強(qiáng)的圖片加入到訓(xùn)練集EndforEndReturntrain_dataset1.1.2獲取下一批數(shù)據(jù)啟用Tensorflow會(huì)話，定義輪數(shù)與階段數(shù)開始階段性訓(xùn)練。對(duì)于每個(gè)階段，我們從數(shù)據(jù)集中抽取數(shù)據(jù)點(diǎn)，構(gòu)建支撐集和查詢集，并訓(xùn)練模型。流程如圖3-5所示：圖3-5原型網(wǎng)絡(luò)學(xué)習(xí)模型訓(xùn)練和測試過程示意圖1.4數(shù)據(jù)集設(shè)置本文基于原型網(wǎng)絡(luò)的少樣本圖像分類模型對(duì)Omniglot數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。在訓(xùn)練之前，為了適應(yīng)各自的卷積神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)集要被調(diào)整成一定的大小。除此之外，為了保證數(shù)據(jù)的收斂性，還要對(duì)全部數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和歸一化處理，然后被分成訓(xùn)練集和測試集兩類，分別對(duì)模型進(jìn)行訓(xùn)練以及測試。用來獲取特征的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)在訓(xùn)練過程中不作改變，只改變對(duì)特征作相似度度量時(shí)所使用的度量方法，然后對(duì)比各個(gè)方法的性能優(yōu)劣。為了驗(yàn)證識(shí)別算法是否有效，本文中的分類識(shí)別實(shí)驗(yàn)使用國際上常用的Omniglot數(shù)據(jù)集，采用這個(gè)數(shù)據(jù)集的優(yōu)點(diǎn)是訓(xùn)練集和測試集彼此獨(dú)立，沒有交集。這個(gè)數(shù)據(jù)集包括來自50種字母表的1623類手寫字符，每類字符都包含20個(gè)黑白的105×105像素的手寫字符實(shí)例。本文從數(shù)據(jù)集中隨機(jī)抽取60類字符，并從每類字符中隨機(jī)選擇5個(gè)字符實(shí)例圖像作為支撐集，再隨機(jī)抽取5個(gè)字符實(shí)例圖像作為查詢集。本文將實(shí)驗(yàn)使用np.array將這些圖像轉(zhuǎn)換為一個(gè)數(shù)組，并將其大小變形為28×28，訓(xùn)練次數(shù)為200，設(shè)置訓(xùn)練輪數(shù)為200個(gè)epoch，每個(gè)epoch包含100個(gè)episode，在驗(yàn)證集中隨機(jī)采樣5個(gè)episode的數(shù)據(jù)在當(dāng)前模型中進(jìn)行評(píng)估。迭代訓(xùn)練完成之后；隨機(jī)抽取訓(xùn)練集之外的20個(gè)種類，隨機(jī)選擇5張圖像為樣本集，剩余圖像為訓(xùn)練集，設(shè)置測試支持集和驗(yàn)證集數(shù)量為1000個(gè)episode。在C-wayK-shot問題中，在每一個(gè)episode的訓(xùn)練之前要從1632類的訓(xùn)練集中隨機(jī)抽取C類字符，K個(gè)字符從每類字符里隨機(jī)抽取出來成為樣本集，剩下的20-K個(gè)字符作為查詢集。在訓(xùn)練中，每一個(gè)episode的樣本集數(shù)據(jù)的數(shù)量為K×C個(gè)，查詢集的數(shù)據(jù)量為(20-K)×C個(gè)。當(dāng)K比1大時(shí)，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)樣本集每類的K個(gè)樣本做平均化處理，這樣保證了樣本集中一類數(shù)據(jù)對(duì)應(yīng)一個(gè)特征向量。1.5實(shí)驗(yàn)結(jié)果和分析在訓(xùn)練的時(shí)候，將訓(xùn)練輪數(shù)設(shè)置為200個(gè)epoch，與此同時(shí)，為了保證可以隨時(shí)查看模型結(jié)果在訓(xùn)練的過程中能隨時(shí)查看模型效果，每50個(gè)episode被epoch訓(xùn)練，都會(huì)在驗(yàn)證的集合中隨機(jī)采取5個(gè)episode的數(shù)據(jù)樣本，在當(dāng)前模型里測試該數(shù)據(jù)樣本，這樣能知道模型損失和下降的多不多，還能通過訓(xùn)練準(zhǔn)確率來評(píng)估當(dāng)前模型的訓(xùn)練進(jìn)展。例如1-way5-shot問題，這里展現(xiàn)了在Omniglot數(shù)據(jù)集上的網(wǎng)絡(luò)模型使用三種度量方法在訓(xùn)練過程中的運(yùn)行結(jié)果和準(zhǔn)確率變化曲線。圖3-6（a），圖3-6（b），圖3-6（c）展示的是這三種方法在Omniglot數(shù)據(jù)集1-way-5-shot問題上訓(xùn)練200次時(shí)運(yùn)行結(jié)果。圖3-6（a）歐式距離法在Omniglot數(shù)據(jù)1way5shot問題上運(yùn)行結(jié)果圖3-6（b）余弦距離在Omniglot數(shù)據(jù)1way5shot問題上運(yùn)行結(jié)果圖3-6（c）Person相關(guān)系數(shù)法在Omniglot數(shù)據(jù)1way5shot問題上運(yùn)行結(jié)果圖3-7（a），圖3-7（b），圖3-7（c）展示的是這三種方法在Omniglot數(shù)據(jù)集1-way-5-shot問題上訓(xùn)練200次時(shí)正確率變化曲線。圖3-7（a）歐式距離法在Omniglot數(shù)據(jù)1way5shot問題上訓(xùn)練模型正確率變化圖3-7（b）余弦距離在Omniglot數(shù)據(jù)1way5shot問題上訓(xùn)練模型正確率變化圖3-7（c）Person相關(guān)系數(shù)法在Omniglot數(shù)據(jù)5way5shot問題上訓(xùn)練模型正確率變化圖3-8（a），圖3-8（b），圖3-8（c）展示的是這三種方法在Omniglot數(shù)據(jù)集進(jìn)行1000個(gè)episode測試時(shí)精確度變化曲線。圖3-8（a）歐式距離法在Omniglot數(shù)據(jù)1way5shot問題上測試精確率變化圖3-8（b）余弦距離在Omniglot數(shù)據(jù)1way5shot問題上測試精確率變化圖3-8（c）Person相關(guān)系數(shù)法在Omniglot數(shù)據(jù)1way5shot問題上測試精確率變化觀察圖3-7和圖3-8，不管是從收斂的速度還是分類的精確率上來看，歐式距離都要比皮爾遜相關(guān)系數(shù)和余弦距離法這兩種度量方法更好。從圖中可以看出，余弦距離性能優(yōu)于Person相關(guān)系數(shù)的度量方法幾個(gè)百分點(diǎn)，余弦距離收斂的準(zhǔn)確率劣于Person相關(guān)系數(shù)。而相比于這3種度量學(xué)習(xí)方法，歐式距離的方法在收斂速度和收斂準(zhǔn)確率上均是最