(19)國家知識產權局(12)發(fā)明專利(10)授權公告號CN115359250B(65)同一申請的已公布的文獻號(73)專利權人北京工業(yè)大學地址100124北京市朝陽區(qū)平樂園100號(74)專利代理機構北京思海天達知識產權代理專利代理師張慧SegmentationviaMeta-MemoryT7055-7064.審查員鐘海GO6V20/70(2022.01)(54)發(fā)明名稱基于記憶力機制的跨域小樣本圖像語義分割方法本發(fā)明公開了一種基于記憶力機制的小樣本跨域分割方法，該方法不但能夠緩解模型對大量標注樣本的依賴，還有效提高了模型對不同環(huán)境的適應能力。該方法首先在公開數(shù)據(jù)集上訓練分割模型，此過程主要借助元度量機制來緩解模型對數(shù)據(jù)標簽的依賴，并且通過讀、寫操作將帶有域信息的風格化知識存儲到記憶模塊中。隨后在使用模型時，將存儲在記憶模塊中的知識載入到新環(huán)境的待分割樣本中，由此提高模型對不同環(huán)境的泛化性，最終順利完成新場景的分割任務。本發(fā)明將訓練過程中模型捕捉到的域泛化知識載入到樣本稀少的新環(huán)境任務中，拉近了不同環(huán)境間的數(shù)據(jù)分布，使得深度模型能夠有效的面21.基于記憶力機制的跨域小樣本圖像語義分割方法，其特征在于：包括訓練和遷移兩個階段，在訓練過程中構建彼此類似但不同的大量圖像分割任務即元任務供分割模型學習；分割模型在學習過程中不斷收集任務之間的知識，并且將這些知識存儲到記憶力模塊中；完成訓練后，將分割模型參數(shù)與學習到的記憶力模塊固定；在遷移過程中，分割模型將記憶力模塊中的知識進行選擇性載入；最終利用遷移后的模型進行目標分割；訓練階段包括：步驟1:模仿構造大量元任務：在圖像分割數(shù)據(jù)集上進行有放回的采樣，每次采樣得到一個元任務，元任務用來模仿未來可能的圖像分布，供分割模型學習更加泛化的參數(shù)，所述的圖像分割數(shù)據(jù)集是由標注過的圖像樣本組成；每個元任務同時包括支撐圖像集與查詢圖像集，兩個圖像集中圖像類別相同，支撐圖像集由少量圖像構成；步驟2:隨機初始化記憶力模塊：記憶力模塊由兩組向量構成，分別代表元均值與元方差，兩組向量配合使用，收集訓練過程中分割模型提取的支撐圖像集中各個圖像的特征分布，記憶力模塊用于模仿人類的認知機理，提升分割模型對新場景的適應能力；每個元任務中支撐圖像都與記憶力模塊交互；步驟3:存儲每個元任務中支撐圖像的均值、方差到記憶力模塊；步驟4:使用支撐圖像集特征對查詢圖像集進行匹配，匹配結果供后續(xù)計算損失：對于步驟3得到的每個支撐圖像的圖像特征，首先使用圖像對應的標簽對圖像特征進行篩選，得到每個支撐圖像的原型表達，其中，第b個支像素點特征；抽取得到的原型對查詢圖像集進行分割，得到匹配結果，其中，第b個支撐圖像的原型對第q個查詢圖像進行分割的具體方法為：首先將第b個支撐圖像的原型p?與第q個查詢圖像的特征f。進行拼接；隨后使用標準1×1卷積R對拼接特征進行關系發(fā)現(xiàn)，將其映射為單通道的關系熱力圖，最后進行上采樣得到與第b個原型的最終匹配結果Yb:步驟5:使用匹配結果計算損失，訓練分割模型：整體損失函數(shù)=Lorth+LL為二元交叉熵損失函數(shù)：3其中：“代表第q個查詢圖像與第b個支撐圖像在(h,w)的匹配關和W分別表示相應特征的高度和寬度；此步驟通過模型的反向傳播將分割模型在每個元任務上所學到的經(jīng)驗轉化為分割模型的高適配參數(shù)；遷移階段包括：步驟6:使用訓練得到的分割模型在新場景進行分割。2.根據(jù)權利要求1所述的基于記憶力機制的跨域小樣本圖像語義分割方法，其特征在所述步驟3具體過程如下：當處理每個元任務時，對于其支撐圖像集中每個圖像，分割模型首先提取到對應的特征的均值和方差；接下來，計算每個支撐圖像特征均值和每個元均值之間的相似度，以及計算每個支撐圖像特征方差和每個元方差之間的相似度；最后，通過聚合來更新成對的元均值和元方差，至此，每個元任務中支撐圖像集的圖像特征的分布成功存儲到記憶力模塊中；所述步驟6具體如下：步驟1-5完成了分割模型的訓練，在新場景圖像分割中，微調訓練好的分割模型，具體使用新場景中給定的圖像，再次依照步驟5對分割模型進行微調，隨后將模型參數(shù)固定，完成新場景下圖像語義分割模型的微調過程后，即可進行新場景的分割。3.根據(jù)權利要求2所述的基于記憶力機制的跨域小樣本圖像語義分割方法，其特征在于：進一步的，第b個支撐圖像特征的均值μ和方差v?其中，表示通道上的圖像特征。4.根據(jù)權利要求3所述的基于記憶力機制的跨域小樣本圖像語義分割方法，其特征在于：進一步的，第b個支撐圖像特征均值μ與第j個元均值m;之間相似度S的計算公式如下：5.根據(jù)權利要求4所述的基于記憶力機制的跨域小樣本圖像語義分割方法，其特征在46.根據(jù)權利要求5所述的基于記憶力機制的跨域小樣本圖像語義分割方法，其特征在5技術領域[0001]本發(fā)明涉及深度學習領域和小樣本圖像語義分割領域，核心技術涉及元度量學習與記憶力機制，針對標注數(shù)據(jù)稀少的圖像分割場景開展研究，該發(fā)明能夠有效提升分割模型對環(huán)境的泛化適配性，并緩解對大量圖像標注的依賴。背景技術[0002]圖像語義分割旨在為圖像中每個像素點分配準確的標簽信息，為適應紛繁復雜的應用場景，深度分割模型的精度在不斷攀升，與此相對應模型的參數(shù)量也逐漸龐大，龐大的參數(shù)量對訓練模型所需的數(shù)據(jù)提出了更高的要求，不僅訓練數(shù)據(jù)量需要得到保證，并且為提高泛化性，所收集數(shù)據(jù)需涵蓋各個場景。但在特定場景中收集如此龐大的帶標簽分割數(shù)據(jù)是十分困難的，并且分割模型在面對新場景時，效果會顯著下降，即無法做到快速遷移。面對各式應用場景的需求，如何使用有限的標注數(shù)據(jù)訓練高效的分割模型成為工業(yè)界與學術界亟待解決的問題。[0003]在現(xiàn)有圖像語義分割遷移學習中，模型在完成訓練后需要使用新場景數(shù)據(jù)進行遷移訓練。遷移過程中，模型會逐步擬合新知識，但是由于現(xiàn)階段模型參數(shù)量越來越大，如果沒有足夠的遷移標簽數(shù)據(jù)，得到的模型很容易出現(xiàn)過擬合現(xiàn)象，對新場景的分割能力會顯著下降，而且現(xiàn)有分割方法無法對多變的環(huán)境做出適配。但是對于人類而言，我們可以通過極少數(shù)的圖片來識別一個新類別或者熟悉一個新的場景。這主要由于人類具有收集、存儲、遷移知識的能力，在成長過程中，我們不斷的積累經(jīng)驗，當面對新的場景或者任務時，我們回顧過往收集到的經(jīng)驗進行對比學習，這樣即使新場景所提供的學習資源有限，人類也能快速的完成適配。同時，記憶力是人類發(fā)展的一個重要機制，它使得經(jīng)驗得以積累、信息得以傳遞。對于機器學習模型而言，其在遷移學習過程中主要進行數(shù)據(jù)分布的擬合，并不存在顯式的記憶機制，這對于標簽數(shù)據(jù)稀少的新環(huán)境的擬合是十分困難的。[0004]經(jīng)過以上分析，新場景中數(shù)據(jù)標簽的稀少與新場景數(shù)據(jù)分布的多變是本發(fā)明主要關注的兩個問題。這是限制大體量分割模型使用的關鍵因素，這使得分割模型難以進行學習，造成分割效果下降，并且時刻存在的場景偏差也對模型的泛化性提出了不小的挑戰(zhàn)。針對這兩個問題，本方法模仿人類設計開發(fā)了具有記憶力機制的跨域圖像語義分割模型。通過模仿人類的經(jīng)驗學習與記憶機制來解決小樣本情景下的跨域分割問題。具體而言，針對標簽數(shù)據(jù)稀少問題，本發(fā)明使用經(jīng)驗式的學習策略替代了原有的模型學習過程，通過模擬人類現(xiàn)實中學習過程迫使模型不斷收集圖像分割任務之間的知識，并將其轉化為模型參數(shù)。與傳統(tǒng)的訓練學習過程相比，這有利于模型得到更加敏感的參數(shù)，具有更高的遷移性。針對新場景數(shù)據(jù)分布多變的問題，本發(fā)明仿照人類的感知機制，設計了一種基于記憶力機制的模塊來收集訓練過程中的泛化知識。通過記憶力模塊，模型能夠將訓練過程中匯聚的知識載入到新的場景中，通過將記憶知識與新場景數(shù)據(jù)特征進行融合，能夠有效稀釋環(huán)境多變帶來的影響，分割模型能夠更加專注在目標分割任務上。6發(fā)明內容[0005]有鑒于此，本發(fā)明提出一種基于記憶力機制的跨域小樣本分割方法。本發(fā)明旨在克服圖像分割對小樣本跨域場景適配性低的問題，解決在數(shù)據(jù)標簽稀少與跨域場景下的圖像分割問題。本發(fā)明通過模仿人類的學習過程，將分割模型的學習過程修改為經(jīng)驗式學習，模型在學習過程中不斷積累經(jīng)驗，并將經(jīng)驗轉化為高適配的參數(shù)。同時基于人類感知認知基礎，設計了記憶力模塊來緩解數(shù)據(jù)跨域分布對模型學習的影響。整個發(fā)明框架實現(xiàn)了“積[0006]本發(fā)明在訓練過程中構建彼此類似但不同的大量圖像分割任務供分割模型學習，設計這些任務不僅用來優(yōu)化模型，更用來抽取可遷移的記憶知識。模型在學習過程中不斷收集任務之間的知識，并且將這些知識存儲到記憶力模塊中。隨著訓練的不斷進行，模型經(jīng)歷的任務逐漸增多，其所存儲的知識也逐漸豐富與有意義。完成訓練后，將模型參數(shù)與學習到的記憶力模塊固定。在遷移過程中，模型將記憶力模塊中的知識進行選擇性載入，這些知識負責降低新場景之間圖像的數(shù)據(jù)分布差異，與新場景的圖像特征共同幫助模型進行新場景的適配，最終完成模型的順利遷移與高效分割。[0007]根據(jù)上述主要思路，本發(fā)明方法的具體實現(xiàn)包括如下步驟，包括訓練和遷移兩個階段，訓練階段包括步驟1-6[0008]本發(fā)明是不依賴大量標注數(shù)據(jù)、且對跨場景解析具有高魯棒的圖像分割方法。為此，首先需要構建大量圖像分割任務，我們稱之為元任務，元任務用來模擬人類學習過程中不斷出現(xiàn)的場景。隨后分割模型批量的擬合元任務，最終得到一組高適配性的參數(shù)，稱之為元知識。在此過程中，使用成對的向量組來收集訓練過程中圖像特征的分布，通過讀寫機制形成模型的記憶力。最后在新場景的遷移分割時，將得到的記憶力載入，以此來緩解數(shù)據(jù)跨[0010]步驟1:模仿構造大量元任務[0011]為模仿人類的學習過程，本發(fā)明首先在圖像分割數(shù)據(jù)集上進行有放回的采樣，每次采樣得到不同圖像樣本組成的分割元任務，元任務用來模仿未來可能的圖像分布，供模型學習更加泛化的參數(shù)。具體采樣可參考實施方式中步驟1。每個任務同時包括支撐圖像集與查詢圖像集，其中支撐圖像集用來抽取每個任務的所學知識，查詢圖像集用來調整分割模型參數(shù)，將知識轉化為分割模型的高適配參數(shù)。每個任務用于模型參數(shù)的訓練。[0012]步驟2:初始化記憶力模塊[0013]記憶力模塊主要用于模仿人類的認知機理，存儲收集每個元任務中圖像特征的通道均值與方差，并最終遷移到新場景的學習中。在訓練開始階段，我們隨機初始化一組向量作為元均值與元方差，兩組向量配合使用來收集特征中不同的域分布，具體初始化過程參考實施方式中步驟2。[0014]步驟3:存儲每個元任務中支撐圖像均值、方差到記憶力模塊[0015]記憶力模塊中元均值與元方差需要收集特征均值、方差供后續(xù)遷移使用。模型在學習過程中需要不斷擬合訓練數(shù)據(jù)，對于每一個圖像樣本，分割模型提取其對應特征的均值與方差，并將其拆解到記憶力模塊的元均值與元方差中，存儲過程參考實施方式中步驟7[0016]步驟4:使用支撐圖像集特征對查詢圖像集進行匹配[0017]元任務中支撐圖像集的訓練過程類似人類的學習過程，通過不斷解決分割元任務來收集經(jīng)驗。對于每個元任務，分割模型在其支撐圖像集上抽取類別特征，此過程用來模仿人類的少樣本學習過程，并使用抽取得到的特征對查詢圖像集進行分割。分割模型學習大量的元任務，收集任務之間的共享知識，這些知識體現(xiàn)在每個圖像樣本的特征中，通過大量任務學習，圖像特征更加趨向于共享特征，為所有圖像所共用，細節(jié)參考實施方式中步驟4。[0018]步驟5:在查詢圖像集上將所學元知識轉化為分割模型的高適配參數(shù)[0019]步驟3-4的支撐圖像集訓練階段得到了更加魯棒的表達特征，并完成了記憶力模塊的更新，隨后我們需要將模型所得知識轉化為模型的高適配參數(shù)。這主要通過每個元任務中的查詢圖像集實現(xiàn)，使用步驟5得到的支撐圖像集的增強特征，對查詢圖像集進行相似性分割，并使用最終結果計算損失反向回調分割模型參數(shù)，本發(fā)明的網(wǎng)絡約束參考實施方式中步驟5。[0021]步驟6:使用訓練得到的分割模型在新場景進行分割[0022]通過不斷重復步驟3-5,分割模型通過不斷解決元任務，其參數(shù)逐步趨于高適配，并且記憶力模塊中所存儲的元均值、元方差組也逐步收集到不同的數(shù)據(jù)分布。完成訓練后，將模型參數(shù)與記憶力模塊固定，在新場景遷移中，首先得到新場景每個圖像數(shù)據(jù)的均值與方差，隨后計算其與記憶力模塊中存儲的元均值、元方差的相似性，選擇最相似的元均值與元方差進行載入，使用載入后的新均值、方差對圖像特征進行重建，得到融合增強后的特征，使用融合特征進行新場景的分割，參考實施方式中步驟6。[0023]本發(fā)明與現(xiàn)有技術相比，具有以下明顯的優(yōu)勢和有益效果：本發(fā)明提出了一種基于記憶力機制的跨域小樣本分割方法，通過模仿人類的經(jīng)驗學習，改進了傳統(tǒng)分割網(wǎng)絡在數(shù)據(jù)缺少場景下的分割效果。同時，與現(xiàn)有技術相比，本方法提出的記憶力機制能夠降低不同場景數(shù)據(jù)分布的差異，將單域訓練得到的模型有效拓展到多域分割上，這對于不同場景下的分割任務具有基礎的支撐意義。附圖說明[0024]圖1為本發(fā)明所涉及方法總流程框圖；[0025]圖2為本發(fā)明所涉及算法總架構圖；[0026]圖3骨干網(wǎng)絡各層結構配置表；[0027]圖4記憶模塊結構配置表；[0028]圖5本發(fā)明與其他不同模型在Pascal上遷移分割效果對比；具體實施方式[0029]為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下結合具體實例，并參照詳細附圖，對本發(fā)明進一步詳細說明。但所描述的實施例子僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用。圖1是本發(fā)明的方法流程圖，如圖1所示，本方法包括以下幾個步驟，訓練階段包括步驟1到步驟5,測試階段包括步驟6。[0030]步驟1:模仿構造大量元任務8構建每個元任務的支撐圖像集，隨機在COCO數(shù)據(jù)集抽取K個圖像樣本作為分割模型學習的參考S={(X,Y));-,用來幫助分割模型進行圖像類別特征的抽取，其中X={X.….X}與支撐圖像類別相同的查詢圖像集Q={(X,Y?)}-,用來學習分割模型的參數(shù)，同樣通過9[0045]第b個支撐圖像特征方差v與第j個元方差e之間的相似度S的計算公式如下：相似的m,e;。至此，每個元任務中支撐圖像集的圖像特征的分布成功存儲到記憶力模塊們使用分割模型得到查詢圖像集中每個圖像特征,對于步驟3中每個f,,本發(fā)明首先現(xiàn)，將其映射為單通道的關系熱力圖，最后進行上采樣得到與每個原型的最終匹配結果分割損失共同完成模型參數(shù)的訓練，對于分割損失本發(fā)明使用經(jīng)典的二元交叉熵損失函[0062]其中Y3代表第q個查詢圖像與第b個支撐圖像在(h,w)的匹配關系，即Y在像素[0065]從附表3可以看出，以本發(fā)明提出的方法在跨域目標分割數(shù)據(jù)集上有用比最新方11FST[55]MotAdapt[64]2-√-√√-1-1√1√111工√工工工1111---1-√√√S1S1一一1124-MeanJ↑MeanF個82.480.7存儲每個元任務中支撐圖像均值、方差到記憶力模塊使用支撐圖像集特征對查詢將所學元知識轉化為分割模使用訓練得到的分割模型在圖1標簽信息標簽信息分類空間標簽信息測試樣本訓練集元知識新場景(conv1):Conv2d(3,64,kernel_size=(5,5),stride=(2,2),padding=(1,1),b(bnl):BatchNorm2d(64,eps=le-05,momentum=0.1,affine=True,track_running_(maxpool):MaxPool2d(kernel_size=3,stride=2,padding=1,dilation=1,ceil(conv):Conv2d(64,64,kernel_size=(3,3),stride=(1,1),padding=(1,1),b(bn1):BatchNorm2d(64,eps=le-05,momentum=0.1,affine=True,track_running_(conv):Conv2d(64,64,kernel_size=(3,3),stride=(1,1),padding=(1,1),b(bn2):BatchNorm2d(64,eps=le-05,momentum=0.1,affine=True,track_running_(conv):Conv2d(64,64,kernel_size=(3,3),stride=(1,1),padding=(1,1),b(bn1):BatchNorm2d(64,eps=le-05,momentum=0.1,affine=True,track_running_(conv):Conv2d(64,64,kernel_size=(3,3),stride=(1,1),padding-(1,1),b(bn2):BatchNorm2d(64,eps=le-05,momentum=0.1,affine=True,track_running_s(conv):Conv2d(64,128,kernel_size=(3,3),stride=(2,2),padding-(1,1),b(bn1):BatchNorm2d(128,eps=le-05,momentum=0.1,affine=True,track_running_(conv):Conv2d(128,128,kernel_size=(3,3),stride=(1,1),padding=(1,1),b(bn2):BatchNorm2d(128,eps=le-05,momentum=0.1,affine=True,track_running_(0):Conv2d(64,128,kernel_size=(1,1),stride=(2,2),b(1):BatchNorm2d(128,eps=le-05,momentum=0.1,affine=True,track_running_s(conv):Conv2d(128,128,kernel_size=(3,3),stride=(1,1),padding=(1,1),b(bn1):BatchNorm2d(128,eps=1e-05,momentum=0.1,affine=True,track_running_(conv):Conv2d(128,128,kernel_size=(3,3),stride=(1,1),padding=(1,1),b(bn2):BatchNorm2d(128,eps=le-05,momentum=0.1,affine=True,track_running_s(conv):Conv2d(128,256,kernel_size=(3,3),stride=(2,2),padding=(1,1),b(bn1):BatchNorm2d(256,eps=le-05,momentum=0.1,affine=True,track_running_(conv):Conv2d(256,256,kernel_size=(3,3),stride=(1,1),padding=(1,1),b(bn2):BatchNorm2d(256,eps=le-05,momentum=0.1,affine=True,track_running_(0):Conv2d(128,256,kernel_size=(1,1),stride=(2,2),b(1):BatchNorm2d(256,eps=le-05,momentum=0.1,affine=True,track_running_s(conv):Conv2d(256,256,kernel_size=(3,3),stride=(1,1),padding=(1,1),b(bn1