(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(72)發(fā)明人程垛郎春博屠斌飛韓軍偉郭雷務(wù)所(普通合伙)61290AU2020103901A4,2021.02.11審查員李邵飛一種基于學(xué)習(xí)者集成策略的少樣本語義分本發(fā)明涉及一種基于學(xué)習(xí)者集成策略的少明提出在傳統(tǒng)模型(元學(xué)習(xí)者)的基礎(chǔ)上引入一個(gè)額外的輔助分支(基學(xué)習(xí)者)去顯式地識別基本發(fā)明為改善現(xiàn)有少樣本分割模型對基類目標(biāo)錯(cuò)誤激活的問題提供了一個(gè)新穎且通用的解決顯著提升現(xiàn)有分割網(wǎng)絡(luò)性能的同時(shí)并能夠擴(kuò)展2步驟a:給定一幅查詢圖像x?∈R3×H×W,其首先經(jīng)過與元學(xué)習(xí)者共用的特征提取網(wǎng)絡(luò)E步驟b:隨后，解碼器網(wǎng)絡(luò)D?(·)逐步增大中間特征圖的空間尺度以豐富細(xì)節(jié)相關(guān)的特征的卷積層以及由1×1卷積組成的輸出層；步驟c:給定一個(gè)支持集合S={x?,m?}和一幅查詢圖像x?∈R3×H×W,元學(xué)習(xí)者的目標(biāo)是在支持集合S的引導(dǎo)下分割查詢圖像中與標(biāo)注掩碼m同類別的物體；在利用骨干網(wǎng)絡(luò)提取支持與查詢圖像特征后，緊接著一個(gè)1×1卷積層被添加以降低通道維度并產(chǎn)生中間特征步驟d:利用了掩碼平均池化方法，根據(jù)支持特征圖f及其對應(yīng)掩碼m?計(jì)算出類別相關(guān)技術(shù)將支持圖像掩碼m?∈R×變換成與支持圖像特征f∈R×kxw相同形狀大小的函數(shù)，表示為I:RH×→Rx×w;步驟e:查詢圖像特征f中的目標(biāo)區(qū)域在支持原型v的引導(dǎo)下得到了有效地激活，其經(jīng)3其中，D(·)表示元學(xué)習(xí)者的解碼器網(wǎng)絡(luò)，由空洞金字塔池化模塊及2個(gè)帶有殘差連接支傳遞標(biāo)注信息的作用，以提供特異化的分割線索；步驟f:利用支持-查詢圖像對間場景差異的評估結(jié)果來調(diào)整由元學(xué)習(xí)者產(chǎn)生的粗預(yù)測；具體地，首先對基學(xué)習(xí)者所產(chǎn)生的前景概率圖進(jìn)行整合以獲得相對于少樣本語義分割其中，p的上標(biāo)“f”代表前景，下標(biāo)“b”代表基學(xué)習(xí)者；步驟g:利用從固定的骨干網(wǎng)絡(luò)中提取的低層級特征f%w,fo∈RG×H?×班計(jì)算Gram風(fēng)格矩陣：其中，N=H?×W?;Freshape(·)將輸入張量的大小轉(zhuǎn)換為C×N,在分別計(jì)算出兩特征對應(yīng)的Gram矩陣G?,G?后，對其差值矩陣G?-G評估F范數(shù)值以獲得用于指導(dǎo)調(diào)整過程的綜合指標(biāo)其中，1·I代表輸入矩陣的F范數(shù)值；步驟h:基學(xué)習(xí)者與元學(xué)習(xí)者所產(chǎn)生的粗結(jié)果在調(diào)節(jié)因子ψ的引導(dǎo)下進(jìn)行集成，產(chǎn)生了精細(xì)的分割預(yù)測pf,該過程為：前景，F(xiàn)enseamne(·)和F(·)均為帶有特定初始化參數(shù)的1×1卷積操作，田代表沿通道維度的級聯(lián)操作；步驟i:采用交叉熵?fù)p失來評估模型在所有空間位置h×w上的預(yù)測結(jié)果與真值的差異其中，n是每一批訓(xùn)練數(shù)據(jù)中樣本的數(shù)目，類似基學(xué)習(xí)者的訓(xùn)練方式，元學(xué)習(xí)者的損失函數(shù)同樣采用交叉熵?fù)p失，多類別交叉熵?fù)p失被調(diào)整為二元交叉熵?fù)p失以評估模型預(yù)測p與真值m的差異性，該過程為：4元訓(xùn)練階段的總損失包括元學(xué)習(xí)器的預(yù)測損失以及經(jīng)過集成模塊后預(yù)測結(jié)果與真值重復(fù)步驟a～步驟i;5技術(shù)領(lǐng)域[0001]本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種基于學(xué)習(xí)者集成策略的少樣本語義分割方法，可有效緩解傳統(tǒng)模型對基類目標(biāo)的偏置問題。背景技術(shù)[0002]得益于大規(guī)模數(shù)據(jù)集的良好建立，許多計(jì)算機(jī)視覺技術(shù)在過去的幾年里得到了快速的發(fā)展。語義分割作為計(jì)算機(jī)視覺的基本任務(wù)同樣取得了顯著的進(jìn)步，其在軍事、醫(yī)學(xué)、交通、農(nóng)作物等領(lǐng)域均有著廣闊的應(yīng)用前景。[0003]然而，收集足夠用于神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的標(biāo)注數(shù)據(jù)需要花費(fèi)大量時(shí)間以及人力物力資源，特別是對于如語義分割、實(shí)例分割等密集預(yù)測類任務(wù)，其標(biāo)注成本更高。與機(jī)器學(xué)習(xí)范式相反，人們能輕易地從幾個(gè)例子中識別出新的概念或模式，極大地激起了相關(guān)人員的研究興趣。在這樣的背景下，基于少樣本學(xué)習(xí)的方法應(yīng)運(yùn)而生，成功地建立了可以推廣到具有稀缺標(biāo)注樣本的未知域的網(wǎng)絡(luò)模型。[0004]本發(fā)明主要針對少樣本學(xué)習(xí)技術(shù)在語義分割領(lǐng)域的應(yīng)用，即少樣本語義分割，旨在僅利用很少的帶標(biāo)記訓(xùn)練數(shù)據(jù)從原始圖像中分割出特定語義類別的目標(biāo)。在少樣本分類任務(wù)所取得的進(jìn)展的推動下，大多數(shù)現(xiàn)有的少樣本分割方法試圖通過元學(xué)習(xí)框架實(shí)現(xiàn)泛化。具體來說，從基類數(shù)據(jù)集中隨機(jī)抽取一系列的學(xué)習(xí)任務(wù)來模擬新類的少樣本場景，其目的在于匹配訓(xùn)練與測試的條件。然而，這樣的訓(xùn)練范式所取得的效果并不理想。在有著大量標(biāo)注樣本的基類數(shù)據(jù)集上進(jìn)行元訓(xùn)練不可避免地引入了對于見過類別的偏置而不能夠達(dá)到理想化的類別無關(guān)，一定程度上阻礙對于新概念的識別。更進(jìn)一步，當(dāng)分割與基類樣本有著相似類別組成成分的困難查詢樣本時(shí)，模型的泛化性能可能處在崩潰的邊緣。除了設(shè)計(jì)更強(qiáng)大的特征提取網(wǎng)絡(luò)外，調(diào)整對于有著大量標(biāo)注樣本的基類數(shù)據(jù)集的使用方式也是緩解上述偏置問題的另一種方法，但卻被以往的研究工作所忽視。因此，如何更高效地利用帶標(biāo)注的基類樣本幫助網(wǎng)絡(luò)識別那些易錯(cuò)分的區(qū)域成為突破少樣本語義分割模型性能瓶頸的關(guān)鍵。發(fā)明內(nèi)容[0005]要解決的技術(shù)問題[0006]為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種基于學(xué)習(xí)者集成策略的少樣本語義分割方法，以往相關(guān)工作存在基類偏置的問題，即易錯(cuò)誤激活基類目標(biāo)區(qū)域的問題。在傳統(tǒng)模型(元學(xué)習(xí)者)的基礎(chǔ)上引入一個(gè)額外的輔助分支(基學(xué)習(xí)者)去顯式地識別基類目標(biāo)，隨后自適應(yīng)地集成兩個(gè)學(xué)習(xí)者的粗預(yù)測結(jié)果以產(chǎn)生精準(zhǔn)的分割掩碼?？紤]到元學(xué)習(xí)者的敏感性，本發(fā)明進(jìn)一步引入調(diào)節(jié)因子來估計(jì)輸入圖像間的差異，以促進(jìn)模型集成推理。總的來說，本發(fā)明為改善現(xiàn)有少樣本分割模型對基類目標(biāo)錯(cuò)誤激活的問題提供了一個(gè)新穎且通用的解決方案，并不局限于某一個(gè)基學(xué)習(xí)者和元學(xué)習(xí)者，顯著提升現(xiàn)有分割網(wǎng)絡(luò)性能的同時(shí)并能夠擴(kuò)展至更實(shí)際且具有挑戰(zhàn)性的廣義設(shè)置，展現(xiàn)出較好的應(yīng)用前景與潛力。6[0011]步驟a:給定一幅查詢圖像x?∈R3×H×W,其首先經(jīng)過與元學(xué)習(xí)者共用的特征提取網(wǎng)絡(luò)E(·)以及額外的卷積塊以獲得中間特征圖f,這個(gè)過程為：[0017]步驟c:給定一個(gè)支持集合S={x?,m3}和一幅標(biāo)是在支持集合S的引導(dǎo)下分割查詢圖像中與標(biāo)注掩碼m同類別的物體；在利用骨干網(wǎng)絡(luò)和膨脹技術(shù)將支持圖像掩碼m?∈RH×變換成與支持圖像特征f∈Rxxw相同形狀大小的[0024]步驟e:查詢圖像特征f中的目標(biāo)區(qū)域在支持原型v的引導(dǎo)下得到了有效地激活，7[0027]步驟f:利用支持-查詢圖像對間場景差異的評估結(jié)果來調(diào)整由元學(xué)習(xí)者產(chǎn)生的粗[0033]其中，N=H?×W?;Fresha生了精細(xì)的分割預(yù)測p.,該過程為：[0040]步驟i:采用交叉熵?fù)p失來評估模型在所有空間位置h×w上的預(yù)測結(jié)果與真值的8[0045]其中，n。是每一批數(shù)據(jù)中訓(xùn)練情景的數(shù)目；[0046]元訓(xùn)練階段的總損失包括元學(xué)習(xí)器的預(yù)測損失以及經(jīng)過集成模塊后預(yù)測結(jié)果與[0049]其中，λ為損失函數(shù)調(diào)節(jié)因子，被設(shè)置為1.0,其大小可用來控制元學(xué)習(xí)者與集成模塊間的相對學(xué)習(xí)速度；[0050]重復(fù)步驟a～步驟i;[0051]步驟3、網(wǎng)絡(luò)推理：網(wǎng)絡(luò)的推理過程僅包含步驟a～步驟h,無需步驟i中計(jì)算損失和反向傳播的過程。[0052]所述少樣本語義分割方法并不局限于某一個(gè)元學(xué)習(xí)者和基學(xué)習(xí)者，擴(kuò)展至少樣本[0054]本發(fā)明提出的一種基于學(xué)習(xí)者集成策略的少樣本語義分割方法，針對以往相關(guān)工作存在基類偏置的問題，即易錯(cuò)誤激活基類目標(biāo)區(qū)域，本發(fā)明提出在傳統(tǒng)模型(元學(xué)習(xí)者)的基礎(chǔ)上引入一個(gè)額外的輔助分支(基學(xué)習(xí)者)去顯式地識別基類目標(biāo)，隨后自適應(yīng)地集成兩個(gè)學(xué)習(xí)者的粗預(yù)測結(jié)果以產(chǎn)生精準(zhǔn)的分割掩碼?？紤]到元學(xué)習(xí)者的敏感性，本發(fā)明進(jìn)一步引入調(diào)整因子來估計(jì)輸入圖像間的差異，以促進(jìn)模型集成推理?？偟膩碚f，本發(fā)明為改善現(xiàn)有少樣本分割模型對基類目標(biāo)錯(cuò)誤激活的問題提供了一個(gè)新穎且通用的解決方案，并不局限于某一個(gè)基學(xué)習(xí)者和元學(xué)習(xí)者，顯著提升現(xiàn)有分割網(wǎng)絡(luò)性能的同時(shí)并能夠擴(kuò)展至更實(shí)際且具有挑戰(zhàn)性的廣義設(shè)置，展現(xiàn)出較好的應(yīng)用前景與潛力。[0055]本發(fā)明的有益效果是：在傳統(tǒng)模型(元學(xué)習(xí)者)的基礎(chǔ)上引入額外的輔助分支(基學(xué)習(xí)者)能夠較好地幫助網(wǎng)絡(luò)抑制易錯(cuò)分的無關(guān)區(qū)域。由于基學(xué)習(xí)者在具有大量標(biāo)注樣本的數(shù)據(jù)集上進(jìn)行訓(xùn)練，因此其預(yù)測結(jié)果十分可靠。此外，學(xué)習(xí)者集成時(shí)考慮了輸入圖像間的差異性，進(jìn)一步促進(jìn)了兩分支的互補(bǔ)作用。本發(fā)明所提供的解決方案是通用的，并不局限于某一個(gè)元學(xué)習(xí)者和基學(xué)習(xí)者，同時(shí)可以很自然地?cái)U(kuò)展至少樣本3D點(diǎn)云分割、遙感影像分割、廣義及跨域設(shè)置等，展現(xiàn)出其良好的應(yīng)用前景與發(fā)展?jié)摿?。附圖說明[0056]圖1是本發(fā)明中基于學(xué)習(xí)者集成策略的少樣本語義分割網(wǎng)絡(luò)結(jié)構(gòu)示意圖；[0057]圖2是本發(fā)明中調(diào)節(jié)因子ψ的計(jì)算流程圖；[0058]圖3是采用本發(fā)明方法進(jìn)行標(biāo)準(zhǔn)少樣本語義分割的結(jié)果圖像；[0059]圖4是采用本發(fā)明方法進(jìn)行廣義少樣本語義分割的結(jié)果圖像。9便于分析理解。基學(xué)習(xí)者經(jīng)特征提取網(wǎng)絡(luò)后送入金字塔池化模塊(pyramidpooling接受支持圖像及查詢圖像兩種輸入，分別經(jīng)過特征提取網(wǎng)絡(luò)后進(jìn)行降維以提高計(jì)算效率；掩碼平均池化(maskedaveragepoolin[0063]步驟1:給定一幅查詢圖像x?∈R3×H×W,其首先經(jīng)過與元學(xué)習(xí)者共用的特征提取網(wǎng)絡(luò)E(·)以及額外的卷積塊以獲得中間特征圖f,這個(gè)過程可以標(biāo)是在支持集合S的引導(dǎo)下分割查詢圖像中與標(biāo)注掩碼m同類別的物體。在利用骨干網(wǎng)絡(luò)[0073]步驟4:更進(jìn)一步地，本發(fā)明利用了掩碼平均池化和膨脹技術(shù)將支持圖像掩碼m?∈R×變換成與支持圖像特征f∈R×hx相同形狀大小[0076]步驟5:隨后，查詢圖像特征中的支持-查詢圖像對(imagepair)間場景差異的評估結(jié)果來調(diào)整由元學(xué)習(xí)者產(chǎn)生的粗預(yù)測。[0082]步驟7:隨后利用從固定的骨干網(wǎng)絡(luò)中提取的低層級特征f6w,fow∈RG×H?×班計(jì)算習(xí)者的原因。預(yù)測查詢圖像中基類區(qū)域的一個(gè)最直接的方式就是沿用標(biāo)準(zhǔn)語義分割網(wǎng)絡(luò)，在于少樣本分割模型的訓(xùn)練類別為兩類(前景類和背景類),因此多類別交叉熵?fù)p失被調(diào)整況下采用了與以往不同的訓(xùn)練/推理策略。目前大多數(shù)少樣本分割方法傾向于計(jì)算從支持的貢獻(xiàn)往往產(chǎn)生次優(yōu)的結(jié)果，因?yàn)橘|(zhì)量較差的支持樣本無法給當(dāng)個(gè)統(tǒng)一的向量y,∈RK。隨后設(shè)計(jì)兩個(gè)全連接層來生成支持[0107]下面結(jié)合附圖和實(shí)施例對本發(fā)明進(jìn)一步說明，本發(fā)明包括但不僅限于下述實(shí)施12G的RTX2080Ti),服務(wù)器的操作系統(tǒng)為Ubuntu16.04.5LTS,相關(guān)依賴及對應(yīng)版本為Python3.8,PyTorch1.7.0,cudal1.0,torchvision0.8.1,tensorboardX2.14.實(shí)[0111]基于學(xué)習(xí)者集成策略的少樣本語義分割網(wǎng)絡(luò)整體框架如圖1所示，主要包括基學(xué)VGG16分類網(wǎng)絡(luò)；基學(xué)習(xí)者為PSPNet標(biāo)準(zhǔn)分割網(wǎng)絡(luò)，其解碼器網(wǎng)絡(luò)包含金字塔池化模塊絡(luò)，其解碼器包含空洞金字塔池化模塊(atrousspatialpyramidpooling)及2個(gè)帶有殘[0113](1)輸入查詢-支持圖像對及支絡(luò)(Block1-4)后獲得基學(xué)習(xí)器相關(guān)的高層級特征f,經(jīng)過部分骨干網(wǎng)絡(luò)(Block1-3)及下采樣卷積后獲得元學(xué)習(xí)器相關(guān)的中間層級特征;同理，支持圖像x也獲得了元學(xué)習(xí)器相關(guān)[0114](2)通過掩碼平均池化(maskedaveragepooling)操作捕捉支持圖像特征f中目被分別送入元解碼器D(·)以及基解碼器D?(·)進(jìn)行分割預(yù)測，獲得預(yù)測概率圖和背景預(yù)測圖兩部分；基學(xué)習(xí)者的概率預(yù)測圖pm可被分為前景預(yù)測圖 和背景預(yù)測圖兩部分，其中前者被求和以獲得關(guān)于前景的[0120](6)對于集成模塊，首先根據(jù)查詢-支持圖像對(imagepair)的低層級特征后經(jīng)1×1卷積將維度從2降低至1,獲得調(diào)整后的元學(xué)習(xí)者預(yù)測結(jié)果P0,p1∈R3×30。[0122](8)類似地，將基學(xué)習(xí)者的前景預(yù)測p∈R30×30與調(diào)整后的[0123](9)級聯(lián)前背景預(yù)測概率圖得到p∈R2×30×30,通過確定最大值索引的方式二階段訓(xùn)練中元學(xué)習(xí)者共享基學(xué)習(xí)者的骨干網(wǎng)絡(luò)(凍結(jié)),以端到端的方式訓(xùn)練其余部分參