(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利地址116023遼寧省大連市沙河口區(qū)凌河街42號專利權(quán)人大連工業(yè)大學(xué)公司21102GO6V10/26(2022.01)GO6V10/762(2022.0GO6T5/70(2024.01)GO6T5/10(2006GO6T5/20(2006GO6T5/40(2006(56)對比文件權(quán)利要求書2頁說明書9頁附圖3頁(57)摘要達影像中相干斑噪聲的干擾，有效提高了無監(jiān)督21.一種無監(jiān)督深度學(xué)習的SAR影像海水養(yǎng)殖智能提取方法，其特征在于：1.1)通過設(shè)置三種不同的截斷值增強圖像對比度，讀取原始圖像的最大值和最小值，對原始圖像進行直方圖統(tǒng)計，找到截斷值對應(yīng)的原始圖像灰度值，并將灰度值作為輸出圖像的最大值和最小值，最終將原始圖像線性拉伸為輸出圖像；改善相干斑噪聲問題；設(shè)置三種不同的截斷值，分別得到三種輸出圖像；1.2)在SAR影像中，引入伽馬變換，增強原始圖像暗部細節(jié)，通過非線性變換，將圖像中較暗區(qū)域的灰度值得到增強，得到第四種增強后的輸出圖像；1.3)為了得到更好的養(yǎng)殖區(qū)域的圖像邊緣，采用高斯濾波平滑原始圖像，通過高斯濾圖像增強后的輸出圖像作為S3中特征提取網(wǎng)絡(luò)和S4中全卷積語義分割網(wǎng)絡(luò)的輸入；S2,在輸出圖像進入網(wǎng)絡(luò)之前需要提供一些先驗知識，通過傳統(tǒng)無監(jiān)督方法得到養(yǎng)殖區(qū)域的邊緣信息和海水與養(yǎng)殖之間的像素值差異，采用超像素分割算法，將圖像分割為具有相似紋理、顏色、亮度特征的相鄰像素構(gòu)成的不規(guī)則像素塊；能夠檢測出養(yǎng)殖輪廓，并將整張圖像分割成多個小塊，每個小塊邊緣較為吻合養(yǎng)殖區(qū)域邊緣，保留其邊緣信息，即每個小塊所包含的像素點位置，在S3中做進一步處理生成偽標簽；S3,在完全無監(jiān)督的情況下，需要偽標簽作為深度學(xué)習網(wǎng)絡(luò)的目標；利用S1中得到的五張圖像，進行通道變換，每張圖像作為一個輸入通道，深度學(xué)習網(wǎng)絡(luò)的輸入為五通道的增強圖像；3.1)搭建特征提取網(wǎng)絡(luò)模型，通過特征提取網(wǎng)絡(luò)得到養(yǎng)殖區(qū)域深度特征，特征提取網(wǎng)絡(luò)主要由卷積層、ReLU層和BN層構(gòu)成，以這三層作為一個整體模塊，整體模塊中卷積層、ReLU層和BN層首尾相連，能任意調(diào)整模塊數(shù)量作為特征提取網(wǎng)絡(luò)；其中，S1中的輸出圖像作為第一個模塊中的卷積層的輸入，其余模塊的卷積層的輸入則為上一個模塊中BN層的輸出；3.2)將特征提取網(wǎng)絡(luò)模型最后一層輸出接入softmax函數(shù)；3.3)通過softmax函數(shù)將輸出值轉(zhuǎn)換為范圍在[0,1]內(nèi)且和為1的概率分布；海水與養(yǎng)殖二分類：設(shè)置softmax函數(shù)輸出通道數(shù)為2,每個通道分別代表海水區(qū)域概率和養(yǎng)殖區(qū)域概率；將2通道的輸出概率轉(zhuǎn)換為單通道索引值，對softmax輸出進行通道最大值索引，返回最大值的通道索引值，這樣在單通道圖像上只存在0或1索引值，將其作為偽標簽；3.4)利用S2中得到的超像素塊的位置信息，進行塊判斷；將超像素分割塊與3.3)得到的偽標簽進行對應(yīng)，在偽標簽圖的每個小塊中進行優(yōu)勢占比判斷，將標簽圖中的各個小塊替換為其優(yōu)勢標簽，保證小塊中擁有統(tǒng)一的偽標簽，避免相干斑噪聲干擾，生成含有養(yǎng)殖語義信息的偽標簽；S4,搭建全卷積語義分割網(wǎng)絡(luò)模型；4.1)采用全卷積語義分割網(wǎng)絡(luò)得到海水養(yǎng)殖區(qū)域提取結(jié)果，利用S3得到的具有養(yǎng)殖語義信息的偽標簽為目標進行訓(xùn)練；通過全卷積語義分割網(wǎng)絡(luò)強化學(xué)習含有養(yǎng)殖語義信息的偽標簽中的海水養(yǎng)殖語義信4.2)將全卷積語義分割網(wǎng)絡(luò)生成的海水養(yǎng)殖區(qū)域提取結(jié)果與S3中特征提取網(wǎng)絡(luò)輸出3的偽標簽做交叉熵損失，反向傳播優(yōu)化偽標簽的生成過程；特征提取網(wǎng)絡(luò)的偽標簽?zāi)軌虮蝗矸e語義分割網(wǎng)絡(luò)所優(yōu)化，進而優(yōu)化的偽標簽再次作為全卷積語義分割網(wǎng)絡(luò)目標進行第二輪的迭代，完成雙網(wǎng)絡(luò)的交替迭代，即固定特征提取網(wǎng)絡(luò)的偽標簽優(yōu)化全卷積語義分割網(wǎng)絡(luò)，固定全卷積語義分割網(wǎng)絡(luò)養(yǎng)殖提取結(jié)果優(yōu)化特征提取網(wǎng)絡(luò)；實現(xiàn)偽標簽和海水養(yǎng)殖區(qū)域提取結(jié)果的交替更新；當特征提取網(wǎng)絡(luò)與塊操作生成的偽標簽不再發(fā)生變化時，雙網(wǎng)絡(luò)交替迭代停止，單單訓(xùn)練全卷積語義分割網(wǎng)絡(luò)直至網(wǎng)絡(luò)收斂。4一種無監(jiān)督深度學(xué)習的SAR影像海水養(yǎng)殖智能提取方法技術(shù)領(lǐng)域[0001]本發(fā)明屬于海洋遙感與人工智能交叉技術(shù)領(lǐng)域，涉及一種無監(jiān)督深度學(xué)習的SAR影像海水養(yǎng)殖智能提取方法。背景技術(shù)[0002]中國是世界上海水養(yǎng)殖發(fā)達的國家，無論從養(yǎng)殖面積和總產(chǎn)量均居世界首位。在經(jīng)濟利益的驅(qū)動下，不少地區(qū)無序盲目發(fā)展海水養(yǎng)殖業(yè)，大規(guī)模的圍墾造成海域面積減少，納潮量降低，削弱了海洋的自凈能力，加劇了水域環(huán)境的惡化。為合理規(guī)劃養(yǎng)殖區(qū)域，衛(wèi)星遙感被廣泛應(yīng)用于養(yǎng)殖信息提取，浮筏養(yǎng)殖在可見光下具有清晰明顯的特征，但可見光容易被云層、雨雪等自然條件干擾，造成信息大范圍缺失。基于合成孔徑雷達(SyntheticApertureRadar,SAR)遙感影像具有全天時、全天候?qū)Φ貙嵤┯^測能力，且可以克服云層對養(yǎng)殖提取的干擾。因此，基于SAR影像智能提取養(yǎng)殖具有十分重要的意義。[0003]現(xiàn)有的海水養(yǎng)殖提取算法大多基于有監(jiān)督方法，大體流程為：選擇樣本并制作標況復(fù)雜、目標變化大，標簽成本過高。而從數(shù)據(jù)本身制定分類規(guī)則的傳統(tǒng)無監(jiān)督方法易受SAR影像中相干斑噪聲影響，精度較低，且無法提取出有效的養(yǎng)殖語義信息。尚未開展無監(jiān)督深度學(xué)習方法在SAR影像海水養(yǎng)殖信息提取的相關(guān)研究。因此，有必要針對長序列SAR影像海水養(yǎng)殖，搭建無監(jiān)督深度學(xué)習模型，實現(xiàn)無需任何標簽樣本的深度學(xué)習網(wǎng)絡(luò)海水養(yǎng)殖智能提取。發(fā)明內(nèi)容[0004]本發(fā)明主要解決在完全無標簽的情況下，如何搭建無監(jiān)督深度學(xué)習網(wǎng)絡(luò)，并使其學(xué)習到海水養(yǎng)殖語義信息，克服SAR影像中相干斑噪聲干擾的問題，提出了一種無監(jiān)督深度學(xué)習的SAR影像海水養(yǎng)殖智能提取方法，采用雙深度學(xué)習網(wǎng)絡(luò)結(jié)構(gòu)，通過超像素塊增強語義信息，生成偽標簽，使雙網(wǎng)絡(luò)不斷交替迭代，更新偽標簽，實現(xiàn)無監(jiān)督深度學(xué)習高精度海水養(yǎng)殖提取。[0005]為了達到上述目的，本發(fā)明采用的技術(shù)方案為：[0006]一種無監(jiān)督深度學(xué)習的SAR影像海水養(yǎng)殖智能提取方法，本方法針對海水養(yǎng)殖遙感影像難以獲得標簽樣本、傳統(tǒng)無監(jiān)督方法無法避免SAR影像相干斑噪聲干擾、如何搭建無監(jiān)督深度學(xué)習網(wǎng)絡(luò)模型并獲得海水養(yǎng)殖語義信息等難題，通過塊判斷和特征提取網(wǎng)絡(luò)生成含有海水養(yǎng)殖語義信息的偽標簽，使全卷積語義分割網(wǎng)絡(luò)學(xué)習其語義信息，避免了相干斑噪聲干擾，并通過兩個深度學(xué)習網(wǎng)絡(luò)的交替迭代，構(gòu)建了無監(jiān)督深度學(xué)習網(wǎng)絡(luò)模型。包括以下步驟：[0007]第一步，采用線性截斷拉伸、伽馬變換和高斯濾波三種圖像增強方法對原圖進行處理，其中三種圖像增強方法均是對原圖進行處理：[0008]1.1)采用線性截斷拉伸對原始圖像進行處理，線性截斷拉伸是遙感影像增強處理5像灰度值，比如截斷值設(shè)置為2,則找到對應(yīng)2%的灰度值和98%的灰度值，并將灰度值作為98%的灰度值被輸出圖像的最大值代替，原始圖像中小于2%的灰度值被輸出圖像的最小斷值，一共得到五種不同的增強后的輸出圖構(gòu)成的具有一定視覺意義的不規(guī)則像素塊。使用的超像素算法為簡單線性迭代聚類6x、y分別代表像素點在圖像中的橫縱坐標，d為像素點與聚類中心之間的空間位置的距離；大顏色距離。[0022]2.2)將每個像素點分配給最近的聚類中心后，在同一聚類中心下的像素點的1、a、b、x、y通道中取平均，更新聚類中心。根據(jù)L?范數(shù)計算新的之前的聚類中心位置殘留誤差，公式如下：[0024]2.3)分配像素和更新聚類中心迭代重復(fù)，直到誤差收斂或者達到一定的迭代次數(shù)。經(jīng)過實踐發(fā)現(xiàn)10次迭代對絕大部分圖片都可以得到比較理想效果，實際中一般固定迭代10次。[0025]經(jīng)過SLIC算法得到超像素分割后的結(jié)果圖，成功檢測出養(yǎng)殖輪廓，并將整張圖像分割成多個小塊，每個小塊邊緣較為吻合養(yǎng)殖區(qū)域邊緣，但也存在很多誤判，精度較低，而且僅檢測出邊緣，并未得到養(yǎng)殖提取結(jié)果，需要保留其邊緣信息，即每個小塊所包含的像素點位置，在第三步中做進一步處理生成偽標簽。[0026]第三步，在完全無監(jiān)督的情況下，需要偽標簽作為深度學(xué)習網(wǎng)絡(luò)的目標。利用第一步中得到的五張圖像，將其進行通道變換，每張圖像作為一個輸入通道，最終，深度學(xué)習網(wǎng)絡(luò)的輸入為五通道的增強圖像。[0027]3.1)搭建特征提取網(wǎng)絡(luò)模型，通過特征提取網(wǎng)絡(luò)得到養(yǎng)殖區(qū)域深度特征，特征提體模塊中的三個層首尾相連，可以任意調(diào)整模塊數(shù)量作為特征提取網(wǎng)絡(luò)。比如，輸入圖像進入卷積層、ReLU層和BN層模塊后，輸出的值再次進入新一個卷積層、ReLU層和BN層模塊。其中，卷積層公式如(6)所示，第一步中的輸出圖像作為第一個模塊中的卷積層的輸入，其余模塊的卷積層的輸入則為上一個模塊中BN層的輸出。I為輸入的總個數(shù)；G為卷積核總個數(shù)。[0030]為了使特征提取網(wǎng)絡(luò)快速收斂，在卷積層之后加入ReLU層，公式如(7)所示，即卷積層的輸出作為ReLU層的輸入。[0033]為了防止特征提取網(wǎng)絡(luò)訓(xùn)練時梯度消失及過擬合，在ReLU層之后加入BN層，公式如(8)所示，即ReLU層的輸出作為BN層的輸入。7[0036]3.2)將特征提取網(wǎng)絡(luò)模型最后一層輸出接入softmax函數(shù)，公式如(9)所示，即將第N個卷積層、ReLU層和BN層模塊的輸出作為softmax函數(shù)的輸入。[0039]3.3)通過softmax函數(shù)可以將輸出值轉(zhuǎn)換為范圍在[0,1]內(nèi)且和為1的概率分布。為區(qū)分海水與養(yǎng)殖，將其轉(zhuǎn)換為二分類問題，設(shè)置softmax函數(shù)輸出通道數(shù)為2,每個通道分別代表海水區(qū)域概率和養(yǎng)殖區(qū)域概率。為了得到偽標簽，將2通道的輸出概率轉(zhuǎn)換為單通道索引值，對softmax輸出進行通道最大值索引，返回最大值的通道索引值，這樣在單通道圖像上只存在0或1索引值，可將其作為偽標簽。[0040]3.4)由于SAR影像中的相干斑噪聲，導(dǎo)致偽標簽沒有很好的語義信息，養(yǎng)殖區(qū)域可能參雜海水標簽。于是利用第二步中得到的超像素塊的位置信息，進行塊判斷操作。詳細解釋如下，將超像素分割塊對應(yīng)剛剛得到的偽標簽(通道最大值索引)中，在偽標簽圖的每個小塊中(小塊來自超像素塊位置信息)進行優(yōu)勢占比判斷，將標簽圖中的各個小塊替換為其優(yōu)勢標簽，這樣保證了小塊中擁有統(tǒng)一的偽標簽，避免了相干斑噪聲干擾，增強了空間一致性，生成了為含有養(yǎng)殖語義信息的偽標簽。[0041]第四步，為充分利用上步生成的含有養(yǎng)殖語義信息的偽標簽，搭建全卷積語義分割網(wǎng)絡(luò)模型。[0042]4.1)采用全卷積語義分割網(wǎng)絡(luò)得到海水養(yǎng)殖區(qū)域提取結(jié)果，利用第三步得到的具方法，f(·)為特征提取網(wǎng)絡(luò)模型，g(·)為全卷積語義分割網(wǎng)絡(luò)模型。[0045]這樣，通過全卷積語義分割網(wǎng)絡(luò)進一步強化學(xué)習含有養(yǎng)殖語義信息偽標簽中的海水養(yǎng)殖語義信息，提高提取精度，改善塊判斷中優(yōu)勢占比而忽略的養(yǎng)殖區(qū)域。[0046]4.2)為使雙網(wǎng)絡(luò)在無監(jiān)督情況下的提取精度逐步提高，偽標簽需要不斷更新優(yōu)化，故將全卷積語義分割網(wǎng)絡(luò)生成的海水養(yǎng)殖區(qū)域提取結(jié)果與第三步中特征提取網(wǎng)絡(luò)輸出的偽標簽做交叉熵損失，反向傳播優(yōu)化偽標簽的生成過程(也就是通過海水養(yǎng)殖區(qū)域提取結(jié)果優(yōu)化偽標簽，實現(xiàn)交替優(yōu)化，即偽標簽優(yōu)化提取結(jié)果、提取結(jié)果反過來優(yōu)化偽標簽，不8斷循環(huán)),其目標函數(shù)LE如下：[0048]這樣，特征提取網(wǎng)絡(luò)的偽標簽?zāi)軌虮蝗矸e語義分割網(wǎng)絡(luò)所優(yōu)化，進而優(yōu)化的偽標簽再次作為全卷積語義分割網(wǎng)絡(luò)目標進行第二輪的迭代，完成了雙網(wǎng)絡(luò)的交替迭代，即固定特征提取網(wǎng)絡(luò)的偽標簽優(yōu)化全卷積語義分割網(wǎng)絡(luò)，或固定全卷積語義分割網(wǎng)絡(luò)養(yǎng)殖提取結(jié)果優(yōu)化特征提取網(wǎng)絡(luò)。實現(xiàn)了偽標簽和海水養(yǎng)殖區(qū)域提取結(jié)果的交替更新，逐步生成泛化能力更強、精度更高的全卷積語義網(wǎng)絡(luò)。當特征提取網(wǎng)絡(luò)與塊操作生成的偽標簽不再發(fā)生變化時，雙網(wǎng)絡(luò)交替迭代停止，單單訓(xùn)練全卷積語義分割網(wǎng)絡(luò)直至網(wǎng)絡(luò)收斂。[0049]本發(fā)明的有益效果為：[0050]本發(fā)明提高了傳統(tǒng)無監(jiān)督方法的提取精度，避免了SAR影像中的相干斑噪聲干擾，為SAR影像中的海水養(yǎng)殖區(qū)域的智能提取提供了一種無監(jiān)督深度學(xué)習方法。在深度學(xué)習卷積神經(jīng)網(wǎng)絡(luò)中，往往需要一個明確的損失目標，即真值標簽，本發(fā)明利用特征提取網(wǎng)絡(luò)生成了簡易偽標簽，并針對海水養(yǎng)殖提取問題提出了塊操作，在避免SAR影像相干斑噪聲的同時，也使得簡易偽標簽含有了養(yǎng)殖語義信息。同時，本專利為了進一步加強這種語義信息提高養(yǎng)殖提取精度，提出雙網(wǎng)絡(luò)結(jié)構(gòu)，增加全卷積語義分割網(wǎng)絡(luò)，在增強養(yǎng)殖語義的同時，又能使其結(jié)果反向優(yōu)化特征提取網(wǎng)絡(luò)進而實現(xiàn)優(yōu)化偽標簽，并且，雙網(wǎng)絡(luò)的交替更新為偽標簽的優(yōu)化提供了方向，使得偽標簽越來越靠近真值，實現(xiàn)了無監(jiān)督深度學(xué)習的高精度養(yǎng)殖提取。本發(fā)明提出的方法精度較高、滿足長序列SAR影像海水養(yǎng)殖監(jiān)測的可附圖說明[0051]圖1為一種無監(jiān)督深度學(xué)習的SAR影像海水養(yǎng)殖智能提取方法的整體框圖；[0053]圖3為特征提取網(wǎng)絡(luò)得到的沒有語義信息的偽標簽，(a)、(b)、(c)分別為三個不同的養(yǎng)殖區(qū)域；[0054]圖4為塊操作方法得到的含有語義信息的偽標簽，(a)、(b)、(c)分別為三個不同的養(yǎng)殖區(qū)域；[0056]圖6為筏式養(yǎng)殖高分3號衛(wèi)星的智能提取結(jié)果詳情，(a)為區(qū)域一的原始圖，為具體實施方式[0058]為使本發(fā)明解決的方法問題、采用的方法方案和達到的方法效果更加清楚，下面結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。[0059]如圖1所示，本發(fā)明實施例提供的一種無監(jiān)督深度學(xué)習的SAR影像海水養(yǎng)殖智能提9度值，比如截斷值設(shè)置為2,則找到對應(yīng)2%的灰度值和98%的灰度值，并將灰度值作為輸出的灰度值被輸出圖像的最大值代替，原始圖像中小于2%的灰度值被輸出圖像的最小值代水養(yǎng)殖提取提供了三個不同截斷值大小2,5和7,通過不同的截斷值改善不同強度的相干斑值差異，傳統(tǒng)無監(jiān)督方法采用超像素分割算法，將圖像分割為具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的具有一定視覺意義的不規(guī)則像素塊。使用的超像素算法為簡單線性迭代聚類(SimpleLinearIterativeClustering,SLIC),其在運算速度、物體輪廓保持、超像素形狀方面具有較高的綜合評價。SLIC超像素算法具體如下：[0074]2.1)將原始圖像轉(zhuǎn)換到國際照明協(xié)會顏色模型(CommissionInternationaledeL'EclairageLab,CIELAB)的色彩空間，設(shè)置初始聚類中心個數(shù)k和距離測量D,將限制區(qū)域內(nèi)的每個像素分配給最近的聚類中心，公式如下：x、y分別代表像素點在圖像中的橫縱坐標，d為像素點與聚類中心之間的空間位置的距離；為預(yù)期的超像素塊大小，由圖片大小N和初始聚類中心個數(shù)k=30決定；m=5為常[0077]2.2)將每個像素點分配給最近的聚類中心后，在同一聚類中心下的像素點的1、a、b、x、y通道中取平均，更新聚類中心。根據(jù)L?范數(shù)計算新的之前的聚類中心位置殘留誤差，公式如下：[0079]2.3)分配像素和更新聚類中心迭代重復(fù)，直到誤差收斂或者達到一定的迭代次數(shù)。經(jīng)過實踐發(fā)現(xiàn)10次迭代對絕大部分圖片都可以得到比較理想效果，實際中一般固定迭代10次。本專利規(guī)定SLIC超像素算法迭代十次后停止。[0080]經(jīng)過SLIC算法得到超像素分割后的結(jié)果圖，結(jié)果如圖2所示，成功檢測出養(yǎng)殖輪廓，并將整張圖像分割成多個小塊，每個小塊邊緣較為吻合養(yǎng)殖區(qū)域邊緣，但也存在很多誤塊所包含的像素點位置，在第三步中做進一步處理生成偽標簽。[0081]第三步，在完全無監(jiān)督的情況下，需要偽標簽作為深度學(xué)習網(wǎng)絡(luò)的目標。利用第一步中得到的五張圖像，將其進行通道變換，每張圖像作為一個輸入通道，最終，深度學(xué)習網(wǎng)絡(luò)的輸入為五通道的增強圖像。[0082]3.1)搭建特征提取網(wǎng)絡(luò)模型，通過特征提取網(wǎng)絡(luò)得到養(yǎng)殖區(qū)域深度特征為偽標簽的生成提供先驗知識。特征提取網(wǎng)絡(luò)主要由卷積層、ReLU層和BN層構(gòu)成，以卷積層、ReLU層和BN層作為一個整體模塊T,可以調(diào)整模塊數(shù)量T=5作為特征提取網(wǎng)絡(luò)。比如，輸入圖像進入卷積層、ReLU層和BN層模塊后，輸出的值再次進入新一個卷積層、ReLU層和BN層模塊。其中，卷積層公式如(6)所示，第一步中的輸出圖像作為第一個模塊中的卷積層的輸入，其余模塊的卷積層的輸入則為上一個模塊中BN層的輸出。出通道數(shù)G等于100,第五個模塊輸入通道數(shù)I=100,輸出通道數(shù)G=2,偏置b”由網(wǎng)絡(luò)訓(xùn)練[0095]3.3)通過softmax函數(shù)可以將輸出值轉(zhuǎn)換為范圍在[0,1]內(nèi)且和為1的概率分布。