(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN114005042B(21)申請?zhí)?02111221175.1(22)申請日2021.10.20(65)同一申請的已公布的文獻號申請公布號CN114005042A(43)申請公布日2022.02.01(73)專利權(quán)人青島浩海網(wǎng)絡(luò)科技股份有限公司地址266000山東省青島市高新區(qū)寶源路821號(72)發(fā)明人逢增倫孫建費浩逢增輝(74)專利代理機構(gòu)青島華慧澤專利代理事務(wù)所GO6V20/13(2022.01)(56)對比文件權(quán)利要求書3頁說明書7頁附圖2頁(54)發(fā)明名稱基于陰影補償和U-net的遙感影像城市建筑提取方法(57)摘要本發(fā)明公開了一種基于陰影補償和U-net的遙感影像城市建筑提取方法，包括以下步驟：高分辨率遙感影像的獲取和校正；提取多光譜影像的光譜特征和亮度特征，對多光譜影像進行陰影檢測和陰影補償，并進行歸一化處理：使用歸一化處理后的遙感影像制作訓(xùn)練圖像和預(yù)測圖像，并利用訓(xùn)練圖像制作樣本數(shù)據(jù)集；使用樣本數(shù)據(jù)集訓(xùn)練U-net網(wǎng)絡(luò)模型，并利用訓(xùn)練好的U-net網(wǎng)絡(luò)模型對預(yù)測圖像進行預(yù)測，得到提取建筑輪廓的初步預(yù)測圖像；利用光譜特征進行水體和植被區(qū)域識別，對初步預(yù)測圖像進行優(yōu)化。本發(fā)明所公開的方法對遙感數(shù)據(jù)進行了陰影優(yōu)化，能夠有2步驟二，提取多光譜影像的光譜特征和亮度特征，對多光譜影像進行陰影檢測和陰影步驟三，使用歸一化處理后的遙感影像制作訓(xùn)練圖像和預(yù)測圖像，并利用訓(xùn)練圖像制步驟五，利用光譜特征進行水體和植被區(qū)域識別，對提取建筑輪廓的初步預(yù)測圖像進步驟二中，陰影檢測的實現(xiàn)方法是根據(jù)多光譜影像的光譜特征和亮度特征，將陰影的同時滿足上述三個不等式所示條件的區(qū)域為陰影區(qū)域；檢測出陰影區(qū)域后，生成包含5,7×7,…,直到窗口中陰影像元的比例小于50%;如果窗口邊界接觸圖像邊界仍無法滿足置為1;3其中，B表示b波段進行陰影補償后的像素值，kb為b波段的補償增益，Bb為b波段的原始像素值。2.根據(jù)權(quán)利要求1所述的一種基于陰影補償和U-net的遙感影像城市建筑提取方法，其段和四個多光譜波段。3.根據(jù)權(quán)利要求1所述的一種基于陰影補償和U-net的遙感影像城市建筑提取方法，其其中，B_nb表示b波段歸一化處理后的像素值，Bp表示b波段的原始像素值，Max(Bb)表示求b波段中最大的像素值，Min(Bb)表示求b波段中最小的像素值。4.根據(jù)權(quán)利要求1所述的一種基于陰影補償和U-net的遙感影像城市建筑提取方法，其首先，在歸一化處理后的遙感影像中選擇具有代表性的建筑物密集的區(qū)域，經(jīng)過裁剪制作成訓(xùn)練圖像和預(yù)測圖像；之后，采用人工標注的方法，將訓(xùn)練圖像中的建筑輪廓完整地勾選出來，制作二值標然后，將訓(xùn)練圖像和二值標簽分別按滑動窗口的方式進行分割，裁剪成像素尺寸為512*512的大小一致的小圖，分別得到圖片集和對應(yīng)的標簽集；其次，對上一步分割出的圖片集和標簽集中的小圖批量進行水平、垂直和對角三個方向的翻轉(zhuǎn)，使圖片集和對應(yīng)的標簽集均變?yōu)樵瓉淼乃谋叮蛔詈?，隨機選取圖片集和對應(yīng)的標簽集中70%的圖片作為訓(xùn)練數(shù)據(jù)集，另外30%作為驗證數(shù)據(jù)集。5.根據(jù)權(quán)利要求4所述的一種基于陰影補償和U-net的遙感影像城市建筑提取方法，其構(gòu)建U-net網(wǎng)絡(luò)模型，將訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集輸入U-net網(wǎng)絡(luò)模型，其中，訓(xùn)練數(shù)據(jù)集用來擬合U-net網(wǎng)絡(luò)模型，驗證數(shù)據(jù)集用來評估U-net網(wǎng)絡(luò)模型效果并調(diào)節(jié)超參數(shù)，使U-net網(wǎng)絡(luò)模型的預(yù)測性能得到優(yōu)化；U-net網(wǎng)絡(luò)模型共包含19個卷積過程提取圖像特征，進行4次下采樣和4次上采樣，并將上下采樣前后相同尺寸的特征圖層相連接，以同時保留圖像的深層和淺層特征，防止下采樣帶來的信息丟失；使用交叉熵損失函數(shù)計算標簽值和預(yù)測值之間的差異，使用自適應(yīng)矩估計優(yōu)化器校正U-net網(wǎng)絡(luò)模型的超參數(shù)，經(jīng)過100輪迭代優(yōu)化，保存訓(xùn)練好的U-net網(wǎng)絡(luò)模6.根據(jù)權(quán)利要求4所述的一種基于陰影補償和U-net的遙感影像城市建筑提取方法，其特征在于，步驟四中，U-net網(wǎng)絡(luò)模型訓(xùn)練好之后，將裁剪的預(yù)測圖像作為目標區(qū)域影像，先將目標區(qū)域影像按順序平移窗口裁剪成512*512大小的小圖，再依次輸入訓(xùn)練好的U-net網(wǎng)絡(luò)模型，最后將所有預(yù)測結(jié)果小圖按分割的順序拼接，得到提取建筑輪廓的初步預(yù)測圖像。7.根據(jù)權(quán)利要求1所述的一種基于陰影補償和U-net的遙感影像城市建筑提取方法，其4NDWI<C?;若某位置像素被識別為水體或植被，則將提取建筑輪廓的初步預(yù)測圖像同一位置標記5基于陰影補償和U-net的遙感影像城市建筑提取方法技術(shù)領(lǐng)域[0001]本發(fā)明涉及圖像處理技術(shù)鄰域，特別涉及一種基于陰影補償和U-net的遙感影像城市建筑提取方法。背景技術(shù)[0002]準確且及時地對城市建筑進行監(jiān)測，對研究城市建設(shè)、管理城市土地資源等方面有重要意義。遙感技術(shù)是一種可以在遠距離大范圍獲取地面信息的技術(shù)，利用高分辨率遙感影像對城市建筑進行監(jiān)測具有覆蓋范圍廣、數(shù)據(jù)可靠性強、人工成本低等優(yōu)勢，在城市規(guī)劃、違建監(jiān)測、土地確權(quán)等方面應(yīng)用廣泛。由于衛(wèi)星遙感影像的分辨率相對較低，成像過程中受到的干擾因素多，且城市景觀復(fù)雜，高精度的建筑提取一直以來是一個難點。傳統(tǒng)的監(jiān)督分類方法往往難以避免錯分漏分的問題，許多要求高監(jiān)測精度的實際應(yīng)用只能采取人工目視解譯的方式完成。近年來深度學(xué)習技術(shù)取得的新進展逐漸應(yīng)用在遙感監(jiān)測領(lǐng)域，基于深度學(xué)習的建筑提取已經(jīng)是前沿課題。[0003]基于深度學(xué)習的建筑提取常使用像素級的語義分割方法，而由于建筑提取需要精準地確定建筑邊緣，需要更加重視圖像的淺層特征。U-net是一種U型的卷積神經(jīng)網(wǎng)絡(luò)，它通過卷積將圖像下采樣得到深層的圖像特征，然后又進行上采樣使深層特征的分辨率提高，將深層和淺層的特征組合起來，從而提升目標檢測的精度。U-net首先應(yīng)用于醫(yī)學(xué)影像，由于其在小樣本下優(yōu)越的性能和對小目標較好的分割效果，同樣適合于遙感領(lǐng)域。由于衛(wèi)星觀測高度的問題，影像容易受云和山體陰影的影響，在高分辨率遙感影像中，建筑陰影也更加明顯，建筑邊緣會因為陰影干擾難以提取完整。因此，急需一種能夠改善U-net提取建筑的邊緣準確性的方法。發(fā)明內(nèi)容[0004]為解決上述技術(shù)問題，本發(fā)明提供了一種基于陰影補償和U-net的遙感影像城市建筑提取方法，利用影像的光譜特征和亮度特征進行陰影提取，參考鄰域窗口內(nèi)的亮像元反射率對陰影區(qū)域進行補償，以降低影像中各類陰影對建筑邊緣提取的影響。[0005]為達到上述目的，本發(fā)明的技術(shù)[0006]一種基于陰影補償和U-net的遙感影像城市建筑提取方法，包括以下步驟：[0008]步驟二，提取多光譜影像的光譜特征和亮度特征，對多光譜影像進行陰影檢測和[0009]步驟三，使用歸一化處理后的遙感影像制作訓(xùn)練圖像和預(yù)測圖像，并利用訓(xùn)練圖像制作樣本數(shù)據(jù)集；[0010]步驟四，使用樣本數(shù)據(jù)集訓(xùn)練U-net網(wǎng)絡(luò)模型，并利用訓(xùn)練好的U-net網(wǎng)絡(luò)模型對預(yù)測圖像進行預(yù)測，得到提取建筑輪廓的初步預(yù)測圖像；[0011]步驟五，利用光譜特征進行水體和植被區(qū)域識別，對提取建筑輪廓的初步預(yù)測圖6像進行優(yōu)化。一個全色波段和四個多光譜波段。[0013]進一步的技術(shù)方案中，步驟一中，以精校正過的哨兵二號影像作為基準使用RPC模型對PMS影像進行正射校正，使用中國資源衛(wèi)星應(yīng)用中心提供的絕對輻射定標參數(shù)對各波段圖像進行輻射定標，然后采用最近鄰擴散法將多光譜波段與全色波段進行融合，得到重采樣為1米分辨率的四波段的多光譜影像。[0014]上述方案中，步驟二中，陰影檢測的實現(xiàn)方法是根據(jù)多光譜影像的光譜特征和亮度特征，將陰影的特征增強并量化，使用閾值判決法，從多光譜影像中初步提取陰影區(qū)域，其計算邏輯如下：波段反射率圖層，NIR代表近紅外波段反射率圖層，Green代表綠波段反射率圖層，Red代表紅波段反射率圖層，算式中的加和減都表示波段間運算，Max()表示對括號內(nèi)的三個波段累加得到的反射率圖層求最大的像素值，C1,C2和C3分別為各自的判決閾值；[0019]同時滿足上述三個條件的區(qū)域為陰影區(qū)域；檢測出陰影區(qū)域后，生成包含陰影區(qū)域和非陰影區(qū)域的二值Mask圖以便進行下一步陰影補償。[0021]首先，遍歷生成的二值Mask圖，在檢測到陰影像元時，以該陰影像元為中心生成3×3大小的窗口，然后再計算該窗口中陰影像元的比例，若該比例大于50%,則擴大窗口尺寸至5×5,7×7,…,直到窗口中陰影像元的比例小于50%;如果窗口邊界接觸圖像邊界仍無法滿足陰影像元比例小于50%的條件，則停止擴大窗口，將該陰影像元的各波段補償增益k?全部設(shè)置為1;[0022]然后，在多光譜影像的相同位置獲取當前窗口內(nèi)的像素值，分波段計算補償增益[0024]其中，m為當前窗口中非陰影像元的數(shù)量，n為當前窗口中陰影像元的數(shù)量，i的初始值為0,B_ns;表示b波段上當前窗口內(nèi)第i個非陰影像元的像素值，B_s;表示b波段上當前窗口內(nèi)第i個陰影像元的像素值；[0025]最后，用得到的補償增益對陰影區(qū)域的各個波段進行陰影補償，計算公式[0027]其中，B′?表示b波段進行陰影補償后的7的原始像素值。表示求b波段中最大的像素值，Min(B)表示求b波段中最小的像素值。[0032]首先，在歸一化處理后的遙感影像中選擇具有代表性的建筑物密集的區(qū)域，經(jīng)過裁剪制作成訓(xùn)練圖像和預(yù)測圖像；[0033]之后，采用人工標注的方法，將訓(xùn)練圖像中的建筑輪廓完整地勾選出來，制作二值[0034]然后，將訓(xùn)練圖像和二值標簽分別按滑動窗口的方式進行分割，裁剪成像素尺寸為512*512的大小一致的小圖，分別得到圖片集和對應(yīng)的標簽集；[0035]其次，對上一步分割出的圖片集和標簽集中的小圖批量進行水平、垂直和對角三個方向的翻轉(zhuǎn)，使圖片集和對應(yīng)的標簽集均變?yōu)樵瓉淼乃谋?；[0036]最后，隨機選取圖片集和對應(yīng)的標簽集中70%的圖片作為訓(xùn)練數(shù)據(jù)集，另外30%作為驗證數(shù)據(jù)集。[0038]構(gòu)建U-net網(wǎng)絡(luò)模數(shù)據(jù)用來擬合U-net網(wǎng)絡(luò)模型，驗證數(shù)據(jù)集用來評估U-net網(wǎng)絡(luò)模型效果并調(diào)節(jié)超參數(shù)，使U-net網(wǎng)絡(luò)模型的預(yù)測性能得到優(yōu)化；[0039]U-net網(wǎng)絡(luò)模型共包含19個卷積過程提取圖像特征，進行4次下采樣和4次上采樣，并將上下采樣前后相同尺寸的特征圖層相連接，以同時保留圖像的深層和淺層特征，防止下采樣帶來的信息丟失；使用交叉熵損失函數(shù)計算標簽值和預(yù)測值之間的差異，使用自適應(yīng)矩估計優(yōu)化器校正U-net網(wǎng)絡(luò)模型超參數(shù)，經(jīng)過100輪迭代優(yōu)化，保存訓(xùn)練好的U-net網(wǎng)絡(luò)模型。[0040]進一步的技術(shù)方案中，步驟四中，U-net網(wǎng)絡(luò)模型訓(xùn)練好之后，將裁剪的預(yù)測圖像作為目標區(qū)域影像，先將目標區(qū)域影像按順序平移窗口裁剪成512*512大小的小圖，再依次輸入訓(xùn)練好的U-net網(wǎng)絡(luò)模型，最后將所有預(yù)測結(jié)果小圖按分割的順序拼接，得到提取建筑輪廓的初步預(yù)測圖像。[0042]根據(jù)水體、植被各自的光譜特征，遍歷預(yù)測圖像，提取這兩類目標；水體提取利用歸一化水體指數(shù)，植被提取采用歸一化植被指數(shù)；計算邏輯如下：[0046]若該位置像素被識別為水體或植被，則將提取建筑輪廓的初步預(yù)測圖像同一位置8標記為非建筑。[0047]通過上述技術(shù)方案，本發(fā)明提供的方法具有如下有益效果：[0048]1、本發(fā)明對遙感數(shù)據(jù)進行了陰影檢測和陰影補償，能夠有效降低影像中陰影帶來[0049]2、本發(fā)明對經(jīng)過陰影補償后的多光譜影像進行歸一化處理，可以減小不同時期遙感影像反射亮度的差異；[0050]3、本發(fā)明將陰影補償和U-net網(wǎng)絡(luò)模型相結(jié)合，提高了U-net網(wǎng)絡(luò)模型提取建筑的邊緣準確性；[0051]4、本發(fā)明對深度學(xué)習的預(yù)測結(jié)果使用輔助的水體和植被信息再判決，有助于提高建筑提取的精度。附圖說明[0052]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹。[0053]圖1為本發(fā)明實施例所公開的一種基于陰影補償和U-net的遙感影像城市建筑提取方法整體流程示意圖；[0054]圖2是本發(fā)明的陰影檢測與陰影補償流程圖；[0055]圖3是本發(fā)明的樣本數(shù)據(jù)集制作流程圖。具體實施方式[0056]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述。[0057]本發(fā)明提供了一種基于陰影補償和U-net的遙感影像城市建筑提取方法，如圖1所[0058]步驟一，高分辨率遙感影像的獲取和校正，得到四波段的多光譜影像；[0059]采用的高分辨率遙感影像為高分二號L1A級PMS影像，包括一個全色波段和四個多光譜波段。[0060]以精校正過的哨兵二號影像作為基準使用RPC模型對PMS影像進行正射校正，使用中國資源衛(wèi)星應(yīng)用中心提供的絕對輻射定標參數(shù)對各波段圖像進行輻射定標，然后采用最近鄰擴散法(NearestNeighborDiffusion)將多光譜波段與全色波段進行融合，得到重采樣為1米分辨率的四波段的多光譜影像。[0061]步驟二，提取多光譜影像的光譜特征和亮度特征，對多光譜影像進行陰影檢測和[0063]陰影檢測的實現(xiàn)方法是根據(jù)多光譜影像的光譜特征(NDSI、NDWI)和亮度特征(Y),將陰影的特征增強并量化。[0064]由于光難以照射到云下和建筑下的區(qū)域，所以各波段反射率都很低，衛(wèi)星接收到的信息以散射光為主，而波長越短則散射越強，因此，利用近紅外波段與藍波段的比值差異特征，可以構(gòu)建歸一化陰影指數(shù)(NDSI)突出陰影信息。另一種陰影特征增強方法是利用其9亮度特征(Y),陰影區(qū)域的亮度值往往偏低，根據(jù)紅綠藍三波段計算圖像亮度，進而提取陰影區(qū)域。另外，水體由于反射率和亮度與陰影較為相似，在以上兩個陰影特征增強后仍不容易進行區(qū)分，此時利用歸一化水體指數(shù)(NDWI)對水體進行剔除。[0065]根據(jù)以上三點，使用閾值判決法，從多光譜影像中初步提取陰影區(qū)域，其計算邏輯波段反射率圖層，NIR代表近紅外波段反射率圖層，Green代表綠波段反射率圖層，Red代表紅波段反射率圖層，算式中的加和減都表示波段間運算，Max()表示對括號內(nèi)的三個波段累加得到的反射率圖層求最大的像素值，C?,C?和C?分別為各自的判決閾值，可由先驗分析結(jié)合具體實驗數(shù)據(jù)得知，在本發(fā)明中采用C?=-0.53,C?=0.13,C?=0.52。[0070]同時滿足上述三個條件的區(qū)域為陰影區(qū)域；檢測出陰影區(qū)域后，生成包含陰影區(qū)域和非陰影區(qū)域的二值Mask圖以便進行下一步陰影補償。[0072]陰影補償?shù)膶崿F(xiàn)方法是計算陰影區(qū)域與其周圍正常光照區(qū)域的光譜像素值差異，從而對陰影區(qū)域的各個波段進行按比例的調(diào)整。對于每個陰影區(qū)域的像元，由于產(chǎn)生陰影的云的厚度不同和建筑形態(tài)等差異，其陰影補償增益k是不固定的。[0073]為對每個陰影像元進行精準的補償，首先，遍歷上一步驟生成的二值Mask圖，在檢測到陰影像元時，以該陰影像元為中心生成3×3大小的窗口，然后再計算該窗口中陰影像元的比例，若該比例大于50%,則擴大窗口尺寸至5×5,7×7,…,直到窗口中陰影像元的比例小于50%;如果窗口邊界接觸圖像邊界仍無法滿足陰影像元比例小于50%的條件，則停止擴大窗口，將該陰影像元的各波段補償增益k?全部設(shè)置為1;[0074]然后，在多光譜影像的相同位置獲取當前窗口內(nèi)的像素值，分波段計算補償增益k?,由于使用的影像為4波段影像，b的取值范圍是[1,4]。[0076]其中，m為當前窗口中非陰影像元的數(shù)量，n為當前窗口中陰影像元的數(shù)量，i的初始值為0,B_ns;表示b波段上當前窗口內(nèi)第i個非陰影像元的像素值，B_s;表示b波段上當前窗口內(nèi)第i個陰影像元的像素值；[0077]最后，用得到的補償增益對陰影區(qū)域的各個波段進行陰影補償，計算公式如下：[0079]其中，B′?表示b波段進行陰影補償后的的原始像素值。[0081]多光譜影像經(jīng)過陰影補償后，需要進行歸一化處理，以減小不同時期遙感影像反射亮度的差異。歸一化處理的計算公式為：[0083]其中，B_n?表示b波段歸一化處理后的像素值，B?表示b波段的原始像素值，Max(B?)表示求b波段中最大的像素值，Min(B)表示求b波段中最小的像素值。[0084]步驟三，使用歸一化處理后的遙感影像制作訓(xùn)練圖像和預(yù)測圖像，并利用訓(xùn)練圖像制作樣本數(shù)據(jù)集；[0086]首先，在歸一化處理后的遙感影像中選擇具有代表性的建筑物密集的區(qū)域，經(jīng)過裁剪制作成訓(xùn)練圖像和預(yù)測圖像；[0087]之后，采用人工標注的方法，將訓(xùn)練圖像中的建筑輪廓完整地勾選出來，制作二值[0088]然后，將訓(xùn)練圖像和二值標簽分別按滑動窗口的方式進行分割，裁剪成像素尺寸為512*512的大小一致的小圖，分別得到圖片集和對應(yīng)的標簽集；[0089]其次，對上一步分割出的圖片集和標簽集中的小圖批量進行水平、垂直和對角三個方向的翻轉(zhuǎn)，使圖片集和對應(yīng)的標簽集均變?yōu)樵瓉淼乃谋?；[0090]最后，隨機選取圖片集和對應(yīng)的標簽集中70%的圖片作為訓(xùn)練數(shù)據(jù)集，另外30%作為驗證數(shù)據(jù)集。[0091]步驟四，使用樣本數(shù)據(jù)集訓(xùn)練U-net網(wǎng)絡(luò)模型，并利用訓(xùn)練好的U-net網(wǎng)絡(luò)模型對預(yù)測圖像進行預(yù)測，得到提取建筑輪廓的初步預(yù)測圖像；數(shù)據(jù)用來擬合U-net網(wǎng)絡(luò)模型，驗證數(shù)據(jù)集用來評估U-net網(wǎng)絡(luò)模型效果并調(diào)節(jié)超參數(shù)，使U-net網(wǎng)絡(luò)模型的預(yù)測性能得到優(yōu)化；[0093]U-net網(wǎng)絡(luò)模