(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(22)申請(qǐng)日2022.04.18(43)申請(qǐng)公布日2022.07.05地址210008江蘇省南京市鼓樓區(qū)漢口路22號(hào)專利權(quán)人江蘇圖客機(jī)器人有限公司(72)發(fā)明人陳力軍劉佳賴慧慧陳星宇鄢偉(74)專利代理機(jī)構(gòu)江蘇圣典律師事務(wù)所32237專利代理師胡建華GO6V30/412(2022.01)GO6V10/774(2022.0權(quán)利要求書2頁說明書8頁附圖3頁本發(fā)明公開了一種基于深度學(xué)習(xí)的手寫字擦除方法。該方法針對(duì)文檔圖像進(jìn)行手寫字擦躍連接，將網(wǎng)絡(luò)淺層特征與深層語義信息結(jié)合，增強(qiáng)圖像細(xì)節(jié)生成效果；采用可變形卷積方法，寫字與印刷內(nèi)容的能力，減弱復(fù)雜背景對(duì)擦除效21.一種基于深度學(xué)習(xí)的手寫字擦除方法，其特征在于，包括如下步驟：步驟1,制作訓(xùn)練樣本，包括含有手寫字和印刷內(nèi)容的原始圖、手寫字和印刷內(nèi)容逐像素分類的掩碼圖以及只含有印刷內(nèi)容的目標(biāo)圖；步驟2,建立深度學(xué)習(xí)模型；步驟3,將訓(xùn)練樣本預(yù)處理后，送入深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，訓(xùn)練過程包括：輸入訓(xùn)練樣本中的原始圖，輸出掩碼生成圖和目標(biāo)生成圖；計(jì)算損失，優(yōu)化模型參數(shù)；重復(fù)訓(xùn)練直至模型收斂，得到訓(xùn)練完成后的深度學(xué)習(xí)模型；步驟4,獲取需要去除手寫字的文檔圖像；步驟5,將需要去除手寫字的文檔圖像輸入訓(xùn)練完成后的深度學(xué)習(xí)模型，得到去除手寫字后的圖像，完成基于深度學(xué)習(xí)的手寫字擦除；用Dice損失函數(shù)計(jì)算掩碼圖損失，目標(biāo)圖損失和掩碼圖損失相加得到總損失loss,計(jì)算方法包括：loss=Dice(imgmask,imgmask)+SmoothL1(imgtarget,imgta表示對(duì)應(yīng)的預(yù)測(cè)結(jié)果，imgmask表示掩碼生成模塊M生成的掩碼圖，im8target表示通過第一階段圖像生成模塊G?和第二階段圖像生成模塊G?輸出的目標(biāo)圖；掩碼圖損失Dice(Y,Y)計(jì)算方法為：目標(biāo)圖損失SmoothL1(Y,Y)計(jì)算方法包括：2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的手寫字擦除方法，其特征在于，步驟1中所述制作訓(xùn)練樣本的方法包括：步驟1-1,準(zhǔn)備含有手寫字和印刷內(nèi)容的文檔，使用拍照設(shè)備或掃描設(shè)備獲取文檔圖3步驟1-2,采用圖像編輯軟件對(duì)原始圖中的手寫字進(jìn)行逐像素去除和填補(bǔ)，得到目標(biāo)步驟1-3,采用算法程序?qū)υ紙D和目標(biāo)圖進(jìn)行計(jì)算，得到掩碼圖。3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的手寫字擦除方法，其特征在于，步驟1-3中所述得到掩碼圖的方法包括：對(duì)原始圖和目標(biāo)圖作差，得到差異圖；差異圖求絕對(duì)值后，對(duì)三通道的值取平均，得將差異灰度圖大于閾值的像素置為0,表示分類為手寫字，其他部分置為1,表示印刷內(nèi)4.根據(jù)權(quán)利要求3所述的一種基于深度學(xué)習(xí)的手寫字擦除方法，其特征在于，步驟2中，所述深度學(xué)習(xí)模型為全卷積神經(jīng)網(wǎng)絡(luò)，包括：掩碼生成模塊、第一階段圖像生成模塊以及第二階段圖像生成模塊。5.根據(jù)權(quán)利要求4所述的一種基于深度學(xué)習(xí)的手寫字擦除方法，其特征在于，步驟2中所述深度學(xué)習(xí)模型的每個(gè)模塊均采用編碼器-解碼器的結(jié)構(gòu)，其中，掩碼生成模塊與第一階段圖像生成模塊的編碼器共享參數(shù)。6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的手寫字擦除方法，其特征在于，步驟2中所述的全卷積神經(jīng)網(wǎng)絡(luò)中，添加跳躍連接，部署在各個(gè)模塊的編碼器與解碼器之間以及第一階段圖像生成模塊的解碼器與第二階段圖像生成模塊的編碼器之間；掩碼生成模塊采用注意力機(jī)制，用掩碼特征圖生成空間域注意力矩陣，指導(dǎo)目標(biāo)圖生第二階段圖像生成模塊中，編碼器與解碼器交界處的卷積層使用可變形卷積，實(shí)現(xiàn)自適應(yīng)特征采樣。7.根據(jù)權(quán)利要求6所述的一種基于深度學(xué)習(xí)的手寫字擦除方法，其特征在于，步驟3中，所述將訓(xùn)練樣本預(yù)處理的方法包括：將訓(xùn)練樣本歸一化至相同尺寸，并使用隨機(jī)水平翻轉(zhuǎn)以及隨機(jī)角度旋轉(zhuǎn)進(jìn)行數(shù)據(jù)增8.根據(jù)權(quán)利要求7所述的一種基于深度學(xué)習(xí)的手寫字擦除方法，其特征在于，步驟4中，所述獲取文檔圖像的方法包括：在含有印刷內(nèi)容的紙質(zhì)文檔上任意添加手寫字筆跡，使用拍照設(shè)備或掃描設(shè)備獲取該文檔的圖像。9.根據(jù)權(quán)利要求8所述的一種基于深度學(xué)習(xí)的手寫字擦除方法，其特征在于，步驟5包將文檔圖像尺寸歸一化后，輸入至訓(xùn)練完成后的深度學(xué)習(xí)模型，對(duì)輸出的圖像使用雙線性插值方法，將其調(diào)整為輸入文檔圖像大小，最終完成基于深度學(xué)習(xí)的手寫字擦除。4一種基于深度學(xué)習(xí)的手寫字擦除方法技術(shù)領(lǐng)域[0001]本發(fā)明涉及一種手寫字擦除方法，特別是一種基于深度學(xué)習(xí)的手寫字擦除方法。背景技術(shù)[0002]對(duì)文檔進(jìn)行拍照并擦除文檔圖像中的手寫字是一種文檔還原技術(shù)，在辦公、學(xué)習(xí)等領(lǐng)域有廣泛的應(yīng)用，例如：(1)保護(hù)文檔中手寫的隱私信息；(2)作為預(yù)處理來提高OCR技術(shù)識(shí)別印刷字的精度；(3)還原文檔原始信息，用于如學(xué)生錯(cuò)題收集以便重復(fù)練習(xí)、提取原始表格以便信息重新填寫、去除書籍圖像上的筆記或涂鴉等。對(duì)比手寫字擦除前后圖像，還[0003]實(shí)現(xiàn)手寫字擦除可分為兩個(gè)步驟：首先逐像素區(qū)分手寫字和印刷內(nèi)容，然后填充邊緣檢測(cè)、顏色定位等定位手寫字的方法失效；填充手寫字區(qū)域時(shí)，現(xiàn)有的隨機(jī)采樣背景像素值進(jìn)行填充的方法，無法在手寫字與印刷字重疊的情況下，完整還原印刷字。顯然，使用現(xiàn)有方法自動(dòng)化地進(jìn)行文檔圖像手寫字擦除的效果不盡人意，而若利用圖像編輯軟件對(duì)手寫字進(jìn)行逐像素處理，需要消耗的人力成本過高。發(fā)明內(nèi)容[0004]發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于深度學(xué)習(xí)的手寫字擦除方法。[0005]為了解決上述技術(shù)問題，本發(fā)明公開了一種基于深度學(xué)習(xí)的手寫字擦除方法，包括如下步驟：[0006]步驟1,制作訓(xùn)練樣本，包括含有手寫字和印刷內(nèi)容的原始圖、手寫字和印刷內(nèi)容逐像素分類的掩碼圖以及只含有印刷內(nèi)容的目標(biāo)圖；[0007]步驟2,建立深度學(xué)習(xí)模型；[0008]步驟3,將訓(xùn)練樣本預(yù)處理后，送入深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，訓(xùn)練過程包括：輸入訓(xùn)練樣本中的原始圖，輸出掩碼生成圖和目標(biāo)生成圖；計(jì)算損失，優(yōu)化模型參數(shù)；重復(fù)訓(xùn)練直至模型收斂，得到訓(xùn)練完成后的深度學(xué)習(xí)模型；[0009]步驟4,獲取需要去除手寫字的文檔圖像；[0010]步驟5,將需要去除手寫字的文檔圖像輸入訓(xùn)練完成后的深度學(xué)習(xí)模型，得到去除手寫字后的圖像，完成基于深度學(xué)習(xí)的手寫字擦除。[0011]本發(fā)明步驟1中所述制作訓(xùn)練樣本的方法包括：[0012]步驟1-1,準(zhǔn)備含有手寫字和印刷內(nèi)容的文檔，使用拍照設(shè)備或掃描設(shè)備獲取文檔[0013]步驟1-2,采用圖像編輯軟件對(duì)原始圖中的手寫字進(jìn)行逐像素去除和填補(bǔ)，得到目標(biāo)圖；[0014]步驟1-3,采用算法程序?qū)υ紙D和目標(biāo)圖進(jìn)行計(jì)算，得到掩碼圖。5[0020]本發(fā)明步驟2中所述深度學(xué)習(xí)模型的每個(gè)模塊均采用編碼器-解碼器的結(jié)構(gòu)，其器與解碼器之間以及第一階段圖像生成模塊的解碼器與第二階段圖像生成模塊的編碼器之間；圖生成；現(xiàn)自適應(yīng)特征采樣。增強(qiáng)。算方法包括：0029]imgtarget=G?(G?(imgorigi6取0.5。[0037]本發(fā)明步驟4中，所述獲取文檔[0038]在含有印刷內(nèi)容的紙質(zhì)文檔上任意添加手寫字筆跡，使用拍照設(shè)備或掃描設(shè)備獲取該文檔的圖像。[0040]將文檔圖像尺寸歸一化后，輸入至訓(xùn)練完成后的深度學(xué)習(xí)模型，對(duì)輸出的圖像使用雙線性插值方法，將其調(diào)整為輸入文檔圖像大小，最終完成基于深度學(xué)習(xí)的手寫字擦除。[0041]本發(fā)明利用編碼器-解碼器結(jié)構(gòu)為基本模塊的全卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)文檔圖像中手寫字區(qū)域的識(shí)別與填補(bǔ)，提供了一種高效、高質(zhì)量的文檔圖像手寫字擦除方法。與現(xiàn)有的手工擦除手寫字方法相比，本發(fā)明的優(yōu)勢(shì)在于，只需將圖像輸入至訓(xùn)練好的模型即可自動(dòng)化擦除手寫字，操作便捷，消耗人力成本少；與現(xiàn)有的自動(dòng)擦除手寫字方法相比，本發(fā)明的優(yōu)勢(shì)在于生成圖像背景細(xì)節(jié)質(zhì)量好，手寫字識(shí)別與擦除效果佳。[0043]通過本方法實(shí)現(xiàn)了文檔圖像擦除手寫字，本方法使用的卷積神經(jīng)網(wǎng)絡(luò)模型引入跳躍連接，將網(wǎng)絡(luò)淺層特征與深層語義信息結(jié)合，增強(qiáng)圖像細(xì)節(jié)生成效果；采用可變形卷積方法，讓網(wǎng)絡(luò)自適應(yīng)調(diào)節(jié)卷積采樣位置，提高不同形狀尺寸的手寫字跡擦除效果；通過注意力機(jī)制，引導(dǎo)網(wǎng)絡(luò)加強(qiáng)對(duì)手寫字區(qū)域的特征提取，提高分辨手寫字與印刷內(nèi)容的能力，減弱復(fù)雜背景對(duì)擦除效果的影響。附圖說明[0044]下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明做更進(jìn)一步的具體說明，本發(fā)明的上述和/或其他方面的優(yōu)點(diǎn)將會(huì)變得更加清楚。[0045]圖1是本發(fā)明的模型示意圖。[0046]圖2是本發(fā)明訓(xùn)練流程圖。[0048]圖4是含有手寫字和印刷內(nèi)容的文檔圖像示意圖。[0049]圖5是使用本發(fā)明方法擦除手寫字后的文檔圖像示意圖。具體實(shí)施方式[0050]本發(fā)明提出了一種基于深度學(xué)習(xí)的手寫字擦除方法，包括如下步驟：[0051]步驟1,制作訓(xùn)練樣本，包括含有手寫字和印刷內(nèi)容的原始圖、手寫字和印刷內(nèi)容逐像素分類的掩碼圖以及只含有印刷內(nèi)容的目標(biāo)圖；[0052]步驟1-1,準(zhǔn)備含有手寫字和印刷內(nèi)容的文檔，使用拍照設(shè)備或掃描設(shè)備獲取文檔7[0067]所述計(jì)算損失的方法包括：使用SmoothL1損失函數(shù)(參考文獻(xiàn)：RenS,HeK,GirshickR,etal.Fasterr-cnn:Towardsreal-timeobjectdetectionproposalnetworks[J].Advancesinneuralinformationprocessi28.)計(jì)算目標(biāo)圖損失，使用Dice損失函數(shù)(參考文獻(xiàn)：MilletariF,NavabN,AhmadiSA.V-net:Fullyconvolutionalneuralnetworksforvolumetricsegmentation[C]//2016fourthinternationalconferenceon3Dvision(2016:565-571.)計(jì)算掩碼圖損失，目標(biāo)圖損失和掩碼圖損失相加得到總損失loss,計(jì)算方8的變量表示對(duì)應(yīng)的預(yù)測(cè)結(jié)果，imgmask表示掩碼生成模塊M生成的掩碼圖，imgtarget表示通過第一階段圖像生成模塊G?和第二階段圖像生成模塊G?輸出的目標(biāo)圖；[0072]掩碼圖損失Dice(Y,Y)計(jì)算方法為：[0074]目標(biāo)圖損失SmoothL1(Y,Y)計(jì)算方法包括：取0.5。[0078]步驟4,獲取需要去除手寫字的文檔圖像，方法[0079]在含有印刷內(nèi)容的紙質(zhì)文檔上任意添加手寫字筆跡，使用拍照設(shè)備或掃描設(shè)備獲取該文檔的圖像。[0080]步驟5,將需要去除手寫字的文檔圖像輸入訓(xùn)練完成后的深度學(xué)習(xí)模型，得到去除手寫字后的圖像，完成基于深度學(xué)習(xí)的手寫字擦除。將文檔圖像尺寸歸一化后，輸入至訓(xùn)練完成后的深度學(xué)習(xí)模型，對(duì)輸出的圖像使用雙線性插值方法(參考文獻(xiàn)：數(shù)字圖像處理：第3版，(美)岡薩雷斯(Gonzalez,R.C.)、(美)伍茲(Woods,R.E.)著,阮秋琦等譯，北京：電子工業(yè)出版社，2011.6,第37頁),將其調(diào)整為輸入文檔圖像大小，最終完成基于深度學(xué)習(xí)的手寫字擦除。[0081]下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明做進(jìn)一步說明。[0083]一種基于深度學(xué)習(xí)的手寫字擦除方法，如圖1所示，本實(shí)例是一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)模型，由掩碼生成模塊、第一階段圖像生成模塊、第二階段圖像生成模塊這三個(gè)模塊組成。其中，每個(gè)模塊采用編碼器-解碼器的結(jié)構(gòu)，掩碼生成模塊的編碼器與第一階段圖像生成模塊的編碼器共享參數(shù)。[0084]本實(shí)施例提供了一種基于深度學(xué)習(xí)的手寫字擦除模型訓(xùn)練方法，訓(xùn)練流程如圖2[0086]準(zhǔn)備有印刷內(nèi)容的紙質(zhì)手寫字文檔，適當(dāng)添加手寫字后，利用掃描儀獲取到文檔圖像作為原始圖；使用Photoshop軟件進(jìn)行逐像素手寫字區(qū)域識(shí)別和填充，獲得目標(biāo)圖；用算法計(jì)算掩碼圖。每一組樣本均由一張?jiān)紙D、一張目標(biāo)圖、一張掩碼圖組成。為保證訓(xùn)練效果，需制作一定量的樣本，如制作1100組樣本，其中1000組作為訓(xùn)練集，100組作為驗(yàn)證集。9[0087]計(jì)算掩碼圖的算法如下：取原始圖與對(duì)應(yīng)的目標(biāo)圖，作差并取絕對(duì)值，接著取三通道的平均值，得到差異灰度圖；將差異灰度圖大于25的像素置為0,小于等于25的置為1,即得到掩碼圖。[0089]構(gòu)建圖1所示全卷積神經(jīng)網(wǎng)絡(luò)模型，可利用現(xiàn)有深度學(xué)習(xí)框架搭建，如PyTorch。[0091]每組樣本輸入模型前需進(jìn)行預(yù)處理，樣本預(yù)處理包括訓(xùn)練樣本尺寸歸一化和數(shù)據(jù)增強(qiáng)，比如歸一化至512×512,使用隨機(jī)水平翻轉(zhuǎn)、隨機(jī)角度旋轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)。進(jìn)行樣本預(yù)處理時(shí)，需保證對(duì)同組樣本內(nèi)每張圖所做的預(yù)處理操作相同，如圖像旋轉(zhuǎn)的角度需一致。[0092]訓(xùn)練模型：將預(yù)處理后的樣本輸入模型，根據(jù)輸出的預(yù)測(cè)圖計(jì)算生成器損失，并使用Adam優(yōu)化器優(yōu)化模型參數(shù)。模型訓(xùn)練時(shí)的損失包括兩部分：掩碼圖損失和目標(biāo)圖損失。其具體公式如下：[0094]loss=Dice(imgmask,imgmask)+SmoothL1(imgtarget,imgtarget)[0095]imgmask[0096]imgtarget=G?([0099]目標(biāo)圖損失：的變量表示對(duì)應(yīng)的預(yù)測(cè)結(jié)果，如imgmask表示掩碼生成模塊M生成的掩碼圖，imgtarget表示通過第一階段圖像生成模塊G?和第二階段圖像生成模塊G?輸出的目標(biāo)圖，Y、Y分別表示同分辨率的兩張圖，每張圖有n個(gè)像素值，y,和；分別表示Y和Y中的第i個(gè)像素值，smooth11函數(shù)用于度量?jī)蓚€(gè)值的距離，y和分別表示被度量的兩個(gè)值，β取0.5。[0104]計(jì)算分?jǐn)?shù)score來衡量模型擦除手寫字的性能，score值越高，模型性能越佳。score具體由PSNR(PeakSignal-to-NoiseRatio,峰值信噪比，經(jīng)常用作為影像處理中的圖像壓縮等領(lǐng)域信號(hào)重建質(zhì)量的測(cè)量方法，參考文獻(xiàn)：《DocumentandImagecompression》第31頁中對(duì)其進(jìn)行了相關(guān)介紹并給出了計(jì)算方法，該書信息如下：DocumentandImagecompression,Barni,Mauro,2018,CRCpress)和MSSSIM(Multi-ScalesimilarityforimagequalitBovik,AlanC,TheThrity-SeveComputers,2003,2,1398—1402,2003,Ieee,/docu1292216)組成：+0.5×MSSSIM(imgtarget,im[0106]其中，imgtarge表示真實(shí)目標(biāo)圖，imStarget表示通過模塊輸出的目標(biāo)圖；相似度和結(jié)構(gòu)相似度的權(quán)重。C?、C?和C?是常數(shù)，用于穩(wěn)定計(jì)算，防止出現(xiàn)分母過小的情況。數(shù)，表示計(jì)算結(jié)構(gòu)相似性的層級(jí)數(shù)。Ln(X,Y)表示以2?1為因子對(duì)X和Y的寬高進(jìn)行縮小，并計(jì)算兩縮小后圖像的亮度相似度，C;(X,Y)和S;(X,Y)分別表示以231為因子對(duì)X和Y的寬高進(jìn)行縮小，并分別計(jì)算兩縮小后圖像的對(duì)比度相似度和結(jié)構(gòu)相似度。[0114]本實(shí)施例提供了一種基于深度學(xué)習(xí)