(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN115423857B(65)同一申請的已公布的文獻(xiàn)號地址221000江蘇省徐州市南郊翟山(74)專利代理機(jī)構(gòu)南京正聯(lián)知識產(chǎn)權(quán)代理有限公司32243專利代理師俞曉梅卷(第20期),第2993-3009頁.審查員劉倩倩(54)發(fā)明名稱(57)摘要本發(fā)明公開了一種用于可穿戴頭盔的單目圖像深度估計方法，涉及圖像處理技術(shù)領(lǐng)域，包括如下步驟：以礦井圖像序列作為訓(xùn)練數(shù)據(jù)，建立進(jìn)行單目深度估計的深度卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練模型，并從卷積神經(jīng)網(wǎng)絡(luò)的平面系數(shù)解碼器中計算出能預(yù)測井下圖像深度圖的平面系數(shù)；基于所述平面系數(shù)預(yù)測出初始井下圖像深度圖，根據(jù)曼哈頓結(jié)構(gòu)法向檢測得到預(yù)測法向量，從而與對齊法線相似性約束；通過共平面法向深度約束估計，提取初始預(yù)測深度和平面差異求得的深度圖，利用兩者風(fēng)格矩陣進(jìn)行余弦相似度約束。本發(fā)明基于能預(yù)測井下圖像深度圖的平面系數(shù)間接再預(yù)測出深度圖，打破了傳統(tǒng)的生成初始深獲得平面系數(shù)束估計束估計2步驟b,對步驟a得到的初始井下圖像深度圖進(jìn)行主導(dǎo)法向量估計，從而將其曼哈頓結(jié)平面的70%作為估計法向量的平面；步驟c,利用步驟a得到的初始井下圖像深度圖以及步驟b主導(dǎo)法向量，獲取平面到原點(diǎn)作為損失函數(shù)進(jìn)行深度約束估計；所述提取風(fēng)格特征作為額外信號來約束估計的深度具體為：面深度Dme分別送入卷積神經(jīng)網(wǎng)絡(luò)中編碼器提取它們的風(fēng)格特征以得到兩者的格拉姆矩約束為：2.根據(jù)權(quán)利要求1所述的一種用于可穿戴頭盔的單目圖像深所述步驟a中通過平面系數(shù)恢復(fù)出初始井下圖像深度圖的方法包括：假設(shè)反向投影的三維點(diǎn)P對應(yīng)于3D場景的平面部分，點(diǎn)-法線形式中的關(guān)聯(lián)平面方程為定相機(jī)焦距(f,f,)和主點(diǎn)(u?,v。),圖像中每個像素點(diǎn)p=(u,v)"通過以下式子被映射為三對于描繪平面三維表面的圖像區(qū)域，逆深度是像素位置的仿射函數(shù)，其中系數(shù)對相機(jī)3和歸一化將C=(α,β,γ,p)作為平面系數(shù)，代入上式得到Z=h(C,u,v);進(jìn)而預(yù)測出初始井下圖像深度圖D;所述映射f可以準(zhǔn)確地表達(dá)為f?=ho(g,P),步驟b2,基于步驟b1中從二維圖像提取的滅點(diǎn)v,根據(jù)圖像中結(jié)構(gòu)線估計提取主導(dǎo)方步驟b4,采用曼哈頓法向檢測來檢測分類屬于主平面的平面法線，然后使用余弦相似其中d為平面總數(shù)且n1>n2>n3...n7其中n“是對齊法線，余弦相似性定義為s(n,n)=(n·n)/(IIn,II·IIn1I);讓每其中1和0分別代表曼哈頓和非曼哈頓區(qū)域，因此本方法使用上述對齊法線作為監(jiān)控信4其中，Nor是位于曼哈頓區(qū)域的像素數(shù)，M”表示像素p是否位于平面區(qū)域，M表示像素是否位于曼哈頓面內(nèi)。5.根據(jù)權(quán)利要求3所述的一種用于可穿戴頭盔的單目圖像深度估計方法，其特征在于，所述步驟b1中滅點(diǎn)檢測的具體方法包括：步驟b11,輸入圖像的直線檢測；步驟b12,計算上述直線的交點(diǎn)作為滅點(diǎn)的候選，然后使用優(yōu)化方法獲得最優(yōu)的三個消失點(diǎn)；計算滅點(diǎn)時，采用基于Harris像素角點(diǎn)檢測方法檢測序列圖像，提取每幅圖像的兩組相互正交的平行直線的四個交點(diǎn)的圖像坐標(biāo)，然后根據(jù)四個交點(diǎn)的坐標(biāo)和滅點(diǎn)的定義，求出兩滅點(diǎn)的圖像坐標(biāo)。6.根據(jù)權(quán)利要求5所述的一種用于可穿戴頭盔的單目圖像深度估計方法，其特征在于，步驟b11中采用的直線檢測方法為：先進(jìn)行非微分邊緣檢測算子Canny進(jìn)行邊界檢測，然后將線段連接。7.根據(jù)權(quán)利要求5所述的一種用于可穿戴頭盔的單目圖像深度估計方法，其特征在于，所述優(yōu)化方法為最小二乘法或投票方式。8.根據(jù)權(quán)利要求3所述的一種用于可穿戴頭盔的單目圖像深度估計方法，其特征在于，所述步驟c具體包括：步驟c1,平面區(qū)域檢測：讓像素p的三維坐標(biāo)為Xp,假設(shè)該三維點(diǎn)位于法線為基于步驟b4中計算得到的對齊法線的平面內(nèi)，則平面到原點(diǎn)的距離計算為：假設(shè)q是p的相鄰像素，它們之間的法線相異性定義為兩個向量之間的歐氏距離：D,(p,9)=|nans;通過Dm×和Dmin分別表示所有相鄰像素之間的最大和最小的不相似性，另外定義了一則平面到原點(diǎn)距離的相異性定義為：則幾何信息差異性將兩種相異性的歸一化合并為：顏色信息差異性計算為：根據(jù)礦井下信息所依據(jù)幾何信息較多，對顏色信息差異性和幾何信息差異性賦予權(quán)值來結(jié)合：D(p,q)=0.4*D.(p,q)+0.6*D5基于差異性，應(yīng)用基于圖的分割并過濾出小區(qū)域，以獲得平面區(qū)域；步驟c2,在檢測出平面區(qū)域后，調(diào)用共面約束展平所述平面區(qū)域內(nèi)的三維點(diǎn)，對所述平面區(qū)域內(nèi)三維點(diǎn)進(jìn)行平面擬合，通過求解最小二乘問題得到平面參數(shù)θ=-n/d∈R3,,其中求解平面參數(shù)的公式為：然后通過平面擬合計算像素p的逆深度p,為：其中K表示攝像機(jī)固有矩陣；然后將逆深度p。轉(zhuǎn)換為深度使用從平面擬合獲得的深度提取風(fēng)格特征作為額外信號來約束估計的深度。6一種用于可穿戴頭盔的單目圖像深度估計方法技術(shù)領(lǐng)域[0001]本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種用于可穿戴頭盔的單目圖像深度估背景技術(shù)[0002]煤炭是我國國民經(jīng)濟(jì)發(fā)展的基礎(chǔ)，但是礦井下的環(huán)境十分復(fù)雜，存在著多種有毒系列安全隱患問題，這些問題輕則帶來煤礦生產(chǎn)產(chǎn)能下降，重則帶來人員傷亡。因此，研究利用可穿戴頭盔安裝攝像儀及傳感器，實(shí)時采集周圍環(huán)境圖像，進(jìn)行深度預(yù)測估計，從而識別分析危險態(tài)勢情況，聯(lián)動預(yù)警響應(yīng)，有利于井下工作人員及時排除隱患，減少危險事故發(fā)生，保障井下作業(yè)安全，同時也是當(dāng)前智能化礦山建設(shè)戰(zhàn)略的重要組成部分。但是礦井深度幾十米到上百米不等，低光照、低紋理區(qū)域較多，而且結(jié)構(gòu)復(fù)雜，這對井下圖像單目深度估穿戴式頭盔用于單目圖像深度估計方法及系統(tǒng)是保證煤礦人員安全至關(guān)重要的環(huán)節(jié)。[0003]按照數(shù)學(xué)模型的不同，單目深度估計方法可分為基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法與基于深度學(xué)習(xí)的方法?；趥鹘y(tǒng)機(jī)器學(xué)習(xí)的單目深度估計方法一般使用馬爾可夫隨機(jī)場(MRF)或條件隨機(jī)場(CRF)對深度關(guān)系進(jìn)行建模，在最大后驗概率框架下，通過能量函數(shù)最小化求解深度。依據(jù)模型是否包含參數(shù)，又可進(jìn)一步分為參數(shù)學(xué)習(xí)方法與非參數(shù)學(xué)習(xí)方法，前者假定模型包含未知參數(shù)，訓(xùn)練過程即是對未知參數(shù)進(jìn)行求解；后者使用現(xiàn)有的數(shù)據(jù)集進(jìn)行相似性檢索推測深度，不需要通過學(xué)習(xí)來獲得參數(shù)?；谏疃葘W(xué)習(xí)的單目深度估計方法一般同時依據(jù)不同的分類標(biāo)準(zhǔn)，自底向上逐層級將其歸類。第1層級為僅預(yù)測深度的單任務(wù)方法與同時預(yù)測深度及語義等信息的多任務(wù)方法。圖片的深度和語義等信息關(guān)聯(lián)密切，因此有部分工作研究多任務(wù)的聯(lián)合預(yù)測方法；第2層級為絕對深度預(yù)測方法與相對深度關(guān)系預(yù)測方法，絕對深度是指場景中的物體到攝像機(jī)的實(shí)際距離，而相對深度關(guān)注圖片中物體的相對遠(yuǎn)近關(guān)系，給定任意圖片，人的視覺更擅于判斷場景中物體的相對遠(yuǎn)近關(guān)系；第3層級包含有監(jiān)督回歸方法、有監(jiān)督分類方法及無監(jiān)督方法。[0004]但由于礦井下沒有豐富的紋理區(qū)域，光度損失變得很弱，無法訓(xùn)練良好的深度模型。雖然現(xiàn)在利用礦井下結(jié)構(gòu)規(guī)律進(jìn)行曼哈頓世界結(jié)構(gòu)規(guī)律自監(jiān)督信號的選取，但是礦井下的各種平面較多，會預(yù)測出很多無關(guān)緊要的平面法向量，從而導(dǎo)致估計出的曼哈頓世界主方向軸誤差較大，現(xiàn)有方法對結(jié)果有一定的改善作用，但單目深度估計的效果也差強(qiáng)人發(fā)明內(nèi)容[0005]針對上述存在的問題，本發(fā)明提供了一種用于可穿戴頭盔的單目圖像深度估計方法，通過在進(jìn)行單目深度估計的卷積神經(jīng)網(wǎng)絡(luò)解碼器中得到平面系數(shù)從而間接再預(yù)測深度圖，在數(shù)學(xué)方面相較于直接預(yù)測礦井下圖像深度能有效提高深度圖效果，使得訓(xùn)練約束的7在礦井下的復(fù)雜結(jié)構(gòu)中通過利用具有均勻顏色的區(qū)域是平面的特征來檢測平面區(qū)域而導(dǎo)[0009]步驟b,對步驟a得到的初始井下圖像深度圖進(jìn)行主導(dǎo)法向量估計，從而將其曼哈[0010]步驟c,利用步驟b得到的初始井下圖像深度圖以及主導(dǎo)法向量，獲取平面到原點(diǎn)程為n·p+d=0,其中n=(a,b,c)是平面法向量，-d是平面到原點(diǎn)的距離；使用[0021]將C=(a,β,γ,p)作為平面系數(shù)，代入上式得到Z=h(C,u,v);進(jìn)而預(yù)測出初始8數(shù)來表示，h:(C(u,v),u,v)→D(u,v)從平面系數(shù)表示再映射成預(yù)測的初始井下圖像深度[0026]步驟b2,基于步驟b1中從二維圖像提取的滅點(diǎn)v,根據(jù)圖像中結(jié)構(gòu)線估計提取主導(dǎo)的三維坐標(biāo)Xp,再采用一個可微點(diǎn)到法線層來估計平面法向量；70%作為估計法向量的平面；采用曼哈頓法向檢測來檢測分類屬于主平面的平面法線，然9兩組相互正交的平行直線的四個交點(diǎn)的圖像坐標(biāo)，然后根據(jù)四個交點(diǎn)的坐標(biāo)和滅點(diǎn)的定[0044]進(jìn)一步地，所述步驟b11中采用的直線檢測方法為：先進(jìn)行非微分邊緣檢測算子[0047]步驟c1,平面區(qū)域檢測：讓像素p的三維坐標(biāo)為Xp,假設(shè)該三維點(diǎn)位于法線為基于述平面區(qū)域內(nèi)三維點(diǎn)進(jìn)行平面擬合，通過求解最小二乘問題得到平面參數(shù)θ=-n/d∈R3,,初始深度D。和平面深度D分別送入卷積神經(jīng)網(wǎng)絡(luò)中編碼器提取它們的風(fēng)格特征以得到再預(yù)測出深度圖，從數(shù)學(xué)方面間接預(yù)測的深度圖效果遠(yuǎn)比直接預(yù)測礦井下圖像深度效果[0075]2.目前的利用礦井下結(jié)構(gòu)規(guī)律是用所有平面的可能法向量與預(yù)測的主法向量進(jìn)的方法既減少了計算量，又符合礦井下結(jié)構(gòu)的曼哈頓規(guī)律，實(shí)驗通過利用具有均勻顏色的區(qū)域是平面的特征來檢測平面區(qū)域而導(dǎo)致的圖像的錯誤檢測和中的卷積神經(jīng)網(wǎng)絡(luò)的編碼器進(jìn)行提取風(fēng)格特征矩陣gram1、gram2,將兩個矩陣分別拉成一附圖說明[0080]圖3為本發(fā)明的實(shí)施例所述的共平面法向深度約束估計步驟中的顏色-幾何信息[0084]如圖1所示，本發(fā)明所述的一種用于可穿戴頭盔的單目圖像深度估計方法的整體點(diǎn)-法線形式中的關(guān)聯(lián)平面方程為n·p+d=0,其中n=(a,b,c)是平面法向量，d是平面到并將并將[0091]將C=(a,β,γ,p)作為平面系數(shù)，代入上式得到Z=h(C,u,v),進(jìn)而預(yù)測出初始從平面系數(shù)表示再映射成預(yù)測的初始深度圖像組相互正交的平行直線的四個交點(diǎn)的圖像坐標(biāo)，然后根據(jù)四個交點(diǎn)的坐標(biāo)和滅點(diǎn)的定義，[0096]然后根據(jù)公式Xp=D(p)K?1p得到深度圖中每個像素等于10時，選取較大平面的70%作為估計法向量的平面；估計平面法線預(yù)測n,采用曼哈頓的法向量n,和每個可能主方向n之間的差異，并選擇具有最佳相似性的一個作為該點(diǎn)的曼示像素是否位于曼哈頓面內(nèi)。[0106]在共平面法向深度約束估計步驟中，如圖3、圖4所示，在首先進(jìn)行的平面區(qū)域檢測過程中，集成顏色和幾何信息，借助風(fēng)格遷移的原理，提取初始預(yù)測和平面求得的深度圖的風(fēng)格矩陣求取余弦相似度來進(jìn)行約束。該差異約束方法考慮了顏色、平面法向量和原點(diǎn)到平面的距離以及深度風(fēng)格特征，具體包括：[0107]假設(shè)像素p的三維坐標(biāo)Xp位于法線為對齊法線的平面內(nèi)，則平面到原點(diǎn)的距離計[0109]假設(shè)q是p的相鄰像素，它們之間的法線相異性定義為兩個向量之間的歐氏距離：[0111]通過Dm和D分別表示所有相鄰像素之間的最大和最小的不相似性，另外定義[0113]則平面到原點(diǎn)距離的相異性定義為：[0115]則幾何信息差異性將兩種相異性的歸一化合并為：[0117]顏色信息差異性計算為：[0120]根據(jù)礦井下信息所依據(jù)幾何信息較多，對顏色信息差異性和幾何信息差異性賦予權(quán)值來結(jié)合：[0122]基于差異性，應(yīng)用基于圖的分割并過濾出信息相比，本實(shí)施例的方法充分考慮到了礦井下結(jié)構(gòu)中的幾何信息，避