(19)國家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(22)申請(qǐng)日2022.04.26(43)申請(qǐng)公布日2022.09.06地址116024遼寧省大連市甘井子區(qū)凌工有限公司11385B25J9/16(2006.01)(56)對(duì)比文件GO6T3/4046(2024.01)權(quán)利要求書3頁說明書8頁附圖5頁一種觸覺圖像超分辨率重建方法及采集系統(tǒng)本發(fā)明涉及一種觸覺圖像超分辨率重建方分辨率觸覺傳感器獲取高分辨率觸覺圖像樣本，然后利用觸覺超分辨率數(shù)據(jù)集訓(xùn)練基于深度學(xué)將待測(cè)接觸面的觸覺數(shù)據(jù)重建為超分辨率觸覺分辨率重建技術(shù)，能夠有效的恢復(fù)出接觸面形傳感器輕巧，柔性，易于集成到機(jī)器人等設(shè)備上訓(xùn)練2使用觸覺傳感器對(duì)每個(gè)接觸面進(jìn)行多次采樣，獲得每個(gè)接根據(jù)每次采樣時(shí)觸覺傳感器的中心點(diǎn)坐標(biāo)，對(duì)每個(gè)接觸面所選取接觸面中心區(qū)域內(nèi)每次采樣的觸覺數(shù)據(jù)和對(duì)應(yīng)接觸面的高分辨率觸覺圖像樣本根據(jù)所述觸覺超分辨率數(shù)據(jù)集，采用有監(jiān)督的機(jī)器學(xué)習(xí)方法訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型，將觸覺傳感器采集的待測(cè)接觸面的觸覺數(shù)據(jù)輸入觸覺超分辨率模預(yù)設(shè)采樣位置(x,y,hinit)=(0,0,hinit);其中，hinit為觸覺傳感器到接觸面的垂直距使機(jī)械臂帶動(dòng)觸覺傳感器運(yùn)動(dòng)到接觸面上方的采樣位置(x,y,hinit),同時(shí)令x增加△x,并將(x+△x,y,hinit)替換(x,y,hin器運(yùn)動(dòng)到接觸面上方的采樣位置(x,y,hinit),同時(shí)調(diào)節(jié)機(jī)械臂末端的Z軸垂直水平面”,直令y增加△y,并將(x,y+△y,hinit)替換(x,y,hinit),返回步驟“使機(jī)械臂帶動(dòng)觸覺傳感根據(jù)觸覺傳感器的分辨率和采集次數(shù)I,利用公式d=△x×I,確定沿X軸移動(dòng)一次的預(yù)3根據(jù)觸覺傳感器的分辨率和采集次數(shù)J,利用公式d=△y×J,確定沿Y軸移動(dòng)一次的預(yù)將每次采樣采集的多組觸覺數(shù)據(jù)經(jīng)過高通濾波后求平均，并將平觸覺數(shù)據(jù)；對(duì)所述初始高分辨率觸覺圖像樣本進(jìn)行平滑處理，獲得接觸面述選取接觸面中心區(qū)域內(nèi)每次采樣的觸覺數(shù)據(jù)和對(duì)應(yīng)接觸面的高分辨率觸覺圖像樣選取每個(gè)接觸面在iE范圍內(nèi)采集的觸模型為基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型或基于生成對(duì)抗網(wǎng)絡(luò)的深度學(xué)習(xí)模型；所述基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型和所述基于生成對(duì)抗網(wǎng)絡(luò)的深度學(xué)習(xí)模型均所述基于生成對(duì)抗網(wǎng)絡(luò)的深度學(xué)習(xí)模型的損失函數(shù)為L(zhǎng)GAN=LMSE+10-3·LGen=LMSE+10-3·∑-logDe?(Ge?(Tx,y?));其中，47.一種觸覺圖像超分辨率采集系統(tǒng)，其特征在于，所述采集系統(tǒng)包括：機(jī)械臂、觸覺傳感器和上位機(jī)；觸覺傳感器安裝在機(jī)械臂的末端；機(jī)械臂的控制端和信號(hào)輸出端均與上位機(jī)連接；所述上位機(jī)用于接收觸覺傳感器的中心點(diǎn)坐標(biāo)，并根據(jù)觸覺傳感器的中心點(diǎn)坐標(biāo)控制機(jī)械臂按照預(yù)設(shè)采集路徑移動(dòng)；觸覺傳感器的信號(hào)輸出端與上位機(jī)連接；所述上位機(jī)用于在觸覺傳感器與接觸面接觸后，接收觸覺傳感器采集的接觸面的觸覺數(shù)據(jù)，并根據(jù)所述觸覺數(shù)據(jù)和觸覺傳感器的中心點(diǎn)坐標(biāo)重建所述接觸面的高分辨率觸覺圖像；所述上位機(jī)包括：采樣模塊，用于獲得每個(gè)接觸面每次采樣時(shí)的觸覺數(shù)據(jù)和觸覺傳感器的中心點(diǎn)坐標(biāo)；標(biāo)簽獲得模塊，用于根據(jù)每次采樣時(shí)觸覺傳感器的中心點(diǎn)坐標(biāo)，對(duì)每個(gè)接觸面所有采樣的觸覺數(shù)據(jù)進(jìn)行配準(zhǔn)，獲得對(duì)應(yīng)接觸面的一個(gè)高分辨率觸覺圖像樣本；數(shù)據(jù)集構(gòu)建模塊，用于選取接觸面中心區(qū)域內(nèi)每次采樣的觸覺數(shù)據(jù)和對(duì)應(yīng)接觸面的高分辨率觸覺圖像樣本構(gòu)成數(shù)據(jù)對(duì)，構(gòu)建觸覺超分辨率數(shù)據(jù)集；訓(xùn)練模塊，用于根據(jù)所述觸覺超分辨率數(shù)據(jù)集，采用有監(jiān)督的機(jī)器學(xué)習(xí)方法訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型，獲得觸覺超分辨率模型；應(yīng)用模塊，用于將觸覺傳感器采集的待測(cè)接觸面的觸覺數(shù)據(jù)輸入觸覺超分辨率模型，輸出待測(cè)接觸面的高分辨率觸覺圖像。5技術(shù)領(lǐng)域[0001]本發(fā)明涉及觸覺感知領(lǐng)域，特別是涉及一種觸覺圖像超分辨率重建方法及采集系背景技術(shù)[0002]觸覺傳感器是一種能夠采集接觸面力的分布、表面紋理等觸覺信息的傳感器。目前主流的觸覺傳感器可以分為兩種類型，第一種是基于視覺信息(vision-based)的觸覺傳感器，另一種是基于觸覺感應(yīng)單元(taxel-based)的觸覺傳感器。Vision-based觸覺傳感器是通過相機(jī)捕捉接觸面的變形作為觸覺信息，典型的產(chǎn)品有麻省理工學(xué)院的Gelsight觸覺傳感器、布里斯托大學(xué)的TacTip觸覺傳感器、Meta公司的DIGIT觸覺傳感器，由于相機(jī)需要一定的空間，導(dǎo)致這些傳感器的體積都比較臃腫，很難集成到機(jī)器人等設(shè)備上且不符合人類的觸覺感知行為。Taxel-based觸覺傳感器是將多個(gè)觸覺感應(yīng)單元(taxel)組合在一起，每個(gè)感應(yīng)單元表示一定區(qū)域內(nèi)的觸覺信息，相鄰兩個(gè)觸覺感應(yīng)單元的距離被定義為該傳感器的觸覺分辨率。典型產(chǎn)品有XelaRobotic公司的uSkin三軸力觸覺傳感器、Contactile公司的Contactile觸覺傳感器等。該類型的觸覺傳感器能夠直接測(cè)量出接觸過程中的力和位移信息分布，但由于目前制造工藝受限，傳感器的分辨率(兩個(gè)觸覺感應(yīng)單元之間的距離)要遠(yuǎn)低于基于視覺信息的觸覺傳感器，并且隨著傳感器分辨率的提高，也會(huì)帶來一系列問[0003]超分辨率(SuperResolution,SR)是指一種能夠?qū)⒌头直媛?LowResolution,LR)的數(shù)據(jù)恢復(fù)成高分辨率(HighResolution,HR)的技術(shù)。在計(jì)算機(jī)視覺(圖像超分辨率、視頻超分辨率)和音頻(音頻超分辨率)領(lǐng)域均有研究和應(yīng)用，而在觸覺領(lǐng)域卻少有研究。觸覺超分辨率技術(shù)可以僅使用現(xiàn)有的低分辨率觸覺傳感器獲取高分辨率觸覺信息，使得基于觸覺傳感器單元的觸覺傳感器可以獲取高分辨率觸覺信息的同時(shí)，依然能夠保證傳感器輕[0004]因此，如何利用超分辨率技術(shù)提高觸覺傳感器獲取的觸覺信息分辨率是目前亟待解決的技術(shù)問題。發(fā)明內(nèi)容[0005]本發(fā)明的目的是提供一種觸覺圖像超分辨率重建方法及采集系統(tǒng)，以提高觸覺傳感器的觸覺信息分辨率。[0008]使用觸覺傳感器對(duì)每個(gè)接觸面進(jìn)行多次采樣，獲得每個(gè)接觸面每次采樣時(shí)的觸覺數(shù)據(jù)和觸覺傳感器的中心點(diǎn)坐標(biāo)；[0009]根據(jù)每次采樣時(shí)觸覺傳感器的中心點(diǎn)坐標(biāo)，對(duì)每個(gè)接觸面所有采樣的觸覺數(shù)據(jù)進(jìn)行配準(zhǔn)，獲得對(duì)應(yīng)接觸面的一個(gè)高分辨率觸覺圖像樣本；6[0010]選取接觸面中心區(qū)域內(nèi)每次采樣的觸覺數(shù)據(jù)和對(duì)應(yīng)接觸面的高分辨率觸覺圖像傳感器運(yùn)動(dòng)到接觸面上方的采樣位置(x,y,hinit),同時(shí)調(diào)節(jié)機(jī)械臂末端的Z軸垂直水平傳感器運(yùn)動(dòng)到接觸面上方的采樣位置(x,y,hinit),同時(shí)調(diào)節(jié)機(jī)械臂末端的Z軸垂直水平[0024]根據(jù)觸覺傳感器的分辨率和采集次數(shù)I,利用公式d=△x×I,確定沿X軸移動(dòng)[0025]根據(jù)觸覺傳感器的分辨率和采集次數(shù)J,利用公式d=△y×J,確定沿Y軸移動(dòng)一次7[0031]選取每個(gè)接觸面在i范圍內(nèi)采集的觸覺數(shù)據(jù)作為輸入，每個(gè)接觸面的高分辨率觸覺圖像樣本為標(biāo)[0032]其中，」表示向下取整，K表示在預(yù)設(shè)范圍內(nèi)低分辨率和高分辨率觸覺數(shù)據(jù)可以[0034]所述基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型和所述基于生成對(duì)抗網(wǎng)絡(luò)的深度學(xué)習(xí)模LGAN=LMSE+10-3·LGen=LMsE+8中心點(diǎn)坐標(biāo)重建所述接觸面的高分辨率觸覺圖像。[0042]采樣模塊，用于獲得每個(gè)接觸面每次采樣時(shí)的觸覺數(shù)據(jù)和觸覺傳感器的中心點(diǎn)坐[0043]標(biāo)簽獲得模塊，用于根據(jù)每次采樣時(shí)觸覺傳感器的中心點(diǎn)坐標(biāo)，對(duì)每個(gè)接觸面所有采樣的觸覺數(shù)據(jù)進(jìn)行配準(zhǔn)，獲得對(duì)應(yīng)接觸面的一個(gè)高分辨率觸覺圖像樣本；[0044]數(shù)據(jù)集構(gòu)建模塊，用于選取接觸面中心區(qū)域內(nèi)每次采樣的觸覺數(shù)據(jù)和對(duì)應(yīng)接觸面的高分辨率觸覺圖像樣本構(gòu)成數(shù)據(jù)對(duì)，構(gòu)建觸覺超分辨率數(shù)據(jù)集；[0045]訓(xùn)練模塊，用于根據(jù)所述觸覺超分辨率數(shù)據(jù)集，采用有監(jiān)督的機(jī)器學(xué)習(xí)方法訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型，獲得觸覺超分辨率模型；[0046]應(yīng)用模塊，用于將觸覺傳感器采集的待測(cè)接觸面的觸覺數(shù)據(jù)輸入觸覺超分辨率模型，輸出待測(cè)接觸面的高分辨率觸覺圖像。[0047]根據(jù)本發(fā)明提供的具體實(shí)施例，本發(fā)明公開了以下技術(shù)效果：[0048]本發(fā)明公開一種觸覺圖像超分辨率重建方法及采集系統(tǒng)，首先利用低分辨率觸覺傳感器獲取高分辨率觸覺圖像樣本，然后利用觸覺超分辨率數(shù)據(jù)集訓(xùn)練基于深度學(xué)習(xí)的觸覺超分辨模型，最后利用觸覺超分辨模型將待測(cè)接觸面的觸覺數(shù)據(jù)重建為超分辨率觸覺圖像。本發(fā)明僅使用現(xiàn)有的基于觸覺感應(yīng)單元的低分辨觸覺傳感器，采用基于深度學(xué)習(xí)的觸覺超分辨率重建技術(shù)，能夠有效的恢復(fù)出接觸面形狀，在提高觸覺傳感器分辨率的同時(shí)，依然保持傳感器輕巧，柔性，易于集成到機(jī)器人等設(shè)備上的特性。附圖說明[0049]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0050]圖1為本發(fā)明實(shí)施例1提供的觸覺圖像超分辨率重建方法的流程圖；[0051]圖2為本發(fā)明實(shí)施例1提供的觸覺圖像超分辨率重建方法的原理圖；[0052]圖3為本發(fā)明實(shí)施例1提供的單次觸覺數(shù)據(jù)采樣流程示意圖；圖3(a)為機(jī)械臂末端位于采集位置時(shí)的示意圖，圖3(b)為觸覺傳感器和接觸面接觸時(shí)的示意圖，圖3(c)為采集后機(jī)械臂移動(dòng)示意圖，圖3(d)為機(jī)械臂沿X軸移動(dòng)預(yù)設(shè)距離△x的示意圖；[0053]圖4為本發(fā)明實(shí)施例1提供的多次采樣機(jī)械臂運(yùn)動(dòng)軌跡圖；[0054]圖5為本發(fā)明實(shí)施例1提供的高分辨率觸覺圖像樣本獲取示意圖；[0055]圖6為本發(fā)明實(shí)施例1提供的基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型的框架圖；[0056]圖7為本發(fā)明實(shí)施例1提供的基于生成對(duì)抗網(wǎng)絡(luò)的深度學(xué)習(xí)模型的判別網(wǎng)絡(luò)框架[0057]圖8為本發(fā)明實(shí)施例1提供的圖像配準(zhǔn)過程示意圖；[0058]圖9為本發(fā)明實(shí)施例2提供的觸覺圖像超分辨率采集系統(tǒng)的結(jié)構(gòu)圖。9[0063]本發(fā)明實(shí)施例提供一種觸覺圖像超分辨率重建方法，如圖1-2所示，包括以下步[0064]步驟S1,使用觸覺傳感器對(duì)每個(gè)接觸面進(jìn)行多次采樣，獲得每個(gè)接觸面每次采樣[0069]設(shè)原始的觸覺傳感器分辨率為(M,N),即觸覺傳感器有M×N個(gè)獨(dú)立的觸覺感應(yīng)單[0070]根據(jù)觸覺傳感器的分辨率和采集次數(shù)I,利用公式d=△x×I,確定沿X軸移動(dòng)一次[0071]根據(jù)觸覺傳感器的分辨率和采集次數(shù)J,利用公式d=△y×J,確定沿Y軸移動(dòng)一次動(dòng)觸覺傳感器運(yùn)動(dòng)到接觸面上方的采樣位置(x,y,hinit),同時(shí)調(diào)節(jié)機(jī)械臂末端的Z軸垂直動(dòng)觸覺傳感器運(yùn)動(dòng)到接觸面上方的采樣位置(x,y,hinit),同時(shí)調(diào)節(jié)機(jī)械臂末端的Z軸垂直心點(diǎn)坐標(biāo)。[0080]步驟S2,根據(jù)每次采樣時(shí)觸覺傳感器的中心點(diǎn)坐標(biāo)，對(duì)每個(gè)接觸面所有采樣的觸J×N)分辨率的觸覺圖像。次采樣過程的低分辨率觸覺數(shù)據(jù)T1,,i={0,1,...,I},j={0,1,...,J}。其中i,j表示傳感[m,n]個(gè)觸覺感應(yīng)單元，TH[I×m+i,J×n+j]表示高分辨率觸覺圖像第[I×m+i,J×n+j][0088]步驟S3,選取接觸面中心附近的原始觸覺數(shù)據(jù)(即低分辨率數(shù)據(jù)),和對(duì)應(yīng)的高分置的低分辨率圖像和高分辨圖像相差較大(即i接近0或者I,j接近0或者J),處在中間位置選取iE共K×K個(gè)低分辨率觸覺圖像和高分辨[0090]該方法可以利用原始分辨率為(M,N)的觸覺傳感器獲取分辨率為(I×M,J×N)的[0091]步驟S4,根據(jù)觸覺超分辨率數(shù)據(jù)集，采用有監(jiān)督的機(jī)器學(xué)習(xí)方法訓(xùn)練深度學(xué)習(xí)網(wǎng)[0096]其中Ge?(TLR)即表示模型預(yù)測(cè)的高分辨率觸覺圖像，該損失函數(shù)比較了真實(shí)值觸覺數(shù)據(jù)和真實(shí)的高分辨率觸覺數(shù)據(jù)輸入到判別網(wǎng)絡(luò)中，讓網(wǎng)絡(luò)分辨那張是真實(shí)的數(shù)據(jù)，[0101]步驟S5,將觸覺傳感器采集的待測(cè)接觸面的觸覺數(shù)據(jù)輸入觸覺超分辨率模型，輸辨率。圖2給出了整個(gè)觸覺超分辨率的流程。[0103]為了解決基于觸覺感應(yīng)單元的觸覺傳感器分辨率過低問題，本發(fā)明提供了一種基于深度學(xué)習(xí)的觸覺超分辨率重建技術(shù)，能夠有效的恢復(fù)出接觸面形狀，提高觸覺傳感器的分辨率。該技術(shù)具體包括一種利用低分辨率觸覺傳感器獲取高分辨率觸覺數(shù)據(jù)方法和基于深度學(xué)習(xí)的觸覺圖像超分辨率兩個(gè)部分組成。[0104]本發(fā)明能夠僅使用現(xiàn)有的基于觸覺感應(yīng)單元的低分辨觸覺傳感器，獲取高分辨率觸覺數(shù)據(jù)。在提高傳感器分辨率的同時(shí)，依然保持傳感器輕巧，柔性，易于集成到機(jī)器人等設(shè)備上的特性。[0105]實(shí)施例2[0106]本發(fā)明實(shí)施例2提供了一種觸覺圖像超分辨率采集系統(tǒng)，如圖9所示，采集系統(tǒng)包[0107]觸覺傳感器安裝在機(jī)械臂的末端。機(jī)械臂的控制端和信號(hào)輸出端均與上位機(jī)連接；上位機(jī)用于接收觸覺傳感器的中心點(diǎn)坐標(biāo)，并根據(jù)觸覺傳感器的中心點(diǎn)坐標(biāo)控制機(jī)械臂按照預(yù)設(shè)采集路徑移動(dòng)。觸覺傳感器的信號(hào)輸出端與上位機(jī)連接；上位機(jī)用于在觸覺傳感器與接觸面接觸后，接收觸覺傳感器采集的接觸面的觸覺數(shù)據(jù)，并根據(jù)觸覺數(shù)據(jù)和觸覺傳感器的中心點(diǎn)坐標(biāo)重建接觸面的高分辨率觸覺圖像。[0109]采樣模塊用于獲得每個(gè)接觸面每次采樣時(shí)的觸覺數(shù)據(jù)和觸覺傳感器的中心點(diǎn)坐標(biāo)。標(biāo)簽獲得模塊用于根據(jù)中心點(diǎn)坐標(biāo)，對(duì)每個(gè)接觸面所有采樣的觸覺數(shù)據(jù)進(jìn)行配準(zhǔn)，獲得對(duì)應(yīng)接觸面的一個(gè)高分辨率觸覺圖像樣本。數(shù)據(jù)集構(gòu)建模塊用于選取接觸面中心區(qū)域內(nèi)每次采樣的觸覺數(shù)據(jù)和對(duì)應(yīng)接觸面的高分辨率觸覺圖像樣本構(gòu)成數(shù)據(jù)對(duì)，構(gòu)建觸覺超分辨率數(shù)據(jù)集。訓(xùn)練模塊用于根據(jù)觸覺超分辨率數(shù)據(jù)集，采用有監(jiān)督的機(jī)器學(xué)習(xí)方法訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型，獲得觸覺超分辨率模型。應(yīng)用模塊用于將觸覺傳感器采集的待測(cè)接觸面的觸覺數(shù)據(jù)輸入觸覺超分辨率模型，輸出待測(cè)接觸面的高分辨率觸覺圖像。[0110]本發(fā)明的觸覺圖像超分辨率采集系統(tǒng)用于對(duì)接觸面進(jìn)行多次采樣并記錄數(shù)據(jù)。其中觸覺傳感器安裝在機(jī)械臂末端，通過機(jī)械臂的移動(dòng)來采集觸覺數(shù)據(jù)。[0111]本說明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見即可。[0112]本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的