(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN114565711B(65)同一申請的已公布的文獻號審查員張馳(73)專利權(quán)人中南大學(xué)地址410000湖南省長沙市岳麓區(qū)麓山南路932號(72)發(fā)明人黃建龍徐斐然廖志芳丁雨寒(74)專利代理機構(gòu)長沙軒榮專利代理有限公司專利代理師叢詩洋(54)發(fā)明名稱基于深度學(xué)習(xí)的心臟圖像重建方法及系統(tǒng)本發(fā)明提供了一種基于深度學(xué)習(xí)的心臟圖像重建方法及系統(tǒng)，包括：選取多個受試者的心臟進行切片掃描成像，每個切片獲得三個圖像，包括一個正常圖像，一個AP方向的圖像和一個FH方向的圖像，將掃描獲得的圖像作為訓(xùn)練數(shù)據(jù)集，且掃描獲得的圖像包括清晰圖像和模糊圖像；使用ResNet模型對心臟掃描獲得的圖像進行分類，再使用多個SRN-Deblur子模型對不同方向的模糊圖像進行去模糊操作；利用AP方向的圖像和FH方向的圖像，計算血流矢量在三維空間中的方向和大小，用于測量模擬模糊圖像的去模糊效果。利用速度編碼磁共振成像進行四維流磁共振成像在心血管血流分析中具有很強的潛力，深度選取多個受試者的心臟進行切片掃描成像，每個切片獲得三個選取多個受試者的心臟進行切片掃描成像，每個切片獲得三個圖像，將掃描獲得的圖像作為訓(xùn)練數(shù)據(jù)集，且掃描獲得的圖像包括清晰圖像和模糊圖像使用ResNet模型對心臟掃描獲得的圖像進行分類，再使用多個SRN-Deblur子模型對不同方向的模糊圖像進行去模糊操作利用AP方向的圖像和FH方向的圖像，計算血流矢量在三維空間中的方向和大小，用于測量模擬模糊圖像的去模糊效果21.一種基于深度學(xué)習(xí)的心臟圖像重建方法，其特征在于，包括：步驟1,選取多個受試者的心臟進行切片掃描成像，每個切片獲得三個圖像，包括一個正常圖像，一個AP方向的圖像和一個FH方向的圖像，將掃描獲得的圖像掃描獲得的圖像包括清晰圖像和模糊圖像；步驟2,使用ResNet模型對心臟掃描獲得的圖像進行分類，再使用多個SRN-Deblur子模型對不同方向的模糊圖像進行去模糊操作；步驟3,利用AP方向的圖像和FH方向的圖像，計算血流矢量在三維空間中的方向和大小，用于測量模擬模糊圖像的去模糊效果。2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的心臟圖像重建方法，其特征在于，所述步驟1具體包括：所述切片掃描成像采用磁共振成像技術(shù)，是通過心房短軸方向進行的，采用回顧性門所述磁共振成像參數(shù)包括：回波時間TR:47.1ms,重復(fù)時間TE:1.6ms,視場FOV:(298340)mm2,(134256)mm2像素矩陣，平面內(nèi)分辨率為1.54mm/pixel,由像素間距決定，基于切片間隔的通平面分辨率為6mm。3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的心臟圖像重建方法，其特征在于，所述步驟2包括：確定圖像的模糊方向，在模糊方向?qū)θツ：Ｐ退璧挠?xùn)練圖像進行分類，并將分類后的圖像反饋給相應(yīng)的去模糊子模型進行訓(xùn)練；4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的心臟圖像重建方法，其特征在于，所述步驟3包括：所述計算血流矢量在三維空間中的方向和大小，需要計算的是像素間差的絕對值和矢量的距離；其中，F(xiàn)HG,FHB,APG,APB分別表示FHgroundtruth,FHblurredimage,APgroundtruth,APblurredimage,i,j表示圖像的位置；@PSNR使用以下方法計算，其中MAX表示有用區(qū)域的最大向量距離的和；由于真正的切片掃描成像沒有模糊和清晰的映射對，需要使用同一時刻不同心跳周期的兩次掃描進行比較，在同一時刻，兩個心跳周期的掃描也是不同的，使用@PSMR,代替，用渦度進行比較，二維渦度的數(shù)學(xué)表達式如下：利用CCW閉環(huán)C的線積分計算循環(huán)T,將其寫成面積分形式如下35.一種基于深度學(xué)習(xí)的心臟圖像重建系統(tǒng)，其特征數(shù)據(jù)集獲取模塊，用于選取多個受試者的心臟進行切片掃描成像，每個切片獲得三個圖像，包括一個正常圖像，一個AP方向的圖像和一個訓(xùn)練數(shù)據(jù)集，且掃描獲得的圖像包括清晰圖像和模糊圖像；圖像處理模塊，用于使用ResNet模型對心臟掃描獲得的圖像進行分類，再使用多個SRN-Deblur子模型對不同方向的模糊圖像進行去模糊操作；評價模塊，用于利用AP方向的圖像和FH方向的圖像，計算血流矢量在三維空間中的方向和大小，用于測量模擬模糊圖像的去模糊效果。4技術(shù)領(lǐng)域[0001]本發(fā)明涉及圖像處理重建領(lǐng)域，特別涉及一種基于深度學(xué)習(xí)的心臟圖像重建方法及系統(tǒng)。背景技術(shù)[0002]心臟磁共振成像(MagneticResonanceImage,MRI)技術(shù)能夠以非侵入的方式提供高分辨率的心臟軟組織圖像，以獲得受試者心臟的解剖信息。醫(yī)生能夠通過心臟MRI獲得診療心臟類疾病及其病理分析過程中所需的決策信息。但是，由于成像設(shè)備精確度限制和患者難以配合等原因，不可避免地，產(chǎn)生低質(zhì)量的MRI,如低分辨率、運動模糊等情況。所以對心臟MRI的重建實現(xiàn)自動化在臨床上占有重大意義。發(fā)明內(nèi)容[0003]本發(fā)明提供了一種基于深度學(xué)習(xí)的心臟圖像重建方法及系統(tǒng)，其目的是為了解決在速度編碼磁共振成像中，通過深度學(xué)習(xí)可以重建缺陷圖像，消除運動模糊。[0004]為了達到上述目的，本發(fā)明提供了一種基于深度學(xué)習(xí)的心臟圖像重建方法，包括：[0005]步驟1,選取多個受試者的心臟進行切片掃描成像，每個切片獲得三個圖像，包括一個正常圖像，一個AP方向的圖像和一個FH方向的圖像，將掃描獲得的圖像作為訓(xùn)練數(shù)據(jù)集，且掃描獲得的圖像包括清晰圖像和模糊圖像；[0006]步驟2,使用ResNet模型對心臟掃描獲得的圖像進行分類，再使用多個SRN-Deblur子模型對不同方向的模糊圖像進行去模糊操作；[0007]步驟3,利用AP方向的圖像和FH方向的圖像，計算血流矢量在三維空間中的方向和大小，用于測量模擬模糊圖像的去模糊效果。[0009]所述切片掃描成像采用磁共振成像技術(shù)，是通過心房短軸方向進行的，采用回顧性門控，每個切片有25個相位或時間幀；[0010]所述磁共振成像參數(shù)包括：回波時間TR:47.1ms,重復(fù)時間TE:1.6ms,視場FOV:(298340)mm2,(134256)mm2像素矩陣，平面內(nèi)分辨率為1.54mm/pixel,由像素間距決定，基于切片間隔的通平面分辨率為6mm。[0012]確定圖像的模糊方向，在模糊方向?qū)θツ：Ｐ退璧挠?xùn)練圖像進行分類，并將分類后的圖像反饋給相應(yīng)的去模糊子模型進行訓(xùn)練；[0013]在訓(xùn)練中，使用交叉熵函數(shù)作為損失函數(shù)，并[0015]所述計算血流矢量在三維空間中的方向和大小，需要計算的是像素間差的絕對值groundtruth,APblurredimage,i,j表示圖像的位置；5[0029]本發(fā)明的實施例提供的基于深度學(xué)習(xí)的心臟圖像重建方法及系統(tǒng)使用與PCMRI過99%。附圖說明6[0036]圖6為本發(fā)明的真實VENCMRI去模糊可視化結(jié)果圖。具體實施方式[0037]為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖及具體實施例進行詳細描述。顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內(nèi)部的連通。對于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。[0040]此外，下面所描述的本發(fā)明不同實施方式中所涉及的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互結(jié)合。[0041]如圖1所示，本發(fā)明的實施例提供了一種基于深度學(xué)習(xí)的心臟圖像重建方法，包括：步驟1,選取多個受試者的心臟進行切片掃描成像，每個切片獲得三個圖像，包括一個正常圖像，一個AP方向的圖像和一個FH方向的描獲得的圖像包括清晰圖像和模糊圖像；步驟2,使用ResNet模型對心臟掃描獲得的圖像進行分類，再使用多個SRN-Deblur子模型對不同方向的模糊圖像進行去模糊操作；步驟3,利用AP方向的圖像和FH方向的圖像，計算血流矢量在三維空間中的方向和大小，用于測量模擬模糊圖像的去模糊效果。[0042]其中，所述步驟1具體包括：所述切片掃描成像采用磁共振成像技術(shù)，是通過心房短軸方向進行的，采用回顧性門控，每個切片有25個相位或時間幀；所述磁共振成像參數(shù)包括：回波時間TR:47.1ms,重復(fù)時間TE:1.6ms,視場FOV:(298340)mm2,(134256)mm2像素矩陣，平面內(nèi)分辨率為1.54mm/pixel,由像素間距決定，基于切片間隔的通平面分辨率為6[0043]其中，所述步驟2包括：確定圖像的模糊方向，在模糊方向?qū)θツ：Ｐ退璧挠?xùn)練圖像進行分類，并將分類后的圖像反饋給相應(yīng)的去模糊子模型進行訓(xùn)練；在訓(xùn)練中，使用交叉熵函數(shù)作為損失函數(shù)，并設(shè)置epoch為50。[0044]其中，所述步驟3包括：所述計算血流矢量在三維空間中的方向和大小，需要計算的是像素間差的絕對值和矢量的距離；其中，F(xiàn)Hblurredimage,APgroundtruth,APblurredimage,i,j表示圖像的位置；7[0054]本發(fā)明利用速度編碼磁共振成像進行四維流磁共振成像在心血管血流分析中具很多種去普通圖像運動模糊的深度學(xué)習(xí)方法，例如SRN-Deblur,于2018年被CVPR收錄的騰8訊優(yōu)圖團隊的模型。[0058]模型采用基于拉普拉斯金字塔框架構(gòu)建網(wǎng)絡(luò)。模型將LR圖像作為輸入(而不是LR圖像的放大版本),并逐步預(yù)測log2Spyramid級別上的殘差圖像，這就是上采樣比例因子。例如，網(wǎng)絡(luò)由3個金字塔級別組成，用于以8的比例因子超分辨LR圖像。模型包括兩個分支：(1)特征提取和(2)圖像重建。[0059]其中，特征提取分支由(1)用于嵌入高維非線性特征圖的特征嵌入子網(wǎng)絡(luò)，(2)用于以2的比例對提取的特征進行上采樣的轉(zhuǎn)置卷積層和(3)卷積層組成(Conv_res)用于預(yù)測子帶殘差圖像。第一金字塔級別具有一個額外的卷積層(Conv_in),可從輸入的LR圖像中提取高維特征圖。在其他級別，特征嵌入子網(wǎng)可直接轉(zhuǎn)換先前金字塔級別的高級特征圖中的特征。在圖像重建分支，各個級別上，輸入圖像通過轉(zhuǎn)置的卷積層以2的比例進行上采樣，并使用4×4雙線性核進行初始化。然后，將上采樣的圖像(使用逐元素求和)與預(yù)測的殘差圖像相結(jié)合，以生成高分辨率的輸出圖像。然后，將經(jīng)過重構(gòu)的HR圖像用作+1級圖像重建分支的輸入。整個網(wǎng)絡(luò)是級聯(lián)的每個級別具有相同結(jié)構(gòu)的CNN。與其他所有圖層共同優(yōu)化上采個前后(AP)方向的圖像和一個足-頭(FH)方向的圖像。圖1為VENCMRI原理圖，最大血流速度設(shè)置為100cm/sec,顯示了速度與相位的對應(yīng)關(guān)系。通過心房短軸方向進行。所有這些圖像均采用回顧性門控，每個切片有25個相位或時間幀。MRI成像參數(shù)包括：回波時間TR:47.1ms,重復(fù)時間TE:1.6ms,視場FOV:(298340)mm2,(134256)像素矩陣。平面內(nèi)分辨率為1.54mm/pixel,由像素間距決定，基于切片間隔的通平面分辨率為6mm。使用10名受試者的500個心臟VENCMRI作為訓(xùn)練數(shù)據(jù)集，包括250個FH和250個AP定向圖像。其中一組被掃描兩次，一次是通過移動身體得到50張清晰的VENC圖像，另一次是通過移動身體得到50張模糊[0061]為了訓(xùn)練目的，使用的方法是平移圖像，疊加和平均像素值。平移的方向、平移的步長和疊加的個數(shù)都是隨機生成的，使用了450張原始清晰圖像，用這種方法生成了7200張模糊圖像。在生成模糊圖像時，記錄圖像的模糊方向，并根據(jù)最近角度原理將其分類為0°、[0062]VENCMRI心臟的主要集中在主要的血液流動情況有關(guān)的心，和圖像的其他部分幾乎是隨機噪聲，實際上是沒有意義的，所以培訓(xùn)結(jié)果的評估模型使用圖像的最重要的部分。在后續(xù)的評價過程中，只關(guān)注圖像的重要部分，忽略了圖像周圍的噪聲區(qū)域。為了從地面真實圖像中獲取模糊圖像進行訓(xùn)練，采用平移圖像復(fù)制后疊加平均像素值的方法生成模糊圖[0063]同時，使用多個SRN-Deblur子模型對不同方向的運動模糊VENCMRI進行去模糊。在此之前，使用ResNet對圖像進行分類，以確定應(yīng)該使用哪個子模型。與傳統(tǒng)算法不同的是，神經(jīng)網(wǎng)絡(luò)可以將特征提取和學(xué)習(xí)結(jié)合起來。在圖像處理領(lǐng)域，卷積運算可以識別相鄰像素之間的關(guān)系，因此卷積神經(jīng)網(wǎng)絡(luò)(convoluvolutionneuralnetwork,CNN)在圖像處理中得到了廣泛的應(yīng)用。CNN提供了一個端到端深度學(xué)習(xí)模型，訓(xùn)練有素的CNN可以提取圖像特征并對圖像進行分類。CNN模型的深度在圖像分類中起著至關(guān)重要的作用，這導(dǎo)致了在ImageNet競爭中參與模型的深度。當(dāng)追求網(wǎng)絡(luò)的深度時，退化的問題出現(xiàn)了。ResNet通過殘9差框架解決了這個問題。[0064]將傳統(tǒng)計算機視覺領(lǐng)域常用的殘差表示概念應(yīng)用到CNN模型的構(gòu)建中，形成殘差學(xué)習(xí)的基本塊。它使用多個參數(shù)層來學(xué)習(xí)輸入和輸出之間的殘差表示，而不是像一般CNN網(wǎng)絡(luò)，那樣使用參數(shù)層來直接嘗試學(xué)習(xí)輸入和輸出之間的映射。實驗表明，與直接學(xué)習(xí)輸入輸出之間的映射關(guān)系相比，直接使用通用參考層學(xué)習(xí)殘差更簡單有效。[0065]SRN-Deblur是一種更有效的多尺度圖像去模糊網(wǎng)絡(luò)結(jié)構(gòu)，其中SRN是尺度遞歸網(wǎng)絡(luò)的初始字母?；诔叨妊h(huán)結(jié)構(gòu)和編碼器-解碼器ResBlock網(wǎng)絡(luò)兩種結(jié)構(gòu)的SRN-Deblur模型。SRN-Deblur技術(shù)基于不同尺度的網(wǎng)絡(luò)權(quán)值共享，大大降低了訓(xùn)練難度，提高了穩(wěn)定性。這種方法有兩個優(yōu)點。首先，可以顯著減少可訓(xùn)練參數(shù)的數(shù)量，提高訓(xùn)練速度。其次，SRN-Deblur的結(jié)構(gòu)利用了環(huán)路模塊，將不同尺度的有用信息在整個網(wǎng)絡(luò)中傳輸，幫助圖像去模糊。在計算機視覺領(lǐng)域中，深度學(xué)習(xí)經(jīng)常使用編碼器-解碼器結(jié)構(gòu)。圖像去模糊是一種計算機視覺工作，而srn去模糊也采用了這種結(jié)構(gòu)。并沒有直接使用編解碼結(jié)構(gòu)，而是將編解碼結(jié)構(gòu)與ResBlock結(jié)合起來，稱之為編碼器-解碼器ResBlock網(wǎng)絡(luò)。實驗結(jié)果表明，這種結(jié)構(gòu)可以使訓(xùn)練速度更快，同時可以使網(wǎng)絡(luò)在圖像去模糊方面更加有效，這就是為什么這種結(jié)構(gòu)被稱為尺度遞歸網(wǎng)絡(luò)(SRN)。[0066]渦度可以用來測量流體在某一點的角速度，并可以根據(jù)流體的速度梯度來計算。如圖2所示，渦度@為循環(huán)面積除以循環(huán)面積，等于沿包含感興趣點的逆時針(CCW)回路切向速度的線積分。對于圖像重建(如超分辨率、去模糊等),一般采用峰值信噪比和結(jié)構(gòu)相似指數(shù)作為評價標(biāo)準(zhǔn)。在這篇文章中，兩個VENC核磁共振與FH和AP方向指示一個心臟的單一部分。這意味著兩種mri之間存在顯著的相關(guān)性，評價指標(biāo)應(yīng)該能夠結(jié)合FH向量圖像和AP向心腔內(nèi)血流信息的部分圖像才是真正重要的。因此，評價指標(biāo)應(yīng)該僅依賴于圖像中與心流量相關(guān)的部分。[0067]實現(xiàn)了ResNet模型進行模糊分類，分類準(zhǔn)確率超過99%。根據(jù)分類結(jié)果，訓(xùn)練了4個SRN-Deblur子模型對圖像進行去模糊處理。最后，比較了模型與SRN-Deblur單獨的去模型可以用于不同類型的圖像，可以處理SRN-Deblur無法處理的圖像。方法更有針對性，在特定類型的圖像上比SRN-Deblur表現(xiàn)更好。[0068]經(jīng)過實驗，發(fā)現(xiàn)每個訓(xùn)練模型只適合于某些類型的模糊，而不能去除其他類型的不足以處理所有類型的模糊。為了解決這一問題，使用ResNet對模糊圖像進行預(yù)分類，并引入多個SRN-Deblur子模型對不同類型的模糊圖像進行去模糊。[0069]如圖3所示，去模糊體系結(jié)構(gòu)根據(jù)圖像的模糊方向分布圖像，然后使用相應(yīng)的去模糊子模型來處理它。首先訓(xùn)練模糊方向分類模型，該模型能夠確定圖像的模糊方向。然后在模糊方向?qū)θツ：Ｐ退璧挠?xùn)練圖像進行分類，并將分類后的圖像反饋給相應(yīng)的去模糊子模型進行訓(xùn)練。提出的架構(gòu)是第一個將模糊方向作為子問題考慮的架構(gòu)。[0070]使用的分類模型的結(jié)構(gòu)基于ResNet。如圖3所示，單個殘塊包含兩個卷積層、兩個批處理歸一化層和一個Relu層。具體來說，網(wǎng)絡(luò)的開始部分由卷積層、批處理歸一化層和有8個參數(shù)不同的殘差塊，最后一個殘差塊輸出的張量為51211616。在網(wǎng)絡(luò)的最后，使用平均池化和全連接輸出輸入圖像的分類。8個ResNet的具體參數(shù)如表1所示。[0071]表1ResNet的參數(shù)值不同模糊方向的圖像進行分類是一項簡單的任務(wù)，訓(xùn)練過程中的損失和精度變化如圖4所示。經(jīng)過短時間的訓(xùn)練，準(zhǔn)確率接近100%,另一方面，損失函數(shù)接近0。這為下一步的訓(xùn)練模型和在不同的模糊方向去模糊圖像奠定了堅實的基礎(chǔ)。換句話說，由于模糊在去模糊之前被劃分為不同的類別，所以后續(xù)的去模糊模型不需要處理這個任務(wù)，使得srn-去模糊模型的功能更加具體。更具體的功能也意味著該任務(wù)需要更小的模型容量，并且該模型得到了更好的訓(xùn)練。不同的圖像，黑邊的寬度不是固定的，它等于平移的步數(shù)。此外，由于不同的平移方向和切割黑邊的不同位置組合，訓(xùn)練數(shù)據(jù)集的圖像有許多不同的大小。[0075]使用開源的SRN-Deblur代碼進行訓(xùn)練。為了訓(xùn)練模型，使用Adam并且設(shè)置β?=0.9,β?=0.999,∈=10??,將學(xué)習(xí)速率設(shè)置為指數(shù)衰減的初始值，經(jīng)過4000次迭代從1×10??到1×10??,權(quán)重等于0.3;在將模糊圖像輸入神經(jīng)網(wǎng)絡(luò)訓(xùn)練之前，將圖像隨機裁剪到128×128的大小。采用gloot方法初始化網(wǎng)絡(luò)參數(shù)，所有實驗中這些參數(shù)都是固定的。[0076]在相同的硬件條件下，SRN-Deblur的訓(xùn)練時間約為3小時，時間成本較低的原因是訓(xùn)練數(shù)據(jù)較少，訓(xùn)練圖像切片的尺寸較小。[0077]ResNet在訓(xùn)練過程中的驗證精度變化曲線如圖4所示。ResNet的驗證精度在前800個循環(huán)中迅速上升，從0.25(隨機猜測的驗證精度)上升到0.9以上。在800次循環(huán)之后的1000多次循環(huán)過程中，驗證精度持續(xù)穩(wěn)步上升，最終超過0.99。損失函數(shù)在很短的時間內(nèi)達到了很好的值。用模糊圖像來測試不同方法的去模糊效果。[0078]圖5顯示了sharp和blur兩種不同的去模糊方法的去模糊結(jié)果的差異，可以看出多個SRN-Deblur子模型(方法)和SRN-Deblur子模型都可以明顯的去模糊。仔細觀察方法和SRN-Deblur的處理結(jié)果表明，方法更清晰，更接近于原始解釋這個問題?？梢愿玫亟忉尲^的差異或像素的差異，通過使用@pSN數(shù)學(xué)評估。[0079]運動偽影會損害圖像質(zhì)量，并可能干擾解釋，特別是在低信噪比的磁共振成像(MRI)應(yīng)用，如功能磁共振成像或擴散張量成像，以及成像小病變時。高分辨率圖像對運動偽影具有較高的敏感性，通常會延長掃描時間，從而加重運動偽影。在掃描期間，快速成像技術(shù)和序列，最佳的接收器線圈，小心的病人定位，和指導(dǎo)可能會最小化運動偽影。生理噪聲源包括呼吸、血流和心跳周期耦合的脈沖運動，吞咽反射和小的自發(fā)頭部運動。例如，在11靜息狀態(tài)下，功能性MRI自發(fā)神經(jīng)元活動增加了信號變化的12%,即使在最佳條件下，來自生理噪聲的信號貢獻仍占相當(dāng)大的比例。成像過程中的運動跟蹤可能允許進行前瞻性校正[0080]冠狀動脈三維磁共振成像具有提供高分辨率和高信噪比的潛力，但它非常容易受到呼吸偽影的影響，尤其是呼吸模糊。從理論上分析了呼吸模糊在冠狀動脈三維成像中造成的分辨