CN112767340B 基于神經(jīng)網(wǎng)絡(luò)模型對病灶區(qū)進(jìn)行評估的設(shè)備和相關(guān)產(chǎn)品(大連理工大學(xué))_第1頁
CN112767340B 基于神經(jīng)網(wǎng)絡(luò)模型對病灶區(qū)進(jìn)行評估的設(shè)備和相關(guān)產(chǎn)品(大連理工大學(xué))_第2頁
CN112767340B 基于神經(jīng)網(wǎng)絡(luò)模型對病灶區(qū)進(jìn)行評估的設(shè)備和相關(guān)產(chǎn)品(大連理工大學(xué))_第3頁
CN112767340B 基于神經(jīng)網(wǎng)絡(luò)模型對病灶區(qū)進(jìn)行評估的設(shè)備和相關(guān)產(chǎn)品(大連理工大學(xué))_第4頁
CN112767340B 基于神經(jīng)網(wǎng)絡(luò)模型對病灶區(qū)進(jìn)行評估的設(shè)備和相關(guān)產(chǎn)品(大連理工大學(xué))_第5頁
已閱讀5頁,還剩45頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

(12)發(fā)明專利(65)同一申請的已公布的文獻(xiàn)號(73)專利權(quán)人大連理工大學(xué)地址116024遼寧省大連市甘井子區(qū)凌工路2號專利權(quán)人首都醫(yī)科大學(xué)附屬北京友誼醫(yī)院北京智拓視界科技有限責(zé)任公司(72)發(fā)明人雷娜王振常侯代倫李維金連寶任玉雪呂晗魏璇張茗昱陳偉吳伯陽(74)專利代理機(jī)構(gòu)北京維昊知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11804專利代理師李波孫新國張璐璐等.消化道內(nèi)窺鏡圖像異常的人工智能診斷方法研究進(jìn)展.生物醫(yī)學(xué)工程學(xué)進(jìn)展.2020,第41卷(第01期),第23-27頁.張璐璐等.消化道內(nèi)窺鏡圖像異常的人工智能診斷方法研究進(jìn)展.生物醫(yī)學(xué)工程學(xué)進(jìn)展.2020,第41卷(第01期),第23-27頁.萬燕等.基于三角網(wǎng)格模型的紋理映射研究.計算機(jī)應(yīng)用與軟件.2016,第33卷(第04期),第160-163頁.審查員張德珍(54)發(fā)明名稱基于神經(jīng)網(wǎng)絡(luò)模型對病灶區(qū)進(jìn)行評估的設(shè)備和相關(guān)產(chǎn)品本發(fā)明涉及一種基于神經(jīng)網(wǎng)絡(luò)模型對病灶區(qū)進(jìn)行評估的設(shè)備和相關(guān)產(chǎn)品。所述設(shè)備包括一個或多個處理器、第一神經(jīng)網(wǎng)絡(luò)模塊、第二神經(jīng)網(wǎng)絡(luò)模塊以及一個或多個計算機(jī)可讀存儲介質(zhì),其中第一神經(jīng)網(wǎng)絡(luò)模塊接收并處理與肺部病灶區(qū)圖像相關(guān)的圖像數(shù)據(jù),以獲得目標(biāo)向量數(shù)據(jù)。第二神經(jīng)網(wǎng)絡(luò)模塊接收并且處理所述目標(biāo)向量數(shù)據(jù),以輸出用于評估所述肺部病灶區(qū)的評估結(jié)果。利用本發(fā)明的方案,可以提取出肺部病灶區(qū)評估結(jié)果評估結(jié)果第一種經(jīng)網(wǎng)絡(luò)模塊第二神經(jīng)網(wǎng)絡(luò)21.一種基于神經(jīng)網(wǎng)絡(luò)模型對肺部病灶區(qū)進(jìn)行評估的設(shè)備,包括:一個或多個處理器;第一神經(jīng)網(wǎng)絡(luò)模塊;一個或多個計算機(jī)可讀存儲介質(zhì),其存儲有實(shí)現(xiàn)所述第一神經(jīng)網(wǎng)絡(luò)模塊和第二神經(jīng)網(wǎng)絡(luò)模塊的程序指令,當(dāng)所述程序指令由所述一個或多個處理器執(zhí)行時,使得:第一神經(jīng)網(wǎng)絡(luò)模塊接收并處理與肺部病灶區(qū)圖像相關(guān)的圖像數(shù)據(jù),以獲得目標(biāo)向量數(shù)據(jù),其中所述圖像數(shù)據(jù)包含與肺部病灶區(qū)圖像相關(guān)的原始數(shù)據(jù)和/或與肺部病灶區(qū)圖像的第二神經(jīng)網(wǎng)絡(luò)模塊接收并且處理所述目標(biāo)向量數(shù)據(jù),以輸出用于評估所述肺部病灶區(qū)的評估結(jié)果;其中,獲取所述肺部病灶區(qū)圖像相關(guān)的圖像數(shù)據(jù)的方法,包括:獲取肺部病灶區(qū)域的三維圖像數(shù)據(jù);根據(jù)肺部病灶區(qū)域的三維圖像數(shù)據(jù)生成由多個頂點(diǎn)連接而成的二維網(wǎng)格;根據(jù)二維網(wǎng)格的拓?fù)浼熬W(wǎng)格邊的邊長來確定基于網(wǎng)格的拉普拉斯貝爾特拉米矩陣;對所述拉普拉斯貝爾特拉米矩陣進(jìn)行計算以獲得所述拉普拉斯貝爾特拉米矩陣的絕對值最小的非零特征值,從而確定該絕對值最小的非零特征值所對應(yīng)的特征函數(shù);根據(jù)所述特征函數(shù)來確定所述二維網(wǎng)格上每個網(wǎng)格頂點(diǎn)處的函數(shù)值;從所有頂點(diǎn)中選擇具有全局最小的函數(shù)值的頂點(diǎn)作為閉合曲線的起點(diǎn);從與所述起點(diǎn)相鄰的多個頂點(diǎn)中選擇具有局部最小的函數(shù)值的頂點(diǎn)作為閉合曲線的第1中間頂點(diǎn);針對于閉合曲線的第2~第N中間頂點(diǎn)的每個中間頂點(diǎn),執(zhí)行以下選擇操作,直到返回到所述起點(diǎn):從與第N-1中間頂點(diǎn)相鄰的多個頂點(diǎn)中選擇具有局部最小的函數(shù)值的頂點(diǎn)作為閉合曲線的第N中間頂點(diǎn),所述N是大于或等于2的正整數(shù);沿閉合曲線將二維網(wǎng)格切分成兩個拓?fù)鋱A盤;將兩個拓?fù)鋱A盤分別映射到兩個單位矩形上;利用多個頂點(diǎn)的幾何特征值來確定單位矩形上對應(yīng)點(diǎn)的像素值;以及基于像素值來形成包含肺部病灶區(qū)域的幾何特征的圖片。2.根據(jù)權(quán)利要求1所述的設(shè)備,其中與所述肺部病灶區(qū)圖像相關(guān)的圖像數(shù)據(jù)包括在多個不同時刻獲取的、與肺部病灶區(qū)相關(guān)的多組圖像子數(shù)據(jù)。3.根據(jù)權(quán)利要求2所述的設(shè)備,其中所述一個或多個計算機(jī)可讀存儲介質(zhì)還存儲有獲得所述二維數(shù)據(jù)的程序指令,當(dāng)所述程序指令由所述一個或多個處理器執(zhí)行時,使得:基于所述原始數(shù)據(jù)來生成二維網(wǎng)格;以及利用所述二維網(wǎng)格來確定幾何特征,并且將所述幾何特征表示為圖片,以作為所述二維數(shù)據(jù)。4.根據(jù)權(quán)利要求3所述的設(shè)備,其中所述幾何特征包括基于所述肺部病灶區(qū)圖像所獲得的高斯曲率、平均曲率或者共形因子。5.根據(jù)權(quán)利要求1所述的設(shè)備,其中所述肺部病灶區(qū)圖像是有新型冠狀病毒感染的肺部區(qū)域圖像,并且所述第一神經(jīng)網(wǎng)絡(luò)模塊包括多個編碼器和特征提取器,其中:3所述多個編碼器中的每個編碼器包括多個卷積層,其配置用于對所述圖像數(shù)據(jù)進(jìn)行多層卷積處理,以從所述圖像數(shù)據(jù)獲得針對于不同幾何特征的多個特征向量;以及所述特征提取器,其配置用于對所述多個特征向量執(zhí)行特征融合操作,以獲得所述目標(biāo)向量數(shù)據(jù)。6.根據(jù)權(quán)利要求5所述的設(shè)備,其中所述多個卷積層串行連接,并且串行連接的最后一個卷積層的輸出端連接至所述特征提取器的輸入端。7.根據(jù)權(quán)利要求5所述的設(shè)備,其中所述特征融合操作包括對所述多個特征向量執(zhí)行數(shù)據(jù)拼接操作,以便輸出所述目標(biāo)向量數(shù)據(jù)。8.根據(jù)權(quán)利要求7所述的設(shè)備,其中所述第二神經(jīng)網(wǎng)絡(luò)模塊包括長短期記憶神經(jīng)網(wǎng)絡(luò),其配置成接收和處理所述目標(biāo)向量數(shù)據(jù),以輸出用于評估所述肺部病灶區(qū)的評估結(jié)果。9.根據(jù)權(quán)利要求2-8的任意一項所述的設(shè)備,其中所述評估結(jié)果包括肺部病灶區(qū)的病灶質(zhì)量信息,該病灶質(zhì)量信息至少用于預(yù)測或判斷新型冠狀病毒感染的患者的病情嚴(yán)重程度和/或病情發(fā)展趨勢。4技術(shù)領(lǐng)域[0001]本發(fā)明總體上涉及圖像處理領(lǐng)域。更具體地,本發(fā)明涉及一種基于神經(jīng)網(wǎng)絡(luò)模型對肺部病灶區(qū)進(jìn)行評估的設(shè)備和計算機(jī)可讀存儲介質(zhì)。背景技術(shù)[0002]隨著圖像處理技術(shù)的不斷演進(jìn),當(dāng)前對包括肺部病灶區(qū)域的病灶區(qū)圖像的研究快速發(fā)展。眾所周知,病灶區(qū)域圖像中通常包含有助于臨床診斷的豐富信息,因此對病灶區(qū)域的圖像特征進(jìn)行有效的提取和分析顯得尤為重要。目前傳統(tǒng)的處理方式是提取病灶區(qū)域的影像學(xué)特征,并將影像學(xué)特征用于后續(xù)的分析和研究,以期對病灶區(qū)域做出評價。然而,如何有效地提取病灶區(qū)域的特征并且基于該特征對病灶區(qū)域進(jìn)行有效的評估和預(yù)測成為亟需解決的問題,特別是當(dāng)該肺部病灶區(qū)域包括新型冠狀病毒感染的區(qū)域。發(fā)明內(nèi)容[0003]為了至少解決上面的技術(shù)問題,本發(fā)明提供一種基于神經(jīng)網(wǎng)絡(luò)模型對肺部病灶區(qū)進(jìn)行評估的設(shè)備。具體來說,本發(fā)明使用了基于神經(jīng)網(wǎng)絡(luò)的技術(shù)來接收并處理圖像數(shù)據(jù)以輸出用于評估肺部病灶區(qū)域的評估結(jié)果。利用該評估結(jié)果,本發(fā)明的方案可以對肺部病灶區(qū)隨時間的發(fā)展情況進(jìn)行預(yù)測。為此,本發(fā)明在如下的多個方面提供相應(yīng)的解決方案。[0004]在第一方面中,本發(fā)明提供一種基于神經(jīng)網(wǎng)絡(luò)模型對肺部病灶區(qū)進(jìn)行評估的設(shè)機(jī)可讀存儲介質(zhì),其存儲有實(shí)現(xiàn)所述第一神經(jīng)網(wǎng)絡(luò)模塊和第二神經(jīng)網(wǎng)絡(luò)模塊的程序指令,當(dāng)所述程序指令由所述一個或多個處理器執(zhí)行時,使得:第一神經(jīng)網(wǎng)絡(luò)模塊接收并處理與肺部病灶區(qū)圖像相關(guān)的圖像數(shù)據(jù),以獲得目標(biāo)向量數(shù)據(jù),其中所述圖像數(shù)據(jù)包含與肺部病灶區(qū)圖像相關(guān)的原始數(shù)據(jù)和/或與肺部病灶區(qū)圖像的幾何特征相關(guān)的二維數(shù)據(jù);以及第二神經(jīng)網(wǎng)絡(luò)模塊接收并且處理所述目標(biāo)向量數(shù)據(jù),以輸出用于評估所述肺部病灶區(qū)的評估結(jié)果。[0005]在一個實(shí)施例中,與所述肺部病灶區(qū)圖像相關(guān)的圖像數(shù)據(jù)包括在多個不同時刻獲取的、與肺部病灶區(qū)相關(guān)的多組圖像子數(shù)據(jù)。[0006]在一個實(shí)施例中,所述一個或多個計算機(jī)可讀存儲介質(zhì)還存儲有獲得所述二維數(shù)據(jù)的程序指令,當(dāng)所述程序指令由所述一個或多個處理器執(zhí)行時,使得:基于所述原始數(shù)據(jù)來生成二維網(wǎng)格;以及利用所述二維網(wǎng)格來確定幾何特征,并且將所述幾何特征表示為圖[0007]在一個實(shí)施例中,所述幾何特征包括基于所述肺部病灶區(qū)圖像所獲得的高斯曲率、平均曲率或者共形因子。[0008]在一個實(shí)施例中,所述肺部病灶區(qū)圖像是有新型冠狀病毒感染的肺部區(qū)域圖像,并且所述第一神經(jīng)網(wǎng)絡(luò)模塊包括多個編碼器和特征提取器,其中:所述多個編碼器中的每個編碼器包括多個卷積層,其配置用于對所述圖像數(shù)據(jù)進(jìn)行多層卷積處理,以從所述圖像5數(shù)據(jù)獲得針對于不同幾何特征的多個特征向量;以及所述特征提取器,其配置用于對所述多個特征向量執(zhí)行特征融合操作,以獲得所述目標(biāo)向量數(shù)據(jù)。[0009]在一個實(shí)施例中,所述多個卷積層串行連接,并且串行連接的最后一個卷積層的輸出端連接至所述特征提取器的輸入端。[0010]在一個實(shí)施例中,所述特征融合操作包括對所述多個特征向量執(zhí)行數(shù)據(jù)拼接操[0011]在一個實(shí)施例中,所述第二神經(jīng)網(wǎng)絡(luò)模塊包括長短期記憶神經(jīng)網(wǎng)絡(luò),其配置成接收和處理所述目標(biāo)向量數(shù)據(jù),以輸出用于評估所述肺部病灶區(qū)的評估結(jié)果。[0012]在一個實(shí)施例中,所述評估結(jié)果包括肺部病灶區(qū)的病灶質(zhì)量信息,該病灶質(zhì)量信息至少用于預(yù)測或判斷新型冠狀病毒感染的患者的病情嚴(yán)重程度和/或病情發(fā)展趨勢。[0013]在第二方面中,本發(fā)明提供一種計算機(jī)可讀存儲介質(zhì),其包括用于基于神經(jīng)網(wǎng)絡(luò)模型對肺部病灶區(qū)圖像進(jìn)行評估的計算機(jī)程序,當(dāng)所述計算機(jī)程序由上述的設(shè)備執(zhí)行時,使得所述設(shè)備輸出用于評估所述肺部病灶區(qū)圖像的評估結(jié)果。[0014]通過上述在多個方面對本發(fā)明方案的描述,本領(lǐng)域技術(shù)人員可以理解本發(fā)明的方案能夠高效地利用神經(jīng)網(wǎng)絡(luò)技術(shù)來對圖像數(shù)據(jù)進(jìn)行分析和評估,從而對包括在圖像中的肺部病灶區(qū)的發(fā)展做出合理的評估和預(yù)測。在一個應(yīng)用場景中,當(dāng)肺部病灶區(qū)包括有新型冠狀病毒感染的病灶區(qū)時,通過利用本發(fā)明的設(shè)備對其進(jìn)行評估,可以預(yù)測新型冠狀病毒感染的嚴(yán)重程度及進(jìn)展可能,從而能夠為患者提供有效的醫(yī)學(xué)干預(yù)。進(jìn)一步,本發(fā)明的二維數(shù)據(jù)包括提取自肺部病灶區(qū)的幾何特征的數(shù)據(jù),使得到的評估結(jié)果對于患者的病情更具有解釋性,從而令評估結(jié)果更為準(zhǔn)確和更具參考性。另外,本發(fā)明的神經(jīng)網(wǎng)絡(luò)模塊利用特征融合操作來對數(shù)據(jù)進(jìn)行融合,從而能夠有效地提取和處理圖像數(shù)據(jù)中的特征,由此提高了預(yù)測和評估的準(zhǔn)確性。附圖說明[0015]通過參考附圖閱讀下文的詳細(xì)描述,本發(fā)明示例性實(shí)施方式的上述以及其他目的、特征和優(yōu)點(diǎn)將變得易于理解。在附圖中,以示例性而非限制性的方式示出了本發(fā)明的若干實(shí)施方式,并且相同或?qū)?yīng)的標(biāo)號表示相同或?qū)?yīng)的部分其中:[0016]圖1是示出根據(jù)本發(fā)明實(shí)施例的基于神經(jīng)網(wǎng)絡(luò)模型對肺部病灶區(qū)進(jìn)行評估的評估系統(tǒng)的架構(gòu)圖;[0017]圖2是示出根據(jù)本發(fā)明實(shí)施例的肺部病灶區(qū)的幾何特征的提取方法的流程圖;[0018]圖3是示出可以用于本發(fā)明的病灶區(qū)域的原始圖像數(shù)據(jù);[0019]圖4a是示出根據(jù)本發(fā)明實(shí)施例的沿閉合曲線切開后獲得的第一拓?fù)鋱A盤;[0020]圖4b是示出根據(jù)本發(fā)明實(shí)施例的沿閉合曲線切開后獲得的第二拓?fù)鋱A盤;[0021]圖5是示出根據(jù)本發(fā)明實(shí)施例的獲取閉合曲線方法的流程圖;[0022]圖6是示出根據(jù)本發(fā)明實(shí)施例的示例性三角形網(wǎng)格;[0023]圖7是示出根據(jù)本發(fā)明實(shí)施例的拓?fù)鋱A盤內(nèi)部映射到單位矩形內(nèi)形成調(diào)和映射的調(diào)和像點(diǎn)的方法的流程圖;[0024]圖8是示出根據(jù)本發(fā)明實(shí)施例的拓?fù)鋱A盤內(nèi)部映射到單位矩形內(nèi)形成調(diào)和映射的調(diào)和像點(diǎn)的方法的詳細(xì)流程圖;6[0025]圖9是示出根據(jù)本發(fā)明實(shí)施例的形成病灶區(qū)域的幾何特征圖片的操作的簡化流程[0026]圖10a是示出根據(jù)本發(fā)明實(shí)施例的原始未切分封閉網(wǎng)格的示例性示意圖;[0027]圖10b是示出根據(jù)本發(fā)明實(shí)施例的確定像素值的示例性示意圖;[0028]圖11a是示出根據(jù)本發(fā)明實(shí)施例的基于高斯曲率形成的圖片;[0029]圖11b是示出根據(jù)本發(fā)明實(shí)施例的基于平均曲率形成的圖片;[0030]圖11c是示出根據(jù)本發(fā)明實(shí)施例的基于共形因子形成的圖片;[0031]圖12是示出根據(jù)本發(fā)明實(shí)施例的第一神經(jīng)網(wǎng)絡(luò)模塊的操作框圖;[0032]圖13示出根據(jù)本發(fā)明實(shí)施例的編碼器的操作框圖;[0033]圖14是示出根據(jù)本發(fā)明實(shí)施例的第一神經(jīng)網(wǎng)絡(luò)模塊和第二神經(jīng)網(wǎng)絡(luò)模塊的操作框圖;[0034]圖15是示出根據(jù)本發(fā)明實(shí)施例的第二神經(jīng)網(wǎng)絡(luò)模塊的操作原理圖;以及[0035]圖16是示出根據(jù)本發(fā)明實(shí)施例的用于對肺部病灶區(qū)進(jìn)行評估的設(shè)備的方框圖。具體實(shí)施方式[0036]下面將結(jié)合附圖對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚和完整地描述。應(yīng)當(dāng)理解的是本說明書所描述的實(shí)施例僅是本發(fā)明為了便于對方案的清晰理解和符合法律的要求而提供的部分實(shí)施例,而并非可以實(shí)現(xiàn)本發(fā)明的所有實(shí)施例?;诒菊f明書公開的實(shí)施例,本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。[0037]圖1是示出根據(jù)本發(fā)明實(shí)施例的基于神經(jīng)網(wǎng)絡(luò)模型對肺部病灶區(qū)進(jìn)行評估的評估系統(tǒng)100的架構(gòu)圖。Tomography,即“CT”機(jī))102,其用于對患者的患病部位或疑似患病部位的層面進(jìn)行掃描,以得到三維立體圖像數(shù)據(jù)。在本發(fā)明的上下文,這里的患病部位可以是肺部,特別是可能或已經(jīng)有新型冠狀病毒感染的肺部區(qū)域。由此,通過CT機(jī)的掃描,可以得到本發(fā)明的三維圖像數(shù)[0039]在獲得上述的三維圖像數(shù)據(jù)后,本發(fā)明的評估系統(tǒng)利用其數(shù)據(jù)庫104對該三維圖像數(shù)據(jù)進(jìn)行保存。盡管圖中未示出,在一些場景中,還可以對該保存前的三維圖像數(shù)據(jù)進(jìn)行一些預(yù)處理,例如包括將該三維圖像數(shù)據(jù)進(jìn)行三角網(wǎng)格化,以得到例如二維網(wǎng)絡(luò)。[0040]進(jìn)一步如圖1中所示出的,本發(fā)明的評估系統(tǒng)100還包括設(shè)備106,其在圖中示例性地示為計算機(jī)??梢岳斫獾氖潜景l(fā)明的設(shè)備不限于圖中所示計算機(jī)這一種形式,而是還可以實(shí)現(xiàn)為移動計算設(shè)備或其他形式的計算設(shè)備。盡管未示出,本發(fā)明的設(shè)備106可以包括一個或多個處理器,該一個或多個處理器可以包括通用處理器("CPU")或?qū)S脠D形處理器(“GPU”)。進(jìn)一步,本發(fā)明的設(shè)備還包括第一神經(jīng)網(wǎng)絡(luò)模塊108和第二神經(jīng)網(wǎng)絡(luò)模塊110。[0041]作為示例,本發(fā)明的上述第一神經(jīng)網(wǎng)絡(luò)模塊和第二神經(jīng)網(wǎng)絡(luò)模塊可以實(shí)現(xiàn)為存儲于設(shè)備106的計算機(jī)可讀存儲介質(zhì)上的程序指令。根據(jù)不同的應(yīng)用場景,此處的計算機(jī)可讀存儲介質(zhì)可以是一個或者多個,并且可以是能夠存儲程序指令的各類存儲介質(zhì)。在執(zhí)行本發(fā)明的評估任務(wù)期間,處理器可以執(zhí)行計算機(jī)可讀存儲介質(zhì)上存儲的程序指令,從而該程7序指令的運(yùn)行實(shí)現(xiàn)了本發(fā)明的第一神經(jīng)網(wǎng)絡(luò)模塊和第二神經(jīng)網(wǎng)絡(luò)模塊執(zhí)行的操作。[0042]具體地,當(dāng)處理器執(zhí)行前述一個或者多個程序指令時,本發(fā)明的第一神經(jīng)網(wǎng)絡(luò)模塊可以配置成接收并處理與肺部病灶區(qū)圖像相關(guān)的圖像數(shù)據(jù)(例如圖中左側(cè)所示的圖像數(shù)據(jù)104),以獲得目標(biāo)向量數(shù)據(jù)。在一個實(shí)施例中,所述圖像數(shù)據(jù)包含與肺部病灶區(qū)圖像相關(guān)的原始數(shù)據(jù)和/或與肺部病灶區(qū)圖像的幾何特征相關(guān)的二維數(shù)據(jù)。相應(yīng)地,本發(fā)明的第二神經(jīng)網(wǎng)絡(luò)模塊可以配置成接收并且處理所述目標(biāo)向量數(shù)據(jù),以輸出用于評估所述肺部病灶區(qū)的評估結(jié)果(例如以質(zhì)量或體積比的形式來反映)。[0043]在一個應(yīng)用場景中,上述圖像數(shù)據(jù)可以是包含與目標(biāo)圖像區(qū)域相關(guān)的原始數(shù)據(jù)和/或與目標(biāo)圖像區(qū)域的幾何特征相關(guān)的二維數(shù)據(jù)。在一個實(shí)施例中,目標(biāo)圖像區(qū)域可以例如是與患者的肺部病灶區(qū)域相關(guān)的圖像區(qū)域,其原始數(shù)據(jù)可以通過例如電子計算機(jī)斷層掃描技術(shù)或設(shè)備所獲得的CT圖像數(shù)據(jù)。在一個實(shí)現(xiàn)場景中,與所述肺部病灶區(qū)圖像相關(guān)的圖像數(shù)據(jù)包括在多個不同時刻獲取的、與肺部病灶區(qū)相關(guān)的多組圖像子數(shù)據(jù)。[0044]基于上述描述,上述計算機(jī)可讀存儲介質(zhì)還存儲有獲得所述二維數(shù)據(jù)的程序指令,當(dāng)所述程序指令由所述一個或多個處理器執(zhí)行時,使得根據(jù)獲得的原始數(shù)據(jù)來生成二維網(wǎng)格,并且通過該二維網(wǎng)格來確定目標(biāo)圖像區(qū)域的幾何特征。進(jìn)一步地,通過本發(fā)明的設(shè)備,可以將幾何特征(例如基于所述肺部病灶區(qū)圖像所獲得的高斯曲率、平均曲率或者共形因子)表示為圖片的形式,以作為目標(biāo)圖像區(qū)域的幾何特征相關(guān)的二維數(shù)據(jù)。[0045]在一個實(shí)施例中,本發(fā)明設(shè)備中的第一神經(jīng)網(wǎng)絡(luò)模塊可以包括多個編碼器和特征提取器(例如圖12中所示出的)。在一個實(shí)現(xiàn)場景中,前述的多個編碼器中的每個編碼器可以包括多個卷積層,其配置用于對圖像數(shù)據(jù)進(jìn)行多層卷積處理,以從所述圖像數(shù)據(jù)獲得針對于不同幾何特征的多個特征向量。在一個實(shí)施例中,每個編碼器中的多個卷積層可以串行連接,并且串行連接的最后一個卷積層的輸出端可以連接至所述特征提取器的輸入端。在一個實(shí)現(xiàn)場景中,特征提取器可以配置用于對前述多個特征向量執(zhí)行特征融合操作,以獲得目標(biāo)向量數(shù)據(jù)。作為示例,特征融合操作可以包括對多個特征向量執(zhí)行數(shù)據(jù)拼接操作,以便輸出所述目標(biāo)向量數(shù)據(jù)。[0046]在一個實(shí)施例中,本發(fā)明設(shè)備的第二神經(jīng)網(wǎng)絡(luò)模塊包括長短期記憶神經(jīng)網(wǎng)絡(luò)以輸出用于評估所述肺部病灶區(qū)的評估結(jié)果。在一個應(yīng)用場景中,所述評估結(jié)果可以包括肺部病灶區(qū)的病灶質(zhì)量信息,該病灶質(zhì)量信息至少用于預(yù)測或判斷新型冠狀病毒感染的患者的病情嚴(yán)重程度和/或病情發(fā)展趨勢。[0047]上文結(jié)合圖1對本發(fā)明的評估系統(tǒng)以及其中的設(shè)備進(jìn)行了描述。下面將結(jié)合圖2-圖11對本發(fā)明如何進(jìn)行前述的幾何特征的提取進(jìn)行詳細(xì)地描述。[0048]圖2是示出根據(jù)本發(fā)明實(shí)施例的用于提取病灶區(qū)圖像的幾何特征的方法200的流程圖??梢岳斫獾氖潜景l(fā)明的方法100可以通過包括例如計算機(jī)在內(nèi)的各類計算設(shè)備來實(shí)施。[0049]首先,在步驟S202處,方法200獲取肺部病灶區(qū)域的三維圖像數(shù)據(jù)。在一個實(shí)施例中,前述的三維圖像數(shù)據(jù)可以是通過例如CT技術(shù)或設(shè)備所獲得的三維圖像數(shù)據(jù)。在另一個實(shí)施例中,這里的肺部病灶區(qū)域可以是或者包括有新型冠狀病毒感染的肺部區(qū)域。[0050]接著,在步驟S204處,方法200根據(jù)病灶區(qū)域的三維圖像數(shù)據(jù)生成由多個頂點(diǎn)連接8利用例如計算幾何算法庫(ComputationalGeometryAlgorithmsLibrary,簡寫為100利用所述多個頂點(diǎn)中的部分頂點(diǎn)形成的閉合曲線將所述二維網(wǎng)格切分成兩個拓?fù)鋱A盤法200利用上述多個頂點(diǎn)的幾何特征值來確定所述單位矩形上對應(yīng)點(diǎn)的像素值。根據(jù)不同[0056]結(jié)合圖1所提到的,本發(fā)明利用所述多個頂點(diǎn)中的部分頂點(diǎn)形成的閉合曲線將通法500可以根據(jù)二維網(wǎng)格的拓?fù)浼熬W(wǎng)格邊的邊長來確定(例如通過計算)基于網(wǎng)格的拉普拉9頂點(diǎn)之間的連接關(guān)系。當(dāng)頂點(diǎn)的總數(shù)為M為時,則可以形成一個M階拉普拉斯貝爾特拉米矩陣。為了便于討論,下面首先結(jié)合圖6來描述該拉普拉斯貝爾特拉米矩陣。[0057]圖6是示出根據(jù)本發(fā)明實(shí)施例的示例性三角形網(wǎng)格。從圖6中可以看出,這里示出兩個三角形網(wǎng)格,其包括四個頂點(diǎn)Ui,Uj,U1,和Uk。進(jìn)一步,頂點(diǎn)Ui和U1之間形成的邊與頂點(diǎn)U?和Uj之間形成的邊之間的夾角為θi,而頂點(diǎn)Ui和Uk之間形成的邊與頂點(diǎn)Uj和Uk之間形點(diǎn)、邊長和夾角,可以通過下式來確定拉普拉斯貝爾特拉米矩陣中的每個元素值,即頂點(diǎn)Ui和Uj之間的(關(guān)系)權(quán)重:[0061]上述的內(nèi)邊表示該條邊為兩個三角形網(wǎng)格所共用,“cot”表示余切值,而邊界邊表示該條邊并非為兩個三角網(wǎng)格所共用,而是僅被一個三角形網(wǎng)格所包含。[0062]返回到圖5,在上述根據(jù)二維網(wǎng)格的拓?fù)浼熬W(wǎng)格邊的邊長來計算基于所述網(wǎng)格的拉普拉斯貝爾特拉米矩陣后,方法500流程前進(jìn)到步驟S504。在該步驟S504處,方法500可以對前述矩陣進(jìn)行計算以獲得該矩陣的絕對值最小的非零特征值,從而確定該絕對值最小的非零特征值所對應(yīng)的特征函數(shù)。接著,在步驟S506處,方法500可以根據(jù)前述特征函數(shù)來確定上述二維網(wǎng)格上每個網(wǎng)格頂點(diǎn)處的函數(shù)值,并根據(jù)函數(shù)值獲取閉合曲線的起點(diǎn)以及中間[0063]在獲取所述閉合曲線的起點(diǎn)和中間點(diǎn)后,接著方法500在步驟S508處從所有頂點(diǎn)中選擇具有全局最小的函數(shù)值的頂點(diǎn)作為所述閉合曲線的起點(diǎn)。然后,在步驟S510處,方法500從與前述起點(diǎn)相鄰的多個頂點(diǎn)中選擇具有局部最小的函數(shù)值的頂點(diǎn)作為第1中間頂點(diǎn)。接著,在步驟S512處,方法500針對于第2~第N中間頂點(diǎn)的每個中間頂點(diǎn),執(zhí)行以下選擇操作,直到返回到所述起點(diǎn)(也即閉合曲線的終點(diǎn)):從與所述第N-1中間頂點(diǎn)相鄰的多個頂點(diǎn)中選擇具有局部最小的函數(shù)值的頂點(diǎn)作為第N中間頂點(diǎn),這里N可以是大于或等于2的正整數(shù)。當(dāng)完成上述的操作后,方法500就獲得了從起點(diǎn)出發(fā)、依次經(jīng)過N個中間節(jié)點(diǎn)后返回到起點(diǎn)的閉合曲線,例如圖3所示的病灶區(qū)域三維圖像中黑線曲線所代表的閉合曲線。[0064]圖4a和圖4b是分別示出根據(jù)本發(fā)明實(shí)施例的沿圖3中的閉合曲線切開后獲得的第一拓?fù)鋱A盤和第二拓?fù)鋱A盤。如前所述,通過對本發(fā)明的方法500所獲取的閉合曲線進(jìn)行切分,就可以獲得如圖4a和如圖4b所示的第一拓?fù)鋱A盤和第二拓?fù)鋱A盤。[0065]圖7是示出根據(jù)本發(fā)明實(shí)施例的拓?fù)鋱A盤內(nèi)部映射到單位矩陣內(nèi)形成調(diào)和映射的調(diào)和像點(diǎn)的方法700的流程圖。這里需要理解的是方法700是圖2所示方法208中形成調(diào)和映射的調(diào)和像點(diǎn)的一種具體實(shí)現(xiàn)方式,因此關(guān)于方法200所做的描述也同樣適用于方法700。[0074]圖8是示出根據(jù)本發(fā)明實(shí)施例的拓?fù)鋱A盤內(nèi)部映射到單位矩陣內(nèi)形成調(diào)和映射的根據(jù)調(diào)整后的初始像點(diǎn)的坐標(biāo)來更新前述的調(diào)和能量。在步驟S806,可以對調(diào)和能量與預(yù)設(shè)能量梯度閾值進(jìn)行比較。在一個實(shí)施例中,[0077]圖9是示出根據(jù)本發(fā)明實(shí)施例的形成病灶區(qū)域的幾何特征圖片的操作800的簡化11流程圖。根據(jù)不同的實(shí)施場景,本發(fā)明的幾何特征可以是高斯曲率、平均曲率或共形因子中的一個。在一個實(shí)施例中,可以根據(jù)網(wǎng)格信息來計算所述網(wǎng)格頂點(diǎn)的高斯曲率、平均曲率或共形因子。在一個實(shí)施場景中,所述高斯曲率等于2π減去原始未切開的封閉網(wǎng)格頂點(diǎn)處與其相鄰網(wǎng)格對應(yīng)的角度。為了便于理解這里所提到的高斯曲率,首先結(jié)合圖10a來進(jìn)行簡單的描述。圖10a是示出根據(jù)本發(fā)明實(shí)施例的原始未切分封閉網(wǎng)格的示例性示意圖,其中將該網(wǎng)格中的一個頂點(diǎn)記為P,與頂點(diǎn)P相鄰的網(wǎng)格對應(yīng)的角度分別記為θ1、θ2、θ3、θ4和θ5,頂點(diǎn)P處的高斯曲率記為k,則k=2π-基于此,可以計算出原始網(wǎng)格面上所有頂點(diǎn)的高斯曲率值。[0078]關(guān)于上述提到的幾何特征涉及的平均曲率,在一個實(shí)施場景中,首先在未切開的原始網(wǎng)格上計算每個網(wǎng)格面的法向量,并將其相鄰面的法向量分別記為m和n,定義arc=平均曲率為邊長*acos(arc)。其中,“acos”表示反余弦值。對于點(diǎn)來說,每個點(diǎn)的平均曲率為該點(diǎn)周圍所有邊的平均曲率求和后的平均值。[0079]關(guān)于上述提到的幾何特征還涉及的共形因子,在另一個實(shí)施場景中,首先計算未切分的原始網(wǎng)格面的總面積以及每個頂點(diǎn)的面積,其中每個頂點(diǎn)的面積可以例如為所述頂點(diǎn)周圍的面積的三分之一。接著,計算調(diào)和映射后網(wǎng)格的總面積,其中調(diào)和映射后的頂點(diǎn)的面積為調(diào)和映射后網(wǎng)格的總面積的三分之一,則面積比為原總面積/調(diào)和映射總面積。由此,每個頂點(diǎn)的共形因子為面積比*調(diào)和映射后的頂點(diǎn)的面積/網(wǎng)格總面積。[0080]基于上述的示例性操作,可以獲得網(wǎng)格面上每個頂點(diǎn)的高斯曲率、平均曲率或共形因子,并將其計算結(jié)果取整后作為單位矩形上對應(yīng)調(diào)和像點(diǎn)的像素值,并且根據(jù)所述像述單位矩形上均勻布置像素點(diǎn)。在一個示例性場景中,可以均勻布置例如256*256個像素點(diǎn)。接著,可以針對于所述每個像素點(diǎn)來執(zhí)行以下步驟(即步驟S904和S906)以獲取像素值。[0081]首先,在步驟S904處,將判斷上述像素點(diǎn)在單位矩形上的位置,例如像素點(diǎn)可以是在單位矩形的四個頂點(diǎn)上、可以是在單位矩形的四條邊上,又或者可以是在單位矩形的內(nèi)部。在一個實(shí)施例中,可以根據(jù)前述的調(diào)和像點(diǎn)的坐標(biāo)來確定像素點(diǎn)在單位矩形內(nèi)的位置。接著,在步驟S906處,將根據(jù)所述位置來確定所述像素點(diǎn)的高斯曲率、平均曲率或共形因子的值,從而最終確定所述像素點(diǎn)的像素值。在一個實(shí)施例中,當(dāng)所述像素點(diǎn)位于所述單位矩形的四個頂點(diǎn)時,將所述單位矩形的四個頂點(diǎn)的高斯曲率、平均曲率或共形因子作為所述像素點(diǎn)的像素值。在另一實(shí)施例中,當(dāng)所述像素點(diǎn)位于所述單位矩形的四條邊上時,利用線性插值來計算高斯曲率、平均曲率或共形因子,以作為對應(yīng)的像素點(diǎn)的像素值。在又一實(shí)施例中,當(dāng)所述像素點(diǎn)位于所述單位矩形的內(nèi)部時,利用重心坐標(biāo)插值來計算高斯曲率、平均曲率或共形因子,以作為對應(yīng)的所像素點(diǎn)的像素值。下面將結(jié)合圖10b描述不同位置處的像素點(diǎn)的像素值確定過程。[0082]圖10b是示出根據(jù)本發(fā)明實(shí)施例的確定像素值的示例性示意圖。如圖10b中左側(cè)所示的水平線和豎直線交織成矩形網(wǎng)格,所述網(wǎng)格大小可以是256*256,并且網(wǎng)格布置有256*256個像素點(diǎn),例如像素點(diǎn)P1、像素點(diǎn)P2以及像素點(diǎn)P3(其余像素點(diǎn)圖中未示出)。圖中左側(cè)所示多個三角形網(wǎng)格為單位矩形上調(diào)和映射的部分調(diào)和像點(diǎn)連接而成。在一個示例性場景標(biāo)為(x2,y2)以及v5處的坐標(biāo)為(x3,y3),像素點(diǎn)P3點(diǎn)處的坐標(biāo)為(Px,Py),采用重心坐標(biāo)[0089]由上述公式獲得v3對應(yīng)的面積S3,v4對應(yīng)的面積S4以及v5對應(yīng)的面積記S5,最終[0090]基于前述描述確定256*256個像素點(diǎn)的像素值,本發(fā)明的方案最終可以形成例如圖11a所示的基于高斯曲率形成的圖片,例如圖11b所示的基于平均曲率形成的圖片;或者例如圖11c所示的基于共形因子形成的圖片。通過對形成表示前述三種幾何特征的圖片進(jìn)行例如人工智能領(lǐng)域內(nèi)的深度學(xué)習(xí),從而可以獲得病灶發(fā)展預(yù)測模型并進(jìn)行相應(yīng)的預(yù)測。[0091]在基于結(jié)合上述圖2-圖11所描述的提取方式來獲取包括所述幾何特征的圖像數(shù)據(jù)后(例如二維數(shù)據(jù))或者是通過CT技術(shù)采集到的原始數(shù)據(jù)后,由于該圖像數(shù)據(jù)通常采用0到255范圍內(nèi)的灰度值表示,因此通常需要對獲取到的圖像數(shù)據(jù)進(jìn)行預(yù)處理。在一個實(shí)施例中,本發(fā)明提出利用最大-最小(max-min)準(zhǔn)則將圖像數(shù)據(jù)的灰度值歸一化至0到1之間的浮點(diǎn)數(shù)。接著,本發(fā)明的第一神經(jīng)網(wǎng)絡(luò)模塊接收該預(yù)處理后的圖像數(shù)據(jù),并對其進(jìn)行處理以獲取目標(biāo)向量數(shù)據(jù)。在應(yīng)用本發(fā)明的幾何特征提取方案的實(shí)施場景中,前述圖像數(shù)據(jù)還可以是與目標(biāo)圖像區(qū)域的幾何特征相關(guān)的一維數(shù)據(jù)和/或三維數(shù)據(jù)。[0092]圖12是示出根據(jù)本發(fā)明實(shí)施例的第一神經(jīng)網(wǎng)絡(luò)模塊108的操作框圖。需要理解的是,圖12所示第一神經(jīng)網(wǎng)絡(luò)模塊是圖1所示評估系統(tǒng)100中的第一神經(jīng)網(wǎng)絡(luò)模塊的一種具體實(shí)施方式。由此,關(guān)于圖1描述的評估系統(tǒng)100的相關(guān)細(xì)節(jié)和特征也適用于圖12的描述。[0093]如圖所示,圖中左側(cè)虛線框中表示不同類型的圖像數(shù)據(jù),從上到下依次表示原始數(shù)據(jù)1201、三維數(shù)據(jù)1202、二維數(shù)據(jù)1203以及一維數(shù)據(jù)1204。在一個實(shí)施例中,一維數(shù)據(jù)可以存儲為TXT格式,其大小可以是1*400(即一行400個數(shù)據(jù)位);二維數(shù)據(jù)可以存儲為圖片(例如png)格式,其像素大小例如可以是256*256。該圖片示例性地可以是圖11a、圖11b或圖11c中所示包含幾何特征的圖片;三維數(shù)據(jù)可以存儲為nii格式,其尺寸大小可以是512位*512位*512位。如前所述,本發(fā)明的方案提出使用max-min準(zhǔn)則對上述的圖像數(shù)據(jù)進(jìn)行歸一化處理,從而保持處理后的數(shù)據(jù)格式和尺寸大小不變。[0094]在接收到上述的圖像數(shù)據(jù)(例如經(jīng)歸一化預(yù)處理的圖像數(shù)據(jù))后,本發(fā)明的第一神經(jīng)網(wǎng)絡(luò)模塊108首先將圖像數(shù)據(jù)通過不同的編碼器來提取不同類型的圖像數(shù)據(jù)對應(yīng)的特征[0095]具體來說,編碼器1對原始數(shù)據(jù)1201進(jìn)行處理以輸出特征向量1201-1。類似地,三維數(shù)據(jù)1202、二維數(shù)據(jù)1203以及一維數(shù)據(jù)1204可以分別通過編碼器2、編碼器3以及編碼器4提取出相對應(yīng)的特征向量1202-1、特征向量1203-1以及特征向量1204-1。需要理解的是,圖12中所示的圖像數(shù)據(jù)維度的維度數(shù)和編碼器的個數(shù)僅僅是示例性而非限制性的,本領(lǐng)域技術(shù)人員可以根據(jù)需求選擇其他的圖像數(shù)據(jù)格式或類型。例如,在一些應(yīng)用場景中,可以采用原始數(shù)據(jù)、一維到三維數(shù)據(jù)中的任意一種數(shù)據(jù)來用于評估。在另一些應(yīng)用場景中,可以將前述的原始數(shù)據(jù)以及一維到三維數(shù)據(jù)中的任意兩種或多種進(jìn)行組合以用于評估。因此,本發(fā)明在數(shù)據(jù)格式和數(shù)據(jù)使用方式等方面并不作任何的限制。類似地,本發(fā)明也對與前述數(shù)據(jù)格式相對應(yīng)的編碼器的數(shù)目和類型不做任何的限制。[0096]在一個實(shí)施例中,本發(fā)明的上述編碼器可以通過神經(jīng)網(wǎng)絡(luò)中的卷積層(或者說卷積算子)來實(shí)現(xiàn)。在一個實(shí)現(xiàn)場景中,可以通過如圖13中所示出的包括兩個卷積層和一個自適應(yīng)卷積層的層結(jié)構(gòu)來實(shí)現(xiàn)對數(shù)據(jù)的編碼操作,以獲得如上所述的特征向量數(shù)據(jù),具體描述如下。[0097]圖13示出根據(jù)本發(fā)明實(shí)施例的編碼器1300的操作框圖??梢岳斫獾氖窃摼幋a器1300可以是圖12中的編碼器1-編碼器4中任意之一。如圖中所示,該編碼器1300可以包括卷積層1301、卷積層1302以及一個自適應(yīng)卷積層1303。假設(shè)該圖中左側(cè)數(shù)據(jù)是上述圖中的二維數(shù)據(jù)1203(例如提取的高斯曲率、平均曲率或者共形因子表示成的圖片),該編碼器1300設(shè)定為上述圖12中的編碼器3。由此,二維數(shù)據(jù)1203經(jīng)過編碼器1300中的卷積層1301進(jìn)行第一次卷積。接著,經(jīng)過卷積層1302進(jìn)行第二次卷積,并可選地經(jīng)過自適應(yīng)卷積1303進(jìn)行第三次卷積獲得特征向量1203-1。類似的,通過如上所述的編碼器處理,可以獲得如圖12中的特征向量1202-1、特征向量1203-1以及特征向量1204-1。[0098]根據(jù)實(shí)際的應(yīng)用場景,本發(fā)明的上述編碼器中的前兩個卷積層可以分別采用128和64個卷積核來執(zhí)行卷積操作。在該情形下,輸入可以分別是256*256和128*128大小的特征圖,而輸出可以分別是128*128和64*64大小的特征圖。對于第三個卷積層來說,其可以是使用32個卷積核的自適應(yīng)卷積層,并且其輸出是大小為32*32的特征圖。這里,增加自適應(yīng)卷積層的目的僅僅是為了固定編碼器的輸出大小,即使得本披露的編碼器總出輸出固定大小的特征圖,例如前述的32*32的特征圖?;诖?,本領(lǐng)域技術(shù)人員可以理解本發(fā)明的自適應(yīng)卷積層是可選的設(shè)置,并且在其他的一些應(yīng)用場景中,可以不使用或由另一卷積層來代替。進(jìn)一步,本發(fā)明的神經(jīng)網(wǎng)絡(luò)中的卷積核大小均可以是3*3的陣列,并可以采用均勻分布來初始化。[0099]結(jié)合圖12和圖13所示內(nèi)容,本領(lǐng)域技術(shù)人員可以理解本發(fā)明的第一神經(jīng)網(wǎng)絡(luò)模塊中的多個編碼器中的多個卷積層串行連接,并且串行連接的最后一個卷積層的輸出端連接至第一神經(jīng)網(wǎng)絡(luò)模塊的特征提取器(即圖12中的特征提取器1205)的輸入端。就圖13所示的卷積層結(jié)構(gòu)來說,編碼器中的自適應(yīng)卷積層1303的輸出端連接至特征提取器的輸入端,以便由特征提取器對多個向量數(shù)據(jù)執(zhí)行數(shù)據(jù)拼接操作來獲取目標(biāo)向量數(shù)據(jù)。[0100]參考圖12所示出的特征提取器1205,其對例如上述的四種特征向量執(zhí)行特征融合操作(也即圖中中間虛線框中的操作)。具體地,首先對特征向量1201-1、特征向量1202-1、特征向量1203-1以及特征向量1204-1分別進(jìn)行一次卷積獲得各自的卷積結(jié)果,再將每個特征向量的卷積結(jié)果進(jìn)行融合(例如拼接)來獲取目標(biāo)向量數(shù)據(jù)1206。例如將特征向量1202-1、特征向量1203-1以及特征向量1204-1各自的卷積結(jié)果與特征向量1201-1的卷積結(jié)果進(jìn)行拼接獲得特征向量1201-2。類似地,將特征向量1201-1、特征向量1203-1以及特征向量1204-1各自的卷積結(jié)果與特征向量1202-1的卷積結(jié)果進(jìn)行拼接獲得特征向量1202-2。由此,還可以獲得特征向量1203-2、特征向量1204-2。接著,對于特征向量1201-2、特征向量1202-2、特征向量1203-2以及特征向量1204-2再執(zhí)行多次(例如兩次)前述操作可以獲得特征向量1201-10、特征向量1202-10、特征向量1203-10以及特征向量1204-10,并且將其拼接形成目標(biāo)向量數(shù)據(jù)1206。[0101]在一個實(shí)施場景中,上述卷積采用的卷積核的大小可以是3*3、1*1(與其本身卷積時),卷積次數(shù)可以是三次,本發(fā)明對此不作限制。此外,目標(biāo)向量數(shù)據(jù)的維數(shù)也可以根據(jù)需求設(shè)定,本發(fā)明也不作限制。例如,本發(fā)明中獲得的目標(biāo)向量數(shù)據(jù)是1024維,并且該目標(biāo)向量數(shù)據(jù)涉及病人一次CT所獲得的圖像數(shù)據(jù)。在應(yīng)用于病灶區(qū)圖像分析的場景中,通??梢苑謩e采集病人不同時期的多個CT圖像,并且基于上述第一神經(jīng)網(wǎng)絡(luò)模塊描述的操作,從而獲得不同時期下的多個目標(biāo)向量數(shù)據(jù),以作為第二神經(jīng)網(wǎng)絡(luò)模塊的輸入端,例如圖14所示。[0102]圖14是示出根據(jù)本發(fā)明實(shí)施例的第一神經(jīng)網(wǎng)絡(luò)模塊和第二神經(jīng)網(wǎng)絡(luò)模塊的操作框圖。圖中最左側(cè)表示采集到病人在Tn個時期下的圖像數(shù)據(jù)(例如CT1圖像數(shù)據(jù)、CT2圖像數(shù)據(jù)以及CTn圖像數(shù)據(jù)),第一神經(jīng)網(wǎng)絡(luò)模塊108分別接收前述圖像數(shù)據(jù)并對其進(jìn)行處理,從而分別獲取到T1時刻的目標(biāo)向量數(shù)據(jù)1401、T2時刻的目標(biāo)向量數(shù)據(jù)1402以及T刻時期的目標(biāo)向量數(shù)據(jù)1410。接著,第二神經(jīng)網(wǎng)絡(luò)模塊108接收獲取到多個目標(biāo)向量數(shù)據(jù),并對其處理最終獲得病灶區(qū)域的評估結(jié)果。在一個實(shí)施例中,第二神經(jīng)網(wǎng)絡(luò)模塊可以是長短期記憶神經(jīng)網(wǎng)絡(luò)(LongShort-TermMemory,“LSTM”),例如圖15中所示出的。[0103]圖15是示出根據(jù)本發(fā)明實(shí)施例的第二神經(jīng)網(wǎng)絡(luò)模塊110的操作原理圖。如上所述,本發(fā)明的第二神經(jīng)網(wǎng)絡(luò)模塊在一個實(shí)施場景中可以實(shí)現(xiàn)為LSTM神經(jīng)網(wǎng)絡(luò),并且該LSTM神經(jīng)網(wǎng)絡(luò)中可以包括輸入層、一個或多個隱藏層以及輸出層。一神經(jīng)網(wǎng)絡(luò)模塊特征融合,分別獲得目標(biāo)向量數(shù)據(jù)X、目標(biāo)向量數(shù)據(jù)X-1以及目標(biāo)向量數(shù)輸入,并利用目標(biāo)向量數(shù)據(jù)X和前一時刻病人第t-1次CT的記憶St-1來計算當(dāng)前時刻病人。在一個實(shí)施場景中,可以多次重復(fù)前述操作(例如調(diào)整輸入層到隱藏層的權(quán)重U、隱藏層到輸出層的權(quán)重V以及上一時刻隱藏層到當(dāng)前時刻隱藏層的權(quán)重W并完成計算所有時刻下的記憶,最終獲取輸出Ot,該0t即為評估結(jié)果。通常情況下,前述評估結(jié)果可以表示為質(zhì)量(例如病灶區(qū)域的質(zhì)量)以及體積比(病灶區(qū)域與整個圖像的體積比)。通過分析該評估結(jié)果,可以確定圖像數(shù)據(jù)中的目標(biāo)特征隨時間發(fā)展的情形。例如,當(dāng)該圖像數(shù)據(jù)是包含新型冠狀病毒感染病灶區(qū)域的圖像數(shù)據(jù)時,可以對該新型冠狀病毒感染的當(dāng)前狀態(tài)及發(fā)展進(jìn)行評估和預(yù)測。[0105]例如,通過本發(fā)明前述從包含新型冠狀病毒感染區(qū)域的病灶區(qū)所提取的高階幾何特征,本發(fā)明設(shè)備的用戶(例如醫(yī)護(hù)專業(yè)人員)可以通過分析評估結(jié)果所反映的肺部感染區(qū)域的質(zhì)量或者體積比來確定當(dāng)前用戶的病情嚴(yán)重程度。進(jìn)一步,由于本發(fā)明的神經(jīng)網(wǎng)絡(luò)模塊對數(shù)據(jù)在時間維度上進(jìn)行處理,用戶基于評估結(jié)果也可以評估患者的病情發(fā)展?fàn)顩r。例如,當(dāng)質(zhì)量或體積比呈逐漸減小或下降的趨勢,則可以判斷患者有望在一定時間內(nèi)康復(fù)。相對而言,當(dāng)質(zhì)量或體積比呈增大或上升的趨勢,則可以判斷患者的病情在一定程度上有可能進(jìn)一步惡化。在該情形中,醫(yī)護(hù)人員可以對患者及時進(jìn)行必要的救治,以便控制病情的發(fā)展并防止病情的進(jìn)一步惡化。[0106]盡管上文沒有提及本發(fā)明的神經(jīng)網(wǎng)絡(luò)模塊的訓(xùn)練過程,但基于本發(fā)明公開的內(nèi)容,本領(lǐng)域技術(shù)人員可以理解本發(fā)明的神經(jīng)網(wǎng)絡(luò)模塊可以通過訓(xùn)練數(shù)據(jù)來進(jìn)行訓(xùn)練,從而獲得具有高精度的神經(jīng)網(wǎng)絡(luò)模塊。例如,在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的前向傳播過程中,本發(fā)明可以利用通過結(jié)合圖2-圖11所獲得的包括幾何特征的圖像數(shù)據(jù)來對本發(fā)明的神經(jīng)網(wǎng)絡(luò)模塊進(jìn)行訓(xùn)練,并且將訓(xùn)練結(jié)果與預(yù)期的結(jié)果(或稱真實(shí)值)進(jìn)行比較以獲得相應(yīng)的損失函數(shù)。進(jìn)一步,在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的反向傳播過程中,本發(fā)明利用獲得的損失函數(shù)并基于例如梯度下降算法來對權(quán)重(例如圖15中的權(quán)重U、V以及W進(jìn)行更新,以減小輸出Ot與真實(shí)值的誤差。[0107]結(jié)合上述描述,利用本發(fā)明實(shí)施例的圖像評估系統(tǒng),可以通過第一神經(jīng)網(wǎng)絡(luò)模塊對圖像數(shù)據(jù)進(jìn)行特征融合來獲取目標(biāo)向量數(shù)據(jù),第二神經(jīng)網(wǎng)絡(luò)模塊對目標(biāo)向量數(shù)據(jù)處理獲得圖像的評估結(jié)果。例如,可以將病人的CT圖像輸入本發(fā)明圖像評估系統(tǒng),由此直接獲得病人的病灶區(qū)域的評估結(jié)果(例如質(zhì)量和體積比)。通過對該質(zhì)量或者體積比對病人的病情以及病灶區(qū)域的發(fā)展趨勢進(jìn)行預(yù)測,以便人工干預(yù)。[0108]圖16是示出根據(jù)本發(fā)明實(shí)施例的用于基于神經(jīng)網(wǎng)絡(luò)模型對肺部病灶區(qū)進(jìn)行評估的設(shè)備1600的框圖。如圖16所示,設(shè)備1600可以包括中央處理單元(“CPU”)1611,其可以是括大容量存儲器1612和只讀存儲器(“ROM”)1613,其中大容量存儲器1612可以配置用于存儲各類數(shù)據(jù),例如包括各種與病灶區(qū)域相關(guān)的圖像數(shù)據(jù)、算法數(shù)據(jù)、中間結(jié)果和運(yùn)行設(shè)備1600所需要的各種程序。只讀存儲器(“ROM”)1613可以配置成存儲對于設(shè)備1600的加電自檢、系統(tǒng)中各功能模塊的初始化、系統(tǒng)的基本輸入/輸出的驅(qū)動程序及引導(dǎo)操作系統(tǒng)所需的數(shù)據(jù)。[0109]可選地,設(shè)備1600還可以包括其他的硬件平臺或組件,例如示出的張量處理單元(“TPU”)1614、圖形處理單元(“GPU”)1615、現(xiàn)場可編程門陣列("FPGA”)1616和機(jī)器學(xué)習(xí)單元(“MLU”)1617。可以理解的是,盡管在本發(fā)明的設(shè)備1600中示出了多種硬件平臺或組件,但這里僅僅是示例性的而非限制性的,本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際需要增加或移除相應(yīng)的硬件。例如,設(shè)備1600可以僅包括CPU來實(shí)現(xiàn)本發(fā)明的肺部病灶區(qū)的評[0110]在一些實(shí)施例中,為了便于數(shù)據(jù)與外部網(wǎng)絡(luò)的傳遞和交互,本發(fā)明的設(shè)備1600還包括通信接口1618,從而可以通過該通信接口1618連接到局域網(wǎng)/無線局域網(wǎng)(“LAN/WLAN”)1605,進(jìn)而可以通過LAN/WLAN連接到本地服務(wù)器1606或連接到因特網(wǎng)(“Internet”)1607。替代地或附加地,本發(fā)明的設(shè)備1600還可以通過通信接口1618基于無線通信技術(shù)直信技術(shù)。在一些應(yīng)用場景中,本發(fā)明的設(shè)備1600還可以根據(jù)需要訪問外部網(wǎng)絡(luò)的服務(wù)器1608和數(shù)據(jù)庫1609,以便獲得各種已知的圖像模型、數(shù)據(jù)和模塊,并且可以遠(yuǎn)程地存儲各種數(shù)據(jù),例如用于呈現(xiàn)或評估病灶區(qū)域圖像的各類數(shù)據(jù)。[0111]本發(fā)明的設(shè)備1600的外圍設(shè)備可以包括顯示裝置1602、輸入裝置1603和數(shù)據(jù)傳輸接口1604.在一個實(shí)施例中,顯示裝置1602可以例如包括一個或多個揚(yáng)聲器和/或一個或多個視覺顯示器,其配置用于對本發(fā)明的顯示病灶區(qū)域圖像的運(yùn)算過程或者最終結(jié)果進(jìn)行語音提示和/或圖像視頻顯示。輸入裝置1603可以包括例如鍵盤、鼠標(biāo)、麥克風(fēng)、姿勢捕捉相機(jī),或其他輸入按鈕或控件,其配置用于接收病灶區(qū)域圖像數(shù)據(jù)的輸入和/或用戶指令。數(shù)據(jù)傳輸接口1604可以包括例如串行接口、并行接口或通用串行總線接口(“USB”)、小型計算機(jī)系統(tǒng)接口(“SCSI”)、串行ATA、火線("FireWire”)、PCIExpress和高清多媒體接口傳輸接口1604可以接收來自于CT設(shè)備(如圖1中所示CT設(shè)備102)的病灶區(qū)域圖像或病灶區(qū)域圖像數(shù)據(jù),并且向設(shè)備1600傳送包括病灶區(qū)域的圖像數(shù)據(jù)或各種其他類型的數(shù)據(jù)或結(jié)1614、GPU1615、FPGA16過該總線與外圍設(shè)備實(shí)現(xiàn)數(shù)據(jù)交互。在一個實(shí)施例中,通過該總線1619,CPU1611可以控制設(shè)備1600中的其他硬件組件及其外圍設(shè)備。[0113]以上結(jié)合圖16描述了可以用于執(zhí)行本發(fā)明的基于神經(jīng)網(wǎng)絡(luò)模型對肺部病灶區(qū)進(jìn)行評估的設(shè)備。需要理解的是這里的設(shè)備結(jié)構(gòu)或架構(gòu)僅僅是示例性的,本發(fā)明的實(shí)現(xiàn)方式和實(shí)現(xiàn)實(shí)體并不受其限制,而是可以在不偏離本發(fā)明的精神下做出改變。端或設(shè)備可以包括或以其他方式訪問計算機(jī)可讀介質(zhì),諸如存儲介質(zhì)、計算機(jī)存儲介質(zhì)或數(shù)據(jù)存儲設(shè)備(可移除的)和/或不可移動的,例如磁盤、光盤或磁帶。計算機(jī)存儲介質(zhì)可以

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論