第十章TensorFlow案例--醫(yī)學(xué)應(yīng)用第十章TensorFlow案例--醫(yī)學(xué)應(yīng)用開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK安裝運(yùn)行開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK使用開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK案例

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK模型

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK

DLTK是底層為T(mén)ensorflow的生物醫(yī)學(xué)醫(yī)學(xué)圖像的深度學(xué)習(xí)工具包，避免用戶(hù)重復(fù)編寫(xiě)Tensorflow具有相同功能的模型等程序模塊。

深度學(xué)習(xí)庫(kù)提供了底層操作庫(kù)（例如張量乘法等），然而對(duì)醫(yī)學(xué)圖像還不能處理（如可區(qū)分的3D上采樣層等）。由于圖像的額外空間維度，如多序列腦磁共振多到5維，會(huì)導(dǎo)致內(nèi)存不足的問(wèn)題（例如，存儲(chǔ)1千張尺寸為325x512x256像素的CT圖像的數(shù)據(jù)集的副本，需要268GB）。另外由于采集的性質(zhì)不同，一些圖像需要進(jìn)行特殊的預(yù)處理（例如，灰度歸一化、偏場(chǎng)校正、降噪、空間歸一化或配準(zhǔn)等）。DLTK的目標(biāo)是提供解決這些問(wèn)題的模塊，為專(zhuān)家提供成熟的醫(yī)學(xué)圖像領(lǐng)域的深度學(xué)習(xí)平臺(tái)。

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK

生物醫(yī)學(xué)圖像通常是體積圖像,具有3維數(shù)據(jù)；有時(shí)是4維數(shù)據(jù)（加上時(shí)間維度），甚至5維數(shù)據(jù)（多序列核磁共振圖像）

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK

安裝：pipinstalltensorflow-gpu>=1.4.0pipinstalldltk或者源碼安裝：cdMY_WORKSPACE_DIRECTORYgitclonehttps:///DLTK/DLTK.git

或源碼下載的是zip文件，解壓后，cdDLTKpipinstall–e.源碼安裝可以用importdltk

導(dǎo)入自己修改的代碼。運(yùn)行：下載數(shù)據(jù)：到data/IXI_HH目錄，運(yùn)行pythondownload_IXI_HH.pyexamples/tutorials目錄中有培訓(xùn)代碼。examples/applications中有應(yīng)用代碼。Dltk/networks目錄中有模型代碼。cdMY_WORKSPACE_DIRECTORY/DLTKjupyternotebook--ip=*--portMY_PORT

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK

DLTK提供了多種數(shù)據(jù)讀入方法。具體選取何種方法取決于其性能方面的權(quán)衡、以及在訓(xùn)練期間可能成為瓶頸等因素。使用記憶和饋送詞典：先從磁盤(pán)讀取所有.nii文件，并將所有訓(xùn)練樣本存儲(chǔ)在內(nèi)存中。通過(guò)創(chuàng)建一個(gè)網(wǎng)絡(luò)圖節(jié)點(diǎn)tf.placeholder，將內(nèi)存保存的數(shù)據(jù)在訓(xùn)練期間通過(guò)feed_dict饋送到網(wǎng)絡(luò)圖節(jié)點(diǎn)tf.placeholder。因?yàn)樗苊饬藦拇疟P(pán)連續(xù)讀取數(shù)據(jù)，這個(gè)方法通常最快且最容易實(shí)現(xiàn)的。然而，需要將整個(gè)數(shù)據(jù)庫(kù)中的樣本數(shù)據(jù)（包括訓(xùn)練示例和驗(yàn)證示例）保存在內(nèi)存中，這對(duì)于大型圖像數(shù)據(jù)庫(kù)或大型圖像文件是不可行的。

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK

數(shù)據(jù)讀取使用TFRecords數(shù)據(jù)庫(kù)：一般來(lái)說(shuō)，訓(xùn)練樣本的數(shù)據(jù)庫(kù)往往很大，無(wú)法一次完全裝入到內(nèi)存中。TFRecords

通過(guò)快速直接讀寫(xiě)存儲(chǔ)在磁盤(pán)中訓(xùn)練樣本，而不必先將樣本數(shù)據(jù)存入內(nèi)存。但是TFRecords需要存儲(chǔ)整個(gè)訓(xùn)練數(shù)據(jù)庫(kù)到另一個(gè)格式的副本。如果數(shù)據(jù)庫(kù)很大（如幾個(gè)TB），將造成硬盤(pán)空間不夠的問(wèn)題。

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK

數(shù)據(jù)讀取使用本地的python生成器yield。創(chuàng)建一個(gè)read_fn（）來(lái)直接加載圖像數(shù)據(jù)。這種方法避免創(chuàng)建圖像數(shù)據(jù)庫(kù)的其他副本，但是比TFRecords慢多了，因?yàn)樯善鳠o(wú)法并行讀取和映射函數(shù)。函數(shù)中使用yield，可以使函數(shù)變成生成器。一個(gè)函數(shù)如果是生成一個(gè)數(shù)組，就必須把數(shù)據(jù)存儲(chǔ)在內(nèi)存中，如果使用生成器，則在調(diào)用的時(shí)候才生成數(shù)據(jù)，可以節(jié)省內(nèi)存。生成器方法調(diào)用時(shí)，不會(huì)立即執(zhí)行。需要調(diào)用next()或者使用for循環(huán)來(lái)執(zhí)行?？梢园褃ield的功效理解為暫停和播放。在一個(gè)函數(shù)中，程序執(zhí)行到y(tǒng)ield語(yǔ)句的時(shí)候，程序暫停，返回yield后面表達(dá)式的值，在下一次調(diào)用的時(shí)候，從yield語(yǔ)句暫停的地方繼續(xù)執(zhí)行，如此循環(huán)，直到函數(shù)執(zhí)行完。除了next函數(shù)之外，還有send函數(shù)也能獲得生成器的下一個(gè)yield后面表達(dá)式的值，不同的是send函數(shù)可以向生成器傳參。

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK

生物醫(yī)學(xué)圖像數(shù)據(jù)需要進(jìn)行標(biāo)準(zhǔn)化預(yù)處理。標(biāo)準(zhǔn)化通常為消除數(shù)據(jù)中獲取方式引起的一些差異（例如，不同的主體姿勢(shì)或圖像對(duì)比度的差異等），從而獲得真正的病理學(xué)引起的差異。下面介紹一些最常見(jiàn)的標(biāo)準(zhǔn)化方式。三維像素強(qiáng)度的標(biāo)準(zhǔn)化。定性圖像采用零均值單位方差標(biāo)準(zhǔn)化；然而定量成像測(cè)量物理量，可適用裁剪和/或縮放，可采用離差標(biāo)準(zhǔn)化

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK

空間標(biāo)準(zhǔn)化

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK

數(shù)據(jù)增強(qiáng)由于獲取樣本數(shù)據(jù)費(fèi)時(shí)、費(fèi)力和費(fèi)錢(qián)，通常情況下樣本的數(shù)據(jù)量有限，不可能涵蓋全部所需的變化。如軟組織器官存在各種各樣的正常形狀、病變（如癌癥）的形狀以及位置的變化。我們可以通過(guò)生成模擬數(shù)據(jù)來(lái)增加訓(xùn)練圖像樣本數(shù)量。這種方法稱(chēng)之為數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)分為強(qiáng)度增強(qiáng)和空間增強(qiáng)。強(qiáng)度增強(qiáng)一般有向訓(xùn)練圖像添加噪聲圖像、添加隨機(jī)偏移或?qū)Ρ榷鹊膱D像?？臻g增強(qiáng)一般有添加在預(yù)期對(duì)稱(chēng)的方向上翻轉(zhuǎn)圖像張量（如在腦部掃描時(shí)左/右翻轉(zhuǎn)），隨機(jī)變形（如模仿器官形狀的差異），沿軸的旋轉(zhuǎn)（如用于模擬不同的超聲視角），對(duì)補(bǔ)丁進(jìn)行隨機(jī)裁剪和訓(xùn)練等數(shù)據(jù)。

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK

類(lèi)別數(shù)據(jù)平衡在很多機(jī)器學(xué)習(xí)任務(wù)中，訓(xùn)練集中可能會(huì)存在某個(gè)或某些類(lèi)別下的樣本數(shù)遠(yuǎn)大于另一些類(lèi)別下的樣本數(shù)目，稱(chēng)之為類(lèi)別不平衡。類(lèi)別不平衡影響機(jī)器學(xué)習(xí)達(dá)到的效果。通常，圖像級(jí)（例如疾病的分類(lèi)）或三維像素級(jí)（即分割）標(biāo)簽不能以相同的比率獲得，這意味著網(wǎng)絡(luò)在訓(xùn)練期間將不會(huì)得到每個(gè)分類(lèi)相同數(shù)量的樣本實(shí)例。由于大多數(shù)損失是整個(gè)批次的平均成本，因此網(wǎng)絡(luò)將首先學(xué)會(huì)正確預(yù)測(cè)最常見(jiàn)的類(lèi)。然而，訓(xùn)練期間的類(lèi)不平衡將對(duì)罕見(jiàn)現(xiàn)象（例如圖像分割中的小病變）產(chǎn)生更大的影響，并且在很大程度上影響測(cè)試準(zhǔn)確性。DLTK使用調(diào)整采樣和損失函數(shù)導(dǎo)入方法解決類(lèi)別數(shù)據(jù)不平衡問(wèn)題。調(diào)整采樣方法包括：a）從每個(gè)類(lèi)中抽取相等的量，b）考慮對(duì)大類(lèi)下的過(guò)度樣本進(jìn)行欠采樣，即刪除部分樣本，或c）考慮對(duì)小類(lèi)下的低頻樣本進(jìn)行過(guò)采樣，即添加部分樣本的副本。調(diào)整損失函數(shù)包括與經(jīng)典的三維像素平均損失（例如分類(lèi)交叉熵，L2等）不同，DLTK使用固有平衡的損失函數(shù)（例如smoothDiceloss，平均所有類(lèi)的Dice系數(shù)），或者根據(jù)類(lèi)別頻率重新加權(quán)每個(gè)預(yù)測(cè)的損失（例如，median-frequencyre-weightedcross-entropy）。

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK案例多通道腦MR圖像的圖像分割數(shù)據(jù)集采用MRBrainS挑戰(zhàn)數(shù)據(jù)集（數(shù)據(jù)集較?。?。該圖像分割應(yīng)用程序?qū)W習(xí)預(yù)測(cè)多序列MR圖像（T1加權(quán)，T1反轉(zhuǎn)恢復(fù)和T2FLAIR）中的腦組織和白質(zhì)病變。神經(jīng)網(wǎng)絡(luò)模型采用具有殘差單元（residualunits）的3DU-Net網(wǎng)絡(luò)提取特征。該應(yīng)用使用TensorBoard對(duì)每個(gè)標(biāo)簽可以顯示其Dice系數(shù)的精度。

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK案例

T1加權(quán)腦MR圖像的年齡回歸和性別分類(lèi)開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK案例深度卷積自動(dòng)編碼器網(wǎng)絡(luò)測(cè)試圖像和重建開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK案例

T1W腦MR圖像的簡(jiǎn)單超分辨率重建開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK模型

圖像分割FCN開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK模型圖像分割U-Net開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK模型DeepMedic針對(duì)腦部損傷分割，傳統(tǒng)的圖像分割算法效果不佳，KamnitsasK,LedigC,NewcombeVFJ,etal.于2017年提出的DeepMedic

對(duì)腦部損傷分割進(jìn)行了改進(jìn)。DeepMedic具有以下的不同。DeepMedic具有以下創(chuàng)新：DeepMedic

采用全連接訓(xùn)練（densetraining）方法。采用全卷積操作一次對(duì)多個(gè)鄰接的像素點(diǎn)做出全連接預(yù)測(cè)（denseprediction），從而節(jié)省三維計(jì)算代價(jià)；能夠處理醫(yī)學(xué)分割問(wèn)題中經(jīng)常遇到的類(lèi)不均衡問(wèn)題。multi-scale方法。采用dualCNN網(wǎng)絡(luò)平行構(gòu)架同時(shí)處理高/低分辨率的圖像。dualCNN網(wǎng)絡(luò)平行構(gòu)架包括正常圖像分辨率通道和低分辨率通道，能夠保證正常分辨率通道中能夠提取出很好的細(xì)節(jié)信息（局部信息），在低分辨率通道中能夠保持較好的全局信息（大范圍信息）。因此能夠獲得精確的分割信息和準(zhǔn)確的定位信息。采用全連接條件隨機(jī)場(chǎng)（3DFullyConnectedConditionalRandomFields，3DFC-CRFs）進(jìn)行空間正則化，改善圖像分割的邊緣光滑度。

開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK模型卷積自編碼器利用了傳統(tǒng)自編碼器的無(wú)監(jiān)督的學(xué)習(xí)方式，結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)的卷積和池化操作，從而實(shí)現(xiàn)特征提取，最后通過(guò)堆疊，實(shí)現(xiàn)一個(gè)深層的神經(jīng)網(wǎng)絡(luò)。代碼和說(shuō)明：/DLTK/DLTK/tree/master/dltk/networks/autoencoder/

convolutional_autoencoder.py開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK模型深度卷積對(duì)抗生成網(wǎng)絡(luò)(DCGAN)DCGAN（DeepConvolutionalGenerativeAdversarialNetworks）是生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNetworks）的一種延伸，將卷積網(wǎng)絡(luò)引入到生成式模型做無(wú)監(jiān)督的訓(xùn)練，利用卷積網(wǎng)絡(luò)強(qiáng)大的特征提取能力來(lái)提高生成網(wǎng)絡(luò)的學(xué)習(xí)效果。DCGAN有以下特點(diǎn)：1.在判別器模型中使用跨步卷積（stridedconvolutions）來(lái)替代空間池化（pooling），而在生成器模型中使用跨步反卷積（stridedtransposeconvolutions）。2.除了生成器模型的輸出層和判別器模型的輸入層，在網(wǎng)絡(luò)其它層上都使用了批處理標(biāo)準(zhǔn)化（BatchNormalization，BN）。使用批處理標(biāo)準(zhǔn)化可以穩(wěn)定學(xué)習(xí)，有助于處理初始化不良導(dǎo)致的訓(xùn)練問(wèn)題。3.刪除了全連接層，而直接使用卷積層連接生成器和判別器的輸入層以及輸出層。4.在生成器的輸出層使用Tanh激活函數(shù)，而在其它層使用ReLU激活函數(shù)；在判別器上使用leakyReLU激活函數(shù)。開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK模型深度卷積對(duì)抗生成網(wǎng)絡(luò)(DCGAN)開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK模型深度殘差網(wǎng)絡(luò)（ResNet）開(kāi)源醫(yī)學(xué)圖像分析平臺(tái)DLTK模型超分辨率重建超分辨率技術(shù)（Super-Resolution）是指從觀測(cè)到的低分辨率圖像重建出相應(yīng)的高分辨率圖像，在視屏監(jiān)控、衛(wèi)星圖像和醫(yī)學(xué)影像等領(lǐng)域都有重要的應(yīng)用價(jià)值。超分辨率技術(shù)可分為從多張低分辨率圖像