1、多模態(tài)醫(yī)學(xué)影像配準(zhǔn)與融合技術(shù)的研究 導(dǎo)師：高立群 教授 學(xué)生：葛 雯1主要內(nèi)容基于PCNN的圖像融合算法總結(jié)與展望基于小波變換的圖像融合算法基于BP的特征級(jí)圖像融合算法醫(yī)學(xué)圖像配準(zhǔn)算法課題背景2一、課題背景由于醫(yī)學(xué)圖像儀器的成像機(jī)理的不同，使得不同模態(tài)的醫(yī)學(xué)圖像反映人體信息不同，從單一源圖像是無(wú)法對(duì)病人進(jìn)行全面診斷。圖像配準(zhǔn)和融合能將多模態(tài)的圖像信息進(jìn)行互補(bǔ)，融合成一幅新的影像。目前醫(yī)學(xué)圖像融合技術(shù)還處于起步階段，故本文針對(duì)多模態(tài)醫(yī)學(xué)圖像的融合方法及配準(zhǔn)算法方面展開(kāi)研究。3二、醫(yī)學(xué)圖像配準(zhǔn)算法醫(yī)學(xué)圖像配準(zhǔn)的定義：是尋求兩幅圖像間的幾何變換關(guān)系，通過(guò)這一幾何變換，使兩幅醫(yī)學(xué)圖像上的對(duì)應(yīng)點(diǎn)達(dá)到空間

2、上的一致，這種一致是指人體上的同一解剖點(diǎn)在兩張匹配圖像上具有相同的空間位置。 4最大互信息配準(zhǔn)方法的基本思想 在多模醫(yī)學(xué)圖像配準(zhǔn)中，基于兩幅圖像中的相同目標(biāo)在空間上對(duì)齊時(shí)相關(guān)性最強(qiáng)，對(duì)應(yīng)像素灰度的互信息達(dá)到最大，從而可以根據(jù)最大互信息的位置找到最佳配準(zhǔn)。缺點(diǎn)：由于互信息函數(shù)不是分布良好的凸函數(shù)，從而導(dǎo)致誤配準(zhǔn)，同時(shí)計(jì)算量較大，耗時(shí)較長(zhǎng)。 5輸入圖像提取圖像的邊緣特征信息計(jì)算特征點(diǎn)集合的互信息歸一化處理 配準(zhǔn)提取的特征圖像優(yōu)化搜索根據(jù)配準(zhǔn)參數(shù)配準(zhǔn)原圖像采用基于Canny算子和小波提升變換的邊緣檢測(cè)方法采用歸一化互信息為測(cè)度采用改進(jìn)的鮑威爾算法，尋找最大歸一化互信息的位置改進(jìn)算法的流程圖6仿真實(shí)驗(yàn)

3、 (a)CT圖像 (b)MRI圖像 (c) 最大的互信息配準(zhǔn)法 (d) 所提方法7CT/MRI圖像各配準(zhǔn)方法的配準(zhǔn)參數(shù)及性能比較 8三、基于小波變換的圖像融合算法小波變換具有良好的時(shí)頻局域化特性及多尺度分析能力,非常適合于圖像處理?；谛〔ㄗ儞Q的影像融合算法被廣泛應(yīng)用于圖像融合處理中，其性能優(yōu)于傳統(tǒng)的圖像融合方法。 9（一）基于可分離小波變換的圖像融合算法具體步驟：對(duì)待融合的醫(yī)學(xué)源圖像分別進(jìn)行小波變換分解；對(duì)于尺度系數(shù)，使用下式合并醫(yī)學(xué)源圖像對(duì)應(yīng)的尺度系數(shù)； (3.1)10對(duì)于小波系數(shù)，首先使用下式確定醫(yī)學(xué)源圖像高頻分量的邊緣點(diǎn)和非邊緣點(diǎn)，保護(hù)邊緣點(diǎn)對(duì)應(yīng)的小波系數(shù)；(3.2)(3.3)(3.4

4、)11對(duì)非邊緣點(diǎn)用式(3.5)進(jìn)行小波系數(shù)融合。然后用式(3.6)獲得融合圖像的小波系數(shù)。 (3.5)(3.6)12將融合圖像的小波系數(shù)和尺度系數(shù)進(jìn)行小波逆變換，即可得到重構(gòu)后的醫(yī)學(xué)融合圖像。 仿真實(shí)驗(yàn) (a) CT圖像 (b) MRI圖像 (c)拉普拉斯金字塔 融合算法13(d)梯度金字塔融合 (e)形態(tài)學(xué)金字塔融合 (f)小波變換融合算法 算法 算法(g) 所提算法14CT/MRI實(shí)驗(yàn)結(jié)果的質(zhì)量評(píng)價(jià)15低頻分量的融合規(guī)則 (3.7)(3.8)(3.9)（二）基于不可分離小波變換的圖像融合算法16高頻分量的融合規(guī)則 亮度信息細(xì)節(jié)信息 (3.10)(3.11)17或當(dāng)其中， ， 調(diào)節(jié)CT/MR

5、I圖像的占優(yōu)比例 (3.12)(3.13)(3.14)18因子 調(diào)節(jié)圖像的亮度 (3.17)(3.18)(3.16)(3.15)19通過(guò)調(diào)整這些因子可以消減模糊邊緣，突出細(xì)節(jié)并調(diào)節(jié)圖像的亮度對(duì)比度。在臨床應(yīng)用中，為了得到強(qiáng)調(diào)不同特征信息的圖像，醫(yī)生既可以根據(jù)上面公式計(jì)算它們，也可以根據(jù)經(jīng)驗(yàn)手動(dòng)設(shè)定這些參數(shù)。 因子 決定圖像的邊緣(3.19)20仿真實(shí)驗(yàn) (a) CT圖像 (b) MRI圖像 (c)對(duì)比度金字塔融合算法(d)基于像素融合算法 (e)基于區(qū)域融合算法 (f)所提算法21CT/MRI實(shí)驗(yàn)結(jié)果的質(zhì)量評(píng)價(jià)22基于區(qū)域模糊熵和區(qū)域亮度細(xì)節(jié)占優(yōu)的融合算法設(shè)計(jì) (3.20)(3.21)23仿真

6、實(shí)驗(yàn) (a) CT圖像 (b) MRI圖像(c)對(duì)比度金字塔融合算法 (d)基于像素融合算法24 (g)所提算法(e)基于區(qū)域融合算法 (f)模糊集和小波變換 融合算法25CT/MRI實(shí)驗(yàn)結(jié)果的質(zhì)量評(píng)價(jià)26四、基于PCNN的圖像融合算法小波變換方法針對(duì)性都很強(qiáng)，根據(jù)不同情況采用不同的融合規(guī)則?；谏窠?jīng)網(wǎng)絡(luò)方法對(duì)輸入不同類型的圖像得到的融合結(jié)果不會(huì)有很大差別，且其融合規(guī)則往往簡(jiǎn)單易行，故基于神經(jīng)網(wǎng)絡(luò)的融合算法適應(yīng)性要更好一些。因此將具有生物學(xué)背景的PCNN神經(jīng)網(wǎng)絡(luò)應(yīng)用到醫(yī)學(xué)圖像融合中。 27具體融合步驟：1、對(duì)每一幅醫(yī)學(xué)圖像分別進(jìn)行兩層小波提升分解，提取圖像的近似細(xì)節(jié)、水平、垂直、對(duì)角方向的小波

7、系數(shù)矩陣。2、對(duì)低頻和高頻子圖像分別采用改進(jìn)的PCNN網(wǎng)絡(luò)，PCNN網(wǎng)絡(luò)大小與相應(yīng)子圖像大小相同，每個(gè)PCNN內(nèi)的所有神經(jīng)元均采用8鄰域連接方式。3、將來(lái)自醫(yī)學(xué)圖像A和B的子圖像分別輸入相應(yīng)的PCNN網(wǎng)絡(luò)，并按照如下步驟進(jìn)行融合處理： 28初始化。設(shè) 和 分別表示第k對(duì)子圖像中像素(i,j)的灰度值，將其歸一化到01范圍內(nèi)，令內(nèi)部鏈接輸入矩陣、內(nèi)部行為矩陣和閾值矩陣的初值分別為: ， ，此時(shí)，所有神經(jīng)元都處于熄火狀態(tài): ，Nmax為最大迭代次數(shù)，點(diǎn)火時(shí)刻記錄矩陣 ；(2) 根據(jù)下式計(jì)算 ， ， 和 ；29其中： 或 (4.1)30(3)累計(jì)網(wǎng)絡(luò)每次迭代運(yùn)行的輸出:(4) 重復(fù)步驟(2)和(3)

8、直到，此時(shí)網(wǎng)絡(luò)迭代運(yùn)行停止；(5) 根據(jù)下式選擇融合圖像的小波系數(shù): (4.2)(4.3)31(6) 為了避免出現(xiàn)某一區(qū)域與其相鄰的區(qū)域分別來(lái)源于不同輸入源圖像的情況，這里采用一致性檢測(cè)校驗(yàn)步驟(5)得到的結(jié)果。即如果神經(jīng)網(wǎng)絡(luò)判定某一區(qū)域來(lái)自于圖像CT而它周圍的區(qū)域來(lái)自圖像MRI，則將這個(gè)區(qū)域用圖像MRI中的對(duì)應(yīng)區(qū)域像素替換。(7) 最后小波提升逆變換，獲得最終的融合圖像。32仿真實(shí)驗(yàn) (a) CT圖像 (b) MRI圖像 (c)梯度金字塔融合算法(d)基于區(qū)域融合算法 (e) PCNN (f)所提算法33 (a) CT圖像 (b) MRI圖像(c)梯度金字塔 (d)基于區(qū)域融合 融合算法 算

9、法34 (g) 所提算法 (e)模糊集和小波 (f) PCNN 變換融合算法35CT1/MRI1實(shí)驗(yàn)結(jié)果的質(zhì)量評(píng)價(jià)36CT2/MRI2實(shí)驗(yàn)結(jié)果的質(zhì)量評(píng)價(jià)37基于像素級(jí)的醫(yī)學(xué)圖像融合可以使融合后的圖像包含更全面、更精確的信息，但是所要處理的圖像數(shù)據(jù)量大，故融合速度慢，同時(shí)對(duì)配準(zhǔn)精度的要求非常高?；谔卣骷?jí)的醫(yī)學(xué)圖像融合由于對(duì)多模醫(yī)學(xué)圖像提取的特征信息進(jìn)行融合，故可以大大加快融合速度，且對(duì)圖像配準(zhǔn)的要求沒(méi)有像素級(jí)嚴(yán)格，但其融合精度比像素級(jí)融合差 。 五、基于BP的特征級(jí)圖像融合算法38將像素級(jí)和特征級(jí)融合方法有效地結(jié)合起來(lái)，利用BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，提出了基于BP神經(jīng)網(wǎng)絡(luò)的特征級(jí)圖像融合方法。具體步

10、驟：1、 將兩幅圖像進(jìn)行圖像分割得到一組分割區(qū)域，用Ai和Bi分別表示第i個(gè)區(qū)域?qū)Α?、根據(jù)灰度共生矩陣，從每個(gè)區(qū)域抽取五個(gè)反映圖像紋理的特征。Ai和Bi的特征矢量分別表示為( )和( )。 393、訓(xùn)練一個(gè)用于判斷分析Ai和Bi區(qū)域紋理特征的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的輸入是差異矢量( )，網(wǎng)絡(luò)的輸出如下式：4、用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)在所有分割區(qū)域（第一步得到的）上進(jìn)行檢測(cè)、判斷。融合圖像的第i個(gè)區(qū)域按下式構(gòu)建： (5.1)(5.2)405、采用一致性檢測(cè)來(lái)校驗(yàn)步驟(4)得到的結(jié)果。如果神經(jīng)網(wǎng)絡(luò)判定某一區(qū)域來(lái)自于圖像1而它周圍的區(qū)域來(lái)自圖像2，則將這個(gè)區(qū)域用圖像2中的對(duì)應(yīng)區(qū)域像素替換。這樣，保證在構(gòu)成合成系數(shù)時(shí)，鄰域內(nèi)系數(shù)的選擇基于相同的規(guī)則。 41仿真實(shí)驗(yàn) (a) CT圖像 (b) MRI 圖像 (c)基于像素融合算法 (d)小波變換融合算法 (e)基于區(qū)域融合算法 (f)所提算法 42CT