1、一、醫(yī)學(xué)圖像可視化,1,PPT學(xué)習(xí)交流,數(shù)據(jù)可視化（1）：數(shù)據(jù)曲線與圖表,2,PPT學(xué)習(xí)交流,南極上空臭氧層,HURRICANE FRAN,數(shù)據(jù)可視化（2）：引入形態(tài)表示,3,PPT學(xué)習(xí)交流,1.1 生物醫(yī)學(xué)三維可視化,用計(jì)算機(jī)處理醫(yī)學(xué)圖象的過(guò)程是先對(duì)人體有關(guān)部位掃描，將連續(xù)的、實(shí)際的人體解剖結(jié)構(gòu)數(shù)字化，然后再對(duì)這些離散化的體數(shù)據(jù)進(jìn)行加工和處理。還要用合適的顯示技術(shù)將處理結(jié)果顯示出來(lái)，增強(qiáng)人們對(duì)有關(guān)解剖與病理的觀察和理解。醫(yī)學(xué)圖象的顯示技術(shù)主要包括色彩的運(yùn)用和形態(tài)的真實(shí)再現(xiàn)。,4,PPT學(xué)習(xí)交流,形態(tài)的表示涉及3D圖象重建技術(shù)。圖象的重建就是要從獲取的采樣數(shù)據(jù)恢復(fù)物體的三維結(jié)構(gòu)，即物體的原型。

2、 從本質(zhì)上說(shuō)，重建是一個(gè)逆問(wèn)題。,5,PPT學(xué)習(xí)交流,醫(yī)學(xué)圖象的顯示問(wèn)題還不僅是個(gè)重建問(wèn)題，由于許多功能成像技術(shù)，使我們不但能夠看到潛藏在內(nèi)部的物體結(jié)構(gòu)，而且可以看到那些就是使用介入手術(shù)也無(wú)法看到的人體功能信息。,6,PPT學(xué)習(xí)交流,圖象顯示方式有多種多樣，從大的方面可以分為三類： (1) 反射式顯示 (2) 透射式顯示 (3) 斷層（剖面）顯示,7,PPT學(xué)習(xí)交流,反射式顯示： 從體數(shù)據(jù)的感興趣區(qū)提取被觀察物體的表面，施以一定的光照模型，選擇某一視角從物體外部觀察物體表面形態(tài)的顯示方式。典型的如表面繪制技術(shù)（Surface Rendering）。,8,PPT學(xué)習(xí)交流,透射式顯示： 類似于X射

3、線成像原理，將反映醫(yī)學(xué)圖象特性的圖象強(qiáng)度看作對(duì)光線不同吸收的特性，光線穿透物體的最大吸收或累加吸收效果構(gòu)成物體的結(jié)構(gòu)圖象。典型的技術(shù)有最大強(qiáng)度投影（Maximum Intensity Projection，MIP）及體繪制技術(shù)（Volume Rendering）。,9,PPT學(xué)習(xí)交流,斷層（剖面）顯示： 不經(jīng)3D重建，直接顯示過(guò)空間某一點(diǎn)的三個(gè)正交剖面的形態(tài)結(jié)構(gòu)。有時(shí)為了幫助理解，同時(shí)給出切除部分結(jié)構(gòu)的3D投影圖。,10,PPT學(xué)習(xí)交流,1.2 表面繪制技術(shù)（Surface Rendering）,我們這里說(shuō)的“繪制”一詞，英文是“Rendering”。還經(jīng)常被譯做“描繪”、“渲染”、“重建”或

4、“顯示”等。它的比較嚴(yán)格定義應(yīng)該是：實(shí)際3D物體的2D照相寫真式表示。屬于3D物體在2D平面真實(shí)感投影，二者有嚴(yán)格定量關(guān)系及視覺(jué)真實(shí)感。,11,PPT學(xué)習(xí)交流,1.2.1 基于體素的表面重建,這是一種直接從體數(shù)據(jù)提取物體表面的方法。代表性的是Lorensen等人提出的移動(dòng)立方體法（Marching Cube）。下面以人腦圖象為例加以說(shuō)明。在剔除大腦皮層、顱骨和其它非腦成分之后，僅剩下大腦部分。由于我們感興趣的是腦表面的形態(tài)而不考慮其內(nèi)部的細(xì)節(jié)，因此，要把位于大腦表面上的像素與大腦內(nèi)部分開(kāi)，這個(gè)過(guò)程稱做輪廓提?。–ontouring）。,12,PPT學(xué)習(xí)交流,對(duì)一個(gè)單元及給定的該單元點(diǎn)的標(biāo)量值組

5、合計(jì)算所有可能拓?fù)錉顟B(tài)。 拓?fù)錉顟B(tài)數(shù)取決于單元頂點(diǎn)個(gè)數(shù)及一個(gè)頂點(diǎn)可能對(duì)于輪廓值內(nèi)/外關(guān)系數(shù)。如果頂點(diǎn)灰度值大于輪廓線的灰度值（閾值），則認(rèn)為該頂點(diǎn)在輪廓之內(nèi)。否則認(rèn)為在輪廓之外。例如，如果一個(gè)單元有四個(gè)頂點(diǎn)，每個(gè)頂點(diǎn)可以在輪廓內(nèi)部或外部。因此，輪廓通過(guò)該單元共有24=16種方式。,構(gòu)型表 （Case Tables）,1.輪廓提取,13,PPT學(xué)習(xí)交流,物體的表面實(shí)際上是一個(gè)閉合的灰度的等值面，其灰度值稱做閾值。在該等值面的內(nèi)部，所有的像素灰度值都大于這個(gè)閾值，在等值面的外部，所有的像素灰度值都小于這個(gè)閾值（或相反），從而將物體與背景分開(kāi)。顯然，等值面上的體素內(nèi)部灰度是不均勻的，即體素的一部分灰

6、度大于這個(gè)閾值，另一部分灰度小于這個(gè)閾值。,14,PPT學(xué)習(xí)交流,構(gòu)型表的索引值可對(duì)每個(gè)頂點(diǎn)做二進(jìn)制數(shù)字編碼。 對(duì)用矩形網(wǎng)格表示的2D數(shù)據(jù)，用4位索引值表示16種狀態(tài)。選定某一合適的狀態(tài)后，可以用內(nèi)插法計(jì)算輪廓線與單元邊緣交點(diǎn)。該算法處理完一個(gè)單元后，然后移動(dòng)或前進(jìn)到另一個(gè)單元。當(dāng)所有單元都走過(guò)后，輪廓就完成了。 步進(jìn)算法可總結(jié)如下： 選擇一個(gè)單元； 計(jì)算該單元每個(gè)頂點(diǎn)的內(nèi)/外狀態(tài)； 生成每個(gè)頂點(diǎn)二進(jìn)制狀態(tài)的編碼索引值； 用該索引值查構(gòu)型表得到所需的拓?fù)錉顟B(tài)； 用內(nèi)插計(jì)算構(gòu)型表中每邊的輪廓位置。,15,PPT學(xué)習(xí)交流,由于此過(guò)程是對(duì)每個(gè)單元單獨(dú)處理，不同的單元邊界處可能重復(fù)使用一些頂點(diǎn)或邊緣，

7、可以通過(guò)程序消除重復(fù)的運(yùn)算。注意，沿每條邊的內(nèi)插應(yīng)按相同方向進(jìn)行。不然的話，數(shù)值舍入可能會(huì)使產(chǎn)生符合的點(diǎn)不精確符合，不能正確地合并。,16,PPT學(xué)習(xí)交流,3D步進(jìn)立方體法的15種基本構(gòu)型,17,PPT學(xué)習(xí)交流,與步進(jìn)正方形相似，3D時(shí)為步進(jìn)立方體法。每個(gè)體素有8個(gè)頂點(diǎn)。根據(jù)這8個(gè)頂點(diǎn)與灰度閾值的關(guān)系一共有28=256種構(gòu)型。 2D圖像的輪廓是由直線段連接而成，3D圖像的輪廓?jiǎng)t復(fù)雜的多。3D圖像的輪廓是由許許多多的小三角形面片鑲嵌而成的。 考慮到各構(gòu)型的對(duì)稱和互補(bǔ)性，上頁(yè)的圖給出簡(jiǎn)化后的15種基本構(gòu)型。對(duì)于3D圖像遍歷，根據(jù)各體素的構(gòu)型情況產(chǎn)生三角形面片鑲嵌的表面輪廓的方法稱作移動(dòng)立方體法。

8、實(shí)際應(yīng)用中要用到全部256種構(gòu)型，因?yàn)閮H靠15種基本構(gòu)型的組合往往會(huì)在表面輪廓上產(chǎn)生空洞。,18,PPT學(xué)習(xí)交流,為了方便起見(jiàn)，實(shí)用的遍歷法是對(duì)每個(gè)體素用查表法。將體素的8個(gè)頂點(diǎn)與灰度閾值比較所產(chǎn)生的邏輯值依序構(gòu)成一個(gè)8位的二進(jìn)制編碼索引值，全部256種構(gòu)型的信息組成一個(gè)“構(gòu)型三角剖分”查找表。它包含256個(gè)索引項(xiàng)，每個(gè)索引項(xiàng)包含索引號(hào)以及指向該種三角剖分中的一個(gè)指針。通過(guò)查表可以直接得到輪廓段的拓?fù)湫畔?、哪一個(gè)邊與體素相交、應(yīng)當(dāng)使用那些頂點(diǎn)內(nèi)插產(chǎn)生交點(diǎn)等。對(duì)于每個(gè)體素，根據(jù)它的索引號(hào)在“構(gòu)型三角剖分”查找表中確定其三角剖分形式。還要對(duì)相鄰正方形一致邊合并。最終產(chǎn)生由小三角形面片鑲嵌成的表面輪

9、廓。,19,PPT學(xué)習(xí)交流,仔細(xì)觀察步進(jìn)正方形的5號(hào)和10 號(hào)狀態(tài)，步進(jìn)立方體的3，6，7，10，12和13號(hào)狀態(tài)，都是一個(gè)單元可以用多于一種方式來(lái)提取輪廓。在2D或3D中，當(dāng)對(duì)角頂點(diǎn)是同一狀態(tài)（1或0），而鄰邊上點(diǎn)為不同狀態(tài)時(shí)，就會(huì)發(fā)生二義性。,任選步進(jìn)立方體狀態(tài)會(huì)導(dǎo)致等值面中的孔洞,輪廓的二義性問(wèn)題,20,PPT學(xué)習(xí)交流,2. 等值面的明暗顯示 要想真實(shí)地顯示物體表面的情況，須采用等值面的明暗顯示。三角片的生成僅僅完成了等值面的構(gòu)造，要真正顯示出物體在一定光照條件的形態(tài)，還必須解決物體在特定的光照模型下的表面法向量的計(jì)算。,21,PPT學(xué)習(xí)交流,光照模型 所采用的光照模型為 其中,I :三

10、角片的光強(qiáng), Ia :環(huán)境的光強(qiáng), Is :光源的光強(qiáng), :三角片指向物體外部的法向量與光線的夾角, 顯然，三角片的光強(qiáng)與光源的方向和強(qiáng)度均有關(guān)。三角片的表面法向量的計(jì)算是真實(shí)、準(zhǔn)確顯示物體表面的關(guān)鍵問(wèn)題。,22,PPT學(xué)習(xí)交流,表面法向量的計(jì)算 基于灰度梯度的法向量估計(jì)方法是一種很有效的方法。首先，用灰度差分計(jì)算體素頂點(diǎn)(i, j, k)上的灰度梯度 ，其中,S(i, j, k)是體素頂點(diǎn)灰度值。,23,PPT學(xué)習(xí)交流,對(duì)g進(jìn)行歸一化，得到(gx/|g|, gy/|g|, gz/|g|)作為(i,j,k)上的單位法向量。然后，對(duì)體素八個(gè)頂點(diǎn)上法向量進(jìn)行線性插值就可得到位于體素棱邊上的三角片的

11、各個(gè)頂點(diǎn)上的法向量。 設(shè)計(jì)算得到的某個(gè)三角片的三個(gè)頂點(diǎn)上的單位法向量分別為(x1,y1,z1), (x2,y2,z2), 和(x3,y3,z3),這個(gè)三角片的幾何重心為（cx,cy,cz)， 則該三角片的法向量起始于(cx,cy,cz)，終止于(x1+x2+x3)/3+cx,(y1+y2+y3)/3+cy,(z1+z2+z3)/3+cz）。 代入光照模型公式，就可計(jì)算出小三角片表面的光強(qiáng)(灰度)。將其投影在某個(gè)特定的二維平面上進(jìn)行顯示，從而顯示出物體富有光感的整個(gè)表面形態(tài)。,24,PPT學(xué)習(xí)交流,投影中的消隱問(wèn)題 投影是實(shí)現(xiàn)三維到二維轉(zhuǎn)換的有效手段，消隱是其中一個(gè)不可忽略的問(wèn)題。采取的策略為遍

12、歷體素集合，相對(duì)視點(diǎn)采用從后至前的次序，后顯示到屏幕上的三角片將覆蓋先顯示的三角片，這樣就達(dá)到消除隱藏面的目的，這就是著名的畫家算法的思想。右圖是用移動(dòng)立方體法重建的腳骨圖象。,25,PPT學(xué)習(xí)交流,1.2.2 劃分立方體法,隨著CT、MR等成像技術(shù)不斷地進(jìn)步和發(fā)展，斷層數(shù)據(jù)的層片間距越來(lái)越小，層片內(nèi)部的空間分辨越來(lái)越高， Marching Cube算法在體素上產(chǎn)生的小三角面片數(shù)目激增。而屏幕顯示的空間分辨有限，直接生成的小三角面片比顯示屏幕上的像素還小，這時(shí)就無(wú)需再計(jì)算小三角面片了，于是產(chǎn)生了劃分立方體法（Dividing Cubes）?；舅枷胧峭ㄟ^(guò)生成與顯示像素對(duì)應(yīng)的點(diǎn)元直接形成顯示圖像

13、。基于點(diǎn)元的繪制要比基于小三角面片的繪制在存儲(chǔ)和計(jì)算方面都具有較大優(yōu)越性。 考察與等值面相交的體素，如果該體素在顯示平面的投影面積大于一個(gè)像素的大小，就要將該體素細(xì)分為n1xn2xn3個(gè)子體素，使子體素在顯示平面的投影面積等于一個(gè)像素的大小。每個(gè)子體素繪制為一個(gè)表面點(diǎn)。子體素頂點(diǎn)處灰度通過(guò)線性插值獲得。對(duì)于與等值面相交的子體素，簡(jiǎn)單地在其中心生成一個(gè)點(diǎn)，再用線性插值方法計(jì)算出法向量，進(jìn)行亮度明暗計(jì)算得到光照效果。,26,PPT學(xué)習(xí)交流,劃分立方體,27,PPT學(xué)習(xí)交流,劃分立方體算法： 1. 輸入三維體數(shù)據(jù)，設(shè)定等值面灰度閾值； 2. 首次讀入連續(xù)4層數(shù)據(jù)； 3. 兩個(gè)連續(xù)層面的8個(gè)數(shù)據(jù)鄰點(diǎn)組

14、成一個(gè)立方體（體素），在體素每個(gè)頂點(diǎn)處計(jì)算灰度梯度向量分量，數(shù)值等于該頂點(diǎn)沿每個(gè)坐標(biāo)軸前后鄰點(diǎn)灰度差。 4. 對(duì)體素分類：如果每個(gè)頂點(diǎn)灰度值均高于灰度閾值，體素是內(nèi)部體素；反之，如果每個(gè)頂點(diǎn)灰度值均低于灰度閾值，體素是外部體素；否則，等值面通過(guò)該體素。 5. 細(xì)分立方體：將包含等值面的體素細(xì)分為n1xn2xn3個(gè)子體素，使得每個(gè)子體素在顯示平面上是一個(gè)像素大小。即每個(gè)子體素相當(dāng)一個(gè)表面點(diǎn)，子體素的8個(gè)頂點(diǎn)灰度值由原體素頂點(diǎn)灰度值線性插值獲得。 6. 如第5步，檢測(cè)還有那些子體素與等值面相交。 7. 對(duì)每個(gè)與等值面相交的子體素計(jì)算8個(gè)頂點(diǎn)的灰度梯度向量。確定子體素中心點(diǎn)，法向量為8個(gè)頂點(diǎn)的灰度梯

15、度向量的平均值。 8. 計(jì)算每個(gè)表面點(diǎn)的光強(qiáng)：法向量沿視方向投影的標(biāo)量積。 9. 移出最上層數(shù)據(jù)，讀入下一層數(shù)據(jù)，重復(fù)步驟3-9，直至遍歷全部體數(shù)據(jù)。,28,PPT學(xué)習(xí)交流,1.2.3 基于切片的表面重建,由切片輪廓重建物體的方法稱作基于切片的表面重建。 該方法的主要步驟是： 第1步：平面輪廓的提取。 平面輪廓的提取一般基于物體與背景間灰度或其它屬性的差異進(jìn)行分割和 提取。高質(zhì)量的輪廓提取往往需要生物醫(yī)學(xué)領(lǐng)域知識(shí)的引導(dǎo)。 第2步：片間輪廓的對(duì)應(yīng)。 片間輪廓的對(duì)應(yīng)具有較大的任意性。一般可通過(guò)對(duì)不同層面上輪廓重疊部分定量比較，或應(yīng)用一些能夠描述輪廓形狀的橢圓擬合、柱體生長(zhǎng)等方法判斷。 第3步：輪廓

16、拼接。 確定了對(duì)應(yīng)的輪廓之后，還需要確定對(duì)應(yīng)輪廓上的對(duì)應(yīng)點(diǎn)。 第4步：曲面擬合。 小三角形面片結(jié)構(gòu)只能是物體表面的粗略表示，較為精確的方法可用曲面擬合。即用通過(guò)小三角形頂點(diǎn)的曲面代替三角形平面。常用的有三次B樣條插值。更為精細(xì)的有非均勻有理B樣條（NURBS）,29,PPT學(xué)習(xí)交流,1.3 體繪制技術(shù),表面繪制是繪制不透明物體。即假設(shè)物體在其表面反射、散射，而沒(méi)有光線射入它們內(nèi)部。雖然繪制不透明物體很有用，但很多應(yīng)用中，繪制透明物體也很重要。透明度在體繪制中有重要的應(yīng)用。 半透明繪制：該方法使物體透明，使我們可以看到表面所圍區(qū)域的內(nèi)部。例如使皮膚半透明，能夠看到內(nèi)部的器官。,30,PPT學(xué)習(xí)交

17、流,1.3.1 透明度與值,透明度（Transparency）及阻光度（Opacity）是兩個(gè)互補(bǔ)的概念，稱為值。半透明的值是0.5；=1代表完全不透明物體，=0代表完全透明物體。是整個(gè)原色（Entire Actor）的一個(gè)重要性質(zhì)，可以單獨(dú)說(shuō)明，也可以與三種原色等同地表示。 按照光線跟蹤過(guò)程，視線從相機(jī)投射到世界坐標(biāo)，依次與每一種原色板相交。若原色板是不透明的，要繪制的顏色就是光線方程到此部得到的顏色；對(duì)于半透明原色板，必須用光照方程求解穿過(guò)這個(gè)原色板得到的結(jié)果，并且繼續(xù)投射，看它是否還與其它原色板相交。最后得到的顏色是所相交全部原色板作用的合成。,31,PPT學(xué)習(xí)交流,考慮光線穿過(guò)三個(gè)透明

18、度均為0.5的、顏色分別為紅、綠、蘭的多邊形平面，如果紅色多邊形在前，背景為黑色，得到的RGBA色為（0.4，0.2，0.1，0.875）。,值的合成,32,PPT學(xué)習(xí)交流,1.3.2 紋理映射,紋理映射（Texture Mapping）是無(wú)需對(duì)細(xì)節(jié)建模而給圖像添加細(xì)節(jié)的一種技術(shù)。紋理映射可以看作是將一幅圖像粘貼到一個(gè)物體表面的技術(shù)。使用紋理映射需要兩種信息：紋理映射圖及紋理坐標(biāo)。紋理影射圖是我們要粘貼的圖像，紋理坐標(biāo)規(guī)定圖像粘貼的位置。更一般地說(shuō)，紋理映射是在對(duì)物體繪制時(shí)對(duì)其顏色、強(qiáng)度與/或透明度的查表技術(shù)。紋理圖及坐標(biāo)大多數(shù)情況下是二維的，但三維紋理圖及坐標(biāo)正變得普遍起來(lái)。,33,PPT學(xué)

19、習(xí)交流,1.3.3 體繪制,體積繪制技術(shù)有兩種：最大強(qiáng)度投影法（Maximum Intensity Projection，MIP）及三維體繪制技術(shù)（3D Rendering Technique） 。 MIP 是沿觀察者視線方向，選擇每條與數(shù)據(jù)體積相交直線上全部象素中的最大強(qiáng)度值作為圖象投影平面強(qiáng)度值。 該方法適于做CT 或MR 血管造影圖象。 缺點(diǎn)是圖象象素的強(qiáng)度失去三維空間信息。由于所有投影象素都是選取最大強(qiáng)度值，因而整個(gè)圖象的平均背景強(qiáng)度隨之加大，這在很多情況下（例如腎或肝中血管）會(huì)影響對(duì)一些結(jié)構(gòu)的觀察效果。有時(shí)，高強(qiáng)度的象素（例如CT圖象中的骨結(jié)構(gòu)或鈣化點(diǎn)）會(huì)對(duì)使用造影劑的血管圖象產(chǎn)生偽

20、跡。,34,PPT學(xué)習(xí)交流,用光線投射技術(shù)生成的最大強(qiáng)度投影神經(jīng)元圖像,最大強(qiáng)度投影或MIP是可視化體積數(shù)據(jù)最常用方法之一。該技術(shù)具有較好的抗噪聲特性，能夠產(chǎn)生對(duì)處理數(shù)據(jù)直觀了解的圖像。這種方法的缺點(diǎn)是不可能從一幅靜止圖像看出沿光線什么地方得到的最大值。例如圖中所示的神經(jīng)元圖像，很難從這幅靜止圖像完全了解神經(jīng)元的結(jié)構(gòu)，因?yàn)槲覀儾荒艽_定該神經(jīng)元的某些分支是在其他分支的前面還是后面。,35,PPT學(xué)習(xí)交流,與MIP不同，體繪制技術(shù)是對(duì)每條視線上每個(gè)像素強(qiáng)度計(jì)算加權(quán)和，將結(jié)果作為投影像素的灰度值。 下圖以一個(gè)具體例子說(shuō)明體繪制技術(shù)的成像原理。圖中中間部位帶有數(shù)值的小方塊表示視線通路上的各像素強(qiáng)度值。

21、圖上部是該直線上像素強(qiáng)度的直方圖及阻光度曲線。強(qiáng)度值低于5的阻光度為0%，強(qiáng)度值大于9的設(shè)為100%。一些中間值6, 7和 8 的阻光度分別設(shè)為25%, 50%和 75%，圖的下部是計(jì)算加權(quán)和的公式與幾個(gè)計(jì)算步驟。體繪制圖像的顯示結(jié)果由像素強(qiáng)度與設(shè)定的阻光度（權(quán)重）兩者共同決定。,36,PPT學(xué)習(xí)交流,肺動(dòng)脈的MIP與體繪制圖像比較。 左圖：MIP圖像，右圖：體繪制圖像,MIP實(shí)際包括了所有的血管，但不夠清晰，不能看出單個(gè)結(jié)構(gòu)及相互之間的空間位置關(guān)系。體繪制的圖像則清楚的多。,37,PPT學(xué)習(xí)交流,1.3.4 按圖像順序體繪制,圖像順序繪制又常稱做光線投射或光線跟蹤。 基本思想是，發(fā)出一條光線

22、通過(guò)像素進(jìn)到場(chǎng)景中，然后用某一特定的為計(jì)算像素值的函數(shù)計(jì)算沿光線所遇到的數(shù)據(jù)。確定圖像平面中每個(gè)像素值。,38,PPT學(xué)習(xí)交流,光線投射過(guò)程如圖所示。此例使用一個(gè)標(biāo)準(zhǔn)正投影柵格投影。所有光線互相平行，并與視平面垂直。沿每條光線的數(shù)據(jù)值是按一個(gè)光線函數(shù)處理的，并將其轉(zhuǎn)換為灰級(jí)像素值。,按圖像順序體繪制,39,PPT學(xué)習(xí)交流,幾種基本光線函數(shù)類型。下圖表示光線通過(guò)8位灰度體積數(shù)據(jù)時(shí)數(shù)據(jù)值剖面，灰度數(shù)據(jù)值范圍為0-255。 剖面的X軸表示到視平面的距離，Y軸代表數(shù)據(jù)值。,光線投射剖面,40,PPT學(xué)習(xí)交流,右圖顯示的是使用四個(gè)不同簡(jiǎn)單光線函數(shù)轉(zhuǎn)化為灰級(jí)值的顯示結(jié)果。 前兩個(gè)光線函數(shù)，最大值及平均值，

23、是對(duì)標(biāo)量值本身的基本操作。 第三個(gè)光線函數(shù)計(jì)算沿光線首次遇到等于標(biāo)量值為30處的距離， 第四個(gè)函數(shù)使用合成技術(shù)，將沿光線的值看作按單位距離累積的阻光度樣本值。,四種不同光線函數(shù)繪制的結(jié)果,41,PPT學(xué)習(xí)交流,由于體積用3D結(jié)構(gòu)點(diǎn)數(shù)據(jù)集表示的，標(biāo)量值又是在規(guī)則柵格點(diǎn)上定義的。 因此光線穿越體積就有不同的計(jì)算方法。例如，在光線通路上按均勻間隔采樣。 這會(huì)遇到許多非格點(diǎn)（任意位置）的數(shù)據(jù)如何確定的問(wèn)題。一般是用插值的方法。 另一種方法是不通過(guò)采樣計(jì)算沿光線通路的數(shù)據(jù)，對(duì)經(jīng)過(guò)體積時(shí)所遇到的每個(gè)體素（或最近臨的體素）計(jì)算。,體繪制的兩種基本光線穿越方法,42,PPT學(xué)習(xí)交流,離散光線分類,43,PPT

24、學(xué)習(xí)交流,三種不同步長(zhǎng)的光線投射法得到的圖像,44,PPT學(xué)習(xí)交流,1.3.5 按對(duì)象順序體繪制,按對(duì)象順序體繪制方法是對(duì)體數(shù)據(jù)集逐層、逐行、逐個(gè)地計(jì)算每一個(gè)數(shù)據(jù)點(diǎn)對(duì)圖像平面中像素的貢獻(xiàn)，并加以合成，形成最后的圖像。 使用合成法時(shí)，體數(shù)據(jù)可以按照距圖像平面由前到后的順序投影，也可以按照由后向前的順序投影。 若用圖形硬件進(jìn)行合成，從后向前順序?yàn)楹茫驗(yàn)闊o(wú)須幀緩沖器中的位平面就可以完成混合。 如果使用軟件合成法，從前向后順序更普遍，因?yàn)椴糠謭D像結(jié)果更具視覺(jué)意義。在一個(gè)像素接近完全不透明時(shí)，可以免除附加的處理。基于到視平面的距離的體素排序也并不一定非做不可，因?yàn)槟承w繪制操作，如MIP或平均法，可以

25、按任何順序進(jìn)行，都能得到正確結(jié)果。,45,PPT學(xué)習(xí)交流,下圖是一個(gè)簡(jiǎn)單的對(duì)象順序體繪制示例，從后向前將體積內(nèi)體素做正透視投影。 穿越體素是從離視平面最遠(yuǎn)處體素開(kāi)始，并連續(xù)地逐漸移向較近體素，直到所有體素都被訪問(wèn)。整個(gè)過(guò)程由一個(gè)三重嵌套循環(huán)完成，即從外層到內(nèi)層，先遍歷體積中的平面，再處理一個(gè)平面中的一行，最后是一行中的體素。,46,PPT學(xué)習(xí)交流,高斯核投影到視平面產(chǎn)生濺射足跡 一種稱做濺射（Splatting）的體繪制技術(shù)通過(guò)將一個(gè)體素的能量分配到許多像素的方式說(shuō)明這個(gè)問(wèn)題。濺射是由Westover提出的按對(duì)象順序體繪制技術(shù)，如其名字所意味的，每次它都將一個(gè)體素的能量在圖像平面投影成一個(gè)色斑

26、，或痕跡。每個(gè)數(shù)據(jù)樣本周圍存在一個(gè)有限范圍的核。痕跡是該樣本到圖像平面的投影貢獻(xiàn)，并通過(guò)沿視方向?qū)朔e分計(jì)算，并將結(jié)果存在一個(gè)2D痕跡表中。,47,PPT學(xué)習(xí)交流,二、醫(yī)學(xué)圖像可視化方法應(yīng)用 虛擬內(nèi)窺鏡,48,PPT學(xué)習(xí)交流,2.1虛擬內(nèi)窺鏡,虛擬內(nèi)窺鏡技術(shù)（Virtual Endoscopy）是虛擬現(xiàn)實(shí)技術(shù)在現(xiàn)代醫(yī)學(xué)中的應(yīng)用。它利用醫(yī)學(xué)影像作為原始數(shù)據(jù)，融合圖像處理、計(jì)算機(jī)圖形學(xué)、科學(xué)計(jì)算可視化、虛擬現(xiàn)實(shí)技術(shù)，模擬傳統(tǒng)光學(xué)內(nèi)窺鏡的一種技術(shù)。它克服了傳統(tǒng)光學(xué)內(nèi)窺鏡需把內(nèi)窺鏡插入人體內(nèi)的缺點(diǎn)，是一種完全無(wú)接觸式的檢查方法。虛擬內(nèi)窺鏡的研究旨在為醫(yī)生提供診斷依據(jù)，還可應(yīng)用于輔助診斷、手術(shù)規(guī)劃、并且

27、實(shí)現(xiàn)手術(shù)的精確定位和醫(yī)務(wù)人員的培訓(xùn)等。,49,PPT學(xué)習(xí)交流,2.2虛擬內(nèi)窺鏡的應(yīng)用,目前，VE 的應(yīng)用主要集中在那些具有空腔結(jié)構(gòu)的器官上 如氣管、支氣管、食管、胃、結(jié)腸、血管、內(nèi)耳、心臟等等。至今，VE 仍處于初期臨床試驗(yàn)階段。 虛擬內(nèi)窺鏡作為一種全新的醫(yī)學(xué)檢查、診斷方法，節(jié)省了使用鎮(zhèn)靜劑、插入探測(cè)器、住院治療和術(shù)后觀察等措施，降低了檢查的復(fù)雜性、危險(xiǎn)性和成本。從理論上講，種人體內(nèi)部結(jié)構(gòu)都可以使用這種技術(shù)來(lái)進(jìn)行模擬檢查。雖然目前的應(yīng)用僅局限于教學(xué)、培訓(xùn)和設(shè)計(jì)治療方案等少數(shù)領(lǐng)域且處于初級(jí)研究階段，但隨著計(jì)算機(jī)和醫(yī)學(xué)成像技術(shù)的飛速發(fā)展，虛擬內(nèi)窺鏡研究不僅有重要的理論意義，而且有著廣闊的應(yīng)用前景。

28、,50,PPT學(xué)習(xí)交流,51,PPT學(xué)習(xí)交流,A 虛擬結(jié)腸內(nèi)窺鏡圖像,B 光學(xué)結(jié)腸內(nèi)窺鏡圖像,結(jié)腸對(duì)應(yīng)的CT圖像,52,PPT學(xué)習(xí)交流,2.3虛擬內(nèi)窺鏡中體數(shù)據(jù)的可視化,虛擬內(nèi)窺鏡系統(tǒng)的主要技術(shù)組成處理過(guò)程 虛擬內(nèi)窺鏡系統(tǒng)的處理過(guò)程 數(shù)據(jù)采集、圖像的組織分割、三維重建、路徑規(guī)劃、實(shí)時(shí)繪制,53,PPT學(xué)習(xí)交流,2.3.1數(shù)據(jù)采集,由CT 或MRI 等設(shè)備采集2D 的醫(yī)學(xué)切片圖像，經(jīng)3D 重建后的圖像質(zhì)量主要取決于數(shù)據(jù)采集的方式和分辨率，分辨率又由切層厚度和矩陣大小決定。氣管、支氣管、胃、腸系統(tǒng)的檢查首選螺旋CT，可以縮短采集時(shí)間，從而減少由于病人呼吸和移動(dòng)造成的偽影，還可以在不增加曝光時(shí)間的情

29、況下提供重疊的圖像資料。3D 重建要求層間的數(shù)據(jù)集具有連貫性，操作者可以改變圖像重疊的程度，以獲得較好的3D 圖像效果。原始的圖像分辨率越高，重建的3D 圖像效果越好。螺旋CT 虛擬內(nèi)窺鏡的最佳掃描參數(shù)目前還無(wú)定論，但最小的電子束流準(zhǔn)直可獲得最大的X 線分辨率，最慢的檢查床推進(jìn)速度和重建片層最大程度的重疊可進(jìn)一步提高圖像的清晰度。另外，增加千伏電壓數(shù)和毫安數(shù)可以增加信噪比，但同時(shí)也會(huì)增加患者的輻射劑量，因此需要綜合外科手術(shù)對(duì)清晰度的要求，選擇最合適的掃描參數(shù)。在神經(jīng)系統(tǒng)內(nèi)窺鏡研究中一般選擇MRI。因?yàn)轭^部較固定，可以較長(zhǎng)時(shí)間的采集數(shù)據(jù)，得到高分辨率的圖像。在過(guò)去的十幾年中MR 技術(shù)有了很大發(fā)展

30、，成像序列方法、磁場(chǎng)強(qiáng)度和梯度線圈工藝得到了改進(jìn)，使得MRI 可以在短時(shí)間內(nèi)采集到高清晰度的圖像。目前還處于實(shí)驗(yàn)階段的高磁場(chǎng)MRI 所產(chǎn)生的圖像具有驚人的高清晰度，為虛擬內(nèi)窺鏡的發(fā)展和應(yīng)用奠定了基礎(chǔ)。,54,PPT學(xué)習(xí)交流,2.3.2圖像的組織分割,由于實(shí)際的醫(yī)學(xué)圖像數(shù)據(jù)集CT、MRI 等提供的斷層切片圖像除了包含特定組織外，還包含了其它的信息，必須將特定的組織、器官分割出來(lái)才能實(shí)現(xiàn)3D 重建。分割是指區(qū)分相鄰組織結(jié)構(gòu)特征的過(guò)程。目前主要使用手工、半自動(dòng)、自動(dòng)分割三種方法。由于醫(yī)學(xué)圖像的復(fù)雜性，完全自動(dòng)并精確地實(shí)現(xiàn)組織的分割是非常困難的，而手工分割的工作量太大，因此使用醫(yī)學(xué)知識(shí)并結(jié)合快速精確的

31、技術(shù)半自動(dòng)地實(shí)現(xiàn)組織分割是比較現(xiàn)實(shí)的，也是目前常用的方法。發(fā)展自動(dòng)分割技術(shù)是發(fā)展虛擬內(nèi)窺鏡技術(shù)的關(guān)鍵。,55,PPT學(xué)習(xí)交流,組織分割前圖像,組織分割后的圖像,56,PPT學(xué)習(xí)交流,2.3.3三維重建,三維重建是將2D 的切片數(shù)據(jù)集重新構(gòu)造成3D 實(shí)體的過(guò)程。虛擬內(nèi)窺鏡系統(tǒng)的3D 重建有表面重建和體重建兩種方法.表面重建是由切片數(shù)據(jù)集提供的數(shù)據(jù)中抽取出等值面，由點(diǎn)、線、構(gòu)造出對(duì)象的幾何表面，然后再由傳統(tǒng)的圖形學(xué)技術(shù)實(shí)現(xiàn)表面繪制。通過(guò)抽取等值面構(gòu)造的表面模型，會(huì)丟失三維數(shù)據(jù)場(chǎng)中的細(xì)節(jié)信息，有些分界面也有可能被擴(kuò)大，也就是說(shuō)保真性較差。因此，雖然通過(guò)表面模型可以有效的繪制三維體的表面，但缺乏內(nèi)部信

32、息的表達(dá)。,57,PPT學(xué)習(xí)交流,體積重建實(shí)際上不通過(guò)構(gòu)造中間對(duì)象，直接由3D 數(shù)據(jù)本身重現(xiàn)實(shí)體。3D數(shù)據(jù)中的一個(gè)數(shù)據(jù)作為一個(gè)表示實(shí)體的基本單元體素，每一個(gè)體素都有顏色、不透明度、梯度等相應(yīng)的屬性。首先根據(jù)數(shù)據(jù)點(diǎn)值對(duì)每一體素賦以不透明度（）和顏色值（R、G、B）；再根據(jù)各體素點(diǎn)所在點(diǎn)的梯度以及光照模型計(jì)算出各數(shù)據(jù)點(diǎn)的光照強(qiáng)度；然后根據(jù)體光照模型，將投射到圖像平面中同一個(gè)象素點(diǎn)的各體素的半透明度和顏色值從前向后或者從后向前組合在一起，形成最終的結(jié)果圖像。根據(jù)不同的繪制次序，體繪制方法目前主要分為兩類：以圖像空間為序的體繪制算法（光線投射法）以對(duì)象空間為序的體繪制算法（單元投影法）。,58,PPT

33、學(xué)習(xí)交流,2.3.4路徑規(guī)劃,在采用體重建繪制結(jié)果圖像過(guò)程中涉及巨大的數(shù)據(jù)量，考慮到實(shí)時(shí)性要求，一般是首先進(jìn)行路徑規(guī)劃，抽取出對(duì)應(yīng)空腔結(jié)構(gòu)組織器官的中心路徑，然后按照這條關(guān)鍵路徑進(jìn)行漫游。,59,PPT學(xué)習(xí)交流,結(jié)腸對(duì)應(yīng)的中心路徑圖,支氣管對(duì)應(yīng)的中心路徑,60,PPT學(xué)習(xí)交流,2.3.5實(shí)時(shí)繪制,按照3D 重建的結(jié)果，模擬虛擬攝像機(jī)在人體組織器官內(nèi)部移動(dòng)產(chǎn)生的效果，根據(jù)相應(yīng)的視點(diǎn)位置、視線方向?qū)崟r(shí)顯示出對(duì)應(yīng)的景象，這是實(shí)時(shí)繪制的主要任務(wù)。,61,PPT學(xué)習(xí)交流,由于在體繪制技術(shù)上的不同手段：基于面繪制（SF）和直接體繪制的技術(shù)(DVR),虛擬內(nèi)窺鏡技術(shù)在實(shí)現(xiàn)上也有區(qū)別：基于面繪制的和基于體繪制

34、的虛擬內(nèi)窺鏡技術(shù),2.4虛擬內(nèi)窺鏡技術(shù),62,PPT學(xué)習(xí)交流,2.4.1基于面繪制的虛擬內(nèi)窺鏡技術(shù),一般基于面繪制的虛擬內(nèi)窺鏡的過(guò)程如圖110 所示。首先從CT、MRI 等設(shè)備獲取2D 切片數(shù)據(jù)。在建立幾何模型之前，要進(jìn)行一系列的圖像預(yù)處理。預(yù)處理過(guò)程包括濾波、插值、分割等。濾波用于平滑或增強(qiáng)圖像的信息內(nèi)容；插值是由于CT 或MRI 等設(shè)備提供的都是斷層數(shù)據(jù)，而體繪制需要在三個(gè)方向上密度相同的均勻體數(shù)據(jù)；分割是在圖像數(shù)據(jù)中抽取特定的組織，切除不感興趣的數(shù)據(jù)。抽取出相應(yīng)對(duì)象的表面，將其多邊形化，建立相應(yīng)的幾何模型，再添加顏色、光照、紋理映射等，就可以用面繪制的方法繪制。用戶根據(jù)繪制的結(jié)果決定繪制

35、結(jié)果是否理想，否則需要重新進(jìn)行組織分割和建立相應(yīng)的幾何模型。在進(jìn)行漫游時(shí)主要有兩種方式： （1） 實(shí)時(shí)交互模擬器方式，實(shí)時(shí)地模擬醫(yī)學(xué)內(nèi)窺鏡在人體組織內(nèi)部的移動(dòng)。這種方式要求使用有足夠高計(jì)算能力和顯示速度的高性能計(jì)算機(jī)。 （2） 預(yù)先確定一條漫游路徑，以動(dòng)畫錄像的方式顯示。,63,PPT學(xué)習(xí)交流,基于面繪制的虛擬內(nèi)窺鏡流程圖,64,PPT學(xué)習(xí)交流,2.4.2基于體繪制的虛擬內(nèi)窺鏡技術(shù),另一種是在實(shí)現(xiàn)虛擬內(nèi)窺鏡的方式是直接體繪制，其一般流程。這種方式與前一種方式的最大不同在于不需產(chǎn)生中間模型在確定視點(diǎn)的位置和視線的方向后，采用透視投影直接體繪制。直接體繪制具有高度保真性，能夠顯示出對(duì)象所包含的豐富

36、內(nèi)在信息。,65,PPT學(xué)習(xí)交流,基于體繪制的虛擬內(nèi)窺鏡流程圖,66,PPT學(xué)習(xí)交流,兩種繪制技術(shù)在虛擬內(nèi)窺鏡應(yīng)用中的比較 （1）繪制速度 ：面繪制可以快速靈活地進(jìn)行旋轉(zhuǎn)和變換光照效果，它適用于繪制表面特征分明的組織和器官。體繪制數(shù)據(jù)量和計(jì)算量大，所以速度慢。 （2）圖像質(zhì)量：面繪制對(duì)表面分割精度要求高，所以，對(duì)形狀特征不明顯，有亮度變化的軟組織以及血管、細(xì)支氣管等精細(xì)組織或器官三維顯示效果不佳。而且面繪制不能保留數(shù)據(jù)完整性。 體繪制與面繪制最大的不同是：其不需要產(chǎn)生一個(gè)中間模型、而是直接對(duì)三維數(shù)據(jù)場(chǎng)進(jìn)行體繪制，潛在的能力是保存了體數(shù)據(jù)豐富的三維信息。,67,PPT學(xué)習(xí)交流,2.5虛擬內(nèi)窺鏡的

37、研究現(xiàn)狀和難點(diǎn),虛擬內(nèi)窺鏡系統(tǒng)既然是虛擬現(xiàn)實(shí)系統(tǒng)， 那么必然要考慮滿足3I（Immersion、Imagination、Interaction）的特性，即沉浸感、真實(shí)感、交互性。實(shí)時(shí)的交互和真實(shí)感的虛擬場(chǎng)景，能給操作者提供一種身臨其境的沉浸感。在諸多相關(guān)研究中，比較有代表性的有以下幾種： 虛擬內(nèi)窺鏡醫(yī)學(xué)應(yīng)用系統(tǒng)（Virtual Endoscopy Medical Application）美國(guó)GE Research & Development Center 開(kāi)發(fā)了一套醫(yī)學(xué)虛擬內(nèi)窺鏡系統(tǒng)。（VEMA），如圖112。該系統(tǒng)采用先進(jìn)的分割、重建、顯示和自動(dòng)路徑規(guī)劃算法，使用器官的CT 或MRI 切片圖

38、像，生成器官的3D 內(nèi)表面模型，模擬視頻內(nèi)窺鏡的功能。VEMA 支持多視圖技術(shù)如細(xì)節(jié)放大、同步顯示器官內(nèi)外3D 視圖、組合2D 和3D 表面視，在人體空腔管道中交互移動(dòng)或自動(dòng)航行，并且提供了交互式解剖結(jié)構(gòu)測(cè)量工具。VEMA 可應(yīng)用于人體許多區(qū)域： 虛擬結(jié)腸鏡、支氣管、血管鏡檢查等。其采用的目標(biāo)器官的CT 和MRI 圖像同周圍組織的對(duì)比度較好，主要用于醫(yī)療人員的培訓(xùn)和教學(xué)。,68,PPT學(xué)習(xí)交流,虛擬內(nèi)窺鏡醫(yī)用系統(tǒng)效果圖,69,PPT學(xué)習(xí)交流,虛擬結(jié)腸內(nèi)窺鏡（Virtual Colonoscopy）16,17：Imatron Inc 采用虛擬人（VHD）數(shù)據(jù)，模擬橡皮管、病人結(jié)腸CT 圖像數(shù)據(jù),使用3D 體積可視化技術(shù)，對(duì)人體結(jié)腸的內(nèi)表面進(jìn)行虛擬成像和檢查。初步實(shí)現(xiàn)了兩種結(jié)腸內(nèi)的航行方式：預(yù)定路徑結(jié)腸內(nèi)航行和人工定向結(jié)腸內(nèi)航行。,70,PPT學(xué)習(xí)交流,虛擬耳窺鏡（Virtual Otoscopy）:美國(guó)Boston Surgical Planning Lab.建立了一種虛擬耳窺鏡系統(tǒng)，以三維形式顯示耳的解剖結(jié)構(gòu)，通過(guò)CT和MRI 圖像數(shù)據(jù)重建耳的內(nèi)表面，來(lái)模擬傳統(tǒng)內(nèi)窺鏡對(duì)內(nèi)耳的檢查過(guò)程，,71,PPT學(xué)習(xí)交流,虛擬食管支氣管內(nèi)窺鏡（Virtual Tracheo-Bronchial Endoscopy）：法國(guó)La