1、一、醫(yī)學(xué)圖像可視化,1,數(shù)據(jù)可視化（1）：數(shù)據(jù)曲線與圖表,2,南極上空臭氧層,HURRICANE FRAN,數(shù)據(jù)可視化（2）：引入形態(tài)表示,3,1.1 生物醫(yī)學(xué)三維可視化,用計(jì)算機(jī)處理醫(yī)學(xué)圖象的過程是先對人體有關(guān)部位掃描，將連續(xù)的、實(shí)際的人體解剖結(jié)構(gòu)數(shù)字化，然后再對這些離散化的體數(shù)據(jù)進(jìn)行加工和處理。還要用合適的顯示技術(shù)將處理結(jié)果顯示出來，增強(qiáng)人們對有關(guān)解剖與病理的觀察和理解。醫(yī)學(xué)圖象的顯示技術(shù)主要包括色彩的運(yùn)用和形態(tài)的真實(shí)再現(xiàn)。,4,形態(tài)的表示涉及3D圖象重建技術(shù)。圖象的重建就是要從獲取的采樣數(shù)據(jù)恢復(fù)物體的三維結(jié)構(gòu)，即物體的原型。 從本質(zhì)上說，重建是一個(gè)逆問題。,5,醫(yī)學(xué)圖象的顯示問題還不僅是

2、個(gè)重建問題，由于許多功能成像技術(shù)，使我們不但能夠看到潛藏在內(nèi)部的物體結(jié)構(gòu)，而且可以看到那些就是使用介入手術(shù)也無法看到的人體功能信息。,6,圖象顯示方式有多種多樣，從大的方面可以分為三類： (1) 反射式顯示 (2) 透射式顯示 (3) 斷層（剖面）顯示,7,反射式顯示： 從體數(shù)據(jù)的感興趣區(qū)提取被觀察物體的表面，施以一定的光照模型，選擇某一視角從物體外部觀察物體表面形態(tài)的顯示方式。典型的如表面繪制技術(shù)（Surface Rendering）。,8,透射式顯示： 類似于X射線成像原理，將反映醫(yī)學(xué)圖象特性的圖象強(qiáng)度看作對光線不同吸收的特性，光線穿透物體的最大吸收或累加吸收效果構(gòu)成物體的結(jié)構(gòu)圖象。典型的

3、技術(shù)有最大強(qiáng)度投影（Maximum Intensity Projection，MIP）及體繪制技術(shù)（Volume Rendering）。,9,斷層（剖面）顯示： 不經(jīng)3D重建，直接顯示過空間某一點(diǎn)的三個(gè)正交剖面的形態(tài)結(jié)構(gòu)。有時(shí)為了幫助理解，同時(shí)給出切除部分結(jié)構(gòu)的3D投影圖。,10,1.2 表面繪制技術(shù)（Surface Rendering）,我們這里說的“繪制”一詞，英文是“Rendering”。還經(jīng)常被譯做“描繪”、“渲染”、“重建”或“顯示”等。它的比較嚴(yán)格定義應(yīng)該是：實(shí)際3D物體的2D照相寫真式表示。屬于3D物體在2D平面真實(shí)感投影，二者有嚴(yán)格定量關(guān)系及視覺真實(shí)感。,11,1.2.1 基于

4、體素的表面重建,這是一種直接從體數(shù)據(jù)提取物體表面的方法。代表性的是Lorensen等人提出的移動立方體法（Marching Cube）。下面以人腦圖象為例加以說明。在剔除大腦皮層、顱骨和其它非腦成分之后，僅剩下大腦部分。由于我們感興趣的是腦表面的形態(tài)而不考慮其內(nèi)部的細(xì)節(jié)，因此，要把位于大腦表面上的像素與大腦內(nèi)部分開，這個(gè)過程稱做輪廓提?。–ontouring）。,12,對一個(gè)單元及給定的該單元點(diǎn)的標(biāo)量值組合計(jì)算所有可能拓?fù)錉顟B(tài)。 拓?fù)錉顟B(tài)數(shù)取決于單元頂點(diǎn)個(gè)數(shù)及一個(gè)頂點(diǎn)可能對于輪廓值內(nèi)/外關(guān)系數(shù)。如果頂點(diǎn)灰度值大于輪廓線的灰度值（閾值），則認(rèn)為該頂點(diǎn)在輪廓之內(nèi)。否則認(rèn)為在輪廓之外。例如，如果一個(gè)

5、單元有四個(gè)頂點(diǎn)，每個(gè)頂點(diǎn)可以在輪廓內(nèi)部或外部。因此，輪廓通過該單元共有24=16種方式。,構(gòu)型表 （Case Tables）,1.輪廓提取,13,物體的表面實(shí)際上是一個(gè)閉合的灰度的等值面，其灰度值稱做閾值。在該等值面的內(nèi)部，所有的像素灰度值都大于這個(gè)閾值，在等值面的外部，所有的像素灰度值都小于這個(gè)閾值（或相反），從而將物體與背景分開。顯然，等值面上的體素內(nèi)部灰度是不均勻的，即體素的一部分灰度大于這個(gè)閾值，另一部分灰度小于這個(gè)閾值。,14,構(gòu)型表的索引值可對每個(gè)頂點(diǎn)做二進(jìn)制數(shù)字編碼。 對用矩形網(wǎng)格表示的2D數(shù)據(jù)，用4位索引值表示16種狀態(tài)。選定某一合適的狀態(tài)后，可以用內(nèi)插法計(jì)算輪廓線與單元邊緣交

6、點(diǎn)。該算法處理完一個(gè)單元后，然后移動或前進(jìn)到另一個(gè)單元。當(dāng)所有單元都走過后，輪廓就完成了。 步進(jìn)算法可總結(jié)如下： 選擇一個(gè)單元； 計(jì)算該單元每個(gè)頂點(diǎn)的內(nèi)/外狀態(tài)； 生成每個(gè)頂點(diǎn)二進(jìn)制狀態(tài)的編碼索引值； 用該索引值查構(gòu)型表得到所需的拓?fù)錉顟B(tài)； 用內(nèi)插計(jì)算構(gòu)型表中每邊的輪廓位置。,15,由于此過程是對每個(gè)單元單獨(dú)處理，不同的單元邊界處可能重復(fù)使用一些頂點(diǎn)或邊緣，可以通過程序消除重復(fù)的運(yùn)算。注意，沿每條邊的內(nèi)插應(yīng)按相同方向進(jìn)行。不然的話，數(shù)值舍入可能會使產(chǎn)生符合的點(diǎn)不精確符合，不能正確地合并。,16,3D步進(jìn)立方體法的15種基本構(gòu)型,17,與步進(jìn)正方形相似，3D時(shí)為步進(jìn)立方體法。每個(gè)體素有8個(gè)頂點(diǎn)。

7、根據(jù)這8個(gè)頂點(diǎn)與灰度閾值的關(guān)系一共有28=256種構(gòu)型。 2D圖像的輪廓是由直線段連接而成，3D圖像的輪廓則復(fù)雜的多。3D圖像的輪廓是由許許多多的小三角形面片鑲嵌而成的。 考慮到各構(gòu)型的對稱和互補(bǔ)性，上頁的圖給出簡化后的15種基本構(gòu)型。對于3D圖像遍歷，根據(jù)各體素的構(gòu)型情況產(chǎn)生三角形面片鑲嵌的表面輪廓的方法稱作移動立方體法。 實(shí)際應(yīng)用中要用到全部256種構(gòu)型，因?yàn)閮H靠15種基本構(gòu)型的組合往往會在表面輪廓上產(chǎn)生空洞。,18,為了方便起見，實(shí)用的遍歷法是對每個(gè)體素用查表法。將體素的8個(gè)頂點(diǎn)與灰度閾值比較所產(chǎn)生的邏輯值依序構(gòu)成一個(gè)8位的二進(jìn)制編碼索引值，全部256種構(gòu)型的信息組成一個(gè)“構(gòu)型三角剖分”

8、查找表。它包含256個(gè)索引項(xiàng)，每個(gè)索引項(xiàng)包含索引號以及指向該種三角剖分中的一個(gè)指針。通過查表可以直接得到輪廓段的拓?fù)湫畔ⅰ⒛囊粋€(gè)邊與體素相交、應(yīng)當(dāng)使用那些頂點(diǎn)內(nèi)插產(chǎn)生交點(diǎn)等。對于每個(gè)體素，根據(jù)它的索引號在“構(gòu)型三角剖分”查找表中確定其三角剖分形式。還要對相鄰正方形一致邊合并。最終產(chǎn)生由小三角形面片鑲嵌成的表面輪廓。,19,仔細(xì)觀察步進(jìn)正方形的5號和10 號狀態(tài)，步進(jìn)立方體的3，6，7，10，12和13號狀態(tài)，都是一個(gè)單元可以用多于一種方式來提取輪廓。在2D或3D中，當(dāng)對角頂點(diǎn)是同一狀態(tài)（1或0），而鄰邊上點(diǎn)為不同狀態(tài)時(shí)，就會發(fā)生二義性。,任選步進(jìn)立方體狀態(tài)會導(dǎo)致等值面中的孔洞,輪廓的二義性問題

9、,20,2. 等值面的明暗顯示 要想真實(shí)地顯示物體表面的情況，須采用等值面的明暗顯示。三角片的生成僅僅完成了等值面的構(gòu)造，要真正顯示出物體在一定光照條件的形態(tài)，還必須解決物體在特定的光照模型下的表面法向量的計(jì)算。,21,光照模型 所采用的光照模型為 其中,I :三角片的光強(qiáng), Ia :環(huán)境的光強(qiáng), Is :光源的光強(qiáng), :三角片指向物體外部的法向量與光線的夾角, 顯然，三角片的光強(qiáng)與光源的方向和強(qiáng)度均有關(guān)。三角片的表面法向量的計(jì)算是真實(shí)、準(zhǔn)確顯示物體表面的關(guān)鍵問題。,22,表面法向量的計(jì)算 基于灰度梯度的法向量估計(jì)方法是一種很有效的方法。首先，用灰度差分計(jì)算體素頂點(diǎn)(i, j, k)上的灰度梯

10、度 ，其中,S(i, j, k)是體素頂點(diǎn)灰度值。,23,對g進(jìn)行歸一化，得到(gx/|g|, gy/|g|, gz/|g|)作為(i,j,k)上的單位法向量。然后，對體素八個(gè)頂點(diǎn)上法向量進(jìn)行線性插值就可得到位于體素棱邊上的三角片的各個(gè)頂點(diǎn)上的法向量。 設(shè)計(jì)算得到的某個(gè)三角片的三個(gè)頂點(diǎn)上的單位法向量分別為(x1,y1,z1), (x2,y2,z2), 和(x3,y3,z3),這個(gè)三角片的幾何重心為（cx,cy,cz)， 則該三角片的法向量起始于(cx,cy,cz)，終止于(x1+x2+x3)/3+cx,(y1+y2+y3)/3+cy,(z1+z2+z3)/3+cz）。 代入光照模型公式，就可計(jì)

11、算出小三角片表面的光強(qiáng)(灰度)。將其投影在某個(gè)特定的二維平面上進(jìn)行顯示，從而顯示出物體富有光感的整個(gè)表面形態(tài)。,24,投影中的消隱問題 投影是實(shí)現(xiàn)三維到二維轉(zhuǎn)換的有效手段，消隱是其中一個(gè)不可忽略的問題。采取的策略為遍歷體素集合，相對視點(diǎn)采用從后至前的次序，后顯示到屏幕上的三角片將覆蓋先顯示的三角片，這樣就達(dá)到消除隱藏面的目的，這就是著名的畫家算法的思想。右圖是用移動立方體法重建的腳骨圖象。,25,1.2.2 劃分立方體法,隨著CT、MR等成像技術(shù)不斷地進(jìn)步和發(fā)展，斷層數(shù)據(jù)的層片間距越來越小，層片內(nèi)部的空間分辨越來越高， Marching Cube算法在體素上產(chǎn)生的小三角面片數(shù)目激增。而屏幕顯示

12、的空間分辨有限，直接生成的小三角面片比顯示屏幕上的像素還小，這時(shí)就無需再計(jì)算小三角面片了，于是產(chǎn)生了劃分立方體法（Dividing Cubes）?；舅枷胧峭ㄟ^生成與顯示像素對應(yīng)的點(diǎn)元直接形成顯示圖像?；邳c(diǎn)元的繪制要比基于小三角面片的繪制在存儲和計(jì)算方面都具有較大優(yōu)越性。 考察與等值面相交的體素，如果該體素在顯示平面的投影面積大于一個(gè)像素的大小，就要將該體素細(xì)分為n1xn2xn3個(gè)子體素，使子體素在顯示平面的投影面積等于一個(gè)像素的大小。每個(gè)子體素繪制為一個(gè)表面點(diǎn)。子體素頂點(diǎn)處灰度通過線性插值獲得。對于與等值面相交的子體素，簡單地在其中心生成一個(gè)點(diǎn)，再用線性插值方法計(jì)算出法向量，進(jìn)行亮度明暗計(jì)

13、算得到光照效果。,26,劃分立方體,27,劃分立方體算法： 1. 輸入三維體數(shù)據(jù)，設(shè)定等值面灰度閾值； 2. 首次讀入連續(xù)4層數(shù)據(jù)； 3. 兩個(gè)連續(xù)層面的8個(gè)數(shù)據(jù)鄰點(diǎn)組成一個(gè)立方體（體素），在體素每個(gè)頂點(diǎn)處計(jì)算灰度梯度向量分量，數(shù)值等于該頂點(diǎn)沿每個(gè)坐標(biāo)軸前后鄰點(diǎn)灰度差。 4. 對體素分類：如果每個(gè)頂點(diǎn)灰度值均高于灰度閾值，體素是內(nèi)部體素；反之，如果每個(gè)頂點(diǎn)灰度值均低于灰度閾值，體素是外部體素；否則，等值面通過該體素。 5. 細(xì)分立方體：將包含等值面的體素細(xì)分為n1xn2xn3個(gè)子體素，使得每個(gè)子體素在顯示平面上是一個(gè)像素大小。即每個(gè)子體素相當(dāng)一個(gè)表面點(diǎn)，子體素的8個(gè)頂點(diǎn)灰度值由原體素頂點(diǎn)灰度值

14、線性插值獲得。 6. 如第5步，檢測還有那些子體素與等值面相交。 7. 對每個(gè)與等值面相交的子體素計(jì)算8個(gè)頂點(diǎn)的灰度梯度向量。確定子體素中心點(diǎn)，法向量為8個(gè)頂點(diǎn)的灰度梯度向量的平均值。 8. 計(jì)算每個(gè)表面點(diǎn)的光強(qiáng)：法向量沿視方向投影的標(biāo)量積。 9. 移出最上層數(shù)據(jù)，讀入下一層數(shù)據(jù)，重復(fù)步驟3-9，直至遍歷全部體數(shù)據(jù)。,28,1.2.3 基于切片的表面重建,由切片輪廓重建物體的方法稱作基于切片的表面重建。 該方法的主要步驟是： 第1步：平面輪廓的提取。 平面輪廓的提取一般基于物體與背景間灰度或其它屬性的差異進(jìn)行分割和 提取。高質(zhì)量的輪廓提取往往需要生物醫(yī)學(xué)領(lǐng)域知識的引導(dǎo)。 第2步：片間輪廓的對應(yīng)

15、。 片間輪廓的對應(yīng)具有較大的任意性。一般可通過對不同層面上輪廓重疊部分定量比較，或應(yīng)用一些能夠描述輪廓形狀的橢圓擬合、柱體生長等方法判斷。 第3步：輪廓拼接。 確定了對應(yīng)的輪廓之后，還需要確定對應(yīng)輪廓上的對應(yīng)點(diǎn)。 第4步：曲面擬合。 小三角形面片結(jié)構(gòu)只能是物體表面的粗略表示，較為精確的方法可用曲面擬合。即用通過小三角形頂點(diǎn)的曲面代替三角形平面。常用的有三次B樣條插值。更為精細(xì)的有非均勻有理B樣條（NURBS）,29,1.3 體繪制技術(shù),表面繪制是繪制不透明物體。即假設(shè)物體在其表面反射、散射，而沒有光線射入它們內(nèi)部。雖然繪制不透明物體很有用，但很多應(yīng)用中，繪制透明物體也很重要。透明度在體繪制中有

16、重要的應(yīng)用。 半透明繪制：該方法使物體透明，使我們可以看到表面所圍區(qū)域的內(nèi)部。例如使皮膚半透明，能夠看到內(nèi)部的器官。,30,1.3.1 透明度與值,透明度（Transparency）及阻光度（Opacity）是兩個(gè)互補(bǔ)的概念，稱為值。半透明的值是0.5；=1代表完全不透明物體，=0代表完全透明物體。是整個(gè)原色（Entire Actor）的一個(gè)重要性質(zhì)，可以單獨(dú)說明，也可以與三種原色等同地表示。 按照光線跟蹤過程，視線從相機(jī)投射到世界坐標(biāo)，依次與每一種原色板相交。若原色板是不透明的，要繪制的顏色就是光線方程到此部得到的顏色；對于半透明原色板，必須用光照方程求解穿過這個(gè)原色板得到的結(jié)果，并且繼續(xù)投

17、射，看它是否還與其它原色板相交。最后得到的顏色是所相交全部原色板作用的合成。,31,考慮光線穿過三個(gè)透明度均為0.5的、顏色分別為紅、綠、蘭的多邊形平面，如果紅色多邊形在前，背景為黑色，得到的RGBA色為（0.4，0.2，0.1，0.875）。,值的合成,32,1.3.2 紋理映射,紋理映射（Texture Mapping）是無需對細(xì)節(jié)建模而給圖像添加細(xì)節(jié)的一種技術(shù)。紋理映射可以看作是將一幅圖像粘貼到一個(gè)物體表面的技術(shù)。使用紋理映射需要兩種信息：紋理映射圖及紋理坐標(biāo)。紋理影射圖是我們要粘貼的圖像，紋理坐標(biāo)規(guī)定圖像粘貼的位置。更一般地說，紋理映射是在對物體繪制時(shí)對其顏色、強(qiáng)度與/或透明度的查表技

18、術(shù)。紋理圖及坐標(biāo)大多數(shù)情況下是二維的，但三維紋理圖及坐標(biāo)正變得普遍起來。,33,1.3.3 體繪制,體積繪制技術(shù)有兩種：最大強(qiáng)度投影法（Maximum Intensity Projection，MIP）及三維體繪制技術(shù)（3D Rendering Technique） 。 MIP 是沿觀察者視線方向，選擇每條與數(shù)據(jù)體積相交直線上全部象素中的最大強(qiáng)度值作為圖象投影平面強(qiáng)度值。 該方法適于做CT 或MR 血管造影圖象。 缺點(diǎn)是圖象象素的強(qiáng)度失去三維空間信息。由于所有投影象素都是選取最大強(qiáng)度值，因而整個(gè)圖象的平均背景強(qiáng)度隨之加大，這在很多情況下（例如腎或肝中血管）會影響對一些結(jié)構(gòu)的觀察效果。有時(shí)，高強(qiáng)度的象素（例如CT圖象中的骨結(jié)構(gòu)或鈣化點(diǎn)）會對使用造影劑的血管圖象產(chǎn)生偽跡。,34,用光線投射技術(shù)生成的最大強(qiáng)度投影神經(jīng)元圖像,最大強(qiáng)度投影或MIP是可視化體積數(shù)據(jù)最常用方法之一。該技術(shù)具有較好的抗噪聲特性，能夠產(chǎn)生對處理數(shù)據(jù)直觀了解的圖像。這種方法的缺點(diǎn)是不可能從一幅靜止圖像看出沿光線什么地方得到的最大值。例如圖中所示的神經(jīng)元圖像，很難從這幅靜止圖像完全了解神經(jīng)元的結(jié)構(gòu)，因?yàn)槲覀儾荒艽_定該神經(jīng)元的某些分支是在其他分支的前面還是后面。,35,