第七章醫(yī)學(xué)成像可視化技術(shù)及應(yīng)用7.1概述1、三維可視化的定義也稱三維重建，是指通過對(duì)獲得的數(shù)據(jù)或二維圖像信息進(jìn)行處理，生成物體的三維結(jié)構(gòu)，并按照人的視覺習(xí)慣進(jìn)行不同效果的顯示。任務(wù)：三維二維早期探索階段（1970s-1980s）

主要針對(duì)心臟、肝臟、胚胎、神經(jīng)等器官的三維重建；表面重建的算法：輪廓線提取算法、輪廓線對(duì)應(yīng)算法、三角片鑲嵌算法、曲面擬合算法等等；

2、發(fā)展歷程基礎(chǔ)算法研究階段（1990s）

基于體元的表面繪制算法：Cuberille，Marching

；直接體繪制算法：Raycasting，Splatting，V-Buffer；及各種加速算法；

實(shí)用系統(tǒng)研究階段(90年代末)

外科手術(shù)模擬系統(tǒng)、放射治療模擬、虛擬內(nèi)窺鏡、整形外科、解剖模擬。3、應(yīng)用領(lǐng)域診斷醫(yī)學(xué)：在臨床核醫(yī)學(xué)研究中，CT圖象、磁共振圖象和超聲圖象的廣泛應(yīng)用是診斷的有力的手段。應(yīng)用先進(jìn)的可視化技術(shù)對(duì)這些圖象進(jìn)行處理、構(gòu)造三維實(shí)體模型以及對(duì)其進(jìn)行剖切顯示，有助于了解復(fù)雜解剖特征的空間定位和隨著時(shí)間所發(fā)生的變化。

整形與假肢手術(shù)規(guī)劃可視化技術(shù)在整形外科中的應(yīng)用是假肢設(shè)計(jì)（造型）。例如，在做髖骨更換手術(shù)前，需要根據(jù)病人的個(gè)體特征正確地設(shè)計(jì)所需髖骨假肢的外形，才能減少因假肢形狀差異造成手術(shù)失敗的概率。首先根據(jù)CT或MR圖象重構(gòu)假肢的精確三維模型，交工廠制作，然后進(jìn)行手術(shù)更換。

放射治療計(jì)劃利用放射性射線殺死或抑制惡性腫瘤需要事先做出仔細(xì)規(guī)劃，包括劑量計(jì)算和照射點(diǎn)定位。如果輻射定位不準(zhǔn)或劑量不當(dāng)，輕則造成治療效果不佳，重則危及周圍正常組織。根據(jù)醫(yī)學(xué)圖象重建病人病灶區(qū)的解剖結(jié)構(gòu)，并作出精確定位和劑量計(jì)算已是實(shí)際可行的。

腦結(jié)構(gòu)圖及其功能研究由于腦的復(fù)雜性，純粹采用神經(jīng)生物學(xué)家所常采用的簡(jiǎn)化方法無法對(duì)之作出進(jìn)一步了解?？梢暬夹g(shù)在通過組織切片、醫(yī)學(xué)成象儀器（如超聲波、CT、MR、PET等）、藥物吸收和神經(jīng)生理實(shí)驗(yàn)等手段獲取腦的數(shù)字圖象，并進(jìn)行特征提取和腦圖分析，重構(gòu)三維腦的結(jié)構(gòu)圖和功能圖，以適當(dāng)?shù)娜S顯示方式顯示出來。7.2三維可視化的分類多平面顯示和曲面顯示屬于將三維體視數(shù)據(jù)進(jìn)行再切面，并將二維切面影像顯示出來的技術(shù)形式，因此也稱二維重建或圖像重排。1、多平面重建（MPR）多平面重建是將掃描范圍內(nèi)所有的軸位圖像疊加起來再對(duì)某些標(biāo)線標(biāo)定的重組線所指定的組織進(jìn)行冠狀、矢狀位、任意角度斜位圖像重組。曲面重建CMPR是常規(guī)MPR的一種引伸方法，能使復(fù)雜的三維結(jié)構(gòu)有效地顯示在一個(gè)單一的展開的斷面上，避免了與掃描平面不平行的結(jié)構(gòu)或彎曲的結(jié)構(gòu)縮短和重疊。MPR優(yōu)點(diǎn)：能任意產(chǎn)生新的斷層圖像，而無需重復(fù)掃描。原圖像的密度值被忠實(shí)保持到了結(jié)果圖像上。曲面重組能在一幅圖像里展開顯示彎曲物體的全長(zhǎng)。2、表面陰影法重建（SSD）采用象素閾值的方法對(duì)器官組織的表面輪廓進(jìn)行重建，實(shí)質(zhì)器官的表面和內(nèi)部結(jié)構(gòu)被作為同等密度重建，重建出3D圖像只能顯示器官外表面形態(tài)輪廓，而不能顯示內(nèi)部結(jié)構(gòu)。SSD的優(yōu)點(diǎn)：符合人的視覺經(jīng)驗(yàn)，以強(qiáng)真實(shí)感效果展示立體形態(tài)能展示空間結(jié)構(gòu)復(fù)雜的物體易于定量測(cè)量和對(duì)三維物體進(jìn)行操作（如模擬手術(shù)）

3、最大密度投影重建（MIP）

在容積掃描數(shù)據(jù)中對(duì)每條徑線上每個(gè)象素的最大強(qiáng)度值進(jìn)行編碼并投射成像。MIP的灰階度反映CT值的相對(duì)大小，且比較敏感，即使小的差異也能被檢測(cè)，如鈣化灶、骨骼CT值非常高，充盈對(duì)比劑的血管同樣很高的CT值，但總是低于鈣化灶和骨骼，在MIP圖像上，其明亮度不一樣，可區(qū)分。MIP重建方法：①螺旋CT增強(qiáng)掃描，一般采用3-5mm層厚，小的重建間距。②在橫斷面圖像上劃定興趣區(qū)。③保留靶血管的高密度影像，刪除骨骼等其他高密度組織。④使用MIP軟件進(jìn)行圖像重建。⑤沿X、Y、Z軸360度旋轉(zhuǎn)，三維地顯示血管結(jié)構(gòu)及病變。MIP應(yīng)用價(jià)值：

廣泛應(yīng)用于具有相對(duì)高密度的組織和結(jié)構(gòu)，如顯影的血管、骨骼、肺部腫塊以及明顯強(qiáng)化的軟組織病灶等，對(duì)于密度差異甚小的組織結(jié)構(gòu)以及病灶則難以顯示。最小密度投影重建（MinP)它是在某一平面方向上對(duì)所選取的三維組織層塊中的最小密度進(jìn)行投影，主要用于氣道的顯示。偶爾也用于肝臟增強(qiáng)后肝內(nèi)擴(kuò)張膽管的顯示。7.3三維重建和繪制預(yù)處理分割模型構(gòu)建模型網(wǎng)格簡(jiǎn)化繪制預(yù)處理

在醫(yī)學(xué)圖像數(shù)據(jù)的獲取過程中，影像設(shè)備中各電子器件的隨機(jī)擾動(dòng)不可避免地會(huì)帶來噪聲。預(yù)處理的目的就是對(duì)其進(jìn)行濾波（Filtering）或平滑（Smoothing），以實(shí)現(xiàn)抑制噪聲，增強(qiáng)圖像特征，提高信噪比。圖像的濾波可以在付平面上處理，如采用Butterwoth濾波器可較好地消除高頻成分。也可以在實(shí)平面上處理，實(shí)平面上濾波常用的有鄰域平均法、中值濾波法以及保持邊緣的濾波法等。分割二維分割三維分割重建醫(yī)學(xué)圖像的三維重建就是根據(jù)輸入的斷層圖像序列，經(jīng)分割和提取后，構(gòu)建出待建組織的三維幾何表達(dá)。這種三維幾何表達(dá)的模型最常用的就是表面模型。表面模型一般以平面片特別是三角面片來逼近表示，對(duì)于封閉的表面，構(gòu)成一多面體，這時(shí)也稱多面體模型。早期CT切片間距較大，因此早期的主要研究工作集中在輪廓連接（ContourConnection）或稱從平面輪廓重建形體（ShapefromPlanarContours），其中具有代表性的是Keppel在1975年提出的用三角片擬合物體表面的方法。這類重建方法需要解決斷層圖像上的輪廓提取、層之間的輪廓對(duì)應(yīng)和物體外表面的擬合等問題。隨著新一代CT和MRI設(shè)備出現(xiàn)，切片間距及切片內(nèi)像素間距都可以達(dá)到很小，出現(xiàn)了基于體素級(jí)的重建方法。用MC方法構(gòu)造的組織或器官的表面模型一般都有數(shù)十萬甚至上百萬個(gè)三角片，用MT方法構(gòu)造的表面模型三角面片的數(shù)量更多。示例圖的重建模型的三角面片數(shù)為696889。模型的三角面數(shù)量巨大，占據(jù)大量的存儲(chǔ)容量。更重要的是難以實(shí)現(xiàn)對(duì)模型的實(shí)時(shí)交互繪制，因?yàn)閿?shù)十萬的三角面片，即使用最簡(jiǎn)單的Phong光照模型進(jìn)行繪制，也需要數(shù)秒的時(shí)間。重建組織的數(shù)量增加，三角面的數(shù)量巨增，難以實(shí)現(xiàn)模型的旋轉(zhuǎn)、平移、縮放和剖切等實(shí)時(shí)交互操作。因此，要提高實(shí)時(shí)交互能力，就必須對(duì)模型進(jìn)行網(wǎng)格簡(jiǎn)化。網(wǎng)格簡(jiǎn)化也是虛擬現(xiàn)實(shí)中細(xì)節(jié)層次（LevelofDetail，簡(jiǎn)稱LOD）模型的主要研究?jī)?nèi)容，其思想是在場(chǎng)景中近景用精細(xì)模型而遠(yuǎn)景用粗略模型表達(dá)，以實(shí)現(xiàn)實(shí)時(shí)繪制的需要。早在70年代Clark就提出了層次化模型的思想。繪制技術(shù)：1、面繪制2、體繪制我們這里說的“繪制”一詞，英文是“Rendering”。還經(jīng)常被譯做“描繪”、“渲染”、“重建”或“顯示”等。它的比較嚴(yán)格定義應(yīng)該是：實(shí)際3D物體的2D照相寫真式表示。屬于3D物體在2D平面真實(shí)感投影，二者有嚴(yán)格定量關(guān)系及視覺真實(shí)感。1、表面繪制MarchingCube算法表面重建皮膚灰度閾值HU=500表面重建皮膚HU=500骨頭HU=1150表面重建透明顯示皮膚HU=500表面重建透明顯示皮膚HU=500骨骼HU=1150阻光度=0.8阻光度=0.6阻光度=0.4阻光度=0.25面繪制的方法：通過配準(zhǔn)及插值后，建立面繪制所需的基本三維體數(shù)據(jù)，選定作為表面顯示的等值面的灰度閾值緊鄰上下兩層數(shù)據(jù)對(duì)應(yīng)的四個(gè)像素點(diǎn)構(gòu)成一個(gè)立方體，或?qū)?yīng)成一個(gè)體素；體素的共8個(gè)頂點(diǎn)按照前面得到的等值面閾值進(jìn)行分類，超過或等于閾值，則頂點(diǎn)算作等值面的內(nèi)部點(diǎn)；小于閾值，頂點(diǎn)算作等值面的外部點(diǎn)；生成一個(gè)代表頂點(diǎn)內(nèi)外部狀態(tài)的二進(jìn)制編碼索引表移動(dòng)（前進(jìn)）至下一個(gè)立方體，重復(fù)3－7步。用此索引表查詢一個(gè)長(zhǎng)度為256的構(gòu)型查找表，得到輪廓（等值面）與立方體空間關(guān)系的具體拓?fù)錉顟B(tài)（構(gòu)型）；根據(jù)構(gòu)型，通過線性插值確定等值面與立方體相交的三角片頂點(diǎn)坐標(biāo)，得到輪廓的具體位置；2、體繪制

在自然環(huán)境和計(jì)算模型中，許多對(duì)象和現(xiàn)象只能用三維數(shù)據(jù)場(chǎng)來表示。與傳統(tǒng)的計(jì)算機(jī)圖形學(xué)相比，對(duì)象體不再用幾何曲面或曲線表示的三維實(shí)體，而是用體素（Voxel）作為基本造型單元。對(duì)于每一體素，不僅其表面而且其內(nèi)部都包含了對(duì)象信息，這是僅用曲線和曲面等幾何造型方法所無法表示的。直接由三維數(shù)據(jù)場(chǎng)產(chǎn)生屏幕上的二維圖象，稱為體繪制算法。這種方法能產(chǎn)生三維數(shù)據(jù)場(chǎng)的整體圖象，包括每一個(gè)細(xì)節(jié)，并具有圖象質(zhì)量高、便于并行處理等優(yōu)點(diǎn)。體繪制不同于面繪制，它不需要中間幾何圖元，而是以體素為基本單位，直接顯示圖像。體繪制的目的就在于提供一種基于體素的繪制技術(shù)，它有別于傳統(tǒng)的基于面的繪制，能顯示出對(duì)象體的豐富的內(nèi)部細(xì)節(jié)。體光照模型

體光照模型是研究直接體繪制的基礎(chǔ)。從物理意義上講，當(dāng)光線穿過體素與光線遇到一曲面時(shí)，會(huì)發(fā)生不同的光學(xué)現(xiàn)象。前者如光線穿過云層會(huì)發(fā)生吸收、散射等現(xiàn)象；后者如光線射到桌面上，有漫射、反射、透射等現(xiàn)象。不同的物理背景決定了體光照強(qiáng)度的計(jì)算與面光照強(qiáng)度的計(jì)算有不同的模型和方法。體光照模型就是研究光線穿過體素時(shí)的變化，將光線穿過體素時(shí)的物理現(xiàn)象用數(shù)學(xué)模型來描述。在目前的體繪制中，采用得較多的有：

源-衰減模型（Sourceattenuation）變密度發(fā)射模型（Varyingdensityemitters）

材料分類及組合模型（Classificationandmixture）

源-衰減模型最早由Jaffery提出。該模型為體數(shù)據(jù)場(chǎng)中的每一體素分配一個(gè)源強(qiáng)度和一個(gè)衰減系數(shù)，每一個(gè)體素作為一個(gè)質(zhì)點(diǎn)光源，發(fā)出的光線在數(shù)據(jù)場(chǎng)中沿距離衰減后被投影到視平面上，形成結(jié)果圖象。

當(dāng)光照射到物體表面時(shí)，光線可能被吸收、反射和透射。被物體吸收的部分轉(zhuǎn)化為熱，反射、透射的光進(jìn)入人的視覺系統(tǒng)，使我們能看見物體。為模擬這一現(xiàn)象，建立一些數(shù)學(xué)模型來替代復(fù)雜的物理模型，這些模型就稱為明暗效應(yīng)模型或者光照明模型。三維形體的圖形經(jīng)過消隱后，再進(jìn)行明暗效應(yīng)的處理，可以進(jìn)一步提高圖形的真實(shí)感。計(jì)算某一點(diǎn)的光強(qiáng)度的模型。光照模型影響觀察者看到的表面顏色的因素①物體的幾何形狀②光源位置、距離、顏色、數(shù)量、強(qiáng)度、種類③環(huán)境遮擋關(guān)系、光的反射與折射、陰影④視點(diǎn)位置⑤物性材料、顏色、透明度折射性⑥表面光潔度光源①幾何性質(zhì)點(diǎn)光源線光源面光源

②光譜組成白色光等能量的各種波長(zhǎng)可見光的組合彩色光單色光光的傳播反射定律：入射角等于反射角，而且反射光線、入射光線與法向量在同一平面上折射定律折射定律：折射線在入射線與法線構(gòu)成的平面上，折射角與入射角滿足能量關(guān)系在光的反射和折射現(xiàn)象中的能量分布：下標(biāo)為i,d,s,t,v的能量項(xiàng)分別表示為入射光強(qiáng)，漫反射光強(qiáng)，鏡面反射光強(qiáng)，透射光強(qiáng)，吸收光強(qiáng)能量是守恒的簡(jiǎn)單光照明模型模擬物體表面的光照明物理現(xiàn)象的數(shù)學(xué)模型－光照明模型簡(jiǎn)單光照明模型亦稱局部光照明模型，其假定物體是不透明的，只考慮光源的直接照射，而將光在物體之間的傳播效果籠統(tǒng)地模擬為環(huán)境光?？梢蕴幚砦矬w之間光照的相互作用的模型稱為整體光照明模型簡(jiǎn)單光照明模型光照射到物體表面，主要發(fā)生： 反射 透射（對(duì)透明物體） 部分被吸收成熱能反射光，透射光決定了物體所呈現(xiàn)的顏色

簡(jiǎn)單光照明模型-環(huán)境光

假定物體是不透明的（即無透射光）環(huán)境光：在空間中近似均勻分布，即在任何位置、任何方向上強(qiáng)度一樣,記為Ia環(huán)境光反射系數(shù)Ka：在分布均勻的環(huán)境光照射下，不同物體表面所呈現(xiàn)的亮度未必相同，因?yàn)樗鼈兊沫h(huán)境光反射系數(shù)不同。光照明方程（僅含環(huán)境光）：Ie=KaIa

Ie為物體表面所呈現(xiàn)的亮度。簡(jiǎn)單光照明模型-環(huán)境光例子具有不同環(huán)境光反射系數(shù)的兩個(gè)球簡(jiǎn)單光照明模型-環(huán)境光缺點(diǎn)：雖然不同的物體具有不同的亮度，但是同一物體的表面的亮度是一個(gè)恒定的值，沒有明暗的自然過度?？紤]引入點(diǎn)光源。點(diǎn)光源：幾何形狀為一個(gè)點(diǎn)，位于空間中的某個(gè)位置，向周圍所有的方向上輻射等強(qiáng)度的光。記其亮度為Ip點(diǎn)光源的照射：在物體的不同部分其亮度也不同，亮度的大小依賴于物體的朝向及它與點(diǎn)光源之間的距離.簡(jiǎn)單光照明模型簡(jiǎn)單光照明模型：-漫反射角度余弦的推導(dǎo)漫反射粗糙、無光澤物體（如粉筆）表面對(duì)光的反射光照明方程漫反射的亮度點(diǎn)光源的亮度漫反射系數(shù)入射角漫反射光的強(qiáng)度只與入射角有關(guān)簡(jiǎn)單光照明模型-漫反射將環(huán)境光與漫反射結(jié)合起來一般取Ia=(0.02~0.2)Id例子簡(jiǎn)單光照明模型-漫反射缺點(diǎn)：對(duì)于許多物體，使用上式計(jì)算其反射光是可行的，但對(duì)于大多數(shù)的物體，如擦亮的金屬、光滑的塑料等是不適用的，原因是這些物體還會(huì)產(chǎn)生鏡面發(fā)射。簡(jiǎn)單光照明模型-鏡面反射鏡面反射光滑物體（如金屬或塑料）表面對(duì)光的反射高光入射光在光滑物體表面形成的特別亮的區(qū)域簡(jiǎn)單光照明模型-鏡面反射理想鏡面反射觀察者只能在反射方向上才能看到反射光，偏離了該方向則看不到任何光。簡(jiǎn)單光照明模型-鏡面反射非理想鏡面反射P為物體表面上一點(diǎn)，L為從P指向光源的單位矢量，N為單位法矢量，R為反射單位矢量，V為從P指向視點(diǎn)的單位矢量

光滑平面I=Ip

K

scosna鏡面簡(jiǎn)單光照明模型-鏡面反射鏡面反射Is為鏡面反射光強(qiáng)。點(diǎn)光源的亮度Ks是與物體有關(guān)的鏡面反射系數(shù)。n為鏡面反射指數(shù)，n越大，則Is隨a的增大衰減的越快。

n的取值與表面粗糙程度有關(guān)。n越大，表面越平滑（散射現(xiàn)象少，稍一偏離，明暗亮度急劇下降）n越小，表面越毛糙（散射現(xiàn)象嚴(yán)重）或簡(jiǎn)單光照明模型模擬物體表面對(duì)光的反射作用,光源為點(diǎn)光源反射作用分為物體間作用用環(huán)境光(AmbientLight)漫反射(DiffuseReflection)鏡面反射(SpecularReflection)簡(jiǎn)單光照明模型-Phong光照明模型簡(jiǎn)單光照明模型-Phong光照明模型Phong光照明模型的綜合表述：由物體表面上一點(diǎn)P反射到視點(diǎn)的光強(qiáng)I為環(huán)境光的反射光強(qiáng)Ie、理想漫反射光強(qiáng)Id、和鏡面反射光Is的總和。Phong光照明模型是真實(shí)感圖形學(xué)中提出的第一個(gè)有影響的光照明模型經(jīng)驗(yàn)?zāi)Ｐ?，Phong模型存在不足：顯示出的物體象塑料，無質(zhì)感變化沒有考慮物體間相互反射光鏡面反射顏色與材質(zhì)無關(guān)鏡面反射大入射角失真現(xiàn)象Phong光照明模型的不足Ie=0.75，Id=0.5Is=0.25Ie=0.5，Id=0.5Is=0.25Ie=0.75，Id=0.75Is=0Ie=0.75，Id=0Is=0.75Ie=1，Id=0Is=0.9體繪制方法

體光照模型提供了體數(shù)據(jù)中各數(shù)據(jù)點(diǎn)光照強(qiáng)度的計(jì)算方法，體繪制方法提供的是二維結(jié)果圖象的生成方法。首先根據(jù)數(shù)據(jù)點(diǎn)值對(duì)每一數(shù)據(jù)點(diǎn)賦以透明度t和顏色值（R,G,B），再根據(jù)各數(shù)據(jù)點(diǎn)所在點(diǎn)的梯度及光照模型計(jì)算出各數(shù)據(jù)點(diǎn)的光照強(qiáng)度，然后將投射到圖象。平面中同一象素點(diǎn)的各數(shù)據(jù)點(diǎn)的透明度和顏色值綜合在一起，形成最終的結(jié)果圖象。根據(jù)不同的繪制次序，體繪制可以分為兩類以圖象空間為序的體繪制方法-體光線跟蹤法

以對(duì)象空間為序的體繪制方法-體單元投影法

體光線跟蹤法

-光線投射法(RayCasting)以圖象空間為序的體光線跟蹤繪制算法是從屏幕上的每一象素點(diǎn)出發(fā)，根據(jù)視點(diǎn)方向，發(fā)出一條射線，這條射線穿過三維體數(shù)據(jù)場(chǎng)。沿這條射線選擇K個(gè)等距采樣點(diǎn)，由距離采樣點(diǎn)最近的八個(gè)體素的顏色值和不透明度值做三線性插值，求出該采樣點(diǎn)的顏色值和不透明度值。而后可以采用由后到前或由前到后的方法，將射線上每一采樣點(diǎn)的顏色和不透明度組合起來，計(jì)算出屏幕上該象素點(diǎn)對(duì)應(yīng)的顏色值。光線跟蹤算法的主要步驟是：

For每條光線

Do For每個(gè)與光線相交的體素

Do

計(jì)算該體素對(duì)圖象空間對(duì)應(yīng)象素的貢獻(xiàn)。根據(jù)光子傳輸理論,有以下體顯示方程:體單元投影法以對(duì)象空間為序的體繪制方法首先根據(jù)每個(gè)數(shù)據(jù)點(diǎn)的函數(shù)值計(jì)算該點(diǎn)的不透明度及顏色值，然后根據(jù)給定的視平面和觀察方向，將每個(gè)數(shù)據(jù)點(diǎn)的坐標(biāo)由對(duì)象空間變換到圖象空間；接著根據(jù)選定的光照模型，計(jì)算出每個(gè)數(shù)據(jù)點(diǎn)處的光強(qiáng)；然后根據(jù)選定的重構(gòu)核函數(shù)計(jì)算出從三維數(shù)據(jù)點(diǎn)光強(qiáng)到二維圖象空間的映射關(guān)系，得出每個(gè)數(shù)據(jù)點(diǎn)所影響的二維象素的范圍及對(duì)其中每個(gè)象素點(diǎn)的光強(qiáng)的貢獻(xiàn)；最后將不同的數(shù)據(jù)點(diǎn)對(duì)同一象素點(diǎn)的貢獻(xiàn)加以合成。

單元投影算法的主要步驟：

For每一體素或單元Do For該體素在視平面投影區(qū)域內(nèi)的每一象