圖像處理中的細胞核檢測分割分類方法綜述1/140第1頁，課件共139頁，創(chuàng)作于2023年2月MethodsforNucleiDetection,SegmentationandClassificationinDigitalHistopathology:AReview.CurrentStatusandFuturePotentialHumayunIrshad,StudentMember,IEEE,AntoineVeillard,LudovicRoux,DanielRacoceanu,Member,IEEE,2/140第2頁，課件共139頁，創(chuàng)作于2023年2月outline簡介和動機細胞分割和分類的挑戰(zhàn)圖像處理方法簡介檢測、分割和分類的方法討論3第3頁，課件共139頁，創(chuàng)作于2023年2月Thispresentreviewisintendedasacomprehensivestate-of-the-artsurveyontheparticularissuesofnucleidetection,segmentationandclassificationmethodsrestrictedtotwowidelyavailabletypesofimagemodalities:H&EandIHC.Weconcludewithadiscussion,pointingtofutureresearchdirectionsandopenproblemsrelatedtonucleidetection,segmentationandclassification.4第4頁，課件共139頁，創(chuàng)作于2023年2月染色蘇木精—伊紅染色法(hematoxylin-eosinstaining)，簡稱HE染色法。細胞核—深藍色，其他（細胞質，基質等）—粉紅色。免疫組織化學（Immunohistochemistry，IHC）又稱免疫細胞化學，是指帶顯色劑標記的特異性抗體在組織細胞原位通過抗原抗體反應和組織化學的呈色反應，對相應抗原進行定性、定位、定量測定的一項新技術。5第5頁，課件共139頁，創(chuàng)作于2023年2月6第6頁，課件共139頁，創(chuàng)作于2023年2月

照明統(tǒng)一的光照是必須的。顯微鏡，樣本厚度，染色等會導致照度不均。照相技術對不同波長的光的敏感度不一致（短波-藍<長波-紅）。使用標準套件糾正光譜和空間光照變化。7第7頁，課件共139頁，創(chuàng)作于2023年2月重點淋巴細胞：形狀規(guī)則，比上皮細胞小上皮細胞：染色質均勻，邊界平滑（健康）；變大，染色質分布不均，邊界不規(guī)則（癌變）8第8頁，課件共139頁，創(chuàng)作于2023年2月挑戰(zhàn)病理圖像中待檢測、分割、分類的細胞通常有很多的計算機視覺問題，這些視覺問題由很多因素導致，包括切片處理和圖像采集等。細胞核通常是聚集在一起且存在重疊，并有多樣化的外觀。一個成功的圖像處理方法應該是能夠用魯棒的方式克服這些問題以便在各種情況下都有高質量和準確率。9第9頁，課件共139頁，創(chuàng)作于2023年2月圖像處理方法閾值（thresholding）形態(tài)學（morphology）區(qū)域生長（regiongrowing）分水嶺（watershed）主動輪廓模型和水平集（activecontourmodelandlevelsets）K-均值聚類（K-meansclustering）概率模型（probabilisticmodels）圖切割（graphcuts）10第10頁，課件共139頁，創(chuàng)作于2023年2月Thresholding目標和背景內(nèi)部的相鄰像素間的灰度值是高度相關的，但在目標和背景交界處兩邊的像素在灰度上有很大的差別。全局二值化11第11頁，課件共139頁，創(chuàng)作于2023年2月全局閾值：僅根據(jù)圖像像素本身性質

1、極小點閾值2、最優(yōu)閾值3、最大凸殘差閾值；局部閾值：像素本身性質和局部區(qū)域性質1、直方圖變換2、灰度-梯度散射圖動態(tài)閾值：像素本身性質、局部區(qū)域性質以及像素位置坐標12第12頁，課件共139頁，創(chuàng)作于2023年2月13第13頁，課件共139頁，創(chuàng)作于2023年2月Morphology形態(tài)學是一門建立在集論基礎上的學科，將圖像視為元素的集合，將圖像作為幾何形狀進行處理。形態(tài)學圖像處理是在圖像中移動一個結構元素，然后將結構元素與下面的二值圖像進行交、并等集合運算。常用的結構元素有十字，矩形和圓形等。14第14頁，課件共139頁，創(chuàng)作于2023年2月在形態(tài)學中，結構元素是最重要最基本的概念。結構元素在形態(tài)變換中的作用相當于信號處理中的“濾波窗口”。基本的形態(tài)運算是腐蝕和膨脹。腐蝕和膨脹公式：15第15頁，課件共139頁，創(chuàng)作于2023年2月16第16頁，課件共139頁，創(chuàng)作于2023年2月先腐蝕后膨脹的過程稱為開運算。它具有消除細小物體，在纖細處分離物體和平滑較大物體邊界的作用。先膨脹后腐蝕的過程稱為閉運算。它具有填充物體內(nèi)細小空洞，連接鄰近物體和平滑邊界的作用。均會除去比結構元素小的圖像細節(jié)。17第17頁，課件共139頁，創(chuàng)作于2023年2月18第18頁，課件共139頁，創(chuàng)作于2023年2月Whiteandblacktop-hattransforms：

可以提取元素和細節(jié)。Whitetop-hattransformsBlacktop-hattransforms19第19頁，課件共139頁，創(chuàng)作于2023年2月20第20頁，課件共139頁，創(chuàng)作于2023年2月形態(tài)學梯度：用于邊緣檢測21第21頁，課件共139頁，創(chuàng)作于2023年2月Regiongrowing種子區(qū)域生長法是從一組代表不同生長區(qū)域的種子像素開始，接下來將種子像素鄰域里符合條件的像素合并到種子像素所代表的生長區(qū)域中，并將新添加的像素作為新的種子像素繼續(xù)合并過程，直到找不到符合條件的新像素為止。22第22頁，課件共139頁，創(chuàng)作于2023年2月23第23頁，課件共139頁，創(chuàng)作于2023年2月選擇或確定一組能正確代表所需區(qū)域的種子像素確定在生長過程中能將相鄰像素包括進來的準則制定讓生長停止的條件或規(guī)則24第24頁，課件共139頁，創(chuàng)作于2023年2月Watershed分水嶺法是一種基于拓撲理論的數(shù)學形態(tài)學的分割方法，其基本思想是把圖像看作是測地學上的拓撲地貌，圖像中每一點像素的灰度值表示該點的海拔高度，每一個局部極小值及其影響區(qū)域稱為集水盆，而集水盆的邊界則形成分水嶺。25第25頁，課件共139頁，創(chuàng)作于2023年2月該算法的實現(xiàn)可以模擬成洪水淹沒的過程，圖像的最低點首先被淹沒，然后水逐漸淹沒整個山谷。當水位到達一定高度的時候將會溢出，這時在水溢出的地方修建堤壩，重復這個過程直到整個圖像上的點全部被淹沒，這時所建立的一系列堤壩就成為分開各個盆地的分水嶺。分水嶺算法對微弱的邊緣有著良好的響應，但圖像中的噪聲會使分水嶺算法產(chǎn)生過分割的現(xiàn)象。26第26頁，課件共139頁，創(chuàng)作于2023年2月27第27頁，課件共139頁，創(chuàng)作于2023年2月ACM能量函數(shù)：以規(guī)范化曲線形狀為目的的項，稱為內(nèi)能量,最小化內(nèi)能量使得曲線不斷向內(nèi)部緊縮且保持平滑以靠近目標物體邊緣為目的的項，稱為外能量,外能量則是保證曲線緊縮到目標物體邊緣時停止。

是自定義或目標物體先驗的知識，來控制邊界。Activecontourmodelandlevelsets28第28頁，課件共139頁，創(chuàng)作于2023年2月參數(shù)活動輪廓模型是基于Lagrange框架，直接以曲線的參數(shù)化形式來表達曲線，最具代表性的是Snake模型。該類模型在早期的生物圖像分割領域得到了成功的應用，但其存在著分割結果受初始輪廓的設置影響較大以及難以處理曲線拓撲結構變化等缺點.29第29頁，課件共139頁，創(chuàng)作于2023年2月基本思想是1）在圖像中初始化一個閉合曲線輪廓。形狀任意，只要保證將目標物體完全包含在曲線內(nèi)部即可；2）然后構建能量方程。能量方程由兩部分組成。3）根據(jù)能量方程，計算出表示曲線受力的歐拉方程（Eulerequation）。按照曲線各點的受力來對曲線進行變形，直至受力為0。此時能量方程達到最小值，曲線收斂到目標物體邊緣。30第30頁，課件共139頁，創(chuàng)作于2023年2月幾何活動輪廓模型的曲線運動過程是基于曲線的幾何度量參數(shù)而非曲線的表達參數(shù)，因此可以較好地處理拓撲結構的變化，并可以解決參數(shù)活動輪廓模型難以解決的問題。而水平集（LevelSet）方法的引入，則極大地推動了幾何活動輪廓模型的發(fā)展，因此幾何活動輪廓模型一般也可被稱為水平集方法。31第31頁，課件共139頁，創(chuàng)作于2023年2月基本思想是將圖像按照曲線量化為levelset函數(shù)（最常用的是signeddistancefunction）。level-set類似于等勢線，一幅圖像上所有l(wèi)evel-set值等于某個常量的點構成一個閉合曲線。因此，t時刻的曲線可以表示為：

C(t)={(x,y):u(t,x,y)=0}這樣的曲線表示方法不依賴于參數(shù)化，因此是曲線的本征表示。這樣就將曲線的運動轉化為zerolevel-set函數(shù)的運動。32第32頁，課件共139頁，創(chuàng)作于2023年2月Levelsets水平集(levelset)的基本思想是將界面看成高一維空間中某一函數(shù)ψ（稱為水平集函數(shù)）的零水平集，同時界面的演化也擴充到高一維的空間中。我們將水平集函數(shù)按照它所滿足的發(fā)展方程進行演化或迭代，由于水平集函數(shù)不斷進行演化，所以對應的零水平集也在不斷變化，當水平集演化趨于平穩(wěn)時，演化停止，得到界面形狀。33第33頁，課件共139頁，創(chuàng)作于2023年2月簡單來說就是把低維空間上的函數(shù)通過水平集的方法來轉化為高維空間(如果低維是n，則這里的高維指n+1)假設用C(p,t)表示一個沿其法向方向的閉合曲線，它可以是二維中的一條閉合曲線(curve)，也可以是三維中的一個閉合曲面(Surface)。34第34頁，課件共139頁，創(chuàng)作于2023年2月如果把水平集函數(shù)中的z變量變?yōu)閠，則二維空間的閉合曲線就是通過截取不同時刻三維空間連續(xù)函數(shù)曲面的水平層。當函數(shù)中的t取不同的值時，水平集函數(shù)對應不同的水平集，三維中的函數(shù)就是這樣映射到二維的平面中的。也就是將二維中曲線的演化轉化為了三維中的曲面的演化，低維變化到了高維，低維中的問題變化到了高維進行求解。35第35頁，課件共139頁，創(chuàng)作于2023年2月36第36頁，課件共139頁，創(chuàng)作于2023年2月MaximumLikelihood極大似然原理的直觀想法是：一個隨機試驗如有若干個可能的結果A，B，C，…。若在一次試驗中，結果A出現(xiàn)，則一般認為試驗條件對A出現(xiàn)有利，也即A出現(xiàn)的概率很大。37第37頁，課件共139頁，創(chuàng)作于2023年2月假設數(shù)據(jù)是服從同一個概率分布p(x|θ)的θ分布參數(shù)，那么抽到A的概率是p(xA|θ)，抽到B的概率是p(xB|θ)，那因為他們是獨立的，同時抽到A和B的概率是p(xA|θ)*p(xB|θ)，那么從分布是p(x|θ)的總體樣本中抽取到n個樣本的概率，也就是樣本集X中各個樣本的聯(lián)合概率，用下式表示：最大似然估計會尋找關于θ的最可能的值38第38頁，課件共139頁，創(chuàng)作于2023年2月求最大似然函數(shù)估計值的一般步驟：（1）寫出似然函數(shù)；（2）對似然函數(shù)取對數(shù)，并整理；（3）求導數(shù)，令導數(shù)為0，得到似然方程；（4）解似然方程，得到的參數(shù)即為所求；39第39頁，課件共139頁，創(chuàng)作于2023年2月ExpectationMaximization期望最大化（Expectation-maximuzation）算法在統(tǒng)計中被用于尋找，依賴于不可觀察的隱性變量的概率模型中，參數(shù)的最大似然估計。EM是一個在已知部分相關變量的情況下，估計未知變量的迭代技術。40第40頁，課件共139頁，創(chuàng)作于2023年2月EM的算法流程如下：1：初始化分布參數(shù)：2：重復直到收斂。E步驟：估計未知參數(shù)的期望值，給出當前的參數(shù)估計。M步驟：重新估計分布參數(shù)，以使得數(shù)據(jù)的似然性最大，給出未知變量的期望估計。41第41頁，課件共139頁，創(chuàng)作于2023年2月K-meansclusteringK-means算法是很典型的基于距離的聚類算法，采用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大。該算法認為簇是由距離靠近的對象組成的，因此把得到緊湊且獨立的簇作為最終目標。42第42頁，課件共139頁，創(chuàng)作于2023年2月（1）從n個數(shù)據(jù)對象任意選擇k個對象作為初始聚類中心；（2）根據(jù)每個聚類對象的均值（中心對象），計算每個對象與這些中心對象的距離；并根據(jù)最小距離重新對相應對象進行劃分；（3）重新計算每個（有變化）聚類的均值（中心對象）（4）循環(huán)（2）到（3）直到每個聚類不再發(fā)生變化為止43第43頁，課件共139頁，創(chuàng)作于2023年2月Fuzzyc-meansclustering模糊c-均值聚類算法fuzzyc-meansalgorithm(FCMA)或稱（FCM）。在眾多模糊聚類算法中，模糊C-均值（FCM）算法應用最廣泛且較成功，它通過優(yōu)化目標函數(shù)得到每個樣本點對所有類中心的隸屬度，從而決定樣本點的類屬以達到自動對樣本數(shù)據(jù)進行分類的目的。1973年，Bezdek提出44第44頁，課件共139頁，創(chuàng)作于2023年2月FCM用模糊劃分，使得每個給定數(shù)據(jù)點用值在0，1間的隸屬度來確定其屬于各個組的程度。樣本點的隸屬度函數(shù)取值為區(qū)間[0,1]，同時每個樣本點對各類的隸屬度之和為1，即認為樣本點對每個聚類均有一個隸屬度關系，允許樣本點以不同的模糊隸屬度函數(shù)同時歸屬于所有聚類。模糊聚類方法的軟性劃分，真實地反映了圖像的模糊性和不確定性。45第45頁，課件共139頁，創(chuàng)作于2023年2月步驟1：用值在0，1間的隨機數(shù)初始化隸屬矩陣U，使其滿足式（6.9）中的約束條件步驟2：用式（6.12）計算c個聚類中心ci，i=1,…,c。步驟3：根據(jù)式（6.10）計算價值函數(shù)。如果它小于某個確定的閥值，或它相對上次價值函數(shù)值的改變量小于某個閥值，則算法停止。步驟4：用（6.13）計算新的U矩陣。返回步驟2。46第46頁，課件共139頁，創(chuàng)作于2023年2月Probabilisticmodels統(tǒng)計學習的模型有兩種，一種是概率模型，一種是非概率模型。所謂概率模型，就是指要學習的模型的形式是P(Y|X)，這樣在分類的過程中，通過未知數(shù)據(jù)X可以獲得Y取值的一個概率分布，也就是訓練后模型得到的輸出不是一個具體的值，而是一系列值的概率（對應于分類問題來說，就是對應于各個不同的類的概率），然后可以選取概率最大的那個類作為判決對象（算軟分類softassignment）。47第47頁，課件共139頁，創(chuàng)作于2023年2月對于高斯混合模型（GMM），學習的過程就是訓練出幾個概率分布，所謂混合高斯模型就是指對樣本的概率密度分布進行估計，而估計的模型是幾個高斯模型加權之和（具體是幾個要在模型訓練前建立好）。每個高斯模型就代表了一個類（一個Cluster）。對樣本中的數(shù)據(jù)分別在幾個高斯模型上投影，就會分別得到在各個類上的概率。然后我們可以選取概率最大的類所為判決結果。48第48頁，課件共139頁，創(chuàng)作于2023年2月Graphcuts此類方法把圖像分割問題與圖的最小割（mincut）問題相關聯(lián)。首先將圖像映射為帶權無向圖G=<V，E>，圖中每個節(jié)點N∈V對應于圖像中的每個像素，每條邊∈E連接著一對相鄰的像素，邊的權值表示了相鄰像素之間在灰度、顏色或紋理方面的非負相似度。49第49頁，課件共139頁，創(chuàng)作于2023年2月而對圖像的一個分割s就是對圖的一個剪切，被分割的每個區(qū)域C∈S對應著圖中的一個子圖。而分割的最優(yōu)原則就是使劃分后的子圖在內(nèi)部保持相似度最大，而子圖之間的相似度保持最小?；趫D論的分割方法的本質就是移除特定的邊，將圖劃分為若干子圖從而實現(xiàn)分割。50第50頁，課件共139頁，創(chuàng)作于2023年2月GraphCuts圖是在普通圖的基礎上多了2個頂點，這2個頂點分別用符號”S”和”T”表示，統(tǒng)稱為終端頂點。其它所有的頂點都必須和這2個頂點相連形成邊集合中的一部分。所以GraphCuts中有兩種頂點，也有兩種邊。51第51頁，課件共139頁，創(chuàng)作于2023年2月52第52頁，課件共139頁，創(chuàng)作于2023年2月HoughTransform霍夫變換是圖像處理中的一個檢測直線、圓等簡單幾何形狀的方法。它最初是用于在二值化的圖像中進行直線檢測的。5353第53頁，課件共139頁，創(chuàng)作于2023年2月黑白圖像上畫一條直線，直線的方程可以用y=k*x+b來表示，過某一點(x0,y0)的所有直線的參數(shù)都會滿足方程y0=kx0+b。即點(x0,y0)確定了一組直線。方程y0=kx0+b在參數(shù)k-b平面上是一條直線。這樣，圖像x-y平面上的一個前景像素點就對應到參數(shù)k-b平面上的一條直線。5454第54頁，課件共139頁，創(chuàng)作于2023年2月同樣，圖像x-y平面上的一條直線y=k0*x+b0就對應到參數(shù)平面上的一個像素點（K0，b0）。不過，由于直線的斜率可能為無窮大，或者無窮小，那么，在k-b參數(shù)空間就不便于對直線進行刻畫和描述。所以，采用極坐標參數(shù)空間進行直線檢測。5555第55頁，課件共139頁，創(chuàng)作于2023年2月直線Y=X*K+b上點對應于KB空間上的不同直線，這一組直線的交點為（K，b）。則通過對圖像進行遍歷，均映射到空間AB上，統(tǒng)計交點上相交直線的個數(shù)，則個數(shù)最大的點及對應圖像中占據(jù)像素點最多的線段。5656第56頁，課件共139頁，創(chuàng)作于2023年2月優(yōu)點：抗干擾能力強，對應曲線為實線，虛線，還是殘缺了一部分均可以檢測；對應曲線的均勻無要求。缺點：計算量大，不能檢測圖像的線段，檢測出包括該線段的直線，對于像素點較少的線段無法檢測，參數(shù)空間難求取最優(yōu)參數(shù)。5757第57頁，課件共139頁，創(chuàng)作于2023年2月Markovrandomfield馬爾可夫一般是馬爾可夫性質的簡稱。它指的是一個隨機變量序列按時間先后關系依次排開的時候，第N+1時刻的分布特性，與N時刻以前的隨機變量的取值無關。拿天氣來打個比方。如果假定天氣是馬爾可夫的，其意思就是假設今天的天氣僅僅與昨天的天氣存在概率上的關聯(lián)，而與前天及前天以前的天氣沒有關系。其它如傳染病和謠言的傳播規(guī)律，就是馬爾可夫的。5858第58頁，課件共139頁，創(chuàng)作于2023年2月隨機場包含兩個要素：位置（site），相空間（phasespace）。當給每一個位置中按照某種分布隨機賦予相空間的一個值之后，其全體就叫做隨機場。不妨拿種地來打個比方。“位置”好比是一畝畝農(nóng)田；“相空間”好比是種的各種莊稼?？梢越o不同的地種上不同的莊稼，種的莊家類型只和相鄰地里的莊家有關。這就好比給隨機場的每個“位置”，賦予相空間里不同的值。所以，俗氣點說，隨機場就是在哪塊地里種什么莊稼的事情。5959第59頁，課件共139頁，創(chuàng)作于2023年2月馬爾可夫鏈通常用來建模排隊理論和統(tǒng)計學中的建模，最近的應用是在地理統(tǒng)計學（geostatistics）中。其中，馬爾可夫鏈用在基于觀察數(shù)據(jù)的二到三維離散變量的隨機模擬。6060第60頁，課件共139頁，創(chuàng)作于2023年2月laplacianofGaussianLaplace算子對通過圖像進行操作實現(xiàn)邊緣檢測的時，對離散點和噪聲比較敏感。于是，首先對圖像進行高斯卷積濾波進行降噪處理，再采用Laplace算子進行邊緣檢測，就可以提高算子對噪聲和離散點的Robust,這一個過程中LaplacianofGaussian(LOG)算子就誕生了。6161第61頁，課件共139頁，創(chuàng)作于2023年2月DifferenceofGaussianDoG(DifferenceofGaussian)是灰度圖像增強和角點檢測的方法，其做法較簡單，它是可以通過將圖像與高斯函數(shù)進行卷積得到一幅圖像的低通濾波結果，即去噪過程，同時，它對高斯拉普拉斯LoG的近似，在某一尺度上的特征檢測可以通過對兩個相鄰高斯尺度空間的圖像相減，得到DoG的響應值圖像。6262第62頁，課件共139頁，創(chuàng)作于2023年2月黑色為極小值，白色為極大值6363第63頁，課件共139頁，創(chuàng)作于2023年2月H-maximatransformI2=imhmax(I,h)

suppressesallmaximaintheintensityimage

I

whoseheightislessthan

h,where

h

isascalar.Regionalmaximaareconnectedcomponentsofpixelswithaconstantintensityvalue,andwhoseexternalboundarypixelsallhavealowervalue.6464第64頁，課件共139頁，創(chuàng)作于2023年2月Preprocessing光照歸一化（IlluminationNormalization）色彩歸一化（ColorNormalization）降噪和圖像平滑（NoiseReductionandImageSmoothing）興趣區(qū)檢測（ROIDetection）65第65頁，課件共139頁，創(chuàng)作于2023年2月IlluminationNormalizationwhiteshadingcorrection其他方法還有基于在高斯平滑中表現(xiàn)出的圖像內(nèi)稟特性的方法，66第66頁，課件共139頁，創(chuàng)作于2023年2月ColorNormalization直方圖的方法，quantilenormalization對于stainscolocalization，colordeconvolutioniseffectiveinseparationofstains。colordeconvolutionrequirespriorknowledgeofcolorvectors(RGB)ofeachspecificstain.67第67頁，課件共139頁，創(chuàng)作于2023年2月絕大部分的檢測和分割方法都是使用的RGB顏色模型，盡管RGB模型不是一個perceptuallyuniform的顏色模型。部分使用HSV，Lab和Luv模型。68第68頁，課件共139頁，創(chuàng)作于2023年2月NoiseReductionandImageSmoothing濾波和背景糾正之后進行閾值化可以減少隨機噪聲和人為影響。使用灰度直方圖確定的在閾值之外的那些像素是噪聲。對像素團使用閾值函數(shù)可以消去一個噪聲區(qū)域。69第69頁，課件共139頁，創(chuàng)作于2023年2月形態(tài)學的方法同樣可以應用于降噪。例如開運算和閉運算。形態(tài)學灰度重構方法可以減少噪聲同時保持細胞的形狀。閾值和濾波是基于像素強度減少噪聲，形態(tài)學的方法是根據(jù)輸入圖像的形狀特征。形態(tài)學方法無法去除細胞核類似形狀的噪聲區(qū)域。70第70頁，課件共139頁，創(chuàng)作于2023年2月自適應濾波，Gammacorrection和直方圖均衡化可以增加前景和背景之間的對比。Anisotropicdiffusion可以平滑細胞核信息而不退化細胞核邊界。高斯濾波同樣可以平滑細胞核邊界。伽瑪校正就是對圖像的伽瑪曲線進行編輯，以對圖像進行非線性色調(diào)編輯的方法，檢出圖像信號中的深色部分和淺色部分，并使兩者比例增大，從而提高圖像對比度效果。71第71頁，課件共139頁，創(chuàng)作于2023年2月ROIDetection在部分框架中，降噪和ROI檢測是同時進行的。例如：對于組織級別的特征計算，通過排除內(nèi)容少的區(qū)域和噪聲區(qū)域來選擇興趣區(qū)域。對于細胞級別的特征計算，通過ROI檢測可能的細胞區(qū)域來減少噪聲。72第72頁，課件共139頁，創(chuàng)作于2023年2月閾值在ROI檢測中很常見。sertel等人介紹了將細胞核和細胞成分作為ROI的濾泡性淋巴瘤（FL）分級。紅細胞（RBC）和背景區(qū)域相比于濾泡性淋巴瘤組織核呈現(xiàn)均勻的模式；因此閾值可以在RGB顏色模型中消除紅細胞和背景。同樣，Dalleetal通過使用Otsu閾值隨著形態(tài)學運算在乳腺癌圖像中選擇腫瘤核多形性ROI。73第73頁，課件共139頁，創(chuàng)作于2023年2月聚類也是ROI檢測常用方法。Dundaretal.提出了一種用于乳腺導管增生性病變良惡性分類框架。乳腺導管增生性病變包含四個部分。H＆E染色圖像數(shù)據(jù)使用GMM分為四個部分。GMM模型參數(shù)使用EM估計。那些被歸類為細胞成分進一步用動態(tài)閾值聚集來消除相亮度較暗藍紫色的像素。剩余的像素點被認為是細胞區(qū)，用于病變分級。74第74頁，課件共139頁，創(chuàng)作于2023年2月NucleiDetection初始標記點和種子點對絕大部分的分割方法是首要的。分割的準確性直接和種子點的可靠性有關。在該領域開始的工作主要依賴thepeaksoftheEuclideandistancemap。75第75頁，課件共139頁，創(chuàng)作于2023年2月H-maximatransform檢測局部極大值點作為種子點，但對紋理比較敏感導致過量播種。Houghtransform檢測圓形種子點，但計算量大。Centroidtransform只能在二值圖像中檢測種子點，無法使用額外的信息。76第76頁，課件共139頁，創(chuàng)作于2023年2月歐式距離映射常用于種子檢測。LaplacianofGaussian(LoG)是一個通用的blob檢測方法。使用多尺度LoG過濾器和歐式距離映射可以獲得更高的計算效率和利用形狀尺度信息的能力。77第77頁，課件共139頁，創(chuàng)作于2023年2月Al-kofahietal提出了一種距離約束的多尺度LoG濾波的方法來確定細胞核，該方法利用二值圖像歐式距離映射中可獲得的形狀和尺度信息。78第78頁，課件共139頁，創(chuàng)作于2023年2月主要步驟：首先計算尺寸歸一化LOG濾波器在多分辨率下的響應。在結合LOG濾波結果和尺寸來計算單個響應表面時RN(i)，使用Euclideandistancemap來限制最大尺寸值。確定響應便面的局部最大值，利用最小區(qū)域尺寸濾除不相關的最小值。79第79頁，課件共139頁，創(chuàng)作于2023年2月該方法提高了種子點位置的準確率但缺點是對距離映射中的小的峰值過于敏感導致過分割，并誤檢測小的區(qū)域為細胞核。80第80頁，課件共139頁，創(chuàng)作于2023年2月Radialsymmetrytransform(RST)也用于種子檢測。LoyandZelinsky提出基于快速梯度的興趣算子來檢測具有高徑向對稱的種子點。雖然這種方法的靈感是來自于廣義對稱變換的結果，它決定每個周圍像素對稱的貢獻，而不是考慮局部鄰域對中心像素的貢獻。81第81頁，課件共139頁，創(chuàng)作于2023年2月Qietal.提出了一個新型快速種子點檢測方法，該方法利用shiftedGaussiankernel單通道VOTE。shiftedGaussiankernel被特別的設計來放大目標物體中心的VOTE，來降低重疊區(qū)域錯誤種子的出現(xiàn)。82第82頁，課件共139頁，創(chuàng)作于2023年2月計數(shù)各類型細胞核對于分級是十分重要的。然而人工計數(shù)是乏味且受到主觀影響的。FuchsandBuhmann指出對于正常和非典型細胞核的分類方面，5個病理學家之間存在42%的爭議。同時指出病理學家存在21.2%的錯誤率。這表明自動計數(shù)工具具有很大的潛力。83第83頁，課件共139頁，創(chuàng)作于2023年2月MN數(shù)量可以為腫瘤的擴散攻擊性評估提供依據(jù)。Anarietal提出使用模糊C-均值聚類和ultraerosionoperation方法在Lab顏色模型中檢測MN。結果表明準確率接近人工標記。84第84頁，課件共139頁，創(chuàng)作于2023年2月Roullieretal提出一個基于圖的多分辨率框架來檢測乳腺癌中的MN。該方法現(xiàn)在低分辨率進行非監(jiān)督的聚類然后在高分辨率進行微調(diào)。85第85頁，課件共139頁，創(chuàng)作于2023年2月Khanetal提出了在GMM中使用EM來在乳腺癌圖像中檢測MN。在該框架中有絲分裂像素強度和非有絲分裂區(qū)域由Gamma-Gaussianmixturemodel表示。86第86頁，課件共139頁，創(chuàng)作于2023年2月Cires?anetal.使用深度max-pooling卷積神經(jīng)網(wǎng)絡來檢測MN，并獲得了最高的F-score(78%)duringICPR2012contest。一個由以有絲分裂地面真值為中心的圖像塊組成的訓練數(shù)據(jù)庫作為訓練樣本。訓練好的CNN計算在整個圖像中估計有絲分裂核的概率地圖。他們的方法被證明十分高效，且誤檢率低。87第87頁，課件共139頁，創(chuàng)作于2023年2月通過檢測IHCHER2+breastcancerhistopathology中的LN數(shù)量，Basavanhallyetal提出了對lymphocyticinfiltration分級的方法。在該框架中區(qū)域生長方法使用對比措施找出最優(yōu)邊界來自動檢測LN。88第88頁，課件共139頁，創(chuàng)作于2023年2月該框架具有高檢測敏感度，導致有大量的誤檢。為了減少誤報，基于形狀和亮度信息的maximumaposteriori(MAP)estimation應用來臨時標記候選對象為LN或CN。然后Markovrandomfield(MRF)theorywithspatialproximity來最后確定標簽。89第89頁，課件共139頁，創(chuàng)作于2023年2月NucleiSegmentation細胞核特征：尺寸，紋理，形狀以及其他形態(tài)學表觀對于癌癥的診斷和分級是重要的指示器。因此癌癥的分類和分級高度依賴細胞分割的質量。細胞分割方法的選擇和特征計算方法有關。90第90頁，課件共139頁，創(chuàng)作于2023年2月部分特征計算方法需要細胞核精確的邊界點來計算細胞形態(tài)。在這種情況下，需要高放大倍率的圖像來獲得細胞細節(jié)。其他的特征計算方法需要細胞位置來計算拓撲特征，大量的細胞核分割方法使用基于閾值，形態(tài)學，區(qū)域生長，分水嶺，ACMs，聚類，圖割的方法或組合。91第91頁，課件共139頁，創(chuàng)作于2023年2月檢測和分割最簡單的方法是閾值和形態(tài)學的方法。該方法在統(tǒng)一背景下效果良好。主要需要調(diào)節(jié)的參數(shù)為閾值和結構元素的形狀和尺寸。目標和背景之間的擴散彌漫會加大找到一個能可靠分割邊界閾值的難度。92第92頁，課件共139頁，創(chuàng)作于2023年2月閾值加形態(tài)學的方法一般用于灰度圖像，但也可以應用于彩色圖像。受限于方法的簡單，只是用了少量的目標信息，對尺寸、形狀和紋理的變化缺少魯棒性。不能分割聚成團的細胞和重疊的細胞。93第93頁，課件共139頁，創(chuàng)作于2023年2月部分人使用分水嶺變換來做細胞分割。分水嶺的主要優(yōu)點是在使用之前不需要進行調(diào)整。然而，需要種子點的先驗知識。Edgemap和distancetransform可以用于種子點檢測。對于有均勻區(qū)域的環(huán)形細胞有良好的檢測結果。分水嶺變換沒有使用先驗知識來提高魯棒性。94第94頁，課件共139頁，創(chuàng)作于2023年2月ACMs能夠聯(lián)合形狀特征（平緩，形狀模型）和圖像特征（圖像梯度，強度分布），然而分割的結果依賴初始種子點的選擇。95第95頁，課件共139頁，創(chuàng)作于2023年2月Cosattoetal描述了一個能準確且魯棒測量腫瘤細胞核大小并提供多形性分級用的目標依據(jù)的方法。首先使用一個DifferenceofGaussian(DoG)過濾器來檢測細胞核。然后Houghtransform選擇出帶有徑向對稱的形狀。最后帶有形狀紋理和fitness參數(shù)的ACM來提取細胞邊界。96第96頁，課件共139頁，創(chuàng)作于2023年2月HuangandLai提出基于分水嶺和ACM的框架用于肝癌活檢的細胞核分割。開始，一個雙形態(tài)學灰度重構方法來去除噪聲并增強細胞核的形狀。然后一個標記控制的分水嶺變換來找出細胞核的邊界。最后，ACM生成平滑精確的輪廓。該方法在低對比多，噪聲背景和損壞/核不規(guī)則的情況下表現(xiàn)不好。97第97頁，課件共139頁，創(chuàng)作于2023年2月Dalleetal提出了gradientinpolarspace(GiPS)，一個新的細胞分割方法。使用閾值和形態(tài)學檢測細胞。然后將每一塊轉換到極坐標系統(tǒng)，每一塊的細胞團的中心作為原點。最后一個雙二次濾波來產(chǎn)生一個梯度圖像上的邊界。98第98頁，課件共139頁，創(chuàng)作于2023年2月Taetal.提出基于圖的正則化方法。這框架的特之處在于在不同層級（像素或區(qū)域）和不同組件關系（柵格圖形，鄰近圖）使用圖作為一個離散圖像模型。99第99頁，課件共139頁，創(chuàng)作于2023年2月Kofahietal.提出了另一個基于圖割的方法來分割乳腺CN。前景區(qū)域使用基于圖割的二值化來提取，像素標簽I’(i)由最小化下面的能量函數(shù)來獲得100第100頁，課件共139頁，創(chuàng)作于2023年2月在二值化之后，一個由基于自適應尺寸選擇的distancemap約束的多尺度LOG濾波檢測出細胞核種子點。檢測出的種子點被用來進行初始分割，然后使用結合了alphaexpansionandgraphcoloring的基于圖的方法來微調(diào)。alphaexpansionandgraphcoloringtoreducecomputationalcomplexity.101第101頁，課件共139頁，創(chuàng)作于2023年2月Theauthorsreported86%accuracyon25histopathologicalimagescontaining7,400nuclei.在面對染色質紋理顯著和細胞核形狀瘦長的情況，該框架常導致過分割。Incaseofhighlyclusterednucleiwithweakbordersbetweennuclei,under-segmentationmayoccur.102第102頁，課件共139頁，創(chuàng)作于2023年2月Vinketal.介紹了一個決定性的方法：使用機器學習技術來分割IHC乳腺癌圖像中EN、LN和成纖維細胞核。一個檢測器不能覆蓋整個細胞核外觀范圍。他們使用了兩個檢測器（基于像素和基于行），使用改進的AdaBoost方法。第一個檢測器專注于細胞核的內(nèi)部結構，第二個專注于細胞核的邊界結構，輸出結果使用ACM進行合并。103第103頁，課件共139頁，創(chuàng)作于2023年2月這些細胞核分割框架對于形狀規(guī)則，染色質分布均勻，邊界光滑，獨立存在的LN，MC和EN具有很好的精度。然后這些框架對于CN尤其是聚集和重疊的CN分割效果不好，這些框架對染色質變化不具魯棒性，但這在CN中很常見。104第104頁，課件共139頁，創(chuàng)作于2023年2月NucleiSeparation第二代分割框架使用機器學習和經(jīng)典分割方法的結合解決了異質性，重疊和聚集的問題。此外，統(tǒng)計和形狀模型用來分離重疊和聚集的核。與細胞核分割方法相比，這些方法對于形狀的變換，部分遮擋和不同的染色更具有寬容性。105第105頁，課件共139頁，創(chuàng)作于2023年2月分水嶺變換用來解決細胞重疊問題，通過在圖像區(qū)域中定義一組盆地，在盆地之間的脊分離細胞核。Wahlbyetal.解決了聚集細胞的問題通過聯(lián)合灰度梯度信息和形狀參數(shù)來改進分割。106第106頁，課件共139頁，創(chuàng)作于2023年2月形態(tài)學濾波來找出細胞核種子，然后基于種子的分水嶺分割被應用在梯度等高線圖像中生成區(qū)域邊界。最后，初始分割的結果使用邊界梯度等高線進行修正。最后，距離變換和基于形狀的聚類分類方法保留分離線。107第107頁，課件共139頁，創(chuàng)作于2023年2月CloppetandBoucher提出了在免疫熒光圖像中為分水嶺算法提供特殊的標記點。他們定義標記點為重疊結構之間的裂縫。獲得了77.59%accuracyincaseofoverlappingnucleiand95.83%overallaccuracy.108第108頁，課件共139頁，創(chuàng)作于2023年2月另一種方法：首先全局和局部閾值選擇出前景區(qū)域，然后形態(tài)學濾波來檢測種子點。對種子點進行區(qū)域生長來初始分割細胞核。最后聚集的細胞核由分水嶺和ellipseapproximation進行分割。109第109頁，課件共139頁，創(chuàng)作于2023年2月ACM的主要問題是對初始化過于敏感，為了解決這個問題，F(xiàn)atakdawalaetal.提出了EMdrivenGeodesicACMwithoverlapresolution(EMaGACOR)來分割乳腺癌圖像中的LN。110第110頁，課件共139頁，創(chuàng)作于2023年2月基于EM的ACM初始化允許模型關注相關興趣目標。magneto-staticactivecontour模型如同F(xiàn)指導輪廓到邊界?；谳喞]合多個物體，在輪廓上的高凹點被檢測出來并在邊緣塊圖的構建中使用。然后一個基于凹點和尺寸啟發(fā)式的流程來解決重疊的細胞核。111第111頁，課件共139頁，創(chuàng)作于2023年2月Yangetal.介紹了一個使用concavevertexgraphandNcutalgorithm的細胞核分離方法。開始外部的輪廓通過魯棒估計和顏色活動模型確定，通過自動檢測在邊界和內(nèi)部邊緣的concavepoints來構建一個concavevertexgraph。通過最小化一個基于形態(tài)學的代價函數(shù)計算出分離細胞核的圖最優(yōu)路徑。112第112頁，課件共139頁，創(chuàng)作于2023年2月Mouelhietal.提出了一個用于乳腺癌聚集細胞自動分離的方法。首先，一個帶有Chan-Veseenergymodel的改進GAC來檢測出細胞核區(qū)域。之后檢測出靠近細胞核區(qū)域的highconcavitypoints。然后在混合距離變換（結合幾何距離和顏色梯度信息）圖像上運用分水嶺提取內(nèi)部邊緣。使用highconcavitypoints和內(nèi)部邊緣的Concavevertexgraph被構建出來，最后計算在圖中的最短路徑選擇出最優(yōu)分離曲線。113第113頁，課件共139頁，創(chuàng)作于2023年2月為了識別聚集細胞中的單個細胞核，Kongetal.提出了由一個新穎的監(jiān)督細胞核分割和聚集細胞核分離的方法構成的框架。使用顏色辨別模型中最常用的顏色-紋理將每個像素分為細胞核和背景區(qū)域。計算徑向對稱中心和連通分量的幾何中心的距離得到聚集細胞核和單個細胞核的差別。114第114頁，課件共139頁，創(chuàng)作于2023年2月為了分離聚集的細胞核，聚集塊的邊界由Fouriershapedescriptor進行平滑，然后進行凹點檢測。TheauthorsevaluatedthisframeworkonFLimagesandachievedaverage77%TPRand5.55%splittingER.115第115頁，課件共139頁，創(chuàng)作于2023年2月Alietal.提出了另一個結合形狀，邊界，區(qū)域同質性和mutualocclusionterms的多水平集架構的自適應ACscheme。ThesegmentationofKoverlappingnucleiwithrespecttoshapepriorissolvedbyminimizingthefollowinglevelsetfunction:116第116頁，課件共139頁，創(chuàng)作于2023年2月為了克服ACMs對初始化敏感，Kulikovaetal.提出了一個基于markedpointprocesses(MPP)的方法，一個高階的ACM能夠分割重疊的細胞核，如同分割單獨的物體。沒有必要初試化種子點：給出需要分割細胞核的位置。一個形狀先驗項被用來解決重疊的細胞核。117第117頁，課件共139頁，創(chuàng)作于2023年2月Veillardetal.提出了一種基于新圖像形態(tài)的方法。在該圖像中每個像素的強度代表該像素屬于細胞核的概率。這個概率地圖由紋理，尺寸信息和單個像素顏色強度估計出。這種圖像形態(tài)目標和背景之間對比強烈，能平滑細胞和背景之間的邊界。最后使用帶有細胞核形狀先驗的ACM來解決重疊細胞核的問題118第118頁，課件共139頁，創(chuàng)作于2023年2月總的來說，基于模版的方法使用先驗信息來分割細胞核。該先驗對于帶有某些特征細胞的分割帶有偏見。為了解決這個問題Wienertetal.提出了一個新的基于輪廓的使用最少先驗信息的最小化模型。119第119頁，課件共139頁，創(chuàng)作于2023年2月這個基于最小化模型的分割框架：不管形狀和尺寸，計算所有可能的閉合輪廓，所有初始生成的輪廓由合適的梯度歸類；不重疊的分割在二維圖中帶有排名標記進行。使用輪廓優(yōu)化改進分割。聚集的核使用凹點檢測進行分離。最后使用染色相關信息對分割區(qū)域進行分類。120第120頁，課件共139頁，創(chuàng)作于2023年2月SchmittandHasse使用RST分離聚集的細胞核，基于細胞核的重心是一個基礎的知覺事件能夠支持分割聚集的細胞核這樣一個想法。他們在梯度方向上初始化迭代投票，每次迭代，投票方向和核的形狀都進行調(diào)整，投票區(qū)域能夠由核形狀演變的步長選擇來規(guī)定。小步長導致重心過于破碎，大步長增加計算量。通過處理邊界迭代解決區(qū)域中的洞和子洞。121第121頁，課件共139頁，創(chuàng)作于2023年2月RST的一個限制就是尺寸的先驗知識無法推廣。為了克服這限制，RST的多尺寸擴展似乎是可行的。使用了一個簡單的方法來分解聚集的細胞核區(qū)域。他們通過聚類和水平集的方法來獲得聚集的區(qū)域。122122第122頁，課件共139頁，創(chuàng)作于2023年2月Vetaetal在H&Estainedbreastcancerbiopsyimages中使用fastRST來為分水嶺選擇標記點。Serteletal.提出用于FLcentroblasts的自適應基于似然估計的細胞核分割方法。開始，細胞核成分使用GMMwithEM聚類，使用快速RST在梯度方向上計算spatialvotingmatrix。最后和局部極大值相關的單個細胞核被檢測出來。123123第123頁，課件共139頁，創(chuàng)作于2023年2月基于EM和GMM的非監(jiān)督貝葉斯分類方案被用于IHC圖像中的重疊細胞核的分割。重疊細胞核的分離被看為聚類分析問題。該方法主要包括運用距離變換生成地形表面，看作是高斯的混合。然后一個參數(shù)化的EM算法來學習地形地貌的分布。在提取區(qū)域最大的基礎上，聚類驗證來估計細胞核的最優(yōu)數(shù)量。124124第124頁，課件共139頁，創(chuàng)作于2023年2月這些方法的新穎之處在與使用了機器學習和統(tǒng)計學的方法來消除畸形的細胞核邊界因而能夠魯棒的細胞核分割。這些方法主要依賴與專家的標注的可靠性。進一步說，這些方法可能不泛化或應用受限，由于人工訓練過程，對初始化敏感，不能很好分割多層重疊目標。125125第125頁，課件共139頁，創(chuàng)作于2023年2