作物葉部病害圖像目標自動分割方法案例分析目錄TOC\o"1-3"\h\u19541作物葉部病害圖像目標自動分割方法案例分析 1182201.1經(jīng)典圖像分割方法理論 1104211.1.1閾值分割方法 1105861.1.2分水嶺分割方法 295651.1.3區(qū)域分裂合并分割方法 3118871.1.4圖論分割方法 4304821.2基于圖論的作物葉部病害圖像自動分割算法 582071.2.1超綠因子 5207601.2.2GrabCut分割算法 5235361.2.3作物葉部病害圖像自動分割算法 7153011.3實驗結(jié)果與分析 9在作物葉部病害圖像識別系統(tǒng)的實際應用中，由于野外環(huán)境所拍攝的圖像包含了比實驗室環(huán)境所拍攝的圖像更為復雜的背景信息，如土壤、人手和其他葉片等，使得系統(tǒng)模型的泛化能力下降。因此，為了盡可能地剔除野外環(huán)境下所拍攝的圖像中所包含的復雜背景信息對模型計算的影響，提升模型的計算效率，本章在現(xiàn)有的圖像分割算法的基礎上，提出了一種新的針對于常見經(jīng)濟作物葉部病害圖像目標的自動分割算法，來提升分類識別模型在實際應用中的正確率。本章首先詳細闡述了現(xiàn)有經(jīng)典圖像分割算法的原理，并針對野外環(huán)境下常見經(jīng)濟作物葉部病害圖像分割這一特定場景，對這些算法進行了性能分析。然后在圖論分割方法的基礎上，提出了一種新的針對野外環(huán)境下常見經(jīng)濟作物葉部病害圖像目標的自動分割算法。最后結(jié)合設計的科學對比實驗，通過多維度指標對不同的圖像分割算法在作物葉部病害圖像分割中的性能表現(xiàn)進行了評價，有效闡述了本章所提算法的有效性以及優(yōu)越性。1.1經(jīng)典圖像分割方法理論作為數(shù)字圖像處理技術(shù)最為常用的方法之一，圖像分割方法可以使目標物更為突出，同時可以剔除不必要的背景噪聲，提升圖像整體的質(zhì)量。1.1.1閾值分割方法閾值分割方法作為應用最為廣泛的圖像分割方法理論之一，其具有構(gòu)成簡單、較易實現(xiàn)以及運行高效等特點。該方法的主要思想為通過將原圖像中每個像素點的值與選取的閾值相比較，并進行相應計算，從而得到分割處理后的結(jié)果圖像?；叶葓D像的閾值分割的數(shù)學公式可表示為如下：(1.1)式中表示為所選取的閾值。圖像中坐標為的像素值大于閾值時，則將其像素值置為1，相反則置為0。因此，是否合理的閾值選擇也將直接決定圖像分割效果的好壞。根據(jù)不同的選擇方法，眾多閾值分割算法被相應的研究人員陸續(xù)開發(fā)出來，例如最大類間差方法（OTSU）、最小誤差法以及最大熵法等[73,74]。在上述算法中，OTSU因為其在應對多目標分割上的所表現(xiàn)出的優(yōu)異性能，也被廣泛應用至作物葉片的分割中。OTSU算法的基本思想是將原始待分割圖像看作由背景和目標物所組成的，然后通過方差來計算評估兩者的差別。因此可知，該圖像的最佳閾值就是最后得出的上述兩類的類間最大方差的灰度像素值。其數(shù)學表達式如下：(1.2)式中為原始圖像的類間方差，為圖像的灰度級，其值通常為256。由上述公式可以看出，OTSU通過遍歷原始圖像中的灰度像素值，尋找使最大的圖像灰度值，該值便為最優(yōu)閾值。1.1.2分水嶺分割方法分水嶺算法作為基于圖像區(qū)域特征分割方法的一種，可以由拓撲學以及形態(tài)學等方式實現(xiàn)[75]。簡單來講，分水嶺算法使用原始圖像的像素灰度值，將圖像轉(zhuǎn)換為某點的海拔高度就是原始圖像中該點的灰度值的三維地形圖，然后通過模擬水位在三維地形圖中的上漲過程來得出不同物體的邊界信息。分水嶺算法地形圖的示意圖如圖1.1所示。圖1.1分水嶺地形圖示意圖分水嶺算法的數(shù)學計算過程可以解釋為從三維圖像的局部最小值點開始，通過不斷地升高集水盆中的水量，使得受局部最小值影響的點不斷地相互連接，形成一個個小的集水盆的迭代標注過程。最后，隨著從局部最小值點形成的集水盆水位的不斷升高，各個不相連的小集水盆將匯聚成大集水盆，當大集水盆滿足設計者所設定的條件后，停止注水的同時集水盆邊緣的分水嶺就是目標物體的分割邊界。由于在保留圖像邊緣細節(jié)信息上的出色表現(xiàn)，分水嶺算法已經(jīng)被廣泛應用至各個分割場景，如常見的顯著目標分割等。但也正是因為其對圖像微弱邊緣信息的敏感相應，使得分水嶺算法容易產(chǎn)生過度分割的現(xiàn)象，尤其是在圖像中的細微噪聲和顏色信息變化上。1.1.3區(qū)域分裂合并分割方法作為一種區(qū)域分割方法，區(qū)域分裂合并分割方法按照某一種設定的一致性原則對原始圖像的區(qū)域進行分類或者合并[76]。與上述兩者分割方法相比較，區(qū)域分裂合并分割方法可以更好的把原始輸入圖像中的像素空間位置信息與顏色統(tǒng)一性結(jié)合在一起，從而對復雜場景的分割具有更為良好的效果。對于該方法而言，分裂與合并屬于不同的方法步驟，通過對圖像的分裂運算，區(qū)域分裂合并分割方法可以計算出圖像中不同物體的邊界區(qū)域，通過對圖像的合并運算，該方法可以合并圖像中同一物體的相鄰區(qū)域并消除一定的噪聲。通常情況下，區(qū)域分裂合并方法經(jīng)常使用四叉樹數(shù)據(jù)結(jié)構(gòu)來將原始圖像層次劃分為四份不相交的初始區(qū)域，其示意圖如圖1.2所示。原始圖像被標記為M，選取的區(qū)域分裂一致性判斷準則可記為P，對于某一不符合一致性判斷準則P的區(qū)域Mi，區(qū)域分裂合并方法將對該區(qū)域重新進行劃分為四叉樹數(shù)據(jù)結(jié)構(gòu)，如圖1.2中的M4區(qū)域，直至該塊區(qū)域符合一致性判斷準則P或者Mi已為單相素值。對于方法中的合并步驟而言，如果兩個相鄰區(qū)域Mi與圖1.2區(qū)域分裂圖像示意圖由上述描述可知，對于區(qū)域分裂合并分割方法，一致性判斷準則的選取至關(guān)重要。一般情況下，可使用均方誤差最小方法，并設立特定場景下合適的閾值，通過計算區(qū)域均方差與閾值的比較來設定一致性判斷準則。對于區(qū)域Mi(1.3)(1.4)式（1.3）為區(qū)域Mi的平均值，式（1.4）為區(qū)域M式（1.3）與式（1.4）中N為區(qū)域中的像素點數(shù)，代表原始圖像的像素值。對于區(qū)域Mi，如果其均方差大于所設定的閾值，則對該區(qū)域進行分裂處理。相反，如果兩個相鄰區(qū)域Mi與Mj的均方差滿足，則對該區(qū)域進行合并處理。1.1.4圖論分割方法圖論理論由于與圖像之間存在天然的對應關(guān)系被廣泛的應用至眾多數(shù)字圖像處理領(lǐng)域，尤其在數(shù)字圖像分割中，基于圖論的分割算法在應對復雜場景下的單一物體分割具有明顯的優(yōu)勢。通常情況下，可以使用來表示一幅不具有方向性的無向圖，其中代表了圖中所包含的結(jié)點的集合，代表了各邊的集合。在對圖像進行分割之前，首先要將輸入的原始圖像映射至帶權(quán)的無向圖，使圖像中的像素一一對應起來。圖1.3展示了原始輸入圖像映射至圖的示意過程，圖中和表示原始圖像相鄰像素點映射至無向圖中的結(jié)點，表示相鄰結(jié)點之間的權(quán)重值，該權(quán)重值表示了相鄰像素點之間的值大小相差程度。同時在圖1.3中，虛線則表示圖像的一次分割。圖1.3圖論分割方法示意圖在對原始圖像映射至帶權(quán)重的無向圖后，通過制定適合的分割法則，構(gòu)造和求解無向圖的能量函數(shù)，便可將無向圖中的結(jié)點進行標注歸類，進而可以沿著不同種類像素結(jié)點的分割線得出分割后的圖像。因此，根據(jù)不同的分割法則和無向圖的能量函數(shù)，可以發(fā)展出不同側(cè)重點的分割算法，如NormalizedCut分割算法、GraphCut分割算法和GrabCut分割算法等。同時，由圖1.3可以看出，基于圖論的分割方法對于單一物體，尤其是主體顏色特征較為明顯的物體，具有優(yōu)秀的分割效果。1.2基于圖論的作物葉部病害圖像自動分割算法對于作物葉部病害圖像的分割而言，相比較其他幾種分割方法，基于圖論的分割方法雖然可以很好的將作物葉部病害圖像中所包含的復雜背景信息剔除，但也存在許多難以忽視的不足之處。例如目前基于圖論的分割算法，如GrabCut，在對作物葉部病害圖像進行分割前需要進行必要的人機交互，這種需求即增加了用戶操作復雜度，也不利于自動化系統(tǒng)的要求。而且對于一些特定作物葉部病害的分割，使用GrabCut算法更容易丟失圖像本身所包含的重要病害特征信息。因此，本節(jié)主要針對以上所提出的基于圖論分割算法在作物葉部病害圖像分割上的缺點，在GrabCut算法的基礎上，提出了一種全新的作物葉部病害圖像自動分割算法，用以滿足作物健康狀況評估系統(tǒng)的需求。1.2.1超綠因子由上一章節(jié)內(nèi)容可知，在RGB色彩空間下，任意一幅彩色數(shù)字圖像的每個像素點的數(shù)值都可以看作是紅、綠和藍三種不同色彩信號的融合。而對于作物葉部圖像而言，其整體的顏色以綠色為主，非作物葉部的復雜背景信息則大多數(shù)為非綠色。因此，通過使用超綠因子[64,66]可以提取輸入圖像中的綠色像素信息，突出作物葉部圖像的主體，抑制諸如土壤、陰影和人體等噪聲信息。超綠因子的數(shù)學表達式如下：(1.5)式中G、R、B分別代表了原始圖像中每個像素點的綠、紅和藍三通道的值，則為該像素點的超綠因子值。對于作物葉部圖像而言，在計算出圖像中某一像素的超綠因子值后，通過設立閾值來判斷該像素是否屬于綠色像素。將超綠因子值小于的像素標記為可能非作物葉部信息的復雜背景噪聲，將超綠因子值大于的像素標記為可能葉部主體信息，從而達到更加準確高效地提取葉片主體的目的。1.2.2GrabCut分割算法GrabCut分割算法[33]屬于圖論分割方法的一種，其在圖論分割理論的基礎上設計能量函數(shù)，并通過求能量函數(shù)最小值的方式對無向圖的結(jié)點進行聚類，從而達到分割目標主體的目的。由上一章節(jié)內(nèi)容可知，以圖論理論的數(shù)字圖像分割方法首先需要將原始圖像映射至無向圖中，在此基礎上，GrabCut分割算法在無向圖中加入了源點和匯點來表示圖像中的目標和背景，其示意圖如圖1.4所示。圖1.4s-t無向圖示意圖在進行分割的之前，GrabCut分割算法首先需要通過少量的用戶交互操作標定待分割對象，然后利用高斯混合模型估計目標對象和背景的顏色分布。其將原始數(shù)字圖像的分割看為求圖中每個結(jié)點值，為0時表示原始圖像中該像素點為背景，為1時表示該像素為目標對象。為建立圖像目標對象和背景數(shù)據(jù)模型，GrabCut分割算法使用了n維的全協(xié)方差高斯混合模型（GMM）。其中，為了提高整體計算效率，引入了向量，，作為每個結(jié)點像素的獨立GMM參數(shù)。進一步地，GrabCut分割算法的能量函數(shù)可以表示為：(1.6)在式（1.6）中，表示為區(qū)域能量，表示為邊界能量。其中，前者代表了原始圖像中像素點與背景和目標的值差別大小程度，而后者代表了原始圖像中互相鄰近的像素點間顏色互異程度。式（1.6）中和分別代表了圖像每個像素值的RGB值和高斯混合模型的參數(shù)模型。符號可定義為：(1.7)式中與分別為權(quán)值和均值，為協(xié)方差。同時，在式（1.6）中，區(qū)域能量的數(shù)學表達式如下：(1.8)(1.9)邊界能量則可采用RGB空間的歐幾里德距離求出：(1.10)式中和均可視為常量，則為一組領(lǐng)域像素對的集合。結(jié)合上述所列公式，當GrabCut分割算法所計算的圖像總能量到達最小值時，即可實現(xiàn)對目標物的分割。GrabCut分割算法通過少量的用戶交互，然后進行迭代逐步消除背景，就能夠?qū)⑤^好的分割圖像，但是在使用該算法實現(xiàn)目標分割時，總需要人工框選擬分割對象來初始化目標與背景的GMM模型，才能完成對目標對象的分割。除了需要進行人機交互以選定擬分割對象外，GrabCut分割算法由于是使用類似聚類的方法來實現(xiàn)目標物體像素和背景像素的分類，因此在一些場景下，分割后的結(jié)果很容易將作物葉部病害圖像中的褐色或者其他非綠顏色的病斑圖像誤判為背景噪聲像素，而這些病斑信息往往是進行健康狀況診斷的關(guān)鍵所在，這顯然不符合實際情況的要求。1.2.3作物葉部病害圖像自動分割算法由1.2.2節(jié)內(nèi)容可知，雖然GrabCut分割算法相比較其他類型圖像分割算法在應對單一物體下的復雜背景噪聲分割有著更為出色的表現(xiàn)，但由于其需要在分割操作之前進行少量的人機交互步驟來選定擬分割物體，以初始化目標和背景的高斯混合模型，而且對于內(nèi)部含有病斑的作物葉部圖像，GrabCut算法在理論上便容易將其誤歸類為背景噪聲從而剔除。上述缺點使得GrabCut算法不能很好的滿足識別系統(tǒng)的要求，因此，本節(jié)結(jié)合超綠因子，通過預先規(guī)劃好的目標范圍矩陣，在原始GrabCut分割算法的基礎上，提出了一種新的針對常見經(jīng)濟作物葉部病害圖像目標的自動分割算法（AutomaticImageSegmentationAlgorithm,AISA），來滿足評估系統(tǒng)對分割算法自動化、高準確度的要求。圖1.5作物葉部掩碼圖像初始化本節(jié)所提出的AISA算法使用超綠因子來輔助初始化掩碼圖像，其示意圖如圖1.5所示，首先使用數(shù)字圖像處理方法在原始作物病害圖像中加入大小經(jīng)過預設的外側(cè)范圍矩陣和內(nèi)側(cè)范圍矩陣，然后對不同范圍內(nèi)的圖像像素進行超綠因子計算，將內(nèi)側(cè)范圍矩陣內(nèi)超綠因子參數(shù)大于閾值的像素標記為目標像素，并將內(nèi)側(cè)矩陣范圍內(nèi)超綠因子參數(shù)小于閾值的像素標記為可能得目標像素。同時，對于圖像邊緣至外側(cè)范圍矩陣區(qū)域，將該區(qū)域內(nèi)超綠因子參數(shù)小于的像素標記為背景，將該區(qū)域內(nèi)超綠因子參數(shù)大于的像素標記為可能的背景像素。對于外側(cè)范圍矩陣和內(nèi)側(cè)范圍矩陣之間的像素，因為該區(qū)域處于邊緣地帶，因此對該區(qū)域內(nèi)的綠色像素標記為可能的目標，同樣將該區(qū)域內(nèi)的非綠色像素標記為可能的背景像素。在得到原始作物病害圖像的掩碼圖像后，AISA算法通過調(diào)用GrabCut分割算法來進行迭代計算，并得到初步的分割后的圖像，其算法示意圖如圖1.6所示。由圖1.6可以看出，在經(jīng)過GrabCut算法分割后，原始作物葉部病害圖像中的病斑被替換成了背景黑色像素，造成了重要特征信息的丟失。為了避免出現(xiàn)此類情況，本文所提出的AISA算法首先判斷在葉部圖像中心是否存在空洞，如若存在，便通過在特定范圍內(nèi)對初步分割后的圖像與原始作物病害圖像進行像素比對，進而在該區(qū)域內(nèi)使用圖像融合方法將病斑補回，從而形成最后的分割結(jié)果圖像。圖1.6AISA分割算法示意圖本文所提出的AISA分割算法的具體步驟如下：Step1：運用矩陣函數(shù)對不同作物葉片的原始圖像進行區(qū)域選擇，外側(cè)范圍矩形大小為原始圖像邊長減5至10個像素點，內(nèi)側(cè)范圍矩形大小為原始圖像邊長減10至15個像素，大致規(guī)劃出目標物所處位置；Step2：對于不同區(qū)域內(nèi)的原始圖像，計算出其超綠因子參數(shù)值并進行標定，即將目標的像素值重新設置為1，將可能的目標像素值重新設置為3，將背景的像素值設置為0，可能的背景像素值設置為2，生成掩碼圖像；Step3：通過掩碼圖像調(diào)用GrabCut分割算法對原始圖像進行分割；Step4：判斷分割后的作物葉部圖像內(nèi)部是否存在空洞，若存在則將空洞區(qū)域內(nèi)與原始作物葉部圖像進行像素融合，對葉部圖像內(nèi)部空洞進行恢復。通過AISA算法，得以在完整保留作物葉部圖像病斑的同時，可以有效地將作物葉片主體與復雜的背景自動分割開。相較于直接使用原始圖像，使用經(jīng)過處理后的圖像不僅可以去除掉與病害葉片不相關(guān)的背景信息的干擾，還可以有效減少評估系統(tǒng)不必要的計算，從而提升模型分類的正確率和計算效率。1.3實驗結(jié)果與分析為了詳細對比上述不同算法在作物葉部病害圖像分割上的性能優(yōu)劣，本節(jié)從番茄作物野外環(huán)境圖像數(shù)據(jù)庫中選取了50張圖像作為待分割的樣本圖像，并從分割后復雜背景噪聲的剔除情況、分割后葉片的完整程度以及病斑的保留情況和算法平均運行時間等多角度評價各個分割算法的性能表現(xiàn)，從而證明本文所提的AISA算法在作物葉部病害圖像分割應用上的有效性和優(yōu)越性。限于篇幅因素，本節(jié)在上述50張樣本圖像中挑選了5張具有代表性的分割場景來加以展示及結(jié)果分析，其算法運行具體結(jié)果如圖1.7所示。由圖1.7（a）可以看出，本節(jié)所選取的原始圖像的復雜背景信息包括了諸如人體手部、種植土壤以及外部種植所需材料等常見噪聲。通過使用不同分割算法對圖1.7（a）中所展示的原始番茄作物野外環(huán)境圖像進行分割，可以得到在圖1.7（b）至圖1.7（f）中所展示的最終分割結(jié)果圖。由圖1.7（b）可以看出，OTSU分割算法在應對背景信息為種植土壤的場景時具有較為良好的效果，但對于背景信息為人體手部或者其他非土壤材料時，該算法幾乎不能將其剔除。同時，對于作物葉部圖像中含有病斑的部分，OTSU算法在進行分割處理的時候，也較容易對該區(qū)域進行誤操作，從而造成原始圖像重要病害特征信息丟失的情況。與OTSU算法類似，由圖1.7（d）可以看出，基于區(qū)域分裂合并的分割算法在應對作物葉部病害圖像包含復雜背景下的分割表現(xiàn)也不能滿足健康評估系統(tǒng)的要求。圖1.7不同分割算法結(jié)果對比圖不同于OTSU分割算法和區(qū)域分裂合并分割算法，由圖1.7（c）可以發(fā)現(xiàn)，在應對圖像背景信息為種植土壤或者外部種植所需材料時，分水嶺分割算法可以較為完整地的剔除這些噪聲，且保留了原始圖像中的葉部病斑信息。但對于含有人體手部的作物葉部病害圖像，分水嶺算法即無法將背景信息完整去除，而且對于葉片的完整性也造成了較大損害。由圖1.7（e）和圖1.7（f）可以看出，無論是應對背景信息為土壤或者人體手部的作物葉部病害圖像，GrabCut算法和AISA算法都有著較為出色的表現(xiàn)，兩者在去除復雜背景信息的同時，盡量保持了葉片整體的完整性。但由圖1.7（e）可以看出，GrabCut算法對于葉部病斑特征信息的保留能力較差，而AISA算法則很好的彌補了GrabCut算法在此方面