第1頁共31頁基于CNN的大棚蔬菜疾病識別算法案例通過對于蔬菜疾病識別領(lǐng)域的研究，主要存在兩點影響疾病識別準(zhǔn)確率的因素（1）同一種疾病感染蔬菜的不同部位時可能會出現(xiàn)不同的癥狀。（2）不同疾病感染同一種蔬菜時可能出現(xiàn)相似的癥狀。針對第一點，本文實驗所用的數(shù)據(jù)集中包括同一種疾病感染不同部位的圖片。這就使得神經(jīng)網(wǎng)絡(luò)可以全面學(xué)習(xí)疾病癥狀。針對第二點，本文使用目前識別領(lǐng)域準(zhǔn)確率較高的卷積神經(jīng)網(wǎng)絡(luò)進行疾病識別。其次，在進行疾病種類識別之前，本文增加了圖片篩選以及病斑提取等預(yù)處理步驟，這些預(yù)處理可以極大的降低背景對于疾病識別的影響，提高識別準(zhǔn)確率。本文疾病識別算法流程如下圖1.10，首先算法對小車拍來的圖片進行基本預(yù)處理，基本預(yù)處理包括通常的尺寸變換，歸一化流程?？紤]到小車在巡檢過程中可能拍攝出模糊的圖像，因此本文在預(yù)處理中添加了篩選模糊圖像的算法。預(yù)處理過后，算法進行作物是否染病的識別，此識別過程將會判斷圖片中作物是否染病。如果染病，算法會進一步對患病圖片進行病斑提取，然后對其疾病種類進行識別。本文之所以將患病識別與疾病種類識別分別開來，而不是在疾病種類識別中加入一個健康類別，一是因為這樣可以更好的通過調(diào)節(jié)參數(shù)對患病種類的召回率進行把控，二是可以在疾病種類識別之前加入病斑提取，提高疾病識別準(zhǔn)確率。圖1.10疾病識別流程Fig.1.10Diseasedetectionprocess1.1預(yù)處理本文所用相機拍出的圖片尺寸為299×299，與Inceptionv3神經(jīng)網(wǎng)絡(luò)模型需要的輸入尺寸相同，所以無需對圖片進行尺寸調(diào)整，僅需要對圖片像素值進行歸一化以去除噪點對于識別算法的影響。此外，因小車拍攝過程中難免會因為抖動而使得圖片模糊不清，為了篩選出高清晰度的圖片，本文使用Tenengrad對模糊圖像進行剔除。Tenengrad函數(shù)是一種基于梯度的圖像清晰度評價函數(shù)。在圖像處理中，一般認為聚焦后的圖像邊緣更尖銳，所以梯度函數(shù)值更大，反之模糊圖像梯度較小。Tenengrad函數(shù)使用Sobel算子提取水平和垂直方向的梯度值。Sobel算子處理的圖像的平均灰度值越高，圖像越清晰。Tenengrad的圖像清晰度定義如下:(1.6)G(x,y)的定義如式（1.7）：(1.7)式中，T為給定的邊緣檢測閾值，Gx和Gy分別為Sobel水平邊緣檢測算子和垂直邊緣檢測算子在像素點(x,y)的卷積。如式（1.8）所示，A代表原始圖像。(1.8)下圖1.11為在同一地點拍攝圖片，第一圖為靜止拍攝，圖片較為清晰，Tenengrad算法得分8.89。第二張為抖動拍攝，圖片相比第一張模糊，Tenengrad算法得分1.50。通過設(shè)定閾值，便可以對模糊圖像進行篩除。圖1.11圖像清晰度Fig.1.11Imageresolution1.2患病識別患病識別的作用是判別蔬菜是否患病，如患病則將識別結(jié)果通知相關(guān)工作人員，以便及時采取一定手段對疾病進行控制。本文患病識別所用神經(jīng)網(wǎng)絡(luò)模型為InceptionV3，在2.3.2小節(jié)已對其進行簡單介紹，其神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及參數(shù)如表1.2所示。此模型包含一些基本的網(wǎng)絡(luò)層和多個Inception模塊，Inception模塊的作用一是使用1×1的卷積來進行升降維，二是在多個尺寸上同時進行卷積再聚合，是Inception模型的核心結(jié)構(gòu)。此模型的輸入尺寸為299×299×3，與本文所選相機所拍攝的圖片尺寸一致，故預(yù)處理過程無需調(diào)整圖片尺寸；此模型的輸出類別為1000種，本文僅包含患病與健康兩種，故需將模型輸出大小調(diào)整為2。表1.2Incention-v3模型結(jié)構(gòu)Table1.2Incention-V3modelstructure類型核尺寸/步長輸入尺寸卷積層3×3/2299×299×3卷積層3×3/1149×149×32卷積層3×3/1147×147×32池化層3×3/2147×147×64卷積層3×3/173×73×64卷積層3×3/271×71×80卷積層3×3/135×35×1923×Inception/35×35×2885×Inception/17×17×7682×Inception/8×8×1280池化層8×88×8×2048全連接層/1×1×2048softmax層/1×1×10001.3病斑分割為了提高神經(jīng)網(wǎng)絡(luò)對于疾病識別的準(zhǔn)確率，本文在將圖片進行疾病種類識別之前增加了病斑提取步驟。此步驟所使用的算法為HSV顏色空間分割法。此算法的理論可行性是基于凡作物感染疾病，皆會出現(xiàn)與作物原有組織顏色不同的可觀測病斑。病斑的顏色或為黃褐色至黑褐色，如早疫病、黑斑病，此為致病菌導(dǎo)致植物組織壞死的表象；或為白色，如白粉病、霜霉病，此為致病菌大量繁殖產(chǎn)生真菌菌落的顏色。由于病斑呈現(xiàn)出一定的顏色規(guī)律，故而可以通過色彩掩膜對病斑進行提取。由于RGB顏色模型是面向硬件設(shè)備的模型，其與人的視覺模型相去甚遠，且此模型的三原色之間的相關(guān)性比較大，且其與實際顏色的關(guān)系并非線性，在進行掩膜提取時難以設(shè)定閾值。故需要先將RGB顏色空間的圖片轉(zhuǎn)換為HSV顏色空間，然后再進行分割。與RGB不同，HSV代表色相、飽和度和明度。色調(diào)是描述純顏色的顏色屬性。飽和度表示一種純色被白光稀釋的程度。明度代表顏色明亮的程度。HSV空間中三個指標(biāo)互相獨立，如果您想忽略其中一個或另一個，這是很有用的。例如，人臉檢測通常在強度圖像上進行。因此HSV經(jīng)常用于進行顏色的分割識別。下表1.3為不同顏色對應(yīng)的HSV值。表1.3HSV顏色分量范圍Table1.3HSVcolorcomponentrangeHSV黑白灰紅橙黃綠青藍紫Hmin000015611263578100125Hmax1801801801018025347799124155Smin00043434343434343Smax2553043255255255255255255255Vmin02214646464646464646Vmax46255220255255255255255255255為了準(zhǔn)確的提取出病斑，本文針對不同疾病選取多張圖片進行實驗，通過逐步更改HSV三個分量的值，探索出病斑提取最佳參數(shù)。如下圖是早疫病葉片癥狀，首先調(diào)整H分量的值，分別為50，40，30.如下圖1.12所示?？梢婋S著Hmax的減小，圖片的非病斑部分逐步被過濾掉，隨后病斑部分也被過濾掉。實驗得出Hmax最佳值為43.圖1.12早疫病閾值分割之調(diào)整H分量Fig.1.12AdjustmentHcomponentofthresholdsegmentationforearlyblight隨后逐步改變S分量的值，得出最佳分割時Smax的值為160。下圖1.13是將Smax分別設(shè)置為180、160和140的分割效果。圖1.13早疫病閾值分割之調(diào)整S分量Fig.1.13AdjustmentScomponentofthresholdsegmentationforearlyblight最后逐步改變V分量的值，得到最佳分割時Vmax的值為136。下圖1.14是將VMax分別設(shè)置為150、136和100時的分割效果。最終得到最佳的黃褐色病斑提取參數(shù)為：Hmin=0，Hmax=43；Smin=0，Smax=160；Vmin=0，Vmax=136。圖1.14早疫病最佳閾值分割效果Fig.1.14Optimalthresholdingsegmentationeffectofearlyblight接下來實驗將針對由真菌菌落產(chǎn)生的白色病斑的提取進行展開，本次實驗選取患有霜霉病的作物葉片作為實驗對象。通過查表得知，白色對應(yīng)的Hmin=0，Hmax=180；Smin=0，Smax=30；Vmin=221，Vmax=255。由于H分量代表色相，對于白色病斑分割不起作用，故本次實驗首先調(diào)整S的值，通過實驗得出最佳分割所對應(yīng)的Smax值為49。下圖1.15為將Smax分別設(shè)置為80、60和30的分割結(jié)果。圖1.15霜霉病閾值分割之調(diào)整S分量Fig.1.15AdjustmentScomponentofthresholdsegmentationfordownymildew接下來對V分量進行調(diào)整，得出最佳分割所對應(yīng)的Vmin值為172。下圖1.16是Vmin分量分別為110、172和200時的分割效果。最終得出提取此圖片病斑的最佳參數(shù)為：Hmin=0，Hmax=179；Smin=0，Smax=49；Vmin=172，Vmax=255。圖1.16霜霉病閾值分割之調(diào)整V分量Fig.1.16AdjustmentVcomponentofthresholdsegmentationfordownymildew基于以上兩組實驗得出的病斑提取參數(shù)，從數(shù)據(jù)集中分別隨機選出50個黃褐色病斑和白色病斑的圖片進行病斑提取操作，并記錄提取效果。在病斑提取過程中，病斑提取不全對下一步疾病識別造成的影響要遠大于背景沒有剔除干凈所造成的影響，故而實驗逐步放寬參數(shù)，以保證每一張圖片中的病斑提取率超過80%。最終得出的較為有效的病斑提取參數(shù)如下表1.4所示。表1.4病斑提取參數(shù)Table1.4Spotextractionparameters病斑類型HminHmaxSminSmaxVminVmax黃褐色白色0047180001605301681422551.4疾病種類識別最后，將提取出的病斑圖像放入神經(jīng)網(wǎng)絡(luò)進行疾病種類識別，本文選取了目前圖片識別領(lǐng)域典型的神經(jīng)網(wǎng)絡(luò)模型ResNet50，InceptionV3，DenseNet161，和DenseNet169，使用收集的數(shù)據(jù)集進行對比實驗。然后，通過對實驗結(jié)果進行分析，確定本文疾病種類識別所用模型為InceptionV3，有關(guān)此模型的介紹請參見2.3.2。1.5神經(jīng)網(wǎng)絡(luò)訓(xùn)練與結(jié)果分析（1）數(shù)據(jù)集與實驗環(huán)境綜合考慮蔬菜大棚各個疾病的發(fā)病率及危害程度，本文選擇了五種常見疾病進行識別。這五種病害分別是黑斑病、霜霉病、白粉病、細菌性斑疹病和早疫病。這些疾病的發(fā)病癥狀等信息顯示在下表1.5中。表1.5疾病識別種類及癥狀Table1.5Identificationofdiseasetypesandsymptoms疾病名稱易感作物感染部位感染癥狀白菜、番茄、甘藍莖、葉、果實葉片表面出現(xiàn)紅棕色斑點，并逐漸擴大為圓形或無定形的暗黑色斑點油菜、蘿卜、黃瓜葉片、果實葉片上淺黃色圓形病斑，空氣潮濕時葉片背面有霜霉層。果柄呈灰白色，水漬軟腐黃瓜、西葫蘆、甜瓜莖、葉、果實葉子背面出現(xiàn)小而圓的白色白粉病，之后從有色的霉斑中出現(xiàn)小而黃色的顆粒黃瓜、西瓜、豆角葉片、果實葉子產(chǎn)生深棕色到黑色的斑點，綠色的幼果有凸起的小斑點馬鈴薯、辣椒、番茄、茄子莖、葉、果實葉片為水漬深綠色斑點，放大后呈圓形或不規(guī)則圓形斑點。果的病斑常在果蒂附近在蔬菜疾病識別領(lǐng)域，目前有一個公開數(shù)據(jù)集plantvillage，其包含了帶標(biāo)簽的健康和患病作物葉片圖片共54306個。其中包括14種作物的26種疾病。許多論文使用此數(shù)據(jù)集來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。但由于其中多種作物并非大棚內(nèi)種植，且疾病種類與大棚常見疾病有所不同。而且其數(shù)據(jù)集僅包括葉片部位的癥狀，不能滿足本文實驗需求。本文使用自行收集的數(shù)據(jù)集進行實驗。數(shù)據(jù)集西紅柿疾病包含西紅柿患有五種疾病和健康圖片共5000張，其中健康圖片2000張，疾病圖片每種600張。每種疾病都包含有葉子，莖，果實方面的癥狀。如下圖1.17所示。這些圖片均為未預(yù)處理的真實拍攝圖像，圖片并未完全聚焦在疾病癥狀上且復(fù)雜背景，與小車拍攝的圖片類似。圖1.17數(shù)據(jù)集Fig.1.17Dataset在神經(jīng)網(wǎng)絡(luò)的實現(xiàn)上，本文采用目前學(xué)術(shù)界流行的pytorch庫。此第三方庫使用簡單，文檔齊全。可以容易的進行神經(jīng)網(wǎng)絡(luò)搭建以及訓(xùn)練的展開。本次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練環(huán)境如下表1.6所示。表1.6實驗環(huán)境Table1.6Experimentalenvironment操作系統(tǒng)Windows10CPUIntel?Core?i7-7700HQRAM8GBGPUNVIDIAGeForceGTX1050編程語言Python3.6.8深度學(xué)習(xí)庫Pytorch-gpu-1.1CUDA10.1（2）患病識別模型訓(xùn)練首先訓(xùn)練患病識別網(wǎng)絡(luò)InceptionV3。數(shù)據(jù)集包括健康圖片與患病圖片各2000張，其中患病圖片為從每種疾病種類各隨機選出400張。本次訓(xùn)練batchsize為32，學(xué)習(xí)率為0.0002，訓(xùn)練集與測試集分割比例為8：2.訓(xùn)練過程中的損失函數(shù)以及準(zhǔn)確率如下圖1.18所示。圖1.18損失值以及準(zhǔn)確率Fig.1.18Lossvalueandaccuracy在患病識別中，如檢測出作物患病，計算機端會通知相關(guān)工作人員，工作人員即需前去查看并采取相應(yīng)措施，減少疾病帶來的損失。然而，如果算法沒有將患病作物識別出來，也就是出現(xiàn)了將患病圖像識別為健康的假陰性。則會耽誤對于疾病的治療，增加的疾病造成的損失。而如果出現(xiàn)將健康圖片識別為患病的假陽性，出現(xiàn)錯誤警告，僅僅是讓工作人員多跑了一趟，增加了一些勞動，相比于假陰性造成的損失小的多。故而本文最為關(guān)注的指標(biāo)為患病種類的召回率。神經(jīng)網(wǎng)絡(luò)softmax層輸出的結(jié)果為圖片識別為各個類的概率，需要通過二值化來獲得最終識別信息，在二分類問題時一般閾值為0.5。在此通過更改此閾值來提高召回率。首先加載訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型，并逐步更改閾值從0到1，每次變化0.0125。閾值對召回率以及正確率的影響如下圖1.19所示。圖中藍色線代表正確率，黃色線代表召回率，兩線的焦點坐標(biāo)為(0.4625,0.9901)。圖1.19不同閾值對正確率和召回率的影響Fig.1.19Influenceofdifferentthresholdsonaccuracyandrecallrate小車在實際工作中的每一次錯誤識別都將對使用者帶來損失，此損失包括將健康圖片識別為患病和將患病圖片識別為健康所造成損失之和，如下公式所示，其中Ns與Nh分別為一定時間內(nèi)識別的患病圖片數(shù)和健康圖片數(shù)，r與p分別是患病召回率和正確率，ls和lL=Ns1?r（3）疾病種類識別模型訓(xùn)練首先對于候選的幾個神經(jīng)網(wǎng)絡(luò)模型包括ResNet50，InceptionV3，DenseNet161，和DenseNet169，采用相同超參數(shù)進行對比實驗。首先需處理輸入圖片大小，InceptionV3為為299×299，其余為224×224。隨后更改模型輸出類別為5。此次實驗所用數(shù)據(jù)集包含五種疾病，每種疾病500張圖片。訓(xùn)練的超參數(shù)設(shè)定如下：batchsize=16，learningrate=0.0002并使用指數(shù)衰減學(xué)習(xí)率，使用L1正則化。統(tǒng)計準(zhǔn)確率結(jié)果如下表1.7所示。表1.7模型準(zhǔn)確率對比Table1.7Modelaccuracycomparison模型準(zhǔn)確率（%）ResNet5079.21InceptionV387.12DenseNet16186.15DenseNet16981.73實驗結(jié)果表明，InceptionV3的準(zhǔn)確率最高，為87.21。故本文選取此模型用作疾病種類識別。訓(xùn)練過程的損失值與準(zhǔn)確率變化如下圖1.20所示。圖1.20損失值與準(zhǔn)確率Fig.1.20Lossvalueandaccuracy具體各類的識別準(zhǔn)確率如下