基于機(jī)器視覺(jué)的水果的識(shí)別和定位顧輝，陸亞亞，婁吉林，張偉同浙江科技大學(xué)，信息工程學(xué)院，中國(guó)，杭州，310014,oo327,phonixlou,摘要本文討論了低級(jí)別的機(jī)器視覺(jué)水果和蔬菜收獲機(jī)器人，介紹了在自然場(chǎng)所下的水果和蔬菜的識(shí)別和定位，結(jié)合彩色模型提出了一種新的分割方法。更重要的是，它為確定脫落點(diǎn)介紹了一種新型的觀點(diǎn)，成功的解決了當(dāng)果實(shí)被閉塞時(shí)采摘中心點(diǎn)和脫落點(diǎn)的確定。同時(shí)，通過(guò)幾何學(xué)技術(shù)解決了生長(zhǎng)歪斜的果實(shí)的切除點(diǎn)的確定。事實(shí)證明，在自然場(chǎng)所下，效果良好。關(guān)鍵字：機(jī)器視覺(jué)，水果物體，識(shí)別，定位1引言在人類(lèi)征服自然的這個(gè)過(guò)程中，人類(lèi)正面臨改造自然和促進(jìn)社會(huì)的能力有限問(wèn)題。結(jié)果，人類(lèi)一直在尋求機(jī)器人代替人完成復(fù)雜的任務(wù)，而智能機(jī)器人是最好的選擇。眾所周知，視覺(jué)是人類(lèi)探索世界最主要的途徑。約百分之八十的信息是通過(guò)視野獲得的。因此，給予智能機(jī)器人視覺(jué)功能是非常重要的。在這里，我們可以定義機(jī)器視覺(jué)如下：它能夠在輸入圖像1處理后產(chǎn)生一些描述圖片內(nèi)容。許多領(lǐng)域與機(jī)器視覺(jué)是有關(guān)聯(lián)。因此，它廣泛的應(yīng)用在各個(gè)方面，從醫(yī)學(xué)圖像，到遙感圖像，從工業(yè)檢測(cè)，到農(nóng)業(yè)區(qū)等。我們要討論的水果和蔬菜采收機(jī)器人，是一類(lèi)具有感知能力，可編程控收獲，運(yùn)輸和包裝莊稼2，自動(dòng)機(jī)械采收系統(tǒng)。在這個(gè)收獲過(guò)程中，視覺(jué)系統(tǒng)的主要問(wèn)題，是識(shí)別并找到水果物體3。在這里，識(shí)別的意思是從復(fù)雜背景4分割出果實(shí)物體。定位，包括兩方面內(nèi)容：果實(shí)中心的位置和脫落的一點(diǎn)。最近，有不少正在研究關(guān)于基于機(jī)器視覺(jué)的水果和蔬菜收獲機(jī)器人56。蔡健榮介紹了在自然場(chǎng)所下的機(jī)器視覺(jué)識(shí)別方法。用大津算法，它得到分割閾值自動(dòng)提取目標(biāo)7。宮良介紹了基于機(jī)器視覺(jué)和機(jī)器人播種嫁接技術(shù)的發(fā)明，他們已投入生產(chǎn)8。SlaughterD.C在色數(shù)碼圖像9中建立一個(gè)用顏色特征經(jīng)典的橙子模型。在這些研究中，有很多從復(fù)雜的自然背景提取水果的方法。但其基本構(gòu)想是，通過(guò)轉(zhuǎn)換顏色模型到另一個(gè)比較容易過(guò)程中，或者更適合的場(chǎng)合來(lái)提取水果對(duì)象。但是，仍然有兩個(gè)問(wèn)題仍然懸而未決：1）當(dāng)果實(shí)生長(zhǎng)歪時(shí)如何確定脫落點(diǎn)；2）有這么多的水果重疊時(shí)候如何確定中心和脫落點(diǎn)的，另一方面，偵測(cè)整個(gè)邊緣是不可能。如果這兩個(gè)問(wèn)題依然懸而未決，這意味著收獲可能是一個(gè)失敗的。并且更重要的是，只有約40的水果和蔬菜在果園10是可見(jiàn)，這意味著約有60的物體部分遮擋或完全閉塞。一般來(lái)說(shuō)，農(nóng)業(yè)機(jī)器人加上適合的風(fēng)扇，以吹開(kāi)覆蓋水果的樹(shù)葉。因此，它可能部分解決果實(shí)完全閉塞的問(wèn)題。所以，在本文中，我們只討論了果實(shí)部分遮擋的問(wèn)題，在特別是，該案件的兩個(gè)水果重疊。作為一個(gè)整體，我們的問(wèn)題是討論的是屬于低層次的機(jī)器視覺(jué)，在機(jī)器視覺(jué)是關(guān)鍵步驟之一。2本文中使用的方法2.1概要從上述分析，我們知道，為了將果實(shí)從葉片和樹(shù)枝分離出來(lái)，我們應(yīng)該利用適合某些情況的色彩模式。該三原色顏色模式是常用的，是不適合果園圖象。因?yàn)樵谌念伾臻g，該三色來(lái)不僅代表著色調(diào)值，而且代表著亮度。因此，周?chē)恼彰饕部赡茉鎏碜R(shí)別的難度，因此三原色在這個(gè)分割過(guò)程中是不可靠的。為了利用水果在色調(diào)空間的聚類(lèi)特征，我們必須分開(kāi)，色調(diào)和亮度信息。通過(guò)三原色轉(zhuǎn)換到單獨(dú)色調(diào)和亮度的模型，我們可以實(shí)現(xiàn)這一目標(biāo)。2.2彩色模型在本文中，我們使用的是三種類(lèi)型的彩色模型。第一個(gè)是液晶顯示器（亮度和色差）模型。在這個(gè)模型中，有四種顏色屬性，其中包括亮度信息Y，紅色色差Cr，綠色色差Cg，藍(lán)色色差Cb。變換公式如下：在這個(gè)實(shí)驗(yàn)過(guò)程中，我們發(fā)現(xiàn)了紅色色差在果實(shí)中遠(yuǎn)遠(yuǎn)高于樹(shù)葉或樹(shù)枝，甚至未成熟的果實(shí)，如不成熟番茄會(huì)稍后就會(huì)涉及。因此，我們不得不考慮紅色色差Cr。第二個(gè)模式，我們采用的是規(guī)則的RGB。用圖表來(lái)代表色性能三個(gè)部分。變換公式定義如下：很明顯它滿足：結(jié)合上述兩種模式的優(yōu)勢(shì)，我們可以在本文中推斷出第三顏色模型LHM。從第一彩色模型選擇Y和Cr，從第二個(gè)模式選擇r和g，我們可以構(gòu)建公式如下：3分割在自然條件下的果園，非均勻的光照因素使閉塞的葉片和樹(shù)枝都更難以分離。目前，我們可以將彩色圖像分成三類(lèi)：（1）基于閾值的分割；（2）基于邊緣檢查和成長(zhǎng)區(qū)域的分割；（3）基于顏色聚類(lèi)11的分割。3.1聚類(lèi)和分類(lèi)聚類(lèi)的主要構(gòu)想是要區(qū)分不同對(duì)象，其中包括不同類(lèi)別的物體和同一物體的不同部位12。所有分類(lèi)算法都是基于一個(gè)假設(shè)，認(rèn)為圖像問(wèn)題描繪一種或多種特點(diǎn)，并認(rèn)為這些特點(diǎn)屬于其中幾個(gè)獨(dú)特的特點(diǎn)和獨(dú)特的分類(lèi)。傳統(tǒng)的分類(lèi)習(xí)慣包括兩個(gè)階段的過(guò)程：訓(xùn)練和測(cè)試。在最初的訓(xùn)練期，特有道具的典型圖像特點(diǎn)是被隔立的，基于這些，一種獨(dú)特的描述每個(gè)分類(lèi)的方法，即培訓(xùn)，就產(chǎn)生了。在隨后的測(cè)試階段，這些特征的空間分割區(qū)，是用來(lái)區(qū)分圖像特征。在實(shí)驗(yàn)中，我們?nèi)?0像素的葉片，樹(shù)枝，水果等，并分別創(chuàng)立了分類(lèi)。采用兩個(gè)特征模式M和N，我們建立判定函數(shù)：，當(dāng)A，B和C是任意常數(shù)為只要數(shù)字，滿足條件。在這里，特征圖案可能是顏色，形狀，大小，或物體的任何性質(zhì)。根據(jù)判定函數(shù)或者，我們可以將圖像分為兩部分，如圖1：3.2水果的分離在這項(xiàng)研究中，我們采用了基于閾值的分割方法。該閾值是來(lái)自判定函數(shù)在上述3種圖像模型的應(yīng)用。根據(jù)以上段落，我們可以得到三個(gè)決策函數(shù)：第一函數(shù)，F(xiàn)1，分離果實(shí)部分及葉片部分，第二函數(shù)，F(xiàn)2，從樹(shù)枝部分分離水果部分，以及第三函數(shù)F3，從樹(shù)枝部分分離葉片部分。但是，在實(shí)驗(yàn)要求的基礎(chǔ)上，我們只是要水果從背景中分割出來(lái)，并且葉和樹(shù)枝部分視為背景。所以，現(xiàn)在還沒(méi)有必要考慮F3。3.3分析液晶模型圖像顯然，果