博士學(xué)位論文 時序、圖像特征檢測的 理論、方法及應(yīng)用研究 作 者 姓 名： 鐘 清 流 學(xué) 科 專 業(yè)： 模式識別與智能系統(tǒng) 學(xué)院(系、所): 信息科學(xué)與工程學(xué)院 指 導(dǎo) 教 師： 蔡 自 興 教 授 中 南 大 學(xué) 二零零八年九月 分類號 密級 _ 博 士 學(xué) 位 論 文 時序、圖像特征檢測的 理論、方法及應(yīng)用研究 者 姓 名： 鐘 清 流 學(xué) 科 專 業(yè)： 模式識別與智能系統(tǒng) 學(xué)院(系、所)： 信息科學(xué)與工程學(xué)院 指 導(dǎo) 教 師： 蔡自興 教授 論文答辯日期_ 答辯委員會主席_ 中 南 大 學(xué) 2008 年 9 月 博士學(xué)位論文 摘 要 I 摘 要 待識對象的特征檢測是各種智能系統(tǒng)(如機器人,醫(yī)療診斷儀器等)任務(wù)的復(fù)雜性、工作環(huán)境的不確定性和特殊性、其自身資源的有限性及特征檢測的時效性、特征檢測可靠性和安全性日益增加的需求,又不斷加大了研究解決這一問題的緊迫性. 因此,探索準(zhǔn)確高效的特征檢測理論、方法和技術(shù)已經(jīng)成為研究的重要內(nèi)容之一. 本文主要探討如何以基于機器學(xué)習(xí)及 相關(guān)途徑相結(jié)合的方式,出了一些相應(yīng) 本文的主要創(chuàng)新點包括 (1)出合式異常檢測模型,實現(xiàn)了系統(tǒng)的自適應(yīng)調(diào)節(jié),解決了檢測系統(tǒng)的在線運行問題, (2)型容易丟失邊界區(qū)信息問題,提出時序數(shù)據(jù)的 并根據(jù)最大熵確定最佳描述字符集,信息丟失;針對 型缺陷,提出(3)模型能夠比描述信息, 證實了它的有效性. (4)出一種新的 適應(yīng)譜聚類)利用本征矢差異來估計最佳聚類分組數(shù) k, 這可在構(gòu)造親和力矩陣時減少計算代價, 提高效率,且用實驗證實了它的有效性. 關(guān)鍵詞： 特征檢測 ,時序符號化 ,異常檢測 ,相似查詢 ,圖像分割 博士學(xué)位論文 摘 要 is on as Its in in in of to be to of In to by on in as By of SO on of an of is It is as of of a is LS is in to AX on to of on on of SB is to is by A in to 士學(xué)位論文 摘 要 is to in of of by or A SC(as is as , k by of It as as on of in is 士學(xué)位論文 目 錄 錄 摘 要 . I . 錄 . 一章 . 1 題來源 ,研究背景及意義 . 1 . 1 . 1 征檢測研究現(xiàn)狀及進展 . 1 征檢測的特點和難點問題 . 8 究的關(guān)鍵問題 . 9 文的創(chuàng)新點 . 9 文章節(jié)的安排 . 10 第二章 . 11 序特征檢測的任務(wù)與挑戰(zhàn) . 11 序特征檢測的任務(wù) . 11 序特征檢測面臨的挑戰(zhàn) . 13 間序列的模式表示 . 13 征檢測系統(tǒng)基本模型 . 14 本思路 . 14 型 . 15 空間重構(gòu) . 16 征檢測在線實現(xiàn)算法 . 22 . 22 臨新問題及解決思路 . 26 子群優(yōu)化理論及基本 法 . 26 本 子群優(yōu)化 )算法 :. 26 改進算法 . 27 沌粒子群優(yōu)化模型 . 28 合式自適應(yīng)故障檢測模型 . 30 驗分析與比較 . 31 結(jié) :.三章 高效時序特征檢測的符號化模型 . 34 . 34 博士學(xué)位論文 目 錄 V 序符號化模型： . 35 前問題及本節(jié)目標(biāo)： . 36 態(tài)有界符號化）方法 . 38 述 . 38 序數(shù)據(jù)的降維 . 38 大壓縮比的確定 . 39 序數(shù)據(jù)的符號化 . 40 號時序的距離計算： . 40 驗分析 . 43 量化符號方法 . 45 法描述 . 45 驗分析 . 47 于統(tǒng)計特征的符號化時序方法 . 48 計特征矢量符號化）算法 . 49 比較 . . 51 法相關(guān)的符號距離計算 . 52 于統(tǒng)計特征的符號化方法示例 . 53 驗分析 . 53 結(jié) . 55 第四章 圖像特征檢測的自適應(yīng)譜聚類 . 57 關(guān)工作及問題的提出 ;. 57 圖理論 . 59 . 61 適應(yīng)譜聚類算法 :. 63 于彩圖分割的 法 :. 67 . 68 結(jié) . 71 第五章 . 72 題的提出 . 72 監(jiān)督式學(xué)習(xí)： . 73 監(jiān)督式學(xué)習(xí)的基本假定： . 73 監(jiān)督學(xué)習(xí)的主要研究方向： . 73 型的半監(jiān)督式學(xué)習(xí)模型 . 74 于支持向量機的漸近式半監(jiān)督式學(xué)習(xí)算法 . 76 博士學(xué)位論文 目 錄 驗分析 :. 80 互式半監(jiān)督聚類 . 82 . 85 結(jié) :. 86 第六章 結(jié)論與展望 . 87 論文工作小結(jié) . 87 一步研究工作 . 87 參考文獻 . 89 致 謝 . 104 攻讀博士期間完成的學(xué)術(shù)論文與科研工作 . 105 科研工作 . 105 博士學(xué)位論文 第一章 緒 論 1 第一章. 緒 論 題來源,研究背景及意義 課題來源 本論文研究課題得到國家自然科學(xué)基金項目“未知環(huán)境中移動機器人導(dǎo)航的理論與方法研究” (60234030)和國家基礎(chǔ)研究項目 (其是異常特征)檢測方面相關(guān)的理論,技術(shù)及實際問題. 研究意義 目標(biāo)信息(如時序,圖像)特征檢測包括目標(biāo)正常特 征及異常(故障)常特征描述研究 對象的規(guī)則性狀態(tài)或行為,異 各種智能系統(tǒng)(如機器人,醫(yī)療診斷儀器等)任務(wù)的復(fù)雜性、不確定性, 和特殊性,其自身資源的有限性及特征檢測的 特征檢測可靠性和安全性日益增加的需求,索準(zhǔn)確高效地特征檢測, 診斷理論,方法和技術(shù),已經(jīng)成為研究的重要內(nèi)容之一. 目前的理論及方法大多只能解決某些特定領(lǐng)域問題,它們只是針對某類具體問題的局部模型或方法,對于特征檢測研究 而言,還有許多關(guān)鍵理論和技 法與技術(shù)是這一領(lǐng)域研究發(fā)展的趨勢所在. 本文主要研究如何以基于機器學(xué)習(xí)及其它途徑相結(jié)合的方式,利用有限計算資源高效實現(xiàn)實時特征 (尤其是異常特征) 征檢測研究現(xiàn)狀及進展 在特征檢測尤其是異常(故障)特征檢測方面,國內(nèi) 外已經(jīng)積累了一些成功的經(jīng)驗,并建立了一些相應(yīng)的理論,方法和模型,歸納起來,大致有以下三類： 1）基于模型方法: 自主檢測一直是人工智能的中心主題,盡管這 些方法解決過很多不同的問題,包括靜態(tài)環(huán)境,和/ 第一章 緒 論 2 感器測量空間劃分成不同空間和狀態(tài)1而不適合類似于這樣的基于規(guī)則的檢測系統(tǒng)和一些廣泛應(yīng)用的專家系統(tǒng)3它們不能用傳感器數(shù)據(jù)來模擬這些不確定性. 人從診斷研究的領(lǐng)域成果4,5中得到啟發(fā),在文獻6中提出基于模型的推理,所定義的基于模型的的方法就是關(guān)于系統(tǒng)外在 故障診斷)應(yīng)用的重要 常行為模型作為故障特征檢測和診斷故障的準(zhǔn)則. 文獻7且由于它很費時,運算代價大,結(jié)果難以檢查,使得很多情況下難以運用. 其它有代表性的模型方法還有 人(1995)提出一種分層式狀態(tài)檢測和容錯模型10, 000年),提出用于移動機器人狀態(tài)估計和故障診斷的模型124通常采用定性模型(如 1) 定義了代表整個系統(tǒng)狀態(tài)的離散變量空間. 定離散化的傳感器測量中沒有不確定性,并用它們作 當(dāng)前傳感器測量情況下,這一假定將導(dǎo)致空的假說空間,或不正確的識別 2更新基于過去假說的保留記錄,種方法需要建立模型,而系 統(tǒng)故障模型的建立是非常困難的, 通常故障診斷的大部分時間都花在建模上,因而其應(yīng)用范圍受到限制. 研究了建立混合模型遇到的一些特定問題,近年來的一些新模型,方法和技術(shù)進展主要包括基于異常檢測的模型. 采用異常檢測來實現(xiàn)狀態(tài)特征檢測,尤其是故 常的或未知數(shù)據(jù)或信號的過程,它廣泛用于信號處理,模式識別,過測量目標(biāo)數(shù)據(jù)與模型數(shù)據(jù)的差異,未知成分),這一技術(shù)廣泛用于狀態(tài)檢測13雷達目標(biāo)檢測17( 1997), 醫(yī)療診斷18(1999), 手寫體識別19(1998), 欺詐或入侵偵測20(2002),統(tǒng)計過程控制21(et 1999). 博士學(xué)位論文 第一章 緒 論 3 基于模型方法的基本特點是：操作簡單,容易 實現(xiàn),實應(yīng)用中的很多情況中,事先往往難以或根本無法得到標(biāo)準(zhǔn)的正常行 為模型,此時,基于模型的方法便不再有效. 2）基于概率方法: （1）統(tǒng)計性方法 統(tǒng)計性方法首先要選擇描述主體行為的測度集 ,然后在采集到的正常事件集合中建立基于該測度集的檢測模型,該模型有可能是用戶的正常行為映像,也可能是正常工作流測度的概率分布,取決于異常檢測系統(tǒng)的檢測目標(biāo)和實際的檢測模型,某種度量算法被用來計算當(dāng)前的主體行為與檢測模型的背離程度,要是真實環(huán)境的數(shù)據(jù)就行,這一點很重要,因為從數(shù)據(jù)源獲取的數(shù)據(jù)一般是沒有標(biāo)記的. 采用統(tǒng)計性方法最有代表性的要數(shù) 22和 23,這兩個狀態(tài)檢測系統(tǒng)包含了面向用戶的異常檢測模塊,通過建立描述用戶行為的各測度的概率分布函數(shù) 作為其檢測模型,并采用某種距離算法評價系統(tǒng)行為與其模型的差異并作出響應(yīng). 統(tǒng)計性模型的缺點是：(1)主觀確定的故障閾 值決定了誤檢率和漏檢率的高低；(2)它對于依賴于事件之間關(guān)系的故障不敏感,因為這種模型忽略了事件之間的關(guān)系；(3)需要假設(shè)測度的概率分布目前一般采用正態(tài)分布或泊松分布而這有可能與實際不符合. （2）預(yù)測方法 預(yù)測方法的檢測對象是事件的時間序列,其目 的是發(fā)現(xiàn)與構(gòu)成故障的相關(guān)事件( 指一條審計記錄,或一個檢測實體單元 )集合在時間上的相關(guān)性,從 而預(yù)測未來發(fā)生的事件如果實際發(fā)生的事件與預(yù)測結(jié)果有較大的差異, 4提出基于時序的推導(dǎo)性歸納方法,有較高的預(yù)測準(zhǔn)確性的規(guī)則被保留. 這種模型有以下的優(yōu)點：(1)它能檢測到傳統(tǒng) 的模型(例如統(tǒng)計性模型)不能檢測的故障；(2)它對主體行為的變化有高度的適應(yīng)性,因為低質(zhì)量的時間序列模式會不斷地被排除,而留下高質(zhì)量的模式；(3)它能在故障完成前檢測到并發(fā)出報警. （3）其它方法： 貝葉斯網(wǎng)絡(luò)也已用于故障診斷25近年來動態(tài)貝葉博士學(xué)位論文 第一章 緒 論 4 斯網(wǎng)絡(luò)已經(jīng)用于解決時間相關(guān)問題26,其它概率方法如27采用 爾曼濾波器,聲是高斯情況下, 爾曼已擴 展了多種方法既可以解 決單目標(biāo)線性問題,8. (4)基于粒子濾波方法 非線性動態(tài)系統(tǒng)的故障診斷通常同時涉及離散 F)61解決,因為 前提是系統(tǒng)噪聲為零均值且具有已知協(xié)方差的高斯過程(具有單峰的概率密度函數(shù))C)和遞推貝葉斯估計的粒子濾波器(62為這類問題的首選方案. 它可以應(yīng)用于任何動態(tài)狀態(tài)空間模型,在傳統(tǒng) 維納濾波、卡爾曼濾波及擴展的卡爾曼濾波不能處理的非線性非高斯問題上,粒子濾 到目標(biāo)跟蹤、信號處理和數(shù)字通信及故障診斷等多個領(lǐng)域. 作為一種基于遞歸貝葉斯估計的非線性濾波算法,在處理非高斯非線性時變系統(tǒng)的參數(shù)估計和狀態(tài)濾波問題方面有獨到的優(yōu)勢,但粒子濾波算法本身還不很成熟,仍有大量的問題亟待解決,主要體現(xiàn)在以下幾個方面66： 重要性函數(shù)的選取直接影響粒子濾波性能的高低 子 濾波的收斂性尚未解決,若能 有效解決收斂性問題,則對粒子匱乏現(xiàn)象的抑制將有很大幫助同時作為 濾波算法,如何評價粒子濾波的性能也是需要認(rèn)真考慮的問題 粒子濾波算法運算的實時性問題、狀態(tài)初始概率選取問題,使粒子濾波距離工程應(yīng)用尚有一定差距根據(jù)系統(tǒng)不同階段體現(xiàn)的不同 統(tǒng)計特性,將粒子濾波與其他非線性濾波方法相結(jié)合,避免非線性系統(tǒng)的近似線性化,減小非線性系統(tǒng)線性化后的高階截斷誤差和非高斯噪聲帶來的影響,是實際問題中采用粒子濾波方法的又一研究方向針對這些問題,學(xué)術(shù)界已經(jīng)進出或正在探索一些相應(yīng)的解決方案. 例如:等人提出 法67,它在 法的基礎(chǔ)上利用 法產(chǎn)生比普通 法進行更新,所得的均值和方差用于下次采樣新的粒子, 因而是解決第一類問題的較好方案. 8利用“供的一組可能使系統(tǒng)終止的候選狀態(tài),(假定的整個狀態(tài)空間的當(dāng)前分布) ,在重取樣基礎(chǔ)上,確?？傆幸恍┝Ｗ恿Ｗ咏鉀Q了低概率故障問題. 對于第二類問題: V 人(2003 )提出變分辨率粒子濾波 型69,用一個抽象粒子表示并跟蹤單個或一組相似狀態(tài),當(dāng)占有某部分狀態(tài)空間的鄰域較低時,有限的粒子就足以代表博士學(xué)位論文 第一章 緒 論 5 鄰域增加,并且對這些狀態(tài) 重要性變得十分重要時,就須專門指定一些粒子代表單個狀態(tài). 變分辨率粒子濾波(V 過將多個相似低概率狀態(tài)編組,態(tài)地改變狀態(tài)空間的分辨率：在信度強時,分辨 率高；信度弱時,分辨率低, 樣降低了粒子濾波器的維數(shù),但仍停留在小故障空間的仿真研究階段. 模型70,通過提前一步考慮預(yù)期傳感器的測量值以改進 預(yù)測一步的濾波器:一種遞歸式最小均方誤差估計器,通常可以改進非線性模型的 確定高斯近似.各 過過程的測量模型獨立傳播,分析傳播的 可以得到高斯近似的后驗. 對第四類問題,型71追蹤一個罕見的,以改進 而監(jiān)測一個價昂貴, 于故障有高代價,即使它們發(fā)生概率低,少的粒子達到同樣效果. 通過按更新粒子的建議分布合并潛在的損失減少了跟蹤不穩(wěn)定狀態(tài)所需的粒子數(shù). 通過引入風(fēng)險權(quán)值來加大小概率故障狀態(tài)的權(quán)重72,然而這些算法并未提出有效確定風(fēng)險權(quán)值的方法. 出用于非線性混合系統(tǒng)粒子濾波的變體 高斯粒子濾波 (73在各時間步用 F 有助于克服低故障概率引發(fā)的故障狀態(tài)粒子數(shù)過少問題,并且由于該算法無需 計算各后繼模型的后驗概率, 6,但還值得進一步完善. 神經(jīng)網(wǎng)絡(luò)也可處理這些殘差并 用于識別相關(guān)的故障29斯混合模型,作為一個算法大家族,通過計算精確的后 驗概率,然后按要求減少混合 ,包括刪去殘差較高的濾波器30,按權(quán)重對混合分量取樣,并 重復(fù)地將混合分量的最相似部分融合31,)來表示離散狀態(tài)模型. 32中用概率混合自動控制擴展連續(xù)動態(tài)的以上方法的弱點是: 第一章 緒 論 6 問題并用 示的另一途徑是33,其核心是從故障及其離散狀態(tài)空間的運行中恢復(fù)信息. 3）機器學(xué)習(xí)方法: 基于模型方法不同的是,由于它直接采用(可能含有少量異常的)測故障模型的相關(guān)訓(xùn)練數(shù)據(jù). 感器已識別的),而將任何不能被識別的其它特征都視為可能的 度快, 一些有代表性的方法包括： (1)基于數(shù)據(jù)挖掘的方法 數(shù)據(jù)挖掘能從審計記錄或數(shù)據(jù)流中提取出感興 趣的知識,這些知識是隱含的、事先未知的、潛在的有用信息,提取的知識表示為概念、規(guī)則、規(guī)律、模式等形式, 在 1998 年和 1999年提出通過對正常數(shù)據(jù)建立決策樹 的預(yù)測模型來作為檢測模型34測的準(zhǔn)確性、6 數(shù)據(jù)挖掘的優(yōu)點是能自動、快速地產(chǎn)生異常檢 測模型,這在海量的歷史數(shù)據(jù)中提取知識是非常重要的,誤報率較高； 由于在訓(xùn)練和評價時計算的復(fù)雜度較高,難以應(yīng)用到實時環(huán)境中；需要大量的訓(xùn)練數(shù)據(jù),而且對數(shù)據(jù)的純潔性要求較高. (2)基于神經(jīng)網(wǎng)絡(luò)的方法 神經(jīng)網(wǎng)絡(luò)可以應(yīng)用到各種異常檢測模型中, 有的基于神經(jīng)網(wǎng)絡(luò)的異常檢測模型是分類器,它通過訓(xùn)練和學(xué)習(xí),記憶了系統(tǒng)的正常行為或故障行為并能根據(jù)系統(tǒng)現(xiàn)狀進行自我調(diào)節(jié),有效地發(fā)現(xiàn)并阻止各種故障行為,這種神經(jīng)網(wǎng)絡(luò)與基于數(shù)據(jù)挖掘的決策樹的作用是類似的,例如 出的基于神經(jīng)網(wǎng)絡(luò)的自