摘要 摘要 分類器間存在的多種交互作用，近年來，模糊積分作為一種融合工具已經(jīng)廣泛應(yīng)用 于多分類器融合中。為了減少模糊測度中需確定的參數(shù)的個數(shù)，人們往往用特殊結(jié)構(gòu)的 模糊測度代替一般的模糊測度，但這意味著減弱了模糊測度的表示能力。如何度量分類 器i h j 的交互作用大小，如何用特殊結(jié)構(gòu)的模糊測度恰當?shù)谋硎痉诸惼鏖g的交互作用，以 及模糊測度表示交互作用能力大小與待確定參數(shù)多少的矛盾，被大家廣泛關(guān)注。在本文 中，我們分別用2 可加模糊測度和g ；模糊測度取代一般模糊測度，簡化了多分類器融 合的模型，減少待確定參數(shù)。將m g r a b i s c h 建立的交互影響模型應(yīng)用到多分類器融合 中，定義了分類器的重要性指標和交互作用指標，證明了定義的合理性。分別具體計算 了采用2 可加模糊測度和g ，模糊測度后分類器的重要性指標和交互作用指標，比較了 它們表示交互作用能力的大小，并給出相關(guān)結(jié)論證明。 關(guān)鍵詞模糊測度：2 一可加模糊測度；g 。模糊測度；交互作用；多分類器融合 ab s t r a c l a b s t r a c t r e c e n t l yf u z z yi n t e g r a la sa na g g r e g a t i o nt o o li sw i d e l yu s e di nm u l t i - c l a s s i f i e rf u s i o n i n o r d e rt or e d u c et h ep a r a m e t e r si nt h ef u z z ym e a s u r ep e o p l eo f t e nu s et h es p e c i a ls t r u c t u r e f u z z ym e a s u r et or e p l a c et h eg e n e r a lf u z z ym e a s u r e b u tt h i sm e a n ti td e p r i v e st h em o d e lo f f l e x i b i l i t y t h er e s e a r c hf o c u so nh o w t om e a s u r e st h ei n t e r a c t i o nb e t w e e nt h ec l a s s i f i e r s ，h o w t or e p r e s e n tt h ei n t e r a c t i o na m o n gt h ec l a s s i f i e r sp r o p e r l y t h i sp a p e ri no r d e rt or e d u c et h e p a r a m e t e r sw eu s et h e2 - a d d i t i v ef u z z 4 , m e a s u r ea n dt h eg af u z z ym e a s u r et or e p l a c et h e g e n e r a lf u z z ym e a s u r e a c c o r d i n gt ot h ei n t e r a c t i o nm o d e l w h i c he s t a b l i s h e db ym g r a b i s c h t h ei m p o r t a n ti n d e xa n dt h ei n t e r a c t i o ni n d e xa m o n gt h ec l a s s i f i e r sa r ed e f i n e d u s e dt h e 2 - a d d i t i v ef u z z ym e a s u r ea n d g af u z z ym e a s u r et h ei m p o r t a n ti n d e xa n dt h ei n t e r a c t i o n i n d e xa m o n gt h ec l a s s i f i e r sa r ec a l c u l a t e d w ec o m p a r et h e2 一a d d i t i v ef u z z ym e a s u r ew i t h t h e g af u z z ym e a s u r e f r o mt h ea b i l i t yo fr e p r e s e n tt h ei n t e r a c t i o na m o n gt h ec l a s s i f i e r s ，a n d p r o v et h ec o r r e l a t i o nc o n c l u s i o n k e y w o r d sf u z z ym e a s u r e ；2 - a d d i t i v ef u z z ym e a s u r e ；g af u z z ym e a s u r e ；i n t e r a c t i o n ； m u l t i c l a s s i f i e rf u s i o n 河北大學(xué) 學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下進行的研究工作及取得 的研究成果。盡我所知， 除了文中特別加以標注和致謝的地方外，論文中不包含其他 人已經(jīng)發(fā)表或撰寫的研究成果，也不包含為獲得河北大學(xué)或其他教育機構(gòu)的學(xué)位或證書 所使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確 的說明并表示了致謝。 作者簽名：塹盈日期：圣絲芝2 年上月 ! 多 日 學(xué)位論文使用授權(quán)聲明 本人完全了解河北大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué)校有權(quán)保留并向國 家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。學(xué)?？梢怨?論文的全部或部分內(nèi)容，可以采用影印、縮印或其他復(fù)制手段保存論文。 本學(xué)位論文屬于 1 、保密口，在年月日解密后適用本授權(quán)聲明。 2 、不保密。 ( 請在以上相應(yīng)方格內(nèi)打“4 ) 作者簽名：絲魚 導(dǎo)師簽名：3 筮髦一 日期：墊理年月! 三日 日期：紐2 年上月堡日 第l 章緒論 第1 章緒論 1 1 研究工作的目的與意義 分類問題是依據(jù)某種規(guī)則將待識別對象歸為某一類。其基本做法是在樣本訓(xùn)練集的 基礎(chǔ)上確定某個判別規(guī)則即分類器，并使得用這個分類器對新的待識別對象進行分類所 造成的錯誤率盡可能減小。 在分類過程中，每個分類器總會有分類錯誤率，分類器融合是綜合多個分類器的分 類信息，做出最終的類別判斷，以降低分類錯誤率的方法。在分類器融合的過程中確定 各分類器在分類問題中的重要程度是其關(guān)鍵問題。 傳統(tǒng)上我們用測度表示分類器的重要程度，然而多個分類器聯(lián)合在一起的重要程度 并不簡單的等于單個分類器的重要程度之和，即分類器之間可能存在交互作用。模糊測 度的不可加性恰好能表示這種交互作用，對于個分類器的融合系統(tǒng)，確定一般的模糊 測度需確定( 2 ) 個參數(shù)值，這是一個冪級的運算量，在求解時比較麻煩，計算機運行時 間較長，可能還會造成不可解的情況，在現(xiàn)實操作中不太可行。因此人們用特殊結(jié)構(gòu)的 模糊測度代替一般模糊測度表示分類器的重要程度，降低計算復(fù)雜度，提高問題的可解 性。 最常見的特殊結(jié)構(gòu)的模糊測度是模糊測度，對于個分類器的融合系統(tǒng)它只需 確定一2 個參數(shù)( 測度密度) ，大大降低了復(fù)雜度，但同時也削弱了模糊測度表示交互 作用的能力。 1 9 9 7 年g r a b i s c h 提出了2 可加模糊測度的概念，對于個分類器的融合系統(tǒng)確定一 個2 可加模糊測度需確定 r f + 1 ) 2 個參數(shù)，人們又嘗試采用2 一可加模糊測度代替 一般模糊測度取的計算復(fù)雜度和表示能力間的一個平衡。 本文研究了當測度變?yōu)檫@兩種特殊結(jié)構(gòu)的模糊測度后，多分類器融合的規(guī)劃模型。 定義了單個分類器的重要程度，和兩個分類器問的交互作用程度。對2 可加模糊測度和 模糊測度進行了比較，重點在兩者表示交互作用能力方面的理論比較，并給出一些結(jié) 河北人學(xué)理學(xué)碩十學(xué)位論文 論的證明。本課題的研究有助于確立分類器融合過程中模糊測度的選擇標準，然而由于 模糊測度的非可加性沒有很好的評價標準，我們對2 - 可加模糊測度和g 。模糊測度在表 示交互作用方面的比較也不夠完善，尚需進一步深入。 1 2 本課題的國內(nèi)外發(fā)展現(xiàn)狀 分類器融合是一種特殊的信息融和，我們這里所說的分類器融合的主要是指對分類 器的輸出進行操作，綜合各分類器對一個樣例的輸出結(jié)果，做出最終的類別判斷，從而 提高分類的正確率和泛化能力。傳統(tǒng)的多分類器融合方法主要有，多數(shù)投票方法( v o t i n g m e t h o d ) 和行為知識空間方法( b e h a v i o r - k n o w l e d g es p a c em e t h o d ) 。當分類器的輸出 為排序類標時，b o r d a 數(shù)方法是常用的融合算子【2 】。分類器的輸出為非負連續(xù)實值向量 ( 也稱為軟輸出或者軟類標) 時，融合算子比較多，有取大取小( m a x i m u m m i n i m u m ) 、 中值( m e d i a n ) 、平均( a v e r a g i n g 或m e a n ) 、加權(quán)平均( w e i g h t e da v e r a g i n g ) 、乘積方 法( p r o d u c t ) 、貝葉斯( b a y e s i a n ) 方法等等1 3 1 。但這些方法都有一個基本假設(shè)即分類器 是彼此獨立互不影響的。而實際問題中分類器之間往往存在著交互作用，即分類器組合 在一起的分類能力并不是他們分類能力的簡單和。 交互影響的思想最早在合作游戲理論中由s h a p l e y 提出，他定義了s h a p l e y 值的概 念，用以描述在游戲中單個玩家的重要程度1 4 】；根據(jù)s h a p l e y 的思想，m u r o f u s h i 和s o n e d a 兩個人在多標準決策中定義了兩個標準之間的交互指標i s l ；9 6 年g r a b i s c h ，又在論文中 詳細論述了交互作用指標，并把它的定義擴展到多個準則 6 , 7 1 中。2 0 0 5 年i v a nk o j a d i n o v i c 又綜合并拓展了了交互作用的表示和度量方法1 8 j 。 1 9 7 4 ，s u g e n o 首先引入了模糊測度和積分的概念【9 1 ，而模糊測度的不可加性恰好可 表示分類器之間的交互作用，近年來在分類器融合領(lǐng)域得到了廣泛的應(yīng)用。九十年代中 期大量學(xué)者用模糊測度表示待融合信息的重要程度，模糊積分作融合算子，在信息融合 中取得了一系列的成果【舊。13 1 。模糊積分作為一種信息融合的工具，得到了大家的廣泛認 同和應(yīng)用。 然而模糊積分作為一種融合工具最大的困難在于，模糊測度中參數(shù)的確定，對于j v 個分類器c 個類別的融合系統(tǒng)需確定c 2 個參數(shù)，待定參數(shù)個數(shù)隨著分類器的個數(shù)的增 長呈指數(shù)級增長。為了減少待定參數(shù)的數(shù)目人們一方面對模糊積分進行改進，采用層次 2 第1 章緒論 模糊積分模型【1 4 1 減少需確定的參數(shù)個數(shù)；令一方面用特殊結(jié)構(gòu)的模糊測度代替一般模糊 測度。s u g e n o 首先引入了& 模糊測度【9 】，n 個分類器c 個類別的融合系統(tǒng)，假定各分 類器的重要程度對各類別是相同，則確定飄模糊測度只需確定c 個參數(shù)，但是顫模 糊測度表示交互作用能力很差，測度密度確定后他只能表示多分類器融合系統(tǒng)中的一種 交互作用。1 9 9 7 ，g r a b i s c h 又提出了k 可加模糊測度的概念【1 5 1 ，對于個分類器c 個 類別的融合系統(tǒng)，假定各分類器的重要程度對各類別是相同，k 可加模糊測度需確定 ：f ，；) 個參數(shù)，k 值越大k 可加模糊測度的表示能力越強，他可以體現(xiàn)經(jīng)典測度到 j 般模糊測度之間的任何表示能力。而實際應(yīng)用中2 可加模糊測度在表示能力和待定參 數(shù)之間起到了很好的折中，為大家所重視。l m i k e n i n a ，h j z i m m e r m a n n ，用二次規(guī)劃確 定2 可加模糊測度中的參數(shù)將其應(yīng)用到特征選取和多分類器融合中【1 6 1 。2 0 0 5 ，g r a b i s c h 又對其進行了進一步的理論說明【1 7 】。 從國內(nèi)外在該方向的研究工作來看，各種測度表示交互作用能力的種類及強弱的研 究還不是很完善。因此，我們從表示交互作用的種類方面對2 可加測度和島模糊測度作 了比較。 1 3 本課題研究的主要內(nèi)容 本文主要研究特殊結(jié)構(gòu)的模糊測度，在多分類器融合中的應(yīng)用，集中在表示交互作 用方面的比較。 第l 章主要介紹了該課題研究的目的與意義及當前的發(fā)展現(xiàn)狀。多個分類器間存在 著交互作用，模糊測度的非可加性恰恰能描述這種交互作用。我們采用特殊結(jié)構(gòu)的模糊 測度在表示交互作用的同時盡量降低計算復(fù)雜度。 第2 章介紹了本文需要的一些基本概念：模糊測度、翻模糊測度、2 一可加模糊測 度、模糊積分、s u g e n o 模糊積分、c h o q u e t 模糊積分，z h e n y u a n 模糊積分，為后面的研 究奠定了基礎(chǔ)。 第3 章主要介紹了多分類器融合，及采用c h o q u e t 模糊積分特殊結(jié)構(gòu)模糊測度后多 分類器融合的規(guī)劃模型。 河北人學(xué)理學(xué)碩十學(xué)位論文 第4 章主要定義了分類器的重要性因子和交互作用因子，將g ，模糊測度、2 可加 模糊測度在表示交互作用方面進行了比較，并進行了相關(guān)結(jié)論的證明。 第5 章是結(jié)論與展望。本文只是對兩個分類器的交互作用進行了刻畫，以后想進一 步給出多個分類器的交互作用的定義。僅僅對特殊結(jié)構(gòu)模糊測度表示交互作用種類方面 進行了比較，但對其表示交互作用大小的能力無法刻畫，我們以后嘗試給出模糊測度的 不可加程度的度量，進一步刻畫模糊測度表示交互作用程度的大小，用以指導(dǎo)分類器融 合中模糊測度的選擇。 4 第2 章預(yù)備知識 第2 章預(yù)備知識 這一章，我們介紹本文用到的一些基本概念：模糊測度、毋模糊測度、2 一可加模 糊測度、及模糊積分。 2 1 模糊測度 s u g e n o 在二十世紀七十年代早期對傳統(tǒng)測度進行了推廣，用單調(diào)性替換了傳統(tǒng)測度 的可加性，提出了模糊測度( 非可加測度) 的概念。 定義2 1 1 9 i ：設(shè)x 為非空集合，廠為由x 的子集構(gòu)成的仃代數(shù)，集函數(shù)p ：廠一【0 ，) 滿足下面的四個條件時，稱為定義在廠上的模糊測度： ( 1 ) ( 平兒性) p ( o ) = 0 。 ( 2 )( 單調(diào)性) 若e 廠，f 尸，ecf ，則( e ) ( ，) 。 ( 3 )( 下連續(xù)性) 若 巨， c 戶，ece 2c ，ge 廠，貝j j l i ( 乞) 2 ( g 巨，) 。 ( 4 )( 上連續(xù)性)若 e ) cy - ，巨z 2 ) e 2z z ) ，u ( e i ) o o ，ne 廠， 則 ”= l l i 。m p ( e ) = p ( n e ) 。 n = l ( x ，廠，) 稱為模糊測度空間。當x 是一個有限集合時，廠是x 的冪集尹( ) ，條 件( 3 ) ( 4 ) 自動滿足。若p ( x ) = 1 則稱為正則模糊測度。在實際應(yīng)用中我們往往使 用有限集上的正則模糊測度。 定義2 2 ：若對于任意e l ，e 2 尸，ef - l 易= 彩有盧( 置u 置) = ( 巨) + ( 易) 成立，則稱是可加的。 若對于任意e l 廠，墾歹，墨f l 易= 乃有( 局ue 2 ) ( 巨) + p ( e 2 ) 成立，則 稱是次可加的。 若對于任意e 。廠，島廠，e lne 2 = 囝有p ( e 。ue 2 ) | u ( 毛) + p ( e 2 ) 成立，則 河北人學(xué)理學(xué)碩十學(xué)位論文 稱”是超可加的。 模糊測度有很多特殊類型，比如可能性測度、必要性測度、信任測度、2 可加模糊 測度和g 。模糊測度等。本章我們主要介紹這篇論文中用到的白模糊測度和2 一可加模糊 測度。 2 1 1 g 。模糊測度 g 。模糊測度最早由s u g e n o 提出吲，由于其結(jié)構(gòu)簡單，需確定的參數(shù)少，被廣泛的 應(yīng)用與實際問題中。 定義2 3 ：如果廠上的集函數(shù)滿足以下的仃一九律，即存在a ( 一面，o 。) 這旱 s u pp2s u p e 。廠( e ) ，使得v e ) c 廠，ent 2 o ，f ，攔e 廠時有 p r l = l 巨 - 川， 爿尊 m 肥) 一1 ) 刎 ( e ) a = o 成立。并且至少存在一個集合e 廠，使得( e ) 1 時， i - l 當z g i 2 ，都有口，= 0 ，并且存在至少一個含2 個元素的子集丁，使得唧0 。 定義2 6 ：模糊測度t 2 叫做2 一可加的，若對于v kcx 當f k 時x ，= 1 否貝0 x ，= 0 。 實際上 一 當a t 0 時 當a q p l + u j 口 u i + j h u2p l + pj 其它的測度值根據(jù)定義2 6 可通過下式利用a i ，口?；颉保? 2 ，算出： 9 河北大學(xué)理學(xué)碩十學(xué)位論文 k 吩+ 罐勺 ( 2 2 ) 2 赤k n y 一( 。2 ) f 邑f 姒弘圮 顯然2 一可加模糊測度僅由系數(shù)q ，a 0 決定，或者說僅由單點及兩點集上的測度值決 定。 我們采用j 下則的2 一可加模糊測度，它需要滿足有限集上模糊測度的平j(luò) 、l 性，單調(diào) 性，及( x ) = 1 的要求即： ( 1 ) a ( o ) = 0 ( 2 ) a i 0 ，v i l ，2 刀 3 f l 互刀) a i + ， 蠢2 ) 口耖2 1 ( 4 ) 口，+ a y ov i 1 ，2 玎) r o l l ，2 nj 又由于n i2 a i 、i x ，n u 2 p 皤一h i p j ，v ，j cx 2 可加模糊測度的單調(diào)性和j 下則性要求也等價于： ( 1 ) 心一一- ( n - 2 ) a ，o ，v i x ，k x f ) ( 單調(diào)性) j e kj e k ( 2 ) 心- ( n - 2 ) “= l ( 刪j j f t ) ， ，e | o 例2 2 ：若x = 1 ，2 ，3 ，4 ) 在單點集及兩點集上的測度值為下表所示，可根據(jù)公式( 2 2 ) 計算出2 ?？杉訙y度在p ( x ) 上的全部取值。 表2 12 可加測度在單點集及兩點集上的取值 解：由( k ) = p 。一( ix - 2 ) ，可知 ，k ，e o 1 2 32 2 n + p 1 3 + h 2 3 一l p 2 一心 = 0 5 + 0 6 5 + 0 6 5 0 4 0 4 0 1 = 0 9 1 0 第2 章預(yù)備知識 同理 1 2 42 p 1 2 + j u l 4 + 2 4 一p i j u 2 一4 = 0 5 1 3 42 1 3 + p 1 4 + 3 4 一l 一3 一p 4 = 0 8 2 3 4= 2 3 + j l l 2 4 + 3 4 一2 一3 一j l l 4 = 0 8 1 2 3 42j “1 2 + p 1 3 + | “1 4 + p 2 3 + 2 4 + p 3 4 一p l 一| “2 一| i u 3 一j “4 = 1 2 2 模糊積分 測度推廣后積分相應(yīng)的也有了變化，下面簡單介紹幾種常見的基于模糊測度的模糊 積分：s u g e n o 模糊積分，c h o q u e t 模糊積分和z h e n y u a n 模糊積分。 定義2 7 ：設(shè)x 為非空集合，廠為定義在x 上的非負函數(shù)，廠為由x 的子集構(gòu)成的 仃代數(shù)，肛為定義在歹上的模糊測度，則函數(shù)在集合x 上關(guān)于模糊測度的s u g e n o 積分定義為f l o l ： ( s ) l f d p = s u p 【a ( c ) 】 a e o l = s u p ( i n ff ( x ) ) 人4 e ) 】 廳e ，“ 其中c = x f ( x ) a ，x x ) ，a 【o ，0 0 ) 。 當x = 一，x 2 ，) 是一個有限集合知尹( ) ，且廠：x ?！緊 ，l 】時，s u g e n o 模糊積 分可簡化為 ” ( 5 ) i = v ( 廠( 一) 八( 4 ) ) ，= i 其中m l = 一，一+ i ，) 。不失一般性，我們假設(shè)0 ( _ ) f ( x 2 ) 廠( ) s1 ( 如不 滿足，重新排列x 中的元素為 x i ，x 2 ，) 使對應(yīng)的函數(shù)值( # ) 滿足該關(guān)系式) 。 s u g e n o 模糊積分不是l e b e s g u e 積分的推廣，因為當測度滿足可加性時，s u g e n o 模 糊積分并不能還原為l e b e s g u e 積分，這限制了s u g e n o 模糊積分在實際中的應(yīng)用，為了 避免這個缺陷，m u r o f u s h i 和s u g e n o 提出了c h o q u e t 模糊積分。 定義2 8 ：設(shè)x 為非空集合，為定義在x 上的非負函數(shù)，歹為由x 的子集構(gòu)成的 o r 代數(shù)，為定義在廠上的模糊測度，則函數(shù)廠在集合x 上關(guān)于模糊測度的c h o q u e t 模糊積分定義為【1 0 】： - - i 1 t 人學(xué)理學(xué)碩十學(xué)位論文 如“= 鬈u ( 瞄d 儀 其中e = zl ( z ) 口，x 彳) ，a 【0 ，) 。 當x = 一， 是一個有限集合乃尹( x ) ，且廠：x 一【0 ，1 】時，c h o q u e t 模糊積 分的計算公式相應(yīng)地變?yōu)椋?( c ) p | “= ( 廠( 一) 一( ) ( 4 ) = 【( 4 ) ) 一p ( 4 + 。) ) 】州) ) ，= l 其中4 = 一，誓小，x n ) 。不失一般性，我們假設(shè)0 f ( x ，) sf ( x 2 ) ( _ ) 1 ( 如不 滿足，重新排列x 中的元素為 x j ，x ：，) 使對應(yīng)的函數(shù)值廠( ) 滿足該關(guān)系式) ，規(guī)定 f ( x o ) = 0 ，p ( a 川) = 0 。 c h o q u e t 模糊積分是l e b e s g u e 積分的嚴格推廣，當測度可加，退化為經(jīng)典測度時， c h o q u e t 模糊積分能夠還原成l e b e s g u e 積分。 由于本文的融合算子采用的是c h o q u e t 模糊積分，我們進一步對其進行說明，當 x = “，x ：，) 是個有限集合，c h o q u e t 模糊積分中的模糊測度是模糊測度時 c h o q u e t 積分的計算公式相應(yīng)地變?yōu)椋?( c ) ，f d p = 【g 。( 4 ) ) 一g 。( 4 + ，) ) 】( 一 ) = k ( 。 u x ，) - g a ( 4 + 。 ) l 廠( ) ) = ( 限。) ) + 劭( ) + a g 。( 4 + 。) ) g 。( 一) 一g 。( 4 + 。) ) 】廠( ) ( 2 3 ) = 【g 。( ) + 允g 。( 4 + 。 ) g 。( ) l 廠( 一 ) = 水+ 如 1 + 弛c 卅卜一，卜，) ：。( ) 卉 1 + 。( xjle g 2 9 州一) )= 。( ) 兀 1 + a州一) ) 當c h o q u e t 模糊積分中的模糊測度是2 一可加模糊測度時c h o q u e t 積分的計算公式相 1 2 第2 章預(yù)螽知識 應(yīng)地變?yōu)椋?( c ) j f d p = 蘭 ( 4 ) ) 一p ( 4 + ) ) 州) ) = f ”曠( ) ) 盯r 打 i = iii = i + 1 i ( 2 4 ) c h o q u e t 模糊積分的性質(zhì)： 令廠和g 為定義在x 上的函數(shù)，a 是的子集，為定義在x 的冪集p ( x ) 上的模 糊測度。則0 ) f f d u 具有如下性質(zhì)： ( 1 ) 0 ) f l 爿和= p ( 么) 。 ( 2 ) 若：v xe x ，廠( x ) g ( x ) ，則( c ) 脅( c ) f 腳。 ( 3 ) 如果a 是一個非負實數(shù)，b 是一個實數(shù)， 則0 ) f ( 礦+ 6 肌= a ( c ) f f d u + 6 ( ) 。 ( 4 ) ( c ) f f d = d ) p + 和一( c ) 少一和， 其中f + ( x ) = m a x 礦( x ) ，o ，f 一( x ) = r a i n 一g ) ，o ) 。 ( 5 ) 若口是一個實數(shù)，則0 ) 阻0 ) = 口0 ) f 礎(chǔ)。 ( 6 ) 如果和v 是定義在p ( x ) 上的模糊測度，若w 尹( ) ，u ( a ) v ( a ) ， 則對于定義在x 上的所有函數(shù)廠有下式成立：( c ) 眇和( c ) 饑。 ( 7 ) r a 。；，i ；n ，f ( x , ) o ，# ，e f na ，- o ，j = l ，2 ，七) 河北人學(xué)理學(xué)碩十學(xué)位論文 其中，f n a = e n ai e 2 - - ) ，z 是一個符號，表示集合的特征函數(shù)。 當x 是一個有限集合時，y - = p ( x ) 。王氏積分可簡化為如下形式： 2 ”一l2 “一l 脅= s u p 九，p ( e ，n a ) i s = a ，z 胛，- o ) a j = lj = l 其中某些a ，= 。，j l e j = “f 手一【- 手j 1 ，- ，刀，c x ，一，= ，2 一， 1 4 第3 章多分類器融合 第3 章多分類器融合 分類問題是知識處理的核心問題，一直是數(shù)學(xué)與計算機科學(xué)中的個重要的研究課 題，吸引著許多研究者的興趣，根據(jù)具體情況已經(jīng)提出了貝葉斯分類器、k - n n 分類器、 s v m 分類器、決策樹分類器、神經(jīng)網(wǎng)絡(luò)分類器等多種分類器。由于單個分類器有各自 的局限性，人們希望揚長避短綜合各分類器的分類結(jié)果，得到更好的分類效果，基于這 種思想，提出了多分類器融合的概念。廣義的說分類器融合包含蹲類，第一類著重改善 分類器的結(jié)構(gòu)，在分類過程中找到一個最好的分類器或者一組分類器，分類器融合不會 對分類器的輸出做任何操作。另一類則主要是對分類器輸出進行操作，即對分類器的輸 出進行有效的計算，將多個性能不同的分類器的分類結(jié)果( 輸出) 進行融合，從而提高 分類的精度，減少對噪音的靈敏度，提高泛化能力。 我們這里所說的分類器融合主要是指對分類器輸出進行操作，融合的方法有很多 種，最常見的有最大( 小) 值法、乘積法、多數(shù)投票法、加權(quán)平均法、b o r d a 計數(shù)法、 貝葉斯方法、d e m p s t e r - s h a f e r 證據(jù)組合、模糊積分、決策模板等，本文主要采用模糊積 分的方法。 3 1 決策剖面 設(shè)d = d i ，d 2 ，d ，) 是一組已經(jīng)訓(xùn)練好的分類器，c = w ，w ) 是類標集合。 對于待分類樣例分類器的輸出是一個f 維向量d ，( x ) = ( ，。( x ) ，：( x ) ，丘( x ) ) 。，其中 z ( x ) 【0 ，1 】，表示分類器d 對第類的支持程度。分類器融合是指根據(jù)刀個分類器的輸 出給出樣例的最終分類情況。 定義3 1 。2 3 。：c 類分類問題設(shè)d = d l ，0 2 ，d ) 是一組已經(jīng)訓(xùn)練好的分類器，對于 一個樣例x ，所有分類器對該樣例的輸出可以用一個矩陣來表示，我們把該矩陣稱為決 策剖面( d e c i s i o n p r o f i l e ) ，簡記為d p ，其形式如下： 河北人學(xué)理學(xué)碩十學(xué)何論文 d p ( x ) = z 。( x ) z 2 ( x ) z 。( x ) 乃。( x ) 乃z ( x )z c ( x ) 。( x ) ：( x ) k 、( x ) d 尸的第行( 乃。( x ) ，廠：( x ) ，z 。，( x ) ) 表示第個分類器的輸出，即第個分類器對各類 的支持程度，= l ，2 ，n ；d p 的第iy l ( f , ，( x ) ，六( x ) ，厶( x ) ) 7 ( 這里上標丁表示轉(zhuǎn)置) 表示各分類器對第i 類的支持程度，i = l ，2 ，c 。 有了決策剖面的定義，分類器的融合，實際就是對決策剖面的每一列數(shù)據(jù)進行融合。 3 2 常見的融合方法 常見的融合方法主要有以下幾種【3 】： ( 1 )平均值( a v e r a g i n g 。rm e a n ) 方法：q = 萬1 否nz i ，= l ，2 ，c 。 _ ( 2 ) 加權(quán)平均( w e i g h t e da v e r a g i n g ) 方法：p ，= w 乃，= l ，2 ，c ，w j 表示第 個分類器的重要性，= 1 ，u 0 。 j = 1 ( 3 ) 中值( m e d i a n ) 方法：q = m e d i a n f ，) ，i = l ，2 ，c ，首先對：j ， ，按照 i n o 大小首先排序得到z ：，一，五，當n 為奇數(shù)時p ，為彳，+ i l 2 。；當n 為偶數(shù)時p ， 為三( + 島，) 。 ( 4 ) 取大( m a x i m u m ) 取小( m i n i m u m ) 方法：e i = m ，a x f , ，) e i = m i n 廠， ， i = 1 ，2 ，c 。 ( 5 ) 舍高低均值( t r i m m e nm e a n ) 方法：對于百分之k 的舍高低均值是指，對于來 自n 個分類器的可能性彳， ，進行排序，然后兩端各去掉百分之k 個值。 剩余部分的求均值作為e ，。 1 6 第3 章多分類器融合 ( 6 ) 乘積( p r o d u c t ) 方法：q = 兀廠j ，f - 1 ，2 ，c 。 j = l ( 7 ) 有序加權(quán)平均( o r d e r e dw e i g h t e da v e r a g i n g ) 方法：有序加權(quán)平均算子是一個 從滅”到天的n 元函數(shù)，由一個n 維向量( 代表權(quán)重) w 確定， w = 1 4 1 ，w 2 ，w n 7 ，一【o ，l 】，j = 1 ，2 ，n ，= l ，q = _ ，其 = 1 ，= l 中、，表示 彳，厶，】7 + 中第f 個最大值。 經(jīng)過對n 個分類器的輸出進行融合我們得到一個向量h ，e 2 ，叫e 】，表示對待識別 樣例屬于各個類的一個最終的總體可能性。最后我們通過取最大值來確定樣本所屬的最 終類別，即c = a r g m a ；x 。( e , ) 為樣本的最終決策類別。 有序加權(quán)平均方法是這幾種融合方法中較特殊，它比日i 面幾種融合方法有更廣泛的 表達能力。當權(quán)重向量取特殊值時，有序加權(quán)平均方法包含多種的融合方法： 當權(quán)重為形= 【o ，0 ，1 】t 時，有序加權(quán)平均方法變?yōu)槿⌒》椒ǎ?當權(quán)重為形= 【1 ，0 ，0 】t 時，有序加權(quán)平均方法變?yōu)槿〈蠓椒ǎ?當權(quán)重為肜= 【，兌，】r 時，有序加權(quán)平均方法變?yōu)槠骄捣椒ǎ?當權(quán)重為 01 ，k 上 忌 ( c ) d ；蟣1 = 1 州2 一c ，lck ，= 1 州2 一， 彘，0魂= l ，2 ，= 1 ，2 c 0 1 i = 1 ，2 ，2 一2 “s a t i s f ym o n o t o n i c 其中缸，是松弛變量，共有m 卡c 個，引入它以放松約束條件，即允許一定的分類誤 差。厶= ( ：，厶，磊) 是決策剖面重排順序后的第七列，表示各分類器對第k 類的支持 程度。表示各分類器及分類器集合的重要程度，是需要確定的參數(shù)，共2 一2 個。單 調(diào)性要求可轉(zhuǎn)化為n ( 2 。1 1 ) 個約束不等式。 當采用甑模糊測度時( 3 1 ) 式轉(zhuǎn)化為： 1 9 河北人學(xué)理學(xué)碩十學(xué)位論文 m l n l m l z e ( 1 h ( 氣， k = lh l = ii = i 磐j 帆= t + l 弛 k c 砂 ，= l 【j 磐j 帆= 1 + la , g j， k c ， 扣兀 1 + ， k ( ，= l ii ，0 r 1 n ( 1 + 九g ) = l + a ，= 1 ，2 ，c ，后，吃= 1 ，2 ，7 坼 紅= 1 ，2 ，m k ，= 1 ，2 c 0 呂1 i = l ，2 ，n 呂表示各分類器的重要程度，是需要確定的參數(shù)，共個。由于模糊測度的特 殊構(gòu)造自然滿足單調(diào)性。 當采用2 可加模糊測度時( 3 1 ) 式轉(zhuǎn)化為： c 帆( m i n i m i z e 考“， k = l 機= i1 = 1 s u b j e c t t o ) + 缸， 缸，0 日。0 q += 1 q + 0 吃= 1 ，2 ，m 女，f - l ，2 ，c ，足 仇= 1 ，2 ，m k ，= 1 ，c i = l ，2 ， v i 1 ，2 ， a l 表示各分類器的重要程度，表示分類器間的交互作用，q ，a ! 是需要確定的參 數(shù)，共+ 防半個。最后一個約束條件是單調(diào)性約束徘相當于個約束 不等式。 2 0 m 。 l p l p q 訓(xùn) 口 i 一 舊 i l n 針n 針 笫4 章交互作j - i j 第4 章交互作用 4 1三個工人的例子 我們首先看一個例子來了解什么是交互作用。 一個工廠有三個x 2 k x ，x z ，恐在生產(chǎn)相同的產(chǎn)品，假定一工作1 0 天，x 2 工作1 5 天， _ 工作7 天。每天他們單獨生產(chǎn)或者聯(lián)合生產(chǎn)的產(chǎn)品數(shù)如表4 1 所示： 表4 1 產(chǎn)品數(shù)量表 我們的問題是三個工人如何搭配( 合作) - a 能使得生產(chǎn)出的產(chǎn)品最多。 為求解此問題，我們先引入些符號。令x = x i , x ：，x 3 ) 為我們所討論的論域， f = ( 廠( 一) ，f ( x ：) ，f ( x 3 ) ) = ( 1 0 ，15 ，1 7 ) 為定義在x