摘要 摘要 分類(lèi)器間存在的多種交互作用，近年來(lái)，模糊積分作為一種融合工具已經(jīng)廣泛應(yīng)用 于多分類(lèi)器融合中。為了減少模糊測(cè)度中需確定的參數(shù)的個(gè)數(shù)，人們往往用特殊結(jié)構(gòu)的 模糊測(cè)度代替一般的模糊測(cè)度，但這意味著減弱了模糊測(cè)度的表示能力。如何度量分類(lèi) 器i h j 的交互作用大小，如何用特殊結(jié)構(gòu)的模糊測(cè)度恰當(dāng)?shù)谋硎痉诸?lèi)器間的交互作用，以 及模糊測(cè)度表示交互作用能力大小與待確定參數(shù)多少的矛盾，被大家廣泛關(guān)注。在本文 中，我們分別用2 可加模糊測(cè)度和g ；模糊測(cè)度取代一般模糊測(cè)度，簡(jiǎn)化了多分類(lèi)器融 合的模型，減少待確定參數(shù)。將m g r a b i s c h 建立的交互影響模型應(yīng)用到多分類(lèi)器融合 中，定義了分類(lèi)器的重要性指標(biāo)和交互作用指標(biāo)，證明了定義的合理性。分別具體計(jì)算 了采用2 可加模糊測(cè)度和g ，模糊測(cè)度后分類(lèi)器的重要性指標(biāo)和交互作用指標(biāo)，比較了 它們表示交互作用能力的大小，并給出相關(guān)結(jié)論證明。 關(guān)鍵詞模糊測(cè)度：2 一可加模糊測(cè)度；g 。模糊測(cè)度；交互作用；多分類(lèi)器融合 ab s t r a c l a b s t r a c t r e c e n t l yf u z z yi n t e g r a la sa na g g r e g a t i o nt o o li sw i d e l yu s e di nm u l t i - c l a s s i f i e rf u s i o n i n o r d e rt or e d u c et h ep a r a m e t e r si nt h ef u z z ym e a s u r ep e o p l eo f t e nu s et h es p e c i a ls t r u c t u r e f u z z ym e a s u r et or e p l a c et h eg e n e r a lf u z z ym e a s u r e b u tt h i sm e a n ti td e p r i v e st h em o d e lo f f l e x i b i l i t y t h er e s e a r c hf o c u so nh o w t om e a s u r e st h ei n t e r a c t i o nb e t w e e nt h ec l a s s i f i e r s ，h o w t or e p r e s e n tt h ei n t e r a c t i o na m o n gt h ec l a s s i f i e r sp r o p e r l y t h i sp a p e ri no r d e rt or e d u c et h e p a r a m e t e r sw eu s et h e2 - a d d i t i v ef u z z 4 , m e a s u r ea n dt h eg af u z z ym e a s u r et or e p l a c et h e g e n e r a lf u z z ym e a s u r e a c c o r d i n gt ot h ei n t e r a c t i o nm o d e l w h i c he s t a b l i s h e db ym g r a b i s c h t h ei m p o r t a n ti n d e xa n dt h ei n t e r a c t i o ni n d e xa m o n gt h ec l a s s i f i e r sa r ed e f i n e d u s e dt h e 2 - a d d i t i v ef u z z ym e a s u r ea n d g af u z z ym e a s u r et h ei m p o r t a n ti n d e xa n dt h ei n t e r a c t i o n i n d e xa m o n gt h ec l a s s i f i e r sa r ec a l c u l a t e d w ec o m p a r et h e2 一a d d i t i v ef u z z ym e a s u r ew i t h t h e g af u z z ym e a s u r e f r o mt h ea b i l i t yo fr e p r e s e n tt h ei n t e r a c t i o na m o n gt h ec l a s s i f i e r s ，a n d p r o v et h ec o r r e l a t i o nc o n c l u s i o n k e y w o r d sf u z z ym e a s u r e ；2 - a d d i t i v ef u z z ym e a s u r e ；g af u z z ym e a s u r e ；i n t e r a c t i o n ； m u l t i c l a s s i f i e rf u s i o n 河北大學(xué) 學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得 的研究成果。盡我所知， 除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他 人已經(jīng)發(fā)表或撰寫(xiě)的研究成果，也不包含為獲得河北大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書(shū) 所使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確 的說(shuō)明并表示了致謝。 作者簽名：塹盈日期：圣絲芝2 年上月 ! 多 日 學(xué)位論文使用授權(quán)聲明 本人完全了解河北大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué)校有權(quán)保留并向國(guó) 家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。學(xué)?？梢怨?論文的全部或部分內(nèi)容，可以采用影印、縮印或其他復(fù)制手段保存論文。 本學(xué)位論文屬于 1 、保密口，在年月日解密后適用本授權(quán)聲明。 2 、不保密。 ( 請(qǐng)?jiān)谝陨舷鄳?yīng)方格內(nèi)打“4 ) 作者簽名：絲魚(yú) 導(dǎo)師簽名：3 筮髦一 日期：墊理年月! 三日 日期：紐2 年上月堡日 第l 章緒論 第1 章緒論 1 1 研究工作的目的與意義 分類(lèi)問(wèn)題是依據(jù)某種規(guī)則將待識(shí)別對(duì)象歸為某一類(lèi)。其基本做法是在樣本訓(xùn)練集的 基礎(chǔ)上確定某個(gè)判別規(guī)則即分類(lèi)器，并使得用這個(gè)分類(lèi)器對(duì)新的待識(shí)別對(duì)象進(jìn)行分類(lèi)所 造成的錯(cuò)誤率盡可能減小。 在分類(lèi)過(guò)程中，每個(gè)分類(lèi)器總會(huì)有分類(lèi)錯(cuò)誤率，分類(lèi)器融合是綜合多個(gè)分類(lèi)器的分 類(lèi)信息，做出最終的類(lèi)別判斷，以降低分類(lèi)錯(cuò)誤率的方法。在分類(lèi)器融合的過(guò)程中確定 各分類(lèi)器在分類(lèi)問(wèn)題中的重要程度是其關(guān)鍵問(wèn)題。 傳統(tǒng)上我們用測(cè)度表示分類(lèi)器的重要程度，然而多個(gè)分類(lèi)器聯(lián)合在一起的重要程度 并不簡(jiǎn)單的等于單個(gè)分類(lèi)器的重要程度之和，即分類(lèi)器之間可能存在交互作用。模糊測(cè) 度的不可加性恰好能表示這種交互作用，對(duì)于個(gè)分類(lèi)器的融合系統(tǒng)，確定一般的模糊 測(cè)度需確定( 2 ) 個(gè)參數(shù)值，這是一個(gè)冪級(jí)的運(yùn)算量，在求解時(shí)比較麻煩，計(jì)算機(jī)運(yùn)行時(shí) 間較長(zhǎng)，可能還會(huì)造成不可解的情況，在現(xiàn)實(shí)操作中不太可行。因此人們用特殊結(jié)構(gòu)的 模糊測(cè)度代替一般模糊測(cè)度表示分類(lèi)器的重要程度，降低計(jì)算復(fù)雜度，提高問(wèn)題的可解 性。 最常見(jiàn)的特殊結(jié)構(gòu)的模糊測(cè)度是模糊測(cè)度，對(duì)于個(gè)分類(lèi)器的融合系統(tǒng)它只需 確定一2 個(gè)參數(shù)( 測(cè)度密度) ，大大降低了復(fù)雜度，但同時(shí)也削弱了模糊測(cè)度表示交互 作用的能力。 1 9 9 7 年g r a b i s c h 提出了2 可加模糊測(cè)度的概念，對(duì)于個(gè)分類(lèi)器的融合系統(tǒng)確定一 個(gè)2 可加模糊測(cè)度需確定 r f + 1 ) 2 個(gè)參數(shù)，人們又嘗試采用2 一可加模糊測(cè)度代替 一般模糊測(cè)度取的計(jì)算復(fù)雜度和表示能力間的一個(gè)平衡。 本文研究了當(dāng)測(cè)度變?yōu)檫@兩種特殊結(jié)構(gòu)的模糊測(cè)度后，多分類(lèi)器融合的規(guī)劃模型。 定義了單個(gè)分類(lèi)器的重要程度，和兩個(gè)分類(lèi)器問(wèn)的交互作用程度。對(duì)2 可加模糊測(cè)度和 模糊測(cè)度進(jìn)行了比較，重點(diǎn)在兩者表示交互作用能力方面的理論比較，并給出一些結(jié) 河北人學(xué)理學(xué)碩十學(xué)位論文 論的證明。本課題的研究有助于確立分類(lèi)器融合過(guò)程中模糊測(cè)度的選擇標(biāo)準(zhǔn)，然而由于 模糊測(cè)度的非可加性沒(méi)有很好的評(píng)價(jià)標(biāo)準(zhǔn)，我們對(duì)2 - 可加模糊測(cè)度和g 。模糊測(cè)度在表 示交互作用方面的比較也不夠完善，尚需進(jìn)一步深入。 1 2 本課題的國(guó)內(nèi)外發(fā)展現(xiàn)狀 分類(lèi)器融合是一種特殊的信息融和，我們這里所說(shuō)的分類(lèi)器融合的主要是指對(duì)分類(lèi) 器的輸出進(jìn)行操作，綜合各分類(lèi)器對(duì)一個(gè)樣例的輸出結(jié)果，做出最終的類(lèi)別判斷，從而 提高分類(lèi)的正確率和泛化能力。傳統(tǒng)的多分類(lèi)器融合方法主要有，多數(shù)投票方法( v o t i n g m e t h o d ) 和行為知識(shí)空間方法( b e h a v i o r - k n o w l e d g es p a c em e t h o d ) 。當(dāng)分類(lèi)器的輸出 為排序類(lèi)標(biāo)時(shí)，b o r d a 數(shù)方法是常用的融合算子【2 】。分類(lèi)器的輸出為非負(fù)連續(xù)實(shí)值向量 ( 也稱(chēng)為軟輸出或者軟類(lèi)標(biāo)) 時(shí)，融合算子比較多，有取大取小( m a x i m u m m i n i m u m ) 、 中值( m e d i a n ) 、平均( a v e r a g i n g 或m e a n ) 、加權(quán)平均( w e i g h t e da v e r a g i n g ) 、乘積方 法( p r o d u c t ) 、貝葉斯( b a y e s i a n ) 方法等等1 3 1 。但這些方法都有一個(gè)基本假設(shè)即分類(lèi)器 是彼此獨(dú)立互不影響的。而實(shí)際問(wèn)題中分類(lèi)器之間往往存在著交互作用，即分類(lèi)器組合 在一起的分類(lèi)能力并不是他們分類(lèi)能力的簡(jiǎn)單和。 交互影響的思想最早在合作游戲理論中由s h a p l e y 提出，他定義了s h a p l e y 值的概 念，用以描述在游戲中單個(gè)玩家的重要程度1 4 】；根據(jù)s h a p l e y 的思想，m u r o f u s h i 和s o n e d a 兩個(gè)人在多標(biāo)準(zhǔn)決策中定義了兩個(gè)標(biāo)準(zhǔn)之間的交互指標(biāo)i s l ；9 6 年g r a b i s c h ，又在論文中 詳細(xì)論述了交互作用指標(biāo)，并把它的定義擴(kuò)展到多個(gè)準(zhǔn)則 6 , 7 1 中。2 0 0 5 年i v a nk o j a d i n o v i c 又綜合并拓展了了交互作用的表示和度量方法1 8 j 。 1 9 7 4 ，s u g e n o 首先引入了模糊測(cè)度和積分的概念【9 1 ，而模糊測(cè)度的不可加性恰好可 表示分類(lèi)器之間的交互作用，近年來(lái)在分類(lèi)器融合領(lǐng)域得到了廣泛的應(yīng)用。九十年代中 期大量學(xué)者用模糊測(cè)度表示待融合信息的重要程度，模糊積分作融合算子，在信息融合 中取得了一系列的成果【舊。13 1 。模糊積分作為一種信息融合的工具，得到了大家的廣泛認(rèn) 同和應(yīng)用。 然而模糊積分作為一種融合工具最大的困難在于，模糊測(cè)度中參數(shù)的確定，對(duì)于j v 個(gè)分類(lèi)器c 個(gè)類(lèi)別的融合系統(tǒng)需確定c 2 個(gè)參數(shù)，待定參數(shù)個(gè)數(shù)隨著分類(lèi)器的個(gè)數(shù)的增 長(zhǎng)呈指數(shù)級(jí)增長(zhǎng)。為了減少待定參數(shù)的數(shù)目人們一方面對(duì)模糊積分進(jìn)行改進(jìn)，采用層次 2 第1 章緒論 模糊積分模型【1 4 1 減少需確定的參數(shù)個(gè)數(shù)；令一方面用特殊結(jié)構(gòu)的模糊測(cè)度代替一般模糊 測(cè)度。s u g e n o 首先引入了& 模糊測(cè)度【9 】，n 個(gè)分類(lèi)器c 個(gè)類(lèi)別的融合系統(tǒng)，假定各分 類(lèi)器的重要程度對(duì)各類(lèi)別是相同，則確定飄模糊測(cè)度只需確定c 個(gè)參數(shù)，但是顫模 糊測(cè)度表示交互作用能力很差，測(cè)度密度確定后他只能表示多分類(lèi)器融合系統(tǒng)中的一種 交互作用。1 9 9 7 ，g r a b i s c h 又提出了k 可加模糊測(cè)度的概念【1 5 1 ，對(duì)于個(gè)分類(lèi)器c 個(gè) 類(lèi)別的融合系統(tǒng)，假定各分類(lèi)器的重要程度對(duì)各類(lèi)別是相同，k 可加模糊測(cè)度需確定 ：f ，；) 個(gè)參數(shù)，k 值越大k 可加模糊測(cè)度的表示能力越強(qiáng)，他可以體現(xiàn)經(jīng)典測(cè)度到 j 般模糊測(cè)度之間的任何表示能力。而實(shí)際應(yīng)用中2 可加模糊測(cè)度在表示能力和待定參 數(shù)之間起到了很好的折中，為大家所重視。l m i k e n i n a ，h j z i m m e r m a n n ，用二次規(guī)劃確 定2 可加模糊測(cè)度中的參數(shù)將其應(yīng)用到特征選取和多分類(lèi)器融合中【1 6 1 。2 0 0 5 ，g r a b i s c h 又對(duì)其進(jìn)行了進(jìn)一步的理論說(shuō)明【1 7 】。 從國(guó)內(nèi)外在該方向的研究工作來(lái)看，各種測(cè)度表示交互作用能力的種類(lèi)及強(qiáng)弱的研 究還不是很完善。因此，我們從表示交互作用的種類(lèi)方面對(duì)2 可加測(cè)度和島模糊測(cè)度作 了比較。 1 3 本課題研究的主要內(nèi)容 本文主要研究特殊結(jié)構(gòu)的模糊測(cè)度，在多分類(lèi)器融合中的應(yīng)用，集中在表示交互作 用方面的比較。 第l 章主要介紹了該課題研究的目的與意義及當(dāng)前的發(fā)展現(xiàn)狀。多個(gè)分類(lèi)器間存在 著交互作用，模糊測(cè)度的非可加性恰恰能描述這種交互作用。我們采用特殊結(jié)構(gòu)的模糊 測(cè)度在表示交互作用的同時(shí)盡量降低計(jì)算復(fù)雜度。 第2 章介紹了本文需要的一些基本概念：模糊測(cè)度、翻模糊測(cè)度、2 一可加模糊測(cè) 度、模糊積分、s u g e n o 模糊積分、c h o q u e t 模糊積分，z h e n y u a n 模糊積分，為后面的研 究奠定了基礎(chǔ)。 第3 章主要介紹了多分類(lèi)器融合，及采用c h o q u e t 模糊積分特殊結(jié)構(gòu)模糊測(cè)度后多 分類(lèi)器融合的規(guī)劃模型。 河北人學(xué)理學(xué)碩十學(xué)位論文 第4 章主要定義了分類(lèi)器的重要性因子和交互作用因子，將g ，模糊測(cè)度、2 可加 模糊測(cè)度在表示交互作用方面進(jìn)行了比較，并進(jìn)行了相關(guān)結(jié)論的證明。 第5 章是結(jié)論與展望。本文只是對(duì)兩個(gè)分類(lèi)器的交互作用進(jìn)行了刻畫(huà)，以后想進(jìn)一 步給出多個(gè)分類(lèi)器的交互作用的定義。僅僅對(duì)特殊結(jié)構(gòu)模糊測(cè)度表示交互作用種類(lèi)方面 進(jìn)行了比較，但對(duì)其表示交互作用大小的能力無(wú)法刻畫(huà)，我們以后嘗試給出模糊測(cè)度的 不可加程度的度量，進(jìn)一步刻畫(huà)模糊測(cè)度表示交互作用程度的大小，用以指導(dǎo)分類(lèi)器融 合中模糊測(cè)度的選擇。 4 第2 章預(yù)備知識(shí) 第2 章預(yù)備知識(shí) 這一章，我們介紹本文用到的一些基本概念：模糊測(cè)度、毋模糊測(cè)度、2 一可加模 糊測(cè)度、及模糊積分。 2 1 模糊測(cè)度 s u g e n o 在二十世紀(jì)七十年代早期對(duì)傳統(tǒng)測(cè)度進(jìn)行了推廣，用單調(diào)性替換了傳統(tǒng)測(cè)度 的可加性，提出了模糊測(cè)度( 非可加測(cè)度) 的概念。 定義2 1 1 9 i ：設(shè)x 為非空集合，廠為由x 的子集構(gòu)成的仃代數(shù)，集函數(shù)p ：廠一【0 ，) 滿足下面的四個(gè)條件時(shí)，稱(chēng)為定義在廠上的模糊測(cè)度： ( 1 ) ( 平兒性) p ( o ) = 0 。 ( 2 )( 單調(diào)性) 若e 廠，f 尸，ecf ，則( e ) ( ，) 。 ( 3 )( 下連續(xù)性) 若 巨， c 戶，ece 2c ，ge 廠，貝j j l i ( 乞) 2 ( g 巨，) 。 ( 4 )( 上連續(xù)性)若 e ) cy - ，巨z 2 ) e 2z z ) ，u ( e i ) o o ，ne 廠， 則 ”= l l i 。m p ( e ) = p ( n e ) 。 n = l ( x ，廠，) 稱(chēng)為模糊測(cè)度空間。當(dāng)x 是一個(gè)有限集合時(shí)，廠是x 的冪集尹( ) ，條 件( 3 ) ( 4 ) 自動(dòng)滿足。若p ( x ) = 1 則稱(chēng)為正則模糊測(cè)度。在實(shí)際應(yīng)用中我們往往使 用有限集上的正則模糊測(cè)度。 定義2 2 ：若對(duì)于任意e l ，e 2 尸，ef - l 易= 彩有盧( 置u 置) = ( 巨) + ( 易) 成立，則稱(chēng)是可加的。 若對(duì)于任意e l 廠，墾歹，墨f l 易= 乃有( 局ue 2 ) ( 巨) + p ( e 2 ) 成立，則 稱(chēng)是次可加的。 若對(duì)于任意e 。廠，島廠，e lne 2 = 囝有p ( e 。ue 2 ) | u ( 毛) + p ( e 2 ) 成立，則 河北人學(xué)理學(xué)碩十學(xué)位論文 稱(chēng)”是超可加的。 模糊測(cè)度有很多特殊類(lèi)型，比如可能性測(cè)度、必要性測(cè)度、信任測(cè)度、2 可加模糊 測(cè)度和g 。模糊測(cè)度等。本章我們主要介紹這篇論文中用到的白模糊測(cè)度和2 一可加模糊 測(cè)度。 2 1 1 g 。模糊測(cè)度 g 。模糊測(cè)度最早由s u g e n o 提出吲，由于其結(jié)構(gòu)簡(jiǎn)單，需確定的參數(shù)少，被廣泛的 應(yīng)用與實(shí)際問(wèn)題中。 定義2 3 ：如果廠上的集函數(shù)滿足以下的仃一九律，即存在a ( 一面，o 。) 這旱 s u pp2s u p e 。廠( e ) ，使得v e ) c 廠，ent 2 o ，f ，攔e 廠時(shí)有 p r l = l 巨 - 川， 爿尊 m 肥) 一1 ) 刎 ( e ) a = o 成立。并且至少存在一個(gè)集合e 廠，使得( e ) 1 時(shí)， i - l 當(dāng)z g i 2 ，都有口，= 0 ，并且存在至少一個(gè)含2 個(gè)元素的子集丁，使得唧0 。 定義2 6 ：模糊測(cè)度t 2 叫做2 一可加的，若對(duì)于v kcx 當(dāng)f k 時(shí)x ，= 1 否貝0 x ，= 0 。 實(shí)際上 一 當(dāng)a t 0 時(shí) 當(dāng)a q p l + u j 口 u i + j h u2p l + pj 其它的測(cè)度值根據(jù)定義2 6 可通過(guò)下式利用a i ，口?；颉?，1 2 ，算出： 9 河北大學(xué)理學(xué)碩十學(xué)位論文 k 吩+ 罐勺 ( 2 2 ) 2 赤k n y 一( 。2 ) f 邑f 姒弘圮 顯然2 一可加模糊測(cè)度僅由系數(shù)q ，a 0 決定，或者說(shuō)僅由單點(diǎn)及兩點(diǎn)集上的測(cè)度值決 定。 我們采用j 下則的2 一可加模糊測(cè)度，它需要滿足有限集上模糊測(cè)度的平j(luò) 、l 性，單調(diào) 性，及( x ) = 1 的要求即： ( 1 ) a ( o ) = 0 ( 2 ) a i 0 ，v i l ，2 刀 3 f l 互刀) a i + ， 蠢2 ) 口耖2 1 ( 4 ) 口，+ a y ov i 1 ，2 玎) r o l l ，2 nj 又由于n i2 a i 、i x ，n u 2 p 皤一h i p j ，v ，j cx 2 可加模糊測(cè)度的單調(diào)性和j 下則性要求也等價(jià)于： ( 1 ) 心一一- ( n - 2 ) a ，o ，v i x ，k x f ) ( 單調(diào)性) j e kj e k ( 2 ) 心- ( n - 2 ) “= l ( 刪j j f t ) ， ，e | o 例2 2 ：若x = 1 ，2 ，3 ，4 ) 在單點(diǎn)集及兩點(diǎn)集上的測(cè)度值為下表所示，可根據(jù)公式( 2 2 ) 計(jì)算出2 ?？杉訙y(cè)度在p ( x ) 上的全部取值。 表2 12 可加測(cè)度在單點(diǎn)集及兩點(diǎn)集上的取值 解：由( k ) = p 。一( ix - 2 ) ，可知 ，k ，e o 1 2 32 2 n + p 1 3 + h 2 3 一l p 2 一心 = 0 5 + 0 6 5 + 0 6 5 0 4 0 4 0 1 = 0 9 1 0 第2 章預(yù)備知識(shí) 同理 1 2 42 p 1 2 + j u l 4 + 2 4 一p i j u 2 一4 = 0 5 1 3 42 1 3 + p 1 4 + 3 4 一l 一3 一p 4 = 0 8 2 3 4= 2 3 + j l l 2 4 + 3 4 一2 一3 一j l l 4 = 0 8 1 2 3 42j “1 2 + p 1 3 + | “1 4 + p 2 3 + 2 4 + p 3 4 一p l 一| “2 一| i u 3 一j “4 = 1 2 2 模糊積分 測(cè)度推廣后積分相應(yīng)的也有了變化，下面簡(jiǎn)單介紹幾種常見(jiàn)的基于模糊測(cè)度的模糊 積分：s u g e n o 模糊積分，c h o q u e t 模糊積分和z h e n y u a n 模糊積分。 定義2 7 ：設(shè)x 為非空集合，廠為定義在x 上的非負(fù)函數(shù)，廠為由x 的子集構(gòu)成的 仃代數(shù)，肛為定義在歹上的模糊測(cè)度，則函數(shù)在集合x(chóng) 上關(guān)于模糊測(cè)度的s u g e n o 積分定義為f l o l ： ( s ) l f d p = s u p 【a ( c ) 】 a e o l = s u p ( i n ff ( x ) ) 人4 e ) 】 廳e ，“ 其中c = x f ( x ) a ，x x ) ，a 【o ，0 0 ) 。 當(dāng)x = 一，x 2 ，) 是一個(gè)有限集合知尹( ) ，且廠：x 專(zhuān)【o ，l 】時(shí)，s u g e n o 模糊積 分可簡(jiǎn)化為 ” ( 5 ) i = v ( 廠( 一) 八( 4 ) ) ，= i 其中m l = 一，一+ i ，) 。不失一般性，我們假設(shè)0 ( _ ) f ( x 2 ) 廠( ) s1 ( 如不 滿足，重新排列x 中的元素為 x i ，x 2 ，) 使對(duì)應(yīng)的函數(shù)值( # ) 滿足該關(guān)系式) 。 s u g e n o 模糊積分不是l e b e s g u e 積分的推廣，因?yàn)楫?dāng)測(cè)度滿足可加性時(shí)，s u g e n o 模 糊積分并不能還原為l e b e s g u e 積分，這限制了s u g e n o 模糊積分在實(shí)際中的應(yīng)用，為了 避免這個(gè)缺陷，m u r o f u s h i 和s u g e n o 提出了c h o q u e t 模糊積分。 定義2 8 ：設(shè)x 為非空集合，為定義在x 上的非負(fù)函數(shù)，歹為由x 的子集構(gòu)成的 o r 代數(shù)，為定義在廠上的模糊測(cè)度，則函數(shù)廠在集合x(chóng) 上關(guān)于模糊測(cè)度的c h o q u e t 模糊積分定義為【1 0 】： - - i 1 t 人學(xué)理學(xué)碩十學(xué)位論文 如“= 鬈u ( 瞄d 儀 其中e = zl ( z ) 口，x 彳) ，a 【0 ，) 。 當(dāng)x = 一， 是一個(gè)有限集合乃尹( x ) ，且廠：x 一【0 ，1 】時(shí)，c h o q u e t 模糊積 分的計(jì)算公式相應(yīng)地變?yōu)椋?( c ) p | “= ( 廠( 一) 一( ) ( 4 ) = 【( 4 ) ) 一p ( 4 + 。) ) 】州) ) ，= l 其中4 = 一，誓小，x n ) 。不失一般性，我們假設(shè)0 f ( x ，) sf ( x 2 ) ( _ ) 1 ( 如不 滿足，重新排列x 中的元素為 x j ，x ：，) 使對(duì)應(yīng)的函數(shù)值廠( ) 滿足該關(guān)系式) ，規(guī)定 f ( x o ) = 0 ，p ( a 川) = 0 。 c h o q u e t 模糊積分是l e b e s g u e 積分的嚴(yán)格推廣，當(dāng)測(cè)度可加，退化為經(jīng)典測(cè)度時(shí)， c h o q u e t 模糊積分能夠還原成l e b e s g u e 積分。 由于本文的融合算子采用的是c h o q u e t 模糊積分，我們進(jìn)一步對(duì)其進(jìn)行說(shuō)明，當(dāng) x = “，x ：，) 是個(gè)有限集合，c h o q u e t 模糊積分中的模糊測(cè)度是模糊測(cè)度時(shí) c h o q u e t 積分的計(jì)算公式相應(yīng)地變?yōu)椋?( c ) ，f d p = 【g 。( 4 ) ) 一g 。( 4 + ，) ) 】( 一 ) = k ( 。 u x ，) - g a ( 4 + 。 ) l 廠( ) ) = ( 限。) ) + 劭( ) + a g 。( 4 + 。) ) g 。( 一) 一g 。( 4 + 。) ) 】廠( ) ( 2 3 ) = 【g 。( ) + 允g 。( 4 + 。 ) g 。( ) l 廠( 一 ) = 水+ 如 1 + 弛c 卅卜一，卜，) ：。( ) 卉 1 + 。( xjle g 2 9 州一) )= 。( ) 兀 1 + a州一) ) 當(dāng)c h o q u e t 模糊積分中的模糊測(cè)度是2 一可加模糊測(cè)度時(shí)c h o q u e t 積分的計(jì)算公式相 1 2 第2 章預(yù)螽知識(shí) 應(yīng)地變?yōu)椋?( c ) j f d p = 蘭 ( 4 ) ) 一p ( 4 + ) ) 州) ) = f ”曠( ) ) 盯r 打 i = iii = i + 1 i ( 2 4 ) c h o q u e t 模糊積分的性質(zhì)： 令廠和g 為定義在x 上的函數(shù)，a 是的子集，為定義在x 的冪集p ( x ) 上的模 糊測(cè)度。則0 ) f f d u 具有如下性質(zhì)： ( 1 ) 0 ) f l 爿和= p ( 么) 。 ( 2 ) 若：v xe x ，廠( x ) g ( x ) ，則( c ) 脅( c ) f 腳。 ( 3 ) 如果a 是一個(gè)非負(fù)實(shí)數(shù)，b 是一個(gè)實(shí)數(shù)， 則0 ) f ( 礦+ 6 肌= a ( c ) f f d u + 6 ( ) 。 ( 4 ) ( c ) f f d = d ) p + 和一( c ) 少一和， 其中f + ( x ) = m a x 礦( x ) ，o ，f 一( x ) = r a i n 一g ) ，o ) 。 ( 5 ) 若口是一個(gè)實(shí)數(shù)，則0 ) 阻0 ) = 口0 ) f 礎(chǔ)。 ( 6 ) 如果和v 是定義在p ( x ) 上的模糊測(cè)度，若w 尹( ) ，u ( a ) v ( a ) ， 則對(duì)于定義在x 上的所有函數(shù)廠有下式成立：( c ) 眇和( c ) 饑。 ( 7 ) r a 。；，i ；n ，f ( x , ) o ，# ，e f na ，- o ，j = l ，2 ，七) 河北人學(xué)理學(xué)碩十學(xué)位論文 其中，f n a = e n ai e 2 - - ) ，z 是一個(gè)符號(hào)，表示集合的特征函數(shù)。 當(dāng)x 是一個(gè)有限集合時(shí)，y - = p ( x ) 。王氏積分可簡(jiǎn)化為如下形式： 2 ”一l2 “一l 脅= s u p 九，p ( e ，n a ) i s = a ，z 胛，- o ) a j = lj = l 其中某些a ，= 。，j l e j = “f 手一【- 手j 1 ，- ，刀，c x ，一，= ，2 一， 1 4 第3 章多分類(lèi)器融合 第3 章多分類(lèi)器融合 分類(lèi)問(wèn)題是知識(shí)處理的核心問(wèn)題，一直是數(shù)學(xué)與計(jì)算機(jī)科學(xué)中的個(gè)重要的研究課 題，吸引著許多研究者的興趣，根據(jù)具體情況已經(jīng)提出了貝葉斯分類(lèi)器、k - n n 分類(lèi)器、 s v m 分類(lèi)器、決策樹(shù)分類(lèi)器、神經(jīng)網(wǎng)絡(luò)分類(lèi)器等多種分類(lèi)器。由于單個(gè)分類(lèi)器有各自 的局限性，人們希望揚(yáng)長(zhǎng)避短綜合各分類(lèi)器的分類(lèi)結(jié)果，得到更好的分類(lèi)效果，基于這 種思想，提出了多分類(lèi)器融合的概念。廣義的說(shuō)分類(lèi)器融合包含蹲類(lèi)，第一類(lèi)著重改善 分類(lèi)器的結(jié)構(gòu)，在分類(lèi)過(guò)程中找到一個(gè)最好的分類(lèi)器或者一組分類(lèi)器，分類(lèi)器融合不會(huì) 對(duì)分類(lèi)器的輸出做任何操作。另一類(lèi)則主要是對(duì)分類(lèi)器輸出進(jìn)行操作，即對(duì)分類(lèi)器的輸 出進(jìn)行有效的計(jì)算，將多個(gè)性能不同的分類(lèi)器的分類(lèi)結(jié)果( 輸出) 進(jìn)行融合，從而提高 分類(lèi)的精度，減少對(duì)噪音的靈敏度，提高泛化能力。 我們這里所說(shuō)的分類(lèi)器融合主要是指對(duì)分類(lèi)器輸出進(jìn)行操作，融合的方法有很多 種，最常見(jiàn)的有最大( 小) 值法、乘積法、多數(shù)投票法、加權(quán)平均法、b o r d a 計(jì)數(shù)法、 貝葉斯方法、d e m p s t e r - s h a f e r 證據(jù)組合、模糊積分、決策模板等，本文主要采用模糊積 分的方法。 3 1 決策剖面 設(shè)d = d i ，d 2 ，d ，) 是一組已經(jīng)訓(xùn)練好的分類(lèi)器，c = w ，w ) 是類(lèi)標(biāo)集合。 對(duì)于待分類(lèi)樣例分類(lèi)器的輸出是一個(gè)f 維向量d ，( x ) = ( ，。( x ) ，：( x ) ，丘( x ) ) 。，其中 z ( x ) 【0 ，1 】，表示分類(lèi)器d 對(duì)第類(lèi)的支持程度。分類(lèi)器融合是指根據(jù)刀個(gè)分類(lèi)器的輸 出給出樣例的最終分類(lèi)情況。 定義3 1 。2 3 。：c 類(lèi)分類(lèi)問(wèn)題設(shè)d = d l ，0 2 ，d ) 是一組已經(jīng)訓(xùn)練好的分類(lèi)器，對(duì)于 一個(gè)樣例x ，所有分類(lèi)器對(duì)該樣例的輸出可以用一個(gè)矩陣來(lái)表示，我們把該矩陣稱(chēng)為決 策剖面( d e c i s i o n p r o f i l e ) ，簡(jiǎn)記為d p ，其形式如下： 河北人學(xué)理學(xué)碩十學(xué)何論文 d p ( x ) = z 。( x ) z 2 ( x ) z 。( x ) 乃。( x ) 乃z ( x )z c ( x ) 。( x ) ：( x ) k 、( x ) d 尸的第行( 乃。( x ) ，廠：( x ) ，z 。，( x ) ) 表示第個(gè)分類(lèi)器的輸出，即第個(gè)分類(lèi)器對(duì)各類(lèi) 的支持程度，= l ，2 ，n ；d p 的第iy l ( f , ，( x ) ，六( x ) ，厶( x ) ) 7 ( 這里上標(biāo)丁表示轉(zhuǎn)置) 表示各分類(lèi)器對(duì)第i 類(lèi)的支持程度，i = l ，2 ，c 。 有了決策剖面的定義，分類(lèi)器的融合，實(shí)際就是對(duì)決策剖面的每一列數(shù)據(jù)進(jìn)行融合。 3 2 常見(jiàn)的融合方法 常見(jiàn)的融合方法主要有以下幾種【3 】： ( 1 )平均值( a v e r a g i n g 。rm e a n ) 方法：q = 萬(wàn)1 否nz i ，= l ，2 ，c 。 _ ( 2 ) 加權(quán)平均( w e i g h t e da v e r a g i n g ) 方法：p ，= w 乃，= l ，2 ，c ，w j 表示第 個(gè)分類(lèi)器的重要性，= 1 ，u 0 。 j = 1 ( 3 ) 中值( m e d i a n ) 方法：q = m e d i a n f ，) ，i = l ，2 ，c ，首先對(duì)：j ， ，按照 i n o 大小首先排序得到z ：，一，五，當(dāng)n 為奇數(shù)時(shí)p ，為彳，+ i l 2 。；當(dāng)n 為偶數(shù)時(shí)p ， 為三( + 島，) 。 ( 4 ) 取大( m a x i m u m ) 取小( m i n i m u m ) 方法：e i = m ，a x f , ，) e i = m i n 廠， ， i = 1 ，2 ，c 。 ( 5 ) 舍高低均值( t r i m m e nm e a n ) 方法：對(duì)于百分之k 的舍高低均值是指，對(duì)于來(lái) 自n 個(gè)分類(lèi)器的可能性彳， ，進(jìn)行排序，然后兩端各去掉百分之k 個(gè)值。 剩余部分的求均值作為e ，。 1 6 第3 章多分類(lèi)器融合 ( 6 ) 乘積( p r o d u c t ) 方法：q = 兀廠j ，f - 1 ，2 ，c 。 j = l ( 7 ) 有序加權(quán)平均( o r d e r e dw e i g h t e da v e r a g i n g ) 方法：有序加權(quán)平均算子是一個(gè) 從滅”到天的n 元函數(shù)，由一個(gè)n 維向量( 代表權(quán)重) w 確定， w = 1 4 1 ，w 2 ，w n 7 ，一【o ，l 】，j = 1 ，2 ，n ，= l ，q = _ ，其 = 1 ，= l 中、，表示 彳，厶，】7 + 中第f 個(gè)最大值。 經(jīng)過(guò)對(duì)n 個(gè)分類(lèi)器的輸出進(jìn)行融合我們得到一個(gè)向量h ，e 2 ，叫e 】，表示對(duì)待識(shí)別 樣例屬于各個(gè)類(lèi)的一個(gè)最終的總體可能性。最后我們通過(guò)取最大值來(lái)確定樣本所屬的最 終類(lèi)別，即c = a r g m a ；x 。( e , ) 為樣本的最終決策類(lèi)別。 有序加權(quán)平均方法是這幾種融合方法中較特殊，它比日i 面幾種融合方法有更廣泛的 表達(dá)能力。當(dāng)權(quán)重向量取特殊值時(shí)，有序加權(quán)平均方法包含多種的融合方法： 當(dāng)權(quán)重為形= 【o ，0 ，1 】t 時(shí)，有序加權(quán)平均方法變?yōu)槿⌒》椒ǎ?當(dāng)權(quán)重為形= 【1 ，0 ，0 】t 時(shí)，有序加權(quán)平均方法變?yōu)槿〈蠓椒ǎ?當(dāng)權(quán)重為肜= 【，兌，】r 時(shí)，有序加權(quán)平均方法變?yōu)槠骄捣椒ǎ?當(dāng)權(quán)重為 01 ，k 上 忌 ( c ) d ；蟣1 = 1 州2 一c ，lck ，= 1 州2 一， 彘，0魂= l ，2 ，= 1 ，2 c 0 1 i = 1 ，2 ，2 一2 “s a t i s f ym o n o t o n i c 其中缸，是松弛變量，共有m 卡c 個(gè)，引入它以放松約束條件，即允許一定的分類(lèi)誤 差。厶= ( ：，厶，磊) 是決策剖面重排順序后的第七列，表示各分類(lèi)器對(duì)第k 類(lèi)的支持 程度。表示各分類(lèi)器及分類(lèi)器集合的重要程度，是需要確定的參數(shù)，共2 一2 個(gè)。單 調(diào)性要求可轉(zhuǎn)化為n ( 2 。1 1 ) 個(gè)約束不等式。 當(dāng)采用甑模糊測(cè)度時(shí)( 3 1 ) 式轉(zhuǎn)化為： 1 9 河北人學(xué)理學(xué)碩十學(xué)位論文 m l n l m l z e ( 1 h ( 氣， k = lh l = ii = i 磐j 帆= t + l 弛 k c 砂 ，= l 【j 磐j 帆= 1 + la , g j， k c ， 扣兀 1 + ， k ( ，= l ii ，0 r 1 n ( 1 + 九g ) = l + a ，= 1 ，2 ，c ，后，吃= 1 ，2 ，7 坼 紅= 1 ，2 ，m k ，= 1 ，2 c 0 呂1 i = l ，2 ，n 呂表示各分類(lèi)器的重要程度，是需要確定的參數(shù)，共個(gè)。由于模糊測(cè)度的特 殊構(gòu)造自然滿足單調(diào)性。 當(dāng)采用2 可加模糊測(cè)度時(shí)( 3 1 ) 式轉(zhuǎn)化為： c 帆( m i n i m i z e 考“， k = l 機(jī)= i1 = 1 s u b j e c t t o ) + 缸， 缸，0 日。0 q += 1 q + 0 吃= 1 ，2 ，m 女，f - l ，2 ，c ，足 仇= 1 ，2 ，m k ，= 1 ，c i = l ，2 ， v i 1 ，2 ， a l 表示各分類(lèi)器的重要程度，表示分類(lèi)器間的交互作用，q ，a ! 是需要確定的參 數(shù)，共+ 防半個(gè)。最后一個(gè)約束條件是單調(diào)性約束徘相當(dāng)于個(gè)約束 不等式。 2 0 m 。 l p l p q 訓(xùn) 口 i 一 舊 i l n 針n 針 笫4 章交互作j - i j 第4 章交互作用 4 1三個(gè)工人的例子 我們首先看一個(gè)例子來(lái)了解什么是交互作用。 一個(gè)工廠有三個(gè)x 2 k x ，x z ，恐在生產(chǎn)相同的產(chǎn)品，假定一工作1 0 天，x 2 工作1 5 天， _ 工作7 天。每天他們單獨(dú)生產(chǎn)或者聯(lián)合生產(chǎn)的產(chǎn)品數(shù)如表4 1 所示： 表4 1 產(chǎn)品數(shù)量表 我們的問(wèn)題是三個(gè)工人如何搭配( 合作) - a 能使得生產(chǎn)出的產(chǎn)品最多。 為求解此問(wèn)題，我們先引入些符號(hào)。令x = x i , x ：，x 3 ) 為我們所討論的論域， f = ( 廠( 一) ，f ( x ：) ，f ( x 3 ) ) = ( 1 0 ，15 ，1 7 ) 為定義在x