1、關(guān)聯(lián)分類(lèi)算法的研究趙東壘符號(hào)學(xué)習(xí)研究組Hebei University課題研究目的國(guó)際研究現(xiàn)狀主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)研究過(guò)程可能遇到的困難及解決方案總結(jié)參考文獻(xiàn)Hebei University分類(lèi)問(wèn)題是通過(guò)分析給定的一個(gè)帶有類(lèi)別標(biāo)識(shí)的訓(xùn)練數(shù)據(jù)集，建立一個(gè)分類(lèi)器，然后預(yù)測(cè)那些未知類(lèi)別的數(shù)據(jù)對(duì)象關(guān)聯(lián)分類(lèi)算法數(shù)據(jù)集中屬性的取值是符號(hào)型的課題研究目的就是改進(jìn)、優(yōu)化關(guān)聯(lián)分類(lèi)算法提高關(guān)聯(lián)分類(lèi)算法的分類(lèi)精度提高關(guān)聯(lián)分類(lèi)算法的效率提高關(guān)聯(lián)分類(lèi)算法的可理解性課題研究目的Hebei University國(guó)際研究現(xiàn)狀1998年Liu等提出了基于類(lèi)關(guān)聯(lián)規(guī)則的分類(lèi)算法CBA。1999年Dong等提出顯露模式分類(lèi)法CAEP

2、。2000年Wang等結(jié)合關(guān)聯(lián)規(guī)則分類(lèi)和決策樹(shù)分類(lèi)提出關(guān)聯(lián)決策樹(shù)。2001年Li等提出基于多條關(guān)聯(lián)規(guī)則的分類(lèi)算法CMAR。2003年Yin等提出預(yù)測(cè)型關(guān)聯(lián)規(guī)則的分類(lèi)算法CPAR。CPAR采用貪婪方法從數(shù)據(jù)集中挖掘出較小規(guī)則集。2004年Antonie提出正負(fù)關(guān)聯(lián)規(guī)則的分類(lèi)算法。2005年Wang提出HARMONY，它直接挖掘覆蓋樣例置信度最高的規(guī)則。2006年Adriano Veloso等提出的lazy關(guān)聯(lián)分類(lèi)。2006，2007年Arunasalam提出了適用與類(lèi)不平衡數(shù)據(jù)上的關(guān)聯(lián)分類(lèi)。Hebei University主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)關(guān)聯(lián)分類(lèi)算法的優(yōu)點(diǎn)分類(lèi)精度高適應(yīng)性強(qiáng)關(guān)聯(lián)分類(lèi)算法存在的

3、問(wèn)題算法的執(zhí)行效率更高效的挖掘方法剪枝的質(zhì)量和效率新的規(guī)則序關(guān)系分類(lèi)器的可理解性交疊現(xiàn)象對(duì)分類(lèi)起的影響Hebei University已完成的工作算法的執(zhí)行效率在構(gòu)造帶類(lèi)別標(biāo)識(shí)的FP-tree時(shí)，在每個(gè)節(jié)點(diǎn)注冊(cè)相應(yīng)類(lèi)別信息。擴(kuò)展TD-FP-Growth算法，使它能直接挖掘滿(mǎn)足最小支持度和最小置信度的類(lèi)關(guān)聯(lián)規(guī)則。優(yōu)點(diǎn)：兩次掃描數(shù)據(jù)庫(kù)，不用重復(fù)建立條件FP-tree。減少了內(nèi)存消耗，提高了運(yùn)行效率。Hebei University剪枝的質(zhì)量和效率關(guān)聯(lián)分類(lèi)中最敏感的問(wèn)題如何評(píng)價(jià)類(lèi)關(guān)聯(lián)規(guī)則的質(zhì)量如何從大量的關(guān)聯(lián)規(guī)則中選擇有效的規(guī)則構(gòu)造分類(lèi)器Hebei University如何評(píng)價(jià)類(lèi)關(guān)聯(lián)規(guī)則的質(zhì)量經(jīng)典關(guān)

4、聯(lián)分類(lèi)規(guī)則序關(guān)系的定義給定規(guī)則Ri，Rj。 Ri優(yōu)于Rj，當(dāng)且僅當(dāng)滿(mǎn)足以下條件之一: Ri具有比Rj更高的置信度Ri和Rj具有相同的置信度， Ri具有比Rj更高的支持度Ri和Rj具有相同的置信度和支持度， Ri具有比Rj更少的規(guī)則項(xiàng)Hebei University經(jīng)典關(guān)聯(lián)分類(lèi)規(guī)則序關(guān)系的缺點(diǎn)其本質(zhì)是采用置信度，支持度，規(guī)則項(xiàng)數(shù)目評(píng)價(jià)順序。過(guò)分強(qiáng)調(diào)了置信度，這樣在最后構(gòu)造的分類(lèi)器中，使得有些規(guī)則置信度很高而支持度不高，造成過(guò)度擬合。綜合考慮置信度和支持度。Hebei UniversityR1: sup(R1) = 100, conf(R1) = 98%R2: sup(R2) = 10, conf

5、(R2) = 100%經(jīng)典序關(guān)系 R1 R2R1有較好的泛化能力，R2可能過(guò)度擬合數(shù)據(jù)。Hebei University15個(gè)UCI數(shù)據(jù)庫(kù)測(cè)試結(jié)果Hebei University醫(yī)療圖像數(shù)據(jù)庫(kù)測(cè)試結(jié)果Hebei University分類(lèi)器的可理解性關(guān)聯(lián)分類(lèi)構(gòu)造分類(lèi)器的方法挖掘滿(mǎn)足置信度和支持度閾值要求的類(lèi)關(guān)聯(lián)規(guī)則將規(guī)則按定義的序關(guān)系排序，基于數(shù)據(jù)覆蓋來(lái)選擇規(guī)則分類(lèi)器的特點(diǎn)數(shù)據(jù)集中每條記錄都被一條評(píng)價(jià)值最高的規(guī)則覆蓋分類(lèi)器中的規(guī)則在訓(xùn)練集中存在相互交疊的現(xiàn)象規(guī)則的數(shù)目較多Hebei University交疊現(xiàn)象怎樣產(chǎn)生的1.10.20.30.40R1:20, 100%R4:20, 85%R2:2

6、0, 95%R3:20, 90%Hebei University研究過(guò)程可能遇到的困難及解決方案規(guī)則評(píng)價(jià)函數(shù)的確定不同數(shù)據(jù)庫(kù)的影響交疊現(xiàn)象對(duì)分類(lèi)精度的影響選擇規(guī)則后，更新置信度和支持度比較不同交疊情況的分類(lèi)精度Hebei University總結(jié)針對(duì)關(guān)聯(lián)分類(lèi)算法存在的問(wèn)題算法的執(zhí)行效率剪枝的質(zhì)量和效率分類(lèi)器的可理解性Hebei University參考文獻(xiàn)1 B. Liu, W. Hsu and Y. Ma. Integrating Classification and Association Rule Mining. In Proc. of 1998 Int. Conf. on Knowle

7、dge Discovery and Data Mining (KDD98), pp.80-86, New York, Aug 1998.2 J. Han, J. Pei and Y. Yin. Mining Frequent Patterns without Candidate Generation. In Proc. of the ACM-SIGMOD 2000 Int. Conf. on Management of Data (SIGMOD00), pp.112, Dallas, May 2000.3 W. Li, J. Han and J. Pei. CMAR: Accurate and

8、 Efficient Classification Based on Multiple Class-Association Rules. In Proc. of 2001 IEEE Int. Conf. on Data Mining (ICDM01), pp.369-376, San Jose CA, Nov 2001.4 J. Li, G. Dong, K. Ramamohanarao and L. Wong. DeEPs: A New Instance-Based Lazy Discovery and Classification System. Machine Learning. 54,

9、 pp.99-124, 2004.5 Adriano Veloso, Wagner Meira Jr, and Mohammed J. Zaki. Lazy Association Classification. In Proc. of 2006 IEEE Int. Conf. on Data Mining (ICDM06), pp.645-654, Hong Kong, Oct 2006.6 Maria-Luiza Antonie, Osmar R. Zaiane, and Robert C. Holte. Learning to Use a Learned Model: A Two-Sta

10、ge Approach to Classification. In Proc. of 2006 IEEE Int. Conf. on Data Mining (ICDM06), pp.645-654, Hong Kong, Oct 2006.7 Abdelaziz Berrado, George C. Runger. Using Metarules to Organize and Group Discovered Association Rules. Data Mining and Knowledge Discover. 14: 409-431, 2007. 8 F. Thabtah, P.

11、Cowling, and Y. Peng. MCAR: Multi-class Classification based on Association Rule Approach. In Proceeding of the 3rd IEEE International Conferenceon Computer Systems and Applications. pp.1-7. Cairo, Egypt. Hebei University9 O. R. Zaiane and M.-L. Antonie. On pruning and tuning rules for associative c

12、lassifiers. In Proc. of Intl Conf. on Knowledge-Based Intelligence Information & Engineering Systems (KES05), pp.966-973, 2005. 10Adriano Veloso, Wagner Meira Jr.: Rule Generation and Rule Selection Techniques for Cost-Sensitive Associative Classification. In SBBD 2005. pp.295-309, 2005. 11J. Wang a

13、nd G. Karypis. HARMONY: Efficiently Mining the Best Rules for Classification. In Proc. of 2006 SIAM Int. Conf. on Data Mining (SDM05), California, USA, April 2005. 12Bing Liu, Yiming Ma, C-K Wong, Classification Using Association Rules: Weaknesses and Enhancements. In Vipin Kumar, et al, (eds), Data

14、 mining for scientific applications, 200113 X. Yin and J. Han. CPAR: Classification based on Predictive Association Rules. In Proc. 2003 SIAM Int.Conf. on Data Mining (SDM03), San Fransisco, CA, May 2003.14 Frans Coenen and Paul Leng. The Effect of Threshold Values on Association Rule Based Classifi

15、cation Accuracy. Journal of Data and Knowledge Engineering, Vol. 60, Num. 2, pp345-360, February 2007 15 Frans Coenen, Paul Leng, and Lu Zhang. Threshold Tuning for Improved Classification Association Rule Mining. In Proc. of 6th Pacific Area Conference on Knowledge Discovery and Data Mining (PAKDD0

16、5), pp.334-340, Taipei, May 3-8 2002 16 Maria-Luiza Antonie and Osmar R. Zaiane, An Associative Classifier based on Positive and Negative Rules, In 9th ACM SIGMOD Workshop on Research Issues in Data Mining and Knowledge Discovery (DMKD-04), pp 64-69, Paris, France, June 2004 Hebei University17 Yanbo

17、 J. Wang, Qin Xin and Frans Coenen. A Novel Rule Ordering Approach in Classification Association Rule Mining. In Proc. MLDM2007, pp339-348. 2007. 18 Frans Coenen and Paul Leng. An Evaluation of Approaches to Classification Rule Selection. In Proc. of 2004 IEEE Int. Conf. on Data Mining (ICDM04), pp3

18、59-362, 2004 19 K. Wang, S. Zhou, and Y. He. Growing decision tree on support-less association rules. In Proc. Of 2000 Int. Conf. on Knowledge Discovery and Data Mining (KDD00), Boston, MA, Aug. 2000. 20Frans Coenen and Paul Leng. Obtaining Best Parameter Values for Accurate Classification. In Proc.

19、 of 2005 IEEE Int. Conf. on Data Mining (ICDM05), pp.597-600, 200521 D. Meretakis and B. Wuthrich. Extending Nave Bayes Classifiers Using Long Itemsets. In Proc. 1999 Int. Conf. on Knowledge Discovery and Data Mining (KDD99) , pages 165-174, San Diego, CA, Aug. 1999.22 Bing Liu, Yiming Ma, and Ching Kian Wong. Improving an A