1、群集分析，群集：將數(shù)據(jù)集分為多個組或類，并將同一組中的數(shù)據(jù)對象建立高相似性；群集：其他組中的數(shù)據(jù)對象不相似。作為群集創(chuàng)建的組稱為群集(Cluster)，群集是數(shù)據(jù)對象的集合。群集內兩個對象的相似性更高，屬于不同群集的兩個對象之間的差異更大。差異可以根據(jù)描述對象的屬性值計算，它是對象之間距離最大的測量指標。在具有n個對象的數(shù)據(jù)矩陣(Data Matrix)中，NP矩陣稱為數(shù)據(jù)矩陣，其中每個對象都可以描述為p個變量(屬性)。數(shù)據(jù)矩陣是對象-變量結構中數(shù)據(jù)的表示方法。差別矩陣(Dissimilarity Matrix)，n階矩陣由n對象的兩個差別組成(差別矩陣是對稱的，因此只需創(chuàng)建上下三角形)。其中

2、d (i，j)表示對象I和j之間的差異度，是非負數(shù)。D (i，j)值與對象I和j相似，或“越接近，越接近0”。對象I和j不同或“遠”時，d (i，j)值越大。顯然，d (i，j)=d (j，I)，d (i，i)=0。差異矩陣是對象到對象結構的數(shù)據(jù)表示。計算對象之間的距離，常用的距離函數(shù)包括：mingkowski距離(Minkowski)二次距離(quadrant)馀弦距離二進制要素樣例的距離測量，假設x和y為其特性，n為要素的維。x和y的閔可夫斯基距離測量具有以下形式：當取不同的值時，上述距離測量公式進化成了一些特殊的距離測量，在=1的情況下，明可夫斯基距離進化成了絕對值距離。=2時，明可夫斯

3、基距離演化為歐幾里得距離。二次距離、二次距離測量的形式如下：其中，a是固定的非負矩陣。如果使用不同的值，上述距離測量公式將演變?yōu)樘囟ǖ木嚯x測量。當a是單位矩陣時，二次距離演化為歐氏距離。當a是對角陣列時，第二距離是加權歐氏距離：馀弦距離，馀弦距離的測量是，二進制要素樣例的距離測量，x和y分別是n維特征，Xi和yi表示每個維特征，假設Xi和yi具有二進制類型值0，1。定義x和y距離的常用方法是查找使用SMC、Jaccard因子或Rao因子的以下參數(shù)：如果將a、b、c和d分別設置為樣例x和y中滿足xi=yi=1、xi=1、yi=0、xi=0、yi=1、xi=yi=0的二進制類型屬性的數(shù)量，則SMC

4、(SMC分割方法：根據(jù)特定準則組織資料的分割。屬于此類的群集方法包括k-means、k-modes(k-模式)、k-prototales (k-原型)、k-medoids、PAM、CLARA、CLARAHierarchical Methods:分層分解指定的數(shù)據(jù)對象集合。密度方法：基于數(shù)據(jù)對象的連接密度評估。網格方法：一種網格結構，將數(shù)據(jù)空間劃分為有限單元(Cell)，并基于網格結構進行群集。模型方法：假定每個群集的模型，并查找與該模型匹配的數(shù)據(jù)集。介紹分割方法，對于具有指定n個對象或元組的數(shù)據(jù)庫，使用最小化目標函數(shù)的策略通過迭代將數(shù)據(jù)分割為k個分割塊，將每個分割塊分割為群集的方法就是分割方法

5、。分割方法符合以下兩個條件：(1)每個編組包含一個或多個對象。(2)每個物件必須僅屬于一個群組。典型的分割方法有k- means方法和k-中心點方法。其他方法大部分是兩種方法的變體。k- means算法，k- means群集算法的核心思想是通過迭代將數(shù)據(jù)對象劃分為不同的群集，從而最小化目標函數(shù)，使生成的群集盡可能小，獨立。首先，隨機選擇k個對象作為初始k簇的質心。然后，根據(jù)與單個群集質心的距離，將其馀對象指定給最近的群集。尋找新形成的集群的中心。此重復重新定位過程將不斷重復，直到每個群集不再更改。估計群集數(shù)k，輸入n個對象的數(shù)據(jù)庫的k- means算法。輸出最小化平方誤差基準函數(shù)的k簇。方法選

6、擇k個對象作為初始群集的質心。Repeat從每個群集的平均值計算對象的距離，將對象除以最近的群集。重新計算每個新群集的平均值。Until群集的平均值不再更改。k-means示例，示例數(shù)據(jù)序列號屬性1屬性1 1 1 1 1 2 2 2 2 2 3 3 7 4 8 4，通過迭代平均生成的新群集新平均(群集1)(群集2)(群集1)(群集2) 1 (1，1) 3.5) 3 (1.5，1.5) (4.5，3.5) 1，2，3，4，5，6，7，8 (1.5，1.5)() 得到平均點，每個點計算結果簇的平均值。對于1，2，平均值為(1.5，1)(其中平均值為簡單加2)。對于3，4，5，6，7，8，平均點為(

7、3.5，3)。第二次迭代：使用平均值調整對象所在的簇，然后重新簇。也就是說，所有點都是根據(jù)最接近平均點(1.5，1)、(3.5，1)的原則重新分配的。獲得兩個新群集：1，2，3，4和5，6，7，8。重新計算群集平均點以獲得新的平均點(1.5，1.5)和(4.5，3.5)。第三次迭代：根據(jù)平均點(1.5，1.5)和(4.5，3.5)最近的原則重新分配所有點，調整對象，集群以1，2，3，4和5，6，7，8為單位，k-means算法的性能分析，主要優(yōu)點：是求解簡單快速聚類問題的經典算法。該算法在處理大型數(shù)據(jù)集時相對可擴展，效率較高。如果結果簇密集，效果更好。主要缺點僅在定義了群集平均值時可用，可能不

8、適用于某些應用程序。必須預先提供k(要生成的群集數(shù))，并且對初始值敏感，因此根據(jù)初始值可能會產生不同的結果。不適合非凸面簇或大小非常不同的簇。并且對“躁郁性”和孤立點數(shù)據(jù)敏感。k中心算法(PAM)，k平均算法使用簇的質心表示簇，質心是簇中其他對象的參考點。因此，k-means算法對孤立點敏感，如果具有非常大的值，則可能會極大地扭曲數(shù)據(jù)分布。提出了K-中心點算法以消除這種靈敏度，選擇離集群中心最近的對象(稱為中心點)作為集群的代表點，目標函數(shù)仍然可以采用平方誤差準則。使用K-中心點算法有兩個優(yōu)點。屬性類型沒有限制。通過簇中關鍵點對孤立點的敏感度較小的位置來確定選擇中心點。通過分層群集、分層群集形

9、成群集節(jié)點樹，稱為群集圖。自下而上分解稱為聚集層次聚類。由上而下的層次分解稱為分割的層次聚類。冷凝和拆分層群集，統(tǒng)一層群集從單獨的群集開始，適當?shù)睾喜⒚總€群集，直到滿足特定的關閉條件。拆分層群集使用自上而下的策略將所有對象放在同一群集上(相對于聚合層群集)，然后一次將群集拆分為多個較小的群集，直到滿足一定的關閉條件。距離測量、群集凝結或分割遵循特定距離(或相似性)準則。典型的群集間距離測量方法如下：最小距離(單鏈接方法)最大距離(完整鏈接方法)平均距離(平均鏈接方法)平均距離(中心方法)對象之間的距離函數(shù)包括歐幾里得距離、曼哈頓距離、閔可夫斯基距離、馬爾可夫距離等。凝聚和分段分層群集、分層群集

10、方法的優(yōu)缺點、分層群集方法的優(yōu)點是，可以在不同粒度級別檢測數(shù)據(jù)，并且可以輕松進行類似的測量或距離測量。簡單層次聚類算法的退出條件模糊，在執(zhí)行合并或分割集群的操作后無法修改，因此集群結果的質量可能非常差。此方法的可擴展性差，因為必須檢查和估計大量對象或群集以確定集群的合并或分區(qū)。一般來說，將層次聚類方法與迭代重新定位方法等其他方法相結合，以解決實際聚類問題。分層群集與其他群集方法的有效集成可以形成多級群集，提高群集質量。這些方法包括BIRCH、CURE、ROCK、Chameleon等?；诿芏鹊姆椒ǎ诿芏鹊姆椒ㄓ兄诎l(fā)現(xiàn)具有任意形狀的群集。通常，在一個數(shù)據(jù)空間中，高密度對象區(qū)域被分為低密度(

11、稀疏)對象區(qū)域(通常被視為噪波數(shù)據(jù))。密度聚類方法，密度聚類方法，在一個區(qū)域的點密度大于特定域值的情況下，將其添加到類似的聚類中是指導。這種算法克服了只能找出“類圓”聚類缺點的基于距離的算法，可以發(fā)現(xiàn)任意形式的聚類，對噪聲數(shù)據(jù)不敏感。但是，計算密度單位具有較大的計算復雜性，因此需要創(chuàng)建空間索引以減少計算量并降低數(shù)據(jù)維的可擴展性。這種方法需要掃描整個數(shù)據(jù)庫，并且每個數(shù)據(jù)對象都可以發(fā)出查詢，因此，當數(shù)據(jù)量很大時，經常會發(fā)生I/O操作。代表性的算法包括DBSCAN、OPTICS、DENCLUE算法等。介紹基于網格的方法，基于網格的方法首先將空間量化為有限數(shù)量的單元，然后在此量化空間中執(zhí)行所有群集操作

12、。這些方法的處理時間不受數(shù)據(jù)對象數(shù)量的影響，依賴于量化空間中每個一維單位的數(shù)量，因此處理速度更快。介紹了基于模型的聚類方法，基于模型的聚類方法建立在數(shù)據(jù)與潛在概率分布一致的假設之上。此方法試圖優(yōu)化給定數(shù)據(jù)和某些數(shù)學模型之間的擬合。主要有統(tǒng)計學方法和神經網絡方法等?；诮y(tǒng)計的群集方法的示例包括fisher提出的COBWEB、Gennari等公司提出的CLASSIT、Cheeseman和Stutz提出的AutoClass。iris數(shù)據(jù)集，一組常用的機器學習實驗數(shù)據(jù)，由Fisher，1936收集和配置iris，由三種不同類型iris的50個樣例數(shù)據(jù)組成，使用iris的特性作為數(shù)據(jù)源。在這里，iris

13、 ses與iris和iris vergin iris線性分離；后者不能線性分離。IRIS數(shù)據(jù)集是以cm為單位的Sepal。Length(花萼長度)的5個屬性。Sepal .Width(花萼寬度)，單位為厘米；Petra長度(花瓣長度)，單位為厘米；Petal。Width(花瓣寬度)，單位為厘米；K-medoids算法結果、孤島、孤島是數(shù)據(jù)集中不符合數(shù)據(jù)常規(guī)特性或常規(guī)模型的數(shù)據(jù)對象。孤立點可能是由測量或執(zhí)行錯誤引起的，也可能是由唯一數(shù)據(jù)的變異引起的。許多數(shù)據(jù)挖掘算法將孤立點對挖掘結果的影響降至最低，或在挖掘過程中排除孤立點。但是，有時孤島(噪波)可能是非常重要的信息。如果直接排除孤立點或減少孤立

14、點的影響，可能會丟失隱藏的重要信息。孤立點檢測方法，統(tǒng)計方法假定數(shù)據(jù)遵循一定概率分布或概率模型，然后根據(jù)模型使用不匹配檢查來識別孤立點?；诰嚯x的孤立點檢測將孤立點視為沒有足夠數(shù)量鄰居的對象。典型的基于距離的孤立點檢測方法包括基于索引的算法、嵌套-循環(huán)算法和基于單位的算法。根據(jù)孤立物件偵測，將孤立物件定義為偏離給定描述的物件。序列異常技術和OLAP數(shù)據(jù)立方體技術是兩種常見的基于偏差的孤島檢測技術。分類，分類，分類的目的是建議分類函數(shù)或分類模型(即分類器)，以便通過分類器將數(shù)據(jù)對象映射到給定類別。數(shù)據(jù)分類可以分為兩個階段。第一步是創(chuàng)建描述給定數(shù)據(jù)集的模型。分析屬性描述的數(shù)據(jù)集，以創(chuàng)建反映數(shù)據(jù)集特

15、性的模型。此階段也稱為監(jiān)督學習，導出模型基于培訓數(shù)據(jù)集，即已知類標記的數(shù)據(jù)對象。第二步，使用模型對數(shù)據(jù)對象進行分類。首先必須評估模型的分類精度，如果模型精度允許，可以使用它對未知類標記中的對象進行分類。如果您認為其中一個學習模型的準確性被測試的模型是可接受的，則可以使用此模型對未來數(shù)據(jù)或對象(不知道其類別)進行分類。決策樹，決策樹是一種常見的分類方法，它首先處理數(shù)據(jù)，然后生成可以使用誘導算法讀取的規(guī)則和決策樹，然后使用決策分析新數(shù)據(jù)。本質上，決策樹是通過一系列規(guī)則對數(shù)據(jù)進行分類的過程。誰在買電腦？-年齡？學生？信譽？、綠色、中間、舊、否、是、優(yōu)、好、決策樹的用途、決策樹算法、決策樹算法、決策樹表示法、決策樹的基本組件：決策節(jié)點、分支和樹葉。-年齡？學生？信譽？、綠色、中間、長、否、是、優(yōu)秀、良好、決策樹的頂部節(jié)點稱為根節(jié)點。是整個決策樹的開始。每個分支都是新的決定節(jié)點或樹的葉子。每個決定節(jié)點表示一個問題或決定。通常對應于要分類的對象的屬性。每個葉節(jié)點表示沿決策樹從上到下移動時，每個節(jié)點都有一個測試的可能分類結果。每個節(jié)點的問題的不同測試輸出導致不同的分支，最終到達一個葉節(jié)點。此過程使用多個變量來確定屬性類別的決策樹、ID3算法、ID3算法是典型的決策樹學習算法。該算法的基本思想是測量信息熵，選擇決策樹節(jié)點的屬性，選