1、異常值的識別與處理,箱式圖,亦稱盒形圖（box plot)，統(tǒng)計圖表一章中已討論。利用中位數(shù)、上下四分位數(shù)來描述數(shù)據(jù)分布的傾斜性。 如果分布是對稱的，上下四分位數(shù)與中位數(shù)的距離（空間）應(yīng)相等； 如果上四分位數(shù)比下四分位數(shù)離中位數(shù)更遠(yuǎn)，則此分布是正偏；反之，負(fù)偏。,異常值（outlying value),定義：一個觀察值x如屬于下面情形之一，則為異常值。 若一個觀察值x屬于下面情形之一，則稱為極端異常值（extreme outlying value)。,對于箱式圖,在樣本中從上四分位數(shù)到最大的非異常值之間畫一垂直的條形； 在樣本中從下四分位數(shù)到最小的非異常值之間畫一垂直的條形； 在樣本中識別異常

2、值和極端異常值，并分別用“0”及“”表示。,抽樣誤差,用上述方法識別異常值是描述性的，它對樣本大小很敏感，即大樣本時可能有更多的“異常值”被檢查出來； 因此，識別異常值的方法應(yīng)建立在假設(shè)檢驗的基礎(chǔ)上。,異常值的認(rèn)識,前面定性描述了可能存在異常值，實際上某些異常值有時會對研究結(jié)論產(chǎn)生重要影響。 識別異常值并將其排除在外，或至少作有無異常值的統(tǒng)計結(jié)論。,異常值的定量描述,常用方法是以遠(yuǎn)離均數(shù)的標(biāo)準(zhǔn)差倍數(shù)的多少倍來描述。在一個樣本中把這個統(tǒng)計量應(yīng)用于最極端的觀察值時稱為極端學(xué)生化偏差（extreme studentized deviate, ESD)。,EDS應(yīng)取多大才能列為異常值？回答是與樣本含量

3、n有關(guān)。 對于樣本含量為n的正態(tài)分布，建立在ESD統(tǒng)計量上的抽樣分布的臨界值由B. Rosner(1983)給出，列于表10。 記?。捍私缰狄蕾囉趎及你定義的第p個百分位點，因此該統(tǒng)計量的分界點記為ESDn,p。 單個異常值的判斷：若ESD該界值，則認(rèn)為該觀察值是異常值；反之不認(rèn)為存在異常值。,異常值的定量描述,多個異常值的判斷,設(shè)x1,xn中大多數(shù)數(shù)據(jù)呈正態(tài)分布，但我們懷疑有k個異常點，此處 k=min(n/10,5) 其中n/10是一個不超過n/10的最大整數(shù)。 H0:沒有異常值；H1:至少有1個但不超過k個異常值。 用下面的法則去識別異常值：,識別多個異常值的法則,記X(n)點上達(dá)到ESD，其值為ESD(n)； 移去X(n)，再重新計算均數(shù)、標(biāo)準(zhǔn)差、ESD等，在樣本點X(n-1)達(dá)到ESD，其值為ESD(n-1)； 類推，直到有k個ESD值: ESD(n), ESD(n-1), ， ESD(n-k+1)。與其對應(yīng)的原始數(shù)據(jù)為X(n), X(n-1), X(n-k+1)。 從附表10找出每一個ESD對應(yīng)的界值，分別判斷之。,除非我們很有把握知道只可能有一個異常值，一般情況下應(yīng)按多個異常值來處理。 若發(fā)現(xiàn)有異常值，又該怎么辦？,異常值的處理,方法一，將有異常值與刪去異常值情形下去分析數(shù)據(jù)以便比較； 也可以不刪去異常值，但將它們在數(shù)據(jù)分析中的作用盡量減少：秩轉(zhuǎn)換非參數(shù)統(tǒng)計分析；穩(wěn)