1、,第7部分: 方差分析 (ANOVA),第7部分: 方差分析 (ANOVA),目的: 提供一種比較兩個以上總體均值的客觀方法。 目標(biāo): 理解、應(yīng)用和解釋: 單向ANOVA (單變量) 平衡ANOVA (多變量) GLM (一般線性模型) 采用Minitab進(jìn)行ANOVA/GLM分析,什么是方差分析？,用來確定因變量(“ Y”)與單個或多個自變量(“ Xs”)間關(guān)系的統(tǒng)計顯著性的方法，其中(“ Xs”)具有兩個或多個水平。 是確定每一水平的響應(yīng)變量值的均值是否來自同一總體的一種方法。(它們有所不同嗎?) 篩選潛在的關(guān)鍵少數(shù)“ Xs”的方法,ANOVA適于自變量為離散變量、因變量為連續(xù)變量的情形。

2、,ANOVA的概念比較多個平均值的工具 (用于連續(xù)響應(yīng)數(shù)據(jù)!),組內(nèi)變差 (噪音),ANOVA確定不同水平的平均值間的差異(組間變差)是否大于各水平內(nèi)部產(chǎn)生的變差(組內(nèi)變差)的合理預(yù)期 這就是其名字的來源,當(dāng)前,間距,新工序,總變差,水平1,水平2,組間信號比內(nèi)部噪音大嗎?,是否記得第一階段關(guān)于偏移與漂移的討論?,組內(nèi)變差 (噪音),ANOVA計算的比例:,組間變差(信號) (),總變差,SS = 平方和 (變差的量度),=,信號,噪音,在分析階段，您已經(jīng)學(xué)習(xí)了怎樣使用“t檢驗(yàn)”方法來比較兩個樣本平均值的差異。(是否記得“ 雙樣本” t-檢驗(yàn)?) 例:保險成本項(xiàng)目 您怎樣比較不同地區(qū)保險成本的

3、平均值？五個地區(qū)的成本有差異嗎?,是否記得t-檢驗(yàn)?,平均值:,地區(qū)運(yùn)作保險成本 ($K),我們需要進(jìn)行10次獨(dú)立的比較以檢驗(yàn)每對平均值。(AB, AC, AD, AE, BC, BD, BE, CD, CE, DE) 即使所有平均成本都相同，仍有5%的機(jī)率來否定H0，并推斷其中的一對平均值不相等。如果此檢驗(yàn)步驟重復(fù)10次，錯誤地得出至少有一對平均值有差異結(jié)論的風(fēng)險就會很高(比5%高得多)。,采用t檢驗(yàn)進(jìn)行多重比較的問題,所有可能的 “ 雙樣本” t-檢驗(yàn)問題:,ANOVA給出了同時比較五個平均值的單一假設(shè)檢驗(yàn)。,因素 - 自變量 (X) 水平或設(shè)置 - 因素的離散值或因素的設(shè)置 平衡數(shù)據(jù) -

4、 各因素不同水平的每一個組合都具有相等數(shù)量的樣本或觀測值。上例即為平衡數(shù)據(jù)，因?yàn)閷τ赬的每個水平，都有兩個觀測值(響應(yīng)變量Y值)。 非平衡數(shù)據(jù) - 各因素不同水平的每一個組合并非都具有相等數(shù)量的樣本或觀測值。,方差分析術(shù)語,因素X有兩個水平，40和150。,因素“ X” 有兩個水平(40和150)，但在此例中，150 水平有三個Y值，而40水平只有一個Y值。,方差分析的類型,單向ANOVA: 單因素(“ X”)有兩個以上水平 (設(shè)置)，以及一個連續(xù)的因變量 (Y) - 確定因素水平如何影響總的響應(yīng)變差。 平衡ANOVA: 多個具有多水平的因素(兩個以上“Xs”)、一個連續(xù)的因變量(“ Y”)

5、- 確定每個因素對整個響應(yīng)變差有多大影響。 GLM: 與平衡ANOVA相同，只是GLM具有非平衡數(shù)據(jù)。 DOE (試驗(yàn)設(shè)計): 在進(jìn)行設(shè)計的試驗(yàn)中，確定各因素不同水平的哪些組合對響應(yīng)變量的變差影響最大。,運(yùn)用ANOVA來回答這樣一個問題：因素(“X”)水平對響應(yīng)變量(“ Y”)的總變差有多大影響?,使用方差分析的三種假設(shè),1.對于因素水平的每一組合, 殘差值的均值為0.0 這意味著我們所擬合的方程(或模型)正確，沒有其它變量影響結(jié)果。,“ 觀測” 值(圓圈)和“ 預(yù)計”值(數(shù)組平均值，水平線)間的差額為“ 殘差”。,假設(shè) (續(xù)),殘差必須獨(dú)立，并呈正態(tài)分布 殘差(或誤差)即是實(shí)際觀測的“ Y”

6、值和預(yù)計的數(shù)學(xué)模型的“ Y”值。殘差表明模型何處與數(shù)據(jù)不相匹配。 當(dāng)比較平均值時，正態(tài)性往往不成問題。因?yàn)橹行臉O限定理表明，平均值趨向正態(tài)分布。 當(dāng)比較變差時，正態(tài)性非常重要。(方差齊性：對于正態(tài)數(shù)據(jù)，應(yīng)用“ Bartlett”檢驗(yàn)法，對于非正態(tài)數(shù)據(jù),應(yīng)用“ Levene”檢驗(yàn)法),2.,假設(shè) (續(xù)),間距,I級,II級,另一個需要關(guān)注的問題(除平均值的相等性之外)是方差的相等性?！?X” 轉(zhuǎn)變成不同水平時，可能降低變差，提高Z值?？梢杂肂artlett或Levene檢驗(yàn)法來檢驗(yàn)方差的相等性。,注:因素在水平II上的方差很大，掩蓋了不同水平平均值之間真正的差異。,3. 方差必須相等 (或接近相

7、等),實(shí)際問題:,一位開發(fā)工程師用一種特殊的粘合劑將兩個部件粘在一起。另外還有兩種可使用的粘合劑，但需要更高級的過程控制。如果其中的一種顯示出平均抗剪強(qiáng)度不低于20，則值得更換粘合劑供應(yīng)商、并改進(jìn)過程控制水平。,針對此例，運(yùn)行Minitab 并打開文件: L:6sigmaminitabtrainingminitabsession 2adhesive.mtw 獨(dú)立數(shù)據(jù)存儲在C1-C3欄中；堆疊數(shù)據(jù)及下標(biāo)在C4和C5欄中。,數(shù)據(jù)組如下：,首先將數(shù)據(jù)制圖！,GraphPlot,如圖填寫對話框：,單擊 OK,選擇 “ Options” 并通過檢查對話框添加 “ Jitter”,散點(diǎn)圖“ 圖形勝過千言萬

8、語”,觀察圖形: 1. 三種粘合劑的平均值看上去是否相同? 2. 是否有抗剪強(qiáng)度超過20的粘合劑? 3. 三種粘合劑的方差是否相同?,配方B(水平3)看上去具有比當(dāng)前粘合劑或配方A都要高的抗剪強(qiáng)度。但是，直觀上的差異并不意味差異具有統(tǒng)計顯著性 - 我們需要進(jìn)一步的分析，以確認(rèn)這種圖形分析的結(jié)果。并請注意：對于不同的粘合劑，方差并未表現(xiàn)出顯著的不同。,采用ANOVA證明統(tǒng)計顯著性,由于隨機(jī)因素的影響，粘合劑的抗剪強(qiáng)度會產(chǎn)生一些波動，要證明其統(tǒng)計顯著性，我們必須表明平均值的差異比偶然出現(xiàn)的差異大。 1.測量的響應(yīng)值（因變量）是什么? 粘合劑抗剪強(qiáng)度 2. 評估的因素是什么？ 僅一個因素 - 粘合劑

9、類型 3. 我們想知道什么結(jié)果？ -三種類型的粘合劑 (水平)是否存在差異? -新型粘合劑的平均抗剪強(qiáng)度大于20嗎? 4. 我們將采用什么分析工具，為什么? 單向ANOVA 單因素 (粘合劑類型) 三個水平 (當(dāng)前，配方A，配方B) 這三種粘合劑是否有差異？ 5. 零假設(shè)和備擇假設(shè)是什么？ Ho: 1=2=3Ha: 至少一個 i 與其它不等,x,水平 1,9 12 14 13 18,18 15 14 17 15,21 19 21 16 23,水平 2,水平 3,9 12 14 13 18 18 15 14 17 15 21 19 21 16 23,1 1 1 1 1 2 2 2 2 2 3 3

10、 3 3 3,水平,數(shù)據(jù),總和 平均值 (總平均),減去 (數(shù)據(jù)-總平均) 平方差,平方和 (SStotal),我們怎樣計算ANOVA結(jié)果:,SS,=,B,j,(,),j,g,j,x,x,1,2,SS,=,T,j,=,1,n,j,(,),i,g,ij,x,1,2,n,g = 組數(shù) (水平) n = 組中的樣本數(shù),ANOVA (續(xù)),Fcalculated =,ANOVA計算F統(tǒng)計值:,記住:計算的F-統(tǒng)計值是兩個方差的比例,如果總體平均值間沒有差異，則計算得的F-比率應(yīng)約為1.0 最后，將算出的F-比率與F表中列出的F值相比較。表中的F建立在樣本容量和風(fēng)險之上(通常=0.05)。如果F算出的=

11、F表中的, ，總體平均值間的差異具有統(tǒng)計顯著性(您可以有95%的置信度相信差異不是偶然產(chǎn)生)。如果F算出的F表中的,， 則您不會有95%的置信度認(rèn)為總體平均值是不同的(它們可能在數(shù)值上不同, 但屬同一整體的一部分-數(shù)字上的差異只是隨機(jī)因素的結(jié)果)。,ANOVA計算比例的方法 :,_,_,_,Minitab的ANOVA菜單選項(xiàng),在使用Minitab 分析有關(guān)粘合劑問題的數(shù)據(jù)之前，我們來看一看Minitab 中ANOVA菜單選項(xiàng)。 Stat ANOVA:,單因素，水平 2 (僅用于堆疊數(shù)據(jù)),雙因素，水平 2 多因素與多水平 (平衡數(shù)據(jù)) 多因素與多水平 (非平衡數(shù)據(jù)),平衡ANOVA和普通線性模

12、型(GLM)可以比較多達(dá)9 個因素和50個響應(yīng)值。GLM是您能用來分析非平衡數(shù)據(jù)的唯一工具。,(不同水平的數(shù)據(jù)存于不同欄中),讓我們用Minitab以粘合劑為例運(yùn)行ANOVA,Stat ANOVA One-way,采用 單向 ANOVA，因?yàn)橹挥幸粋€因素，或 “ X”，即 粘合劑,選擇選項(xiàng)，以在工作表中存儲殘差和由模型而得的預(yù)測值,殘差是因素某一水平的均值與觀測值間的差異。針對此粘合劑實(shí)例，前7個殘差的計算如下：,殘差計算,殘差量化模型的誤差 - 模型不能與數(shù)據(jù)組很好地擬合。,ANOVA會話窗口,由于p-值 = 0.005, 至少一個粘合劑抗剪強(qiáng)度平均值有差異 (我們接受 Ha)。,請記住,

13、我們的最初問題是確定不同類型的粘合劑是否具有不同的抗剪強(qiáng)度。 在ANOVA表中，小于0.05的P值表明各水平間存在顯著差異。,實(shí)際顯著性 - 記住我們的第二個問題 - 是否其中有一個新型粘合劑的抗剪強(qiáng)度大于20? 通過分析95%的信置區(qū)間, 我們可以看出，性能最好的粘合劑為水平3， 其值為(17.5, 22.5)。 雖然粘合劑3比當(dāng)前的粘合劑要好，且平均值最可能的估計值為20，但沒有很高的置信度認(rèn)為平均值至少是20。 也許恰當(dāng)?shù)姆椒ㄊ?，收集有關(guān)粘合劑3的更多數(shù)據(jù)，以獲得平均值的更好估計值，即更窄的置信區(qū)間(記住，我們只有5個數(shù)據(jù))。,采用Minitab的多因素ANOVA分析,情形 : 六個西格

14、瑪小組有項(xiàng)任務(wù) 將“訂單處理”的周期時間從目前的平均值10.8分鐘降低到9.0分鐘。 “ 工作人員的經(jīng)驗(yàn)”、 “ 班次” 和電話接收中心(“地區(qū)” )被初步列為能影響周期時間的潛在“Xs” .下表列出了來自該公司三個不同電話接收中心的數(shù)據(jù): 打開文件: L:6sigmaminitabtrainingminitabsession 2cqcycle.mtw,注: 各因素不同水平的每一個組合(“單元”)都有5個觀測值，共有90個觀測值(3*3*2*5 = 90),首先 - 我們將數(shù)據(jù)制圖,創(chuàng)建三個圖表 - 周期時間與地區(qū) -周期時間與班次 -周期時間與經(jīng)驗(yàn) Graph Plot,單擊 OK,單擊“

15、Options” 添加Jitter.,圖形向我們顯示什么信息？,東海岸辦公室平均訂單處理周期時間比其它各地的平均值高。當(dāng)平均周期時間低時，波動也低。,熟練工比新手看上去要快,盡管波動很大, 第二個班的周期時間比另兩班要短一些。,查察數(shù)據(jù)的另一種方式 采用框圖!,我們進(jìn)行分析,記住, 我們試圖分析區(qū)域、員工經(jīng)驗(yàn)和班次三項(xiàng)因素是否對訂單處理周期時間存在任何影響，另外，我們具有平衡數(shù)據(jù)。零假設(shè)和備擇假設(shè)為： H0: 因素對響應(yīng)變量值沒有影響(無差異）。 Ha: 因素對響應(yīng)變量值有顯著影響(有差異) 。 Stat ANOVA Balanced ANOVA,在因素間插入“ pipes”就是命令Minit

16、ab將各因素的每個組合都在分析中考慮。 在鍵盤上“ pipe”就是反斜杠鍵的上檔.,我們還將單擊“ Graphs” ，以生成殘差用于分析。,見下頁,殘差圖,采用 “ Graphs” 選項(xiàng)，您可以得到殘差圖及其相關(guān)分析。,除檢驗(yàn)殘差的正態(tài)性外，檢查“殘差對擬合值 ” 及“殘差對變量” 是否存在任何趨勢。 單擊 OK ，進(jìn)行分析,ANOVA表的說明,注意，區(qū)域、員工經(jīng)驗(yàn)和班次對于“ 周期時間”有最大的影響（請看它們的F值)。區(qū)域與員工經(jīng)驗(yàn)間的相互作用也很顯著，因?yàn)镻0.05。,顯著因素的 p-值 0.05,影響顯著的 “ X”,利用會話窗口中的ANOVA輸出，確定在工序中是否有任何因素促成差異的形

17、成。,下一步: 1)假定區(qū)域和員工經(jīng)驗(yàn)是存在差異的原因，2) 建立一個DOE來論證它們對周期時間的影響。,(臨界統(tǒng)計顯著性),(臨界線),額外的ANOVA表信息,問題: “ 有足夠的重要 Xs 嗎?” 可將模型中因素未解釋的變差進(jìn)行量化： *Mserror的平方根為Serror (誤差的標(biāo)準(zhǔn)偏差) *這代表工序的一個標(biāo)準(zhǔn)偏差（假定模型中使用的所有“ X” 都處于完美的控制狀態(tài)）。 在我們的例子中， serror = (3.325)1/2 = 1.8 分鐘。 誤差 是模型所使用的因素未能解釋的變差。 此工序的4.5西格瑪極限為+/-4.5 * 1.8 (即+/-8)分鐘(如果我們能完美地控制所有

18、確定的Xs),如果此變差過大，就需要尋找其它的影響此工序的因素 “ Xs”!,下一步, 我們將分析殘差。 我們分析殘差是為了更多地了解工序, 并檢驗(yàn)數(shù)學(xué)模型的“好壞”. 殘差的一些特點(diǎn): 殘差的平均值將為0.0 殘差應(yīng)呈正態(tài)分布 殘差應(yīng)為隨機(jī)分布 - 看不出模式或趨勢 幾種模式舉例: 曲線 隨時間而呈一定的趨勢 不等變差 一個或兩個極值 如果殘差沒有滿足上述要求， 我們需要查尋原因。可能原因如下: 不準(zhǔn)確的數(shù)據(jù)記錄, 未包含所有重要Xs , 數(shù)據(jù)不呈正態(tài)分布。 使用圖表來分析變化趨勢。,殘差分析,殘差直方圖,我們觀察殘差與擬合值圖，看看是否存在一定的形態(tài). . .,殘差與擬合值圖,該圖表確實(shí)表

19、明殘差存在一種模式。漏斗型表明，平均“周期時間”(擬合值)越大，殘差越大。這意味著ANOVA結(jié)果無效嗎？相反，這是一個重要發(fā)現(xiàn) - 降低平均值也會降低變差! 下一步我們將確認(rèn)是否某一因素對變差的增長有很大的影響。 對于我們的工序來說，這是一條重要信息。我們只有對“殘差與擬合值圖”進(jìn)行分析，才會了解這一點(diǎn)!,殘差與變量對比圖,請看以上殘差圖，分析被檢測因素處于不同水平時殘差的差異。您可能在某個因素的某個水平上發(fā)現(xiàn)一個“sweet spot” (低變差)。,在此例中，我們基于用于基準(zhǔn)分析的數(shù)據(jù)(被動數(shù)據(jù))，用ANOVA 來篩選潛在的關(guān)鍵幾個“ X” 。 這并不能證明這些“ Xs” 就是關(guān)鍵的! D

20、OE( 設(shè)計的試驗(yàn))就是用來證明“Xs” 是否真的關(guān)鍵。,注意! 理解ANOVA模型的局限性,如果沒有平衡數(shù)據(jù)該怎么辦?,使用一般線性模型 (GLM)這種工具。 GLM 可處理“ 非平衡” 數(shù)據(jù) - 每個子群的觀測值個數(shù)不盡相同。非平衡數(shù)據(jù)常見于歷史數(shù)據(jù)或基準(zhǔn)數(shù)據(jù)之中。 數(shù)據(jù)必須是“滿秩”的，即要有足夠的數(shù)據(jù)來估計模型中所有的項(xiàng)。但不必為此擔(dān)心，因?yàn)镸initab將會告訴您數(shù)據(jù)是否是滿秩的!(如果您的數(shù)據(jù)不是滿秩的，則需要更多的數(shù)據(jù)。),我們舉一個例子。重新啟動 Minitab，并打開文件： L:6sigmaminitabtrainingminitabsession 2rot.mtw, Rot

21、1 是一個連續(xù)的響應(yīng)變量，可視為氧氣和溫度的一個函數(shù)。 溫度(C1)有兩個水平：10和16 氧氣(C2)有三個水平：2，6和10,以下是數(shù)集。 注意缺失的數(shù)據(jù)：,缺失數(shù)據(jù),我們先觀察圖形 . . . 是否得出任何結(jié)論?,溫度和腐蝕之間似乎存在一定的關(guān)系，而且在高溫下變差可能會更大。 氧氣怎樣？每個水平上的數(shù)據(jù)的離散程度太大, 不能確定氧氣和腐蝕間存在一定的關(guān)系。,Y = Rot 1 X = Temp 1,Y = Rot 1 X = Oxygen 1,選擇: Graph Plot 在對話框中，為Y和X設(shè)定適當(dāng)?shù)淖兞俊?GLM分析.,StatANOVAGeneral Linear Model,記住

22、單擊 Graphs 創(chuàng)建 殘差和擬合值圖,注: 我們有非平衡數(shù)據(jù)，因此，使用ANOVA的GLM分析選項(xiàng)。,請記住在 溫度1和 氧氣1間使用 間隔線來包含相互作用。,在會話窗口中進(jìn)行ANOVA分析,解釋: (請看顯著因素的P值) 溫度是顯著的， P0.05 誤差項(xiàng)相對于總SS顯得大。 可能要尋找更多的“ Xs” !,注: 數(shù)據(jù)組中的一些觀測值比其它觀測值對結(jié)果有更大的 “影響” 。在這組數(shù)據(jù)中，觀測值7具有更大的影響,，被Minitab注為“ 非尋?！?, 因?yàn)樵谠搯卧兄挥羞@一個值，而在其它單元中有兩個或三個觀測值。 觀測值18因具有絕對值大于2的殘差(誤差)而被標(biāo)注。,分析殘差,殘差未顯示有

23、任何模式 - 從此圖中我們未得到有關(guān)工序的額外信息。,課堂練習(xí): 1) 打開下列工作表： L:6sigmaMinitabtrainingMinitabsession 2claims.mtw 2) 確定5個地區(qū)運(yùn)作保險成本是否不同。 a) 首先“ 堆疊” 數(shù)據(jù)。將下標(biāo)放于另一欄內(nèi)。 b) 將數(shù)據(jù)制圖 (散點(diǎn)圖和框圖) c) 運(yùn)行ANOVA - 創(chuàng)建圖形： 殘差直方圖 殘差與擬合值圖 當(dāng)您看見“ 殘差直方圖” 時，注意它向右傾斜（右尾更長)。這意味著不符合ANOVA的正態(tài)假設(shè)。我們運(yùn)行Box-Cox轉(zhuǎn)換, 發(fā)現(xiàn)對數(shù)是一個適當(dāng)?shù)霓D(zhuǎn)換. 用成本的對數(shù)來再次運(yùn)行此分析過程。,d) 在Minitab中創(chuàng)建

24、一個新欄，即成本的對數(shù)(基 數(shù)10)。(CalcCalculator并如圖填寫對話框) e) 將成本的對數(shù)作為“ Y” , 再次運(yùn)行ANOVA 注意殘差直方圖不再向右傾斜?，F(xiàn)在我們有了一個有效的ANOVA分析。,它檢驗(yàn)什么? 兩個以上變量的平均值或平均水平進(jìn)行比較。 什么類型的數(shù)據(jù) ? 類別或水平“ X” 數(shù)據(jù)(離散)，及連續(xù)的“ Y” 響應(yīng)變量值。Minitab能分析多達(dá)9個因素和50個響應(yīng)變量值。 假設(shè)是什么？ Ho : 所有平均值都相等 Ha : 至少有一個平均值不同 ANOVA能告訴我們什么? 每個因素對整個響應(yīng)變量的變差有多大影響。它會確認(rèn)有統(tǒng)計顯著性的“Xs”。 何時使用GLM?

25、當(dāng)數(shù)據(jù)為非平衡(各單元格的觀測值數(shù)量不等)時，使用一般線性模型。 ANOVA 和 GLM使用連續(xù) Y、離散 X數(shù)據(jù)來篩選出潛在的、關(guān)鍵的、少數(shù) Xs。,關(guān)鍵概念: 方差分析 (ANOVA),附錄,方差分析公式,平衡的單向ANOVA: (其中 n1 = n2 = . = ng),子群間平方和:,子群內(nèi)平方和:,總平方和:,SS,=,n,B,j,(,),j,g,j,x,x,1,2,SS,=,W,(,),i,n,ij,j,j,g,j,x,x,1,2,1,SS,=,T,j,=,1,n,j,(,),i,g,ij,x,x,1,2,g ,x,水平號碼,總平均,jth水平內(nèi)的總數(shù),n,j,x,j,Jth水平的

26、子群平均值,B17.15,其它表述方法. ANOVA表的解釋,平方和,自由度,平均平方和,MS,p-值,比率,變差源,(SS),(df),(MS),(Fcalc),之間,SSB,g-1,SSB/dfB,MSB/MSW,內(nèi)部,SSW,g(n-1),SSW/dfW,總計,SST,ng -1,1,2,3,4,5,6,7,8,9,10,11,12,13,我們將其稱為平均SS,Copyright 1995 Six Sigma Academy Inc.,解釋: 使用恰當(dāng)?shù)淖杂啥群椭付ǖ娘L(fēng)險概率( I 類錯誤)可在F表中很方便地找到關(guān)鍵F值(Fcrit)。 如果計算出的F值(Fcalc)大于等于Fcrit，則接受備擇假設(shè)(Ha)，其置信度為(1-); 否則拒絕這一假設(shè)。 請記住，您具有的置信度永遠(yuǎn)等于