1、試驗設計與統(tǒng)計分析,唐 啟 義 Tel:13958168331 浙江大學農業(yè)與生物技術學院,1、 數(shù)據(jù)的基本統(tǒng)計分析 2、 統(tǒng)計檢驗基本原理及t檢驗 3、方差分析 4、相關和回歸分析 5、多元統(tǒng)計分析（主成分分析和聚類分析）,目 錄,1.1 數(shù)據(jù)集中趨勢 集中趨勢是數(shù)據(jù)分布的中心，描述集中趨勢的指標有： 算術平均數(shù)mean 中位數(shù) median 眾數(shù)等 mode,中位數(shù) 把一批數(shù)按照從小到大的順序排列，處于數(shù)列中點的變量值就是Me 。,1.2 離散程度分析 離散程度是數(shù)據(jù)分布的又一特征，它表明各個變量值的差異，即離散程度。 意義：首先，可以衡量算術平均數(shù)的代表性。

2、 例：均值都為150的兩組數(shù) 50，100，150，200，250 100，125，150，175，200 其次，進行產品質量評價、生產管理和決策。 離散程度經常用到的指標有：極差、方差和標準差等，它們也被稱為變異指標。,方差與標準差 1、方差與標準差是測定離散程度最常用的指標。標準差是方差的平方根，也稱均方差。 2、總體方差和標準差（）計算公式： 樣本方差和標準差(S)要除以n-1。 3、變異系數(shù) 4、方差分析中，均方差MSE即為處理的方差。,（總體）方差的計算,（樣本）方差的計算,平均數(shù)置信區(qū)間估計,平均數(shù)差數(shù)的標準誤,平均數(shù)差數(shù)置信區(qū)間估計,兩平均數(shù)差異的t檢驗,標準誤,標準誤用于統(tǒng)計檢

3、驗。,標準誤隨重復增加而下降的曲線,2.1 參數(shù)假設檢驗的過程 a. 問題的提出及特征分析 b. 兩個假設（原假設、備擇假設） c. 選擇適當?shù)慕y(tǒng)計方法、計算統(tǒng)計量 d. 根據(jù)p值進行統(tǒng)計推斷,2、統(tǒng)計檢驗基本原理及檢驗,某地區(qū)某水稻品種產量500kg/畝，施用某種新的肥料之后，10塊試驗田得到平均產量510kg/畝，標準差20。這個產量的變化，能否是施用這種肥料增產效果？ 需要進行統(tǒng)計檢驗？,由于該品種標準對照是500kg/畝，因此原假設為總體均值等于500kg/畝（標準對照總放在零假設）；由于樣本均值大于500kg/畝，目的是推斷施肥是否有效，故把備選假設定為施肥后產量大于500kg/畝（

4、這種備選假設為單向不等式的檢驗稱為單尾檢驗（另一種是備選假設為不等號“”的，稱為雙尾檢驗）。即：,檢驗統(tǒng)計量計算,這里是總體方差未知，須用t檢驗進行檢驗。 公式中0通常表示為零假設中的均值（這里是500）,S是樣本標準差，等于20。在零假設之下，它有自由度為n-1=9的t分布。 代入公式計算計算結果是t=2.3717(也稱為t值）, 同時得到p-值為0.0209,因p值0.05,可認為增產效果顯著。,目前幾乎所有的統(tǒng)計軟件，在給出統(tǒng)計量的同時，還給出了精確的p值。用P與檢驗水準比較, 通常取0.05, 0.01 在P時出現(xiàn)小概率事件，拒絕H0，接受H1，統(tǒng)計結論“有統(tǒng)計學意義”，專業(yè)結論根據(jù)實

5、際和統(tǒng)計量寫出 在P 時沒有出現(xiàn)小概率事件，不能拒絕H0，統(tǒng)計結論“無統(tǒng)計學意義”,簡言之，p值就是傳統(tǒng)所說的(顯著水平)。p值可精確地告訴我們統(tǒng)計檢驗結果的顯著水平，而不用再重復采用不同的水平。根據(jù)p值進行統(tǒng)計推斷常用標準是：如果0.01p0.05，則結果被認為沒有統(tǒng)計顯著性(有時記為NS)；但是，如果0.05p0.10，則有時注記為有傾向性的統(tǒng)計顯著。,2.2 判斷兩組的總體均數(shù)是否不等,成組t檢驗（根據(jù)實際問題，選用雙側檢驗 ） H0：12，H1：12,比較兩作物品種某微量元素含量差異，各品種該微量元素含量為 品種A 0.709 0.755 0.655 0.705 0.723 品種B 0

6、.617 0.608 0.623 0.635 0.593 0.684 0.695 0.718 0.606 0.618,H0：12,dfn1+n2-2,檢驗總體均數(shù)是否相等稱成組t檢驗,檢驗公式 （1）分子：均值差異； （2）分母：方差和（離散程度）的大?。?（3）樣本數(shù)n大小。 顯著性差異的結果不僅僅取決于均值本身的差異大小，而且還取決于試驗中試驗方差和樣本數(shù)。 在實際農業(yè)生產中不重要的微小的差異在統(tǒng)計上可能顯著。所以，在應用時，如果要求處理比對照（增加）顯著，那么對增加幅度最好有所規(guī)定。另一方面，由于某種原因，統(tǒng)計上對較大的差異檢驗不出顯著性，但這樣的差異對農業(yè)生產或科研或許是很重要的。,以

7、0.01水準的雙側檢驗拒絕H0，接受H1;有統(tǒng)計學意義,可認為該元素在兩品種中的含量有差異。,2.3 配對t檢驗,如果實驗是配對設計，若兩處理因素效應無差別，那么差值d的總體均數(shù)d應該為0，故可將該檢驗理解為樣本均數(shù)與總體均數(shù)d =0作比較。,H0：d0，兩方法（儀器）檢驗結果相同； H1：d0，兩方法（儀器）檢驗結果不同。 雙側 =0.05。 按 = n-1=12-1=11查t值表，得t0.20,11=1.363，t0.10,11=1.796，t0.10,11tt0.20,11，則0.20P0.10，差別無統(tǒng)計學意義，尚不能認為兩種（方法）儀器檢查的結果不同。,3、多個處理的統(tǒng)計檢驗（ 方差

8、分析）,方差分析：檢驗兩組以上總體均數(shù)是否全都相等。,方差分析應用理論上的條件獨立性：各樣本是相互獨立隨機的樣本正態(tài)性：各樣本都來自正態(tài)總體方差齊性：各樣本的總體方差相等,A、B、C和D四種工藝，測量產品某指標結果如下：,均值 總均值 差值 A6260635963596164 -3 B6367716465666664+2 C6866716768686864+4 D5662606163646164 -3,3.1 單因素方差分析原理,如果處理效果相同，那么有H0：1=2=3 =4，也即組樣本均數(shù)來自同一總體。 如果4處理效果完全相同，那么處理間變異等于0；整個變異都是處理內（隨機誤差）引起的。 如

9、果處理，每處理各次重復間沒有差異，則總變異都是處理間變異，處理內（隨機誤差）為0； 上面是極端情況，一般情況是，處理間和處理內都有變異存在。這時計算處理間均方與處理內均方的比值： F= MS處理間 /MS處理內,方差分析表 變異來源平方和自由度 均方 F值 p值 處理間 228 3 76 13.57 0.00 處理內 112 20 5.6 總變異 340 23,根據(jù)值大小，下結論。,一般用Tukey法和LSD法。但注意：目前國內目前的農藥實驗要求Duncan 法。,數(shù)據(jù)轉換：如數(shù)值相差幾個數(shù)量級，可用對數(shù)轉換;如許多小區(qū)值為0，則可用平方根轉換;如指標是百分數(shù),且大部分數(shù)值大于70或小于30，

10、可用反正弦平方根轉換。,數(shù)據(jù)描述：均值和標準差是必須的，處理樣本數(shù)也要說明。 方差分析：F值、自由度和P值；如P0.05則差異顯著，如P0.01則差異極顯著。 多重比較：均值后面跟有相同字母的就沒差異。,3.2 正確理解差異顯著或極顯著的統(tǒng)計意義,“差異顯著”或“差異極顯著”不應誤解為相差很大或非常大 ,也不能認為在專業(yè)上一定就有重要或很重要價值。 “顯著”或“極顯著”是指不同處理沒有差異的可能性小于5%或1%，。即認為它們有實質性差異的可能性是95%或99%,99.99%。 有些試驗結果雖然差別大，但由于試驗誤差大，也許還不能得出“差異顯著”的結論；而有些試驗處理間差異雖小，但由于試驗誤差小

11、，反而可能是“差異顯著”。,兩個栽培試驗，不同處理A、B、C間的成活率，誰的差異大？,實驗,實驗,A：空白對照； B：標準對照； C：新技術處理,實驗1的方差分析表,實驗2的方差分析表,兩實驗各處理均值比較,44,方差分析的結論提供各總體均數(shù)不同的總信息,但沒有提供各總體均數(shù)兩兩之間的不同是否有統(tǒng)計意義。若5個水平兩兩之間進行t檢驗，需作10次，檢驗水準為=0.05，則正確接受10次假設概率為0.9510= 0.5987，總的檢驗水準變?yōu)?-0.5987=0.4013。因此不宜再用t檢驗進行兩兩比較。必須進行多重比較 。,LSD-t法稱最小顯著性差異法,是十分常用的方法。,3.3 多重比較方法

12、的選擇,45,如果僅控制每作一次比較犯I類錯誤的概率，簡稱為控制“比較誤差率”,如LSD法。這種方法幾乎可以把所有的差異都找出來（幾乎不會犯第一類錯誤），但犯第二類錯誤的可能性增加（將沒有差異的配對組推斷為有差異）。 如果控制所作的全部比較的最大實驗誤差率，簡稱“最大實驗誤差率”,如TUKEY法。這種方法幾乎可以保證所檢驗出來的差異都是正確的（幾乎不會犯第二類錯誤），但犯第一類錯誤的可能性增加（增加有差異的配對被認為沒有差異的可能性）。 這里的兩種方法是兩個極端的情形。統(tǒng)計學家提出了一些介于兩者之間的方法，這就導致有多種多重比較方法的存在。,t0.05=3.15， t0.01=4.48 說明：

13、t臨界值乘以根2。,LSD最小顯著差數(shù)法,Duncans新復極差測驗,Tukey 測驗,自由度10時，三種多重比較法的臨界值,3.4 隨機區(qū)組試驗設計,試驗設計：重復、隨機和區(qū)組 重復：提供試驗誤差的估計；減少標準誤、增加精度， 。 隨機：消除偏差；保證各個處理統(tǒng)計上是“獨立的”。 區(qū)組：增加試驗精度；處理間比較更均一。,隨機區(qū)組設計：將研究對象按性質相同或相近者組成b 個區(qū)組（局部控制），每個區(qū)組中的k 個處理隨機分配。 優(yōu)點利用區(qū)組，進一步控制偏倚，減少實驗的偏差； 但實驗結果中若有數(shù)據(jù)缺失，統(tǒng)計分析較麻煩(目前可用一般線性模型解決)。,3.5 隨機區(qū)組設計在中的實現(xiàn),確定處理因素，田間劃

14、分區(qū)組 DPS生成實驗方案： 如5個處理，設置4個區(qū)組，共20個實驗處理的實驗。執(zhí)行實驗設計菜單下的“單因素隨機區(qū)組設計”,將隨機區(qū)組設計實驗處理結果對號入座填入表格，得到數(shù)據(jù)方差分析格式,在菜單下執(zhí)行“實驗統(tǒng)計”-“隨機區(qū)組設計”下面的“單因素實驗統(tǒng)計分析”。,數(shù)據(jù)轉換：如數(shù)值相差幾個數(shù)量級，可用對數(shù)轉換;如許多小區(qū)值為0，則可用平方根轉換;如指標是百分數(shù),且大部分數(shù)值大于70或小于30，可用反正弦平方根轉換。,一般用Tukey法和LSD法。但注意：目前國內目前的農藥實驗要求Duncan 法。,結果描述及數(shù)據(jù)分析與完全隨機實驗設計相同，就當是區(qū)組間那一行不存在,4. 相關與回歸分析,1、多變

15、量數(shù)據(jù)特征描述（相關分析） 2、變量間定量關系（回歸分析） 3、復合中心試驗設計及優(yōu)化分析,53,4.1 數(shù)值特征描述(相關),相關系數(shù)置信區(qū)間及偏相關,基本統(tǒng)計(卡方圖)離群值樣本是否有異常,基本統(tǒng)計（box圖指標是否有異常值）,4.2 回歸分析 如產量肥料反應函數(shù),4.2.1 回歸分析簡介,回歸(regression)建立一個描述應變量依自變量變化而變化的直線方程，并要求各點與該直線縱向距離的平方和為最小。 直線回歸是回歸分析中最基本、最簡單的一種，直線回歸方程是Y= a + bX 中，a、b 是決定直線的兩個系數(shù).,59,施肥量與產量的關系，一般有： 線性： y=a+bx 二次曲線： y

16、=a+bx+cx2 Mitscherlich方程： y=a(1-10-bx) 冪函數(shù)/Cobb-Douglas方程: y=axb 指數(shù)曲線 y=aebx,施肥量與產量的關系（多為非線性）,擬合二次多項式回歸模型（反應面分析）,多元線性回歸,4.2.2 DPS下回歸分析數(shù)據(jù)格式,根據(jù)試驗數(shù)據(jù)建立回歸方程，在DPS里，建立回歸方程數(shù)據(jù)格式： 一行一個樣本 一列一個變量 因變量放在最右邊。 建立回歸方程，樣本個數(shù)要大于總變量個數(shù)。,62,4.2.3 DPS下用戶界面(一元線性回歸）,63,4.2.3 DPS下用戶界面(非線性回歸）,65,4.2.3 DPS下用戶界面(逐步回歸）,66,4.3 復合中

17、心設計及其優(yōu)化建模,68,69,實驗結果統(tǒng)計分析,左邊方實驗設計表，右邊一列放各個處理相應的產量，然后用鼠標選中。 最后進入主菜單，選擇“試驗統(tǒng)計”中的“實驗優(yōu)化分析”下面的“二次多項式回歸”。系統(tǒng)出現(xiàn)如下界面。,70,71,輸出結果,、各個因素(試驗處理水平)編碼的平均值和標準差,以及相關系數(shù)矩陣； 、二次多項式回歸模型； 、回歸模型的F檢驗值及顯著水平p，一般顯著水平小于等于0.05時即可對該模型進一步分析，如果F太小，回歸方程不顯著，則不適合建立二次多項式回歸模型來分析試驗結果；,72,模型統(tǒng)計檢驗,73,、各個因子項的回歸系數(shù)、標準回歸系數(shù)、t檢驗值及顯著水平p； 、回歸模型的復相關系

18、數(shù)R剩余標準差和調整后的相關系數(shù)，一般來說，調整后的相關系數(shù)越大越好； 、各個處理的觀測值、擬合值和擬合誤差，以及Durbin-Watson(DW)統(tǒng)計量。DW統(tǒng)計量只當分析樣本按某一順序(如處理先后)存放時才有意義，該值要在2的附近為好；,74,、其他因子為零時單因子和兩因子互作效應分析，可在DPS系統(tǒng)作圖功能的支持下，分別作x-y曲線圖和等高線圖； 、其他因子為零水平時，各個因素的靈敏度分析，給出了系數(shù)靈敏度、導數(shù)、平均效應y/x和目標函數(shù)y，根據(jù)這些數(shù)據(jù)，可以進行邊際分析；,75,、典型分析，求一階偏導數(shù)方程、擬合方程的典型形式，穩(wěn)定點分析； 、在試驗條件的約束之下，進行模型優(yōu)化，得到最

19、高產量時各個因素組合。 如果在分析時按系統(tǒng)的提示，輸入了目標指標的價格，以及各個處理因素的價格，系統(tǒng)將會給出最大經濟效益時的產量和產值。,76,典型分析及模型優(yōu)化,對回歸模型進行比較深入、直觀地分析；典型分析(又稱典范分析，典則分析，Canonical analysis)提供了較為理想的分析技巧。,77,應用典型方程，我們可以得到如下信息： 一是穩(wěn)定點處是否是擬合模型極大值、極小值或鞍點：當?shù)湫头匠痰母鱾€系數(shù)為負時，穩(wěn)定點為模型的極大值；當?shù)湫头匠痰母鱾€系數(shù)為正時，穩(wěn)定點為模型的極小值；當?shù)湫头匠痰母鱾€系數(shù)有正有負時，穩(wěn)定點為鞍點。 這一點很重要，這時因為我們在尋優(yōu)建模時，往往根據(jù)專業(yè)背景，指

20、定模型尋優(yōu)方向。這種尋優(yōu)方向可能和擬合模型本身的最優(yōu)解不一致，或部分因子不一致。不一致時，采用數(shù)值尋優(yōu)算法得到的最優(yōu)點有可能位于實驗因子取值的邊界上。,78,79,同時，根據(jù)典型方程，判斷各個因素在穩(wěn)定點附近的變化大小。系數(shù)越大，變化越快，該點的穩(wěn)定性就較差，這是在應用中需要注意的。 最后，如果通過數(shù)值優(yōu)化分析和典型分析得到的最優(yōu)值一致，那么模型可以認為是較好的，如果不一致，在模型應用時，需要進行更深入的分析，探明原因，且模型結果謹慎應用。,80,多因子實驗優(yōu)化的區(qū)組設計,多因子優(yōu)化設計試驗，一般試驗次數(shù)較多。試驗次數(shù)增加會帶來量方面的問題： 一是試驗時間延長。有的實驗處理是依時間順序一個接一

21、個地進行的。由于時間延而產生的對實驗結果的影響叫做時間漂移，這一影響很可能增加試驗誤差。這種情況在工業(yè)試驗中較為普遍。 另一種情況是試驗區(qū)增大。在農林生物的田間試驗中，因處理因子多、實驗區(qū)加大、這樣難以在同質的條件下進行試驗，而需要進行小區(qū)控制、實行區(qū)組設計。,81,DPS提供的區(qū)組設計功能,區(qū)組設計應用與多因子優(yōu)化試驗是有必要的。但遺憾的是，我們以往的試驗優(yōu)化分析工具，都沒有提供可處理區(qū)組設計功能。這里，我們增加了處理含有若干區(qū)組的二次正交回歸組合(中心復合)設計試驗數(shù)據(jù)分析建模功能，該功能模塊在“試驗統(tǒng)計”“試驗優(yōu)化分析”“區(qū)組設計二次多項式回歸”里面。,82,區(qū)組設計統(tǒng)計分析數(shù)據(jù)格式,二

22、次正交回歸組合設計或其他多因子試驗，如果在實施時劃分了B個區(qū)組，在試驗結果的數(shù)據(jù)分析時，數(shù)據(jù)的第一列放區(qū)組的順序編號(1，2，., B)，其它列則和其它多因素實驗設計一樣，放各個處理因子的編碼值或各個因子試驗實施的水平值，最右邊放試驗觀察指標結果值。,83,區(qū)組設計優(yōu)化分析,84,實際應用的考慮,驗證與搜索 穩(wěn)定點是最優(yōu)點時，在穩(wěn)定的做驗證實驗； 有鞍點存在時，穩(wěn)定點不是最優(yōu)點時，做因子延伸的實驗,其它解釋目標因子的新方法,神經網(wǎng)絡及徑向基函數(shù) 支持向量機（SVM） 投影尋蹤回歸 隨機森林,特點,5. 多元分析簡介,5.1 主成分分析 5.2 聚類分析,1. 基本思想：用較少的變量表示原來的樣

23、本； 2.目的：是樣本數(shù)據(jù)信息損失最小的原則下，對高維變量進行降維。 3.參數(shù)估計：一般是求相關矩陣的特征值和相應的特征向量（主成分分析法），取前幾個計算主成分。 4.應用：應用較少變量來解釋各個樣本的特征（數(shù)據(jù)降維、綜合平價）。,5.1 主成分分析,主成份分析例子,一項十分著名的工作是美國的統(tǒng)計學家斯通(stone)在1947年關于國民經濟的研究。他曾利用美國1929一1938年各年的數(shù)據(jù)，得到了17個反映國民收入與支出的變量要素，例如雇主補貼、消費資料和生產資料、純公共支出、凈增庫存、股息、利息外貿平衡等等。,主成份分析起源,在進行主成分分析后，竟以97.4的精度，用三新變量就取代了原17

24、個變量。根據(jù)經濟學知識，斯通給這三個新變量分別命名為總收入F1、總收入變化率F2和經濟發(fā)展或衰退的趨勢F3。更有意思的是，這三個變量其實都是可以直接測量的。斯通將他得到的主成分與實際測量的總收入I、總收入變化率I以及時間t因素做相關分析，得到下表：,主成分分析是把各變量之間互相關聯(lián)的復雜關系進行簡化分析的方法。 在研究中，為了全面系統(tǒng)的分析和研究問題，必須考慮許多指標，這些指標能從不同的側面反映我們所研究的對象的特征，但在某種程度上存在信息的重疊，具有一定的相關性。,在力求數(shù)據(jù)信息丟失最少的原則下，對高維變量空間降維，即研究指標體系的少數(shù)幾個線性組合，并且這幾個線性組合所構成的綜合指標將盡可能

25、多地保留原來指標變異方面的信息。這些綜合指標就稱為主成分。,(1) 基于相關系數(shù)矩陣主成分分析。 （2） 主成分分析的目的是簡化變量，一般情況下主成分的個數(shù)應該小于原始變量的個數(shù)。關于保留幾個主成分，應該權衡主成分個數(shù)和保留的信息。 （3） 如何解釋主成分所包含的專業(yè)意義。,主成分分析數(shù)學模型 多個指標降為少數(shù)幾個綜合指標的過程在數(shù)學上就叫做降維。主成分分析通常的做法是，尋求原指標的線性組合Fi。,主成分分析的幾何解釋,平移、旋轉坐標軸,主成分分析綜合能力,1）貢獻率：第i個主成分的方差在全部方差中所占比重 ，稱為貢獻率 ，反映了原來P個指標多大的信息，有多大的綜合能力 。,2）累積貢獻率：前

26、k個主成分共有多大的綜合能力，用這k個主成分的方差和在全部方差中所占比重 來描述，稱為累積貢獻率。,我們進行主成分分析的目的之一是希望用盡可能少的主成分F1，F(xiàn)2，F(xiàn)k（kp）代替原來的P個指標。到底應該選擇多少個主成分，在實際工作中，主成分個數(shù)的多少取決于能夠反映原來變量80%以上的信息量為依據(jù)，即當累積貢獻率80%時的主成分的個數(shù)就足夠了。最常見的情況是主成分為2到3個。,102,5.2 聚類分析,系統(tǒng)聚類分析: 直觀，易懂。 快速聚類: 快速，動態(tài)。 有序聚類: 保序(時間順序或大小順序)。,103,聚類分析根據(jù)一批樣品的許多觀測指標，按照一定的數(shù)學公式具體地計算一些樣品或一些參數(shù)(指標

27、)的相似程度，把相似的樣品或指標歸為一類，把不相似的歸為一類。 樣品之間的聚類即Q型聚類分析，則常用距離來測度樣品之間的親疏程度。 變量之間的聚類即R型聚類分析，常用相似系數(shù)來測度變量之間的親疏程度。,104,樣品間親疏程度的測度,聚類距離和方法： 聚類距離：樣本點之間的距離； 聚類方法：聚類過程中類間的距離的構造，因此聚類方法實質上是類間聚類的定義。,向量x=(x1, xp)與y=(y1, yp)之間的距離或相似系數(shù):,歐氏距離: Euclidean,平方歐氏距離: Squared Euclidean,夾角余弦(相似系數(shù)1) : cosine,Pearson correlation (相似系數(shù)2):,Chebychev: Maxi|xi-yi|,Block(絕對距離): Si|xi-yi|,Minkowski:,當變量的測量值相差懸殊時,要先進行標準化. 如R為極差, s 為標準差, 則標準化的數(shù)據(jù)為每個觀測值減去均值后再除以R或s. 當觀測值大于0時, 有人采用Lance和Williams的距離,類Gp與類Gq之間的距離Dpq(d(xi,xj)