第2章回歸分析與相關(guān)分析

(Regressionanalysisandcorrelationanalysis)2.1回歸與相關(guān)2.3協(xié)方差分析2.4多元線性回歸2.2簡(jiǎn)單回歸復(fù)習(xí)與提高2.5通徑分析與偏相關(guān)分析2.6邏輯(logistic)回歸2.1

回歸與相關(guān)

在生物科學(xué)研究中，經(jīng)常會(huì)遇到探討共處于一個(gè)統(tǒng)一體中變量之間的關(guān)系問題，其目的就是想了解變量之間是否有因果關(guān)系或相關(guān)關(guān)系。系統(tǒng)中變量之間相依關(guān)系因果關(guān)系相關(guān)關(guān)系回歸分析相關(guān)分析對(duì)于變量之間的因果關(guān)系，統(tǒng)計(jì)學(xué)的任務(wù)是查明因果關(guān)系是否存在，若存在，判定強(qiáng)弱，并找出揭示這種關(guān)系的模型，用于預(yù)測(cè)、控制、優(yōu)化。對(duì)于相關(guān)關(guān)系（又叫相依關(guān)系），統(tǒng)計(jì)學(xué)的任務(wù)是找出刻畫這種關(guān)系強(qiáng)弱的指標(biāo)，并用于判定這種關(guān)系存在性及強(qiáng)弱。前者就是回歸分析，后者就是相關(guān)分析。相關(guān)關(guān)系如人的血壓Y與年齡X之間的關(guān)系，一般來(lái)說，年齡越大血壓越高，但年齡相同的兩個(gè)人的血壓不一定相等。又如某農(nóng)作物的畝產(chǎn)量Y與施肥量X之間有一定的關(guān)系，但施肥量相同，畝產(chǎn)量卻不一定相同。這樣的例子在實(shí)際中舉不甚舉。相關(guān)關(guān)系是兩個(gè)隨機(jī)變量之間的平行關(guān)系，它們要么互為因果，要么具有共同的因。相關(guān)關(guān)系概念線性相關(guān)關(guān)系檢驗(yàn)例題設(shè)從某油松林地隨機(jī)抽測(cè)10塊樣地，測(cè)得林地林木平均高X與木材蓄積量Y如下表所示，試檢驗(yàn)X與Y的線性相關(guān)關(guān)系強(qiáng)弱。X20222426283032343638Y314376436495585615671733755835例題設(shè)從某油松林地隨機(jī)抽測(cè)10塊樣地，測(cè)得林地林木平均高X與木材蓄積量Y如下表所示，試檢驗(yàn)X與Y的線性相關(guān)關(guān)系是否可認(rèn)為是0.99，并給出其95%置信區(qū)間。回歸關(guān)系與回歸分析回歸關(guān)系在相關(guān)關(guān)系中，如果關(guān)心的是容易測(cè)定或控制變量X對(duì)變量Y的決定作用大小，將X看成一個(gè)普通變量，這時(shí)變量X與Y之間就成為回歸關(guān)系?；貧w模型如果普通變量x與隨機(jī)變量Y具有回歸關(guān)系，則Y除過受變量x的作用以外，還受到控制不嚴(yán)格和未知因素的作用。所以，x與Y應(yīng)滿足關(guān)系式對(duì)于回歸模型，顯然有回歸方程反映了因變量隨自變量的變化而變化的平均變化情況。2.2

簡(jiǎn)單回歸復(fù)習(xí)與提高一元線性回歸模型一元線性經(jīng)驗(yàn)回歸方程及其建立最小二乘法(Theleastsquaremethod)所以，又正態(tài)分布的性質(zhì)有：進(jìn)而有一元線性回歸有關(guān)檢驗(yàn)離差平和分解回歸顯著性檢驗(yàn)F檢驗(yàn)T檢驗(yàn)例為了研究大豆脂肪含量和蛋白質(zhì)含量的關(guān)系，測(cè)定了10種大豆品種籽粒內(nèi)的脂肪含量和蛋白質(zhì)含量，得到如下數(shù)據(jù)。分別兩組觀測(cè)數(shù)據(jù)建立蛋白質(zhì)含量對(duì)脂肪含量的回歸方程。15.416.317.518.920.021.022.815.817.919.142.4142.6141.3139.6439.7337.3735.3342.4839.3339.9243.1943.7345.3140.7641.1735.1335.7041.8642.3738.07共截距檢驗(yàn)例對(duì)由兩組觀測(cè)數(shù)據(jù)建立蛋白質(zhì)含量對(duì)脂肪含量的回歸線進(jìn)行比較。多條回歸直線間比較重合分析平行分析共截距分析注意：k條回歸線的共截距分析方法略作改進(jìn)就可以用于檢驗(yàn)k條回歸線是否過指定點(diǎn)。具體做法如下：肥料測(cè)定數(shù)據(jù)(xij,yij)和平均A1x1j4758534649565444y1j546663515666615040746750.87558.375A2x2j5253645859616366y2j

545367626263646947649459.50061.750A3x3j4448465059575853y3j525854617064696641549451.87561.7501298145554.08360.625三種施肥試驗(yàn)下y對(duì)x回歸線分析變異來(lái)源(1)Lx1x1(2)Ly1y1(3)Lx1y1斜率(3)/(1)截距自由度剩余離差和總剩余離差和A1A2A3180.875178.00230.875293.875223.500313.500226.375195.00257.7501.25161.09551.1164-5.2979-3.43263.836566610.55439.876425.746646.1773平行性589.750830.875675.1251.1515-0.2100-6.76712.01352048.8305重合性945.833891.625765.7500.809616.839222271.6709兩條相關(guān)系數(shù)間比較在生物科學(xué)研究中，人們經(jīng)常要探討某個(gè)試驗(yàn)指標(biāo)受不同控制因素影響關(guān)系的強(qiáng)弱。這一問題在相當(dāng)普遍情況下，可以通過相關(guān)系數(shù)的比較得以解決。2.3

協(xié)方差分析(Analysisofcovariance)生物科學(xué)研究試驗(yàn)，大部分情況下是自然試驗(yàn)，或觀測(cè)試驗(yàn)。試驗(yàn)指標(biāo)除受人們關(guān)心的、嚴(yán)格控制因素影響以外，很多情況下會(huì)受到無(wú)法控制的可測(cè)量因素指標(biāo)的影響。如果在對(duì)試驗(yàn)指標(biāo)受嚴(yán)格控制因素影響的探索試驗(yàn)中，忽視這種無(wú)法控制的可測(cè)量因素指標(biāo)對(duì)試驗(yàn)結(jié)果的作用，無(wú)疑會(huì)由試驗(yàn)數(shù)據(jù)得到虛假結(jié)論。例如前面我們介紹的蘋果樹產(chǎn)能受施肥影響的實(shí)驗(yàn)中，如果忽視蘋果樹產(chǎn)能受基礎(chǔ)產(chǎn)能影響，直接由施肥后的產(chǎn)量數(shù)據(jù)進(jìn)行方差分析，會(huì)得到下列結(jié)論：變異來(lái)源離差平房和自由度均方F肥料間60.750230.3750.7677<1說明肥料對(duì)產(chǎn)量沒有影響肥料內(nèi)830.8752139.565總和891.62523不考慮基礎(chǔ)產(chǎn)能影響的產(chǎn)能方差分析協(xié)變量與協(xié)方差分析概念設(shè)在研究試驗(yàn)指標(biāo)Y受可控因素A影響的試驗(yàn)中，由于無(wú)法控制可測(cè)量指標(biāo)因素指標(biāo)x導(dǎo)致試驗(yàn)單元不一致，從影響試驗(yàn)結(jié)果，則稱指標(biāo)x為協(xié)變量；分析帶有協(xié)變量試驗(yàn)數(shù)據(jù)的統(tǒng)計(jì)方法稱為協(xié)方差分析。協(xié)方差分析是把回歸分析與普通方差分析相結(jié)合，處理帶有些變量數(shù)據(jù)問題有效方法。協(xié)方差分析數(shù)據(jù)結(jié)構(gòu)因素試驗(yàn)數(shù)據(jù)(xij,yij)和平均A1x11x12x1jx1ry11

y12

y1jy1rAix21x22x2jx2ryijyijyijyirAa

xa1xa2xajxarya1

ya2

yajyaj協(xié)方差分析統(tǒng)計(jì)模型協(xié)方差分析一般流程肥料校正數(shù)據(jù)和A1

62.15661.49064.24760.30861.85363.79361.09661.611496.544A2

56.39954.24755.59157.48056.33855.03553.73255.278444.100A3

63.61165.00563.30865.70264.33860.64164.49067.247514.3421455.000蘋果樹生產(chǎn)能力受施肥影響例子續(xù)回歸校正后試驗(yàn)指標(biāo)數(shù)據(jù)表協(xié)方差分析出了可以按前面所講的過程實(shí)現(xiàn)以外，也可以用與前面所講過程等價(jià)的離回分析來(lái)實(shí)現(xiàn)，具體見下表。變異來(lái)源自由度離差平房和均方Fa條直線回歸a條平行回歸1條直線回歸平行性重合性f1=ar-2af2=f1-1f3=ar-2f4=f2-f1f5=f3-f2Q總Q平Q重Q4=Q平-Q總Q5=Q重-Q總MS1=Q總/f1MS2=Q平/f2MS4=Q4/f4MS5=Q5/f5F=MS4/MS1F=MS5/MS2單因素單協(xié)變量協(xié)方差分析(離回分析)表變異來(lái)源自由度離差平房和均方Fa條直線回歸a條平行回歸1條直線回歸平行性重合性1820222246.177348.8305271.67092.6532225.49362.56542.44151.3266112.7468F=0.52F=43.9490**

在生物科學(xué)研究中，經(jīng)常會(huì)遇到探討共處于一個(gè)統(tǒng)一體中一個(gè)變量(向應(yīng)變量)與多個(gè)變量(自變量)之間的關(guān)系問題，其目的就是想了解變量之間是否有因果關(guān)系或相關(guān)關(guān)系,進(jìn)而確定引起應(yīng)變量發(fā)生變化的主要自變量,并建立應(yīng)變量隨這些主要自變量變化關(guān)系的經(jīng)驗(yàn)?zāi)Ｐ?。在統(tǒng)計(jì)學(xué)中,把分析兩個(gè)或兩個(gè)以上自變量對(duì)一個(gè)自變量是否有線性影響關(guān)系的統(tǒng)計(jì)分析稱之為多元線性回歸.二元性線性回歸模型二元性回歸模型及其幾何解釋2.4

多元線性回歸分析二元性線性回歸幾何解釋多元性回歸分析多元性線性回歸模型多元性線性回歸模型的數(shù)據(jù)結(jié)構(gòu)多元性線性經(jīng)驗(yàn)回歸方程建立中心化經(jīng)驗(yàn)回歸方程為

一醫(yī)學(xué)工作者與了解糖尿病人的血糖(響應(yīng)變量)與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂(均為自變量)之間的多元回歸方程,以便了解糖尿病人的血糖與其他幾個(gè)血液理化指標(biāo)之間的關(guān)系,進(jìn)而探索糖尿病的有效治療方案.其隨機(jī)收集了27名糖尿病患者的血液化驗(yàn)樣本數(shù)據(jù)如下表所示,試就這些數(shù)據(jù)建立糖尿病人的血糖(響應(yīng)變量)與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂(均為自變量)之間的多元線性經(jīng)驗(yàn)回歸方程.多元線性回歸分析舉例計(jì)算建立經(jīng)驗(yàn)回歸方程所需各量最小二乘法的正規(guī)方程組記號(hào)及其含義一、回歸方程的方差分析多元線性回歸方程的假設(shè)檢驗(yàn)及其評(píng)價(jià)二、偏回歸系數(shù)檢驗(yàn)偏相關(guān)系數(shù)t檢驗(yàn)偏相關(guān)系數(shù)F檢驗(yàn)三、復(fù)相關(guān)系數(shù)與多元線性回歸顯著性檢驗(yàn)決定系數(shù)表示回歸離差平方和占總離差平方和的比例，它反映了進(jìn)入回歸方程所有自變量對(duì)響應(yīng)變量回歸貢獻(xiàn)的大小，決定系數(shù)愈接近1，說明回歸整體愈顯著。

復(fù)相關(guān)系數(shù)所有自變量xi與響應(yīng)變量y間的線性相關(guān)程度。如果只有一個(gè)自變量，此時(shí)，復(fù)相關(guān)系數(shù)等于樣本相關(guān)系數(shù)。復(fù)相關(guān)系數(shù)與下列臨界值比較可以檢驗(yàn)回歸顯著性。

糖尿病人血糖與其他血液理化指標(biāo)回歸的方差分析表ParameterStandardVariableDFEstimateErrortValuePr>|t|

變量自由度偏回歸系數(shù)標(biāo)準(zhǔn)誤t值P值Intercept225.943272.828592.100.0473X1220.142450.365650.390.7006X2220.351470.204201.720.0993X322-0.270590.12139-2.230.0363X4220.638200.243262.620.0155糖尿病人血糖與其他血液理化指標(biāo)回歸的偏回歸系數(shù)t檢驗(yàn)糖尿病人血糖與其他血液理化指標(biāo)回歸的偏回歸系數(shù)F檢驗(yàn)標(biāo)準(zhǔn)化回歸系數(shù)

變量回歸系數(shù)bj標(biāo)準(zhǔn)化回歸系數(shù)b’jljj標(biāo)準(zhǔn)差SX10.142450.0775866.01031.5934X20.351470.30931172.36482.5748X3-0.27059-0.33948350.31063.6706X40.63820.3977486.44071.8234Y222.55192.92571.殘差標(biāo)準(zhǔn)差（RootMSE）反映了回歸方程的精度，其值越小說明回歸效果越好。

三、其他有關(guān)評(píng)價(jià)指標(biāo)與評(píng)價(jià)2.決定系數(shù)（determinationcoefficient）說明所有自變量能解釋Y變化的百分比。取值(0,1)，越接近1模型擬合越好3.復(fù)相關(guān)系數(shù)(multiplecorrelation

coefficient)說明所有自變量與Y間的線性相關(guān)程度。即觀察值Y與估計(jì)值之間的相關(guān)程度。如果只有一個(gè)自變量，此時(shí)

4.校正決定系數(shù)（Adjusteddeterminationcoefficient）回歸方程的優(yōu)化（自變量的選擇）1.變量多增加了模型的復(fù)雜度

2.計(jì)算量增大

3.估計(jì)和預(yù)測(cè)的精度下降

4.模型應(yīng)用費(fèi)用增加一、全局擇優(yōu)法根據(jù)一些準(zhǔn)則（criterion）建立“最優(yōu)”回歸模型校正決定系數(shù)（考慮了自變量的個(gè)數(shù)）Cp準(zhǔn)則（C即criterion，p為所選模型中變量的個(gè)數(shù)；Cp接近（p+1）模型為最優(yōu)）AIC(Akaike’sInformationCriterion)準(zhǔn)則；AIC越小越好1.Cp準(zhǔn)則的計(jì)算公式2.AIC準(zhǔn)則的計(jì)算公式二、選優(yōu)法方法雙向篩選；引入有意義的變量（前進(jìn)法），剔除無(wú)意義變量（后退法）.前進(jìn)法自變量從無(wú)到有、從少到多。1.Y對(duì)每一個(gè)自變量作直線回歸，對(duì)回歸平方和最大的自變量作F檢驗(yàn)，有意義（p?。﹦t引入。2.在此基礎(chǔ)上，計(jì)算其它自變量的偏回歸平方和，選取偏回歸平方和最大者作F檢驗(yàn)，…。局限性：即后續(xù)變量的引入可能會(huì)使先進(jìn)入方程的自變量變得不重要。后退法先將全部自變量放入方程，然后逐步剔除。

1.偏回歸平方和最小的變量，作F檢驗(yàn)及相應(yīng)的p值,決定它是否剔除（p大）；

2.建立新的回歸方程。重復(fù)上述過程。局限性：自變量高度相關(guān)時(shí)，可能得不出正確的結(jié)果.逐步回歸法逐步回歸法與前進(jìn)法、后退法有所不同，它是一種對(duì)回歸方程中自變量的雙向篩選。該方法通過先引入有意義的自變量，后剔除無(wú)意義變量這種過程的反復(fù)重復(fù)，直至既沒有有意義自變量可引入回歸方程，也沒有無(wú)意義變量從回歸方程剔除為止。注意：入選標(biāo)準(zhǔn)愈低，能進(jìn)入模型的變量愈少。糖尿病人血糖與其他血液理化指標(biāo)的逐步回歸過程演示模型UQLyyy與x482.7144139.8375222.5519y與x169.4251153.1267222.5519y與x246.7873175.7645222.5519y與x357.9133164.6386222.5519逐步回歸第一步從方程中無(wú)自變量開始，選取一元回歸回歸離差平方和最大的自變量，作F檢驗(yàn)以決定是否選入方程。X4入選逐步回歸第二步模型UUiQFiP-Valuey與x482.7144y與x4,

x1107.790325.0759114.76155.24410.0311y與x4,x2107.407424.6931115.14445.14690.0326y與x4,

x3106.568323.8539115.98364.93600.0360在第一步基礎(chǔ)上，分別引入一個(gè)尚未進(jìn)入方程的自變量，選引入后回歸離差平方和最大者；對(duì)已進(jìn)入回歸方程的自變量檢驗(yàn)偏回歸顯著性，從而確定是否要剔除自變量。模型UUiQFiP-Valuey與x169.425138.3652

8.02330.0085y與x482.714425.07595.24410.0311y與x4,x1107.7903

114.7615剔出x1x1入選逐步回歸第三步在第二步基礎(chǔ)上，重復(fù)第二步的過程。模型UUiQFiP-Valuey與x4,x1107.7903

y與x4,x1,x2113.64725.8569y與x4,x1,x3121.748013.9897

100.80383.18470.0875變量模型UUiQFiP-Valuey與x4,1,3121.7480100.804x1y與x4,3106.568315.17973.46350.0756x3y與x4,1107.790313.9577

3.18470.0870x4y與x1,394.202627.5454

6.2849

0.0197

剔出x3x3入選逐步回歸第四步在第三步基礎(chǔ)上，重復(fù)第二步的過程。模型UUiQFiP-Valuey與x4,1,3,2133.710711.9627

88.84122.96240.099y與x4,1,3121.7480

變量模型UUiQFiP-Valuey與x4,1,3,2133.710788.8412x2y與x4,1,3

121.748011.9627x1y與x4,3,2133.09780.6129

0.15180.7006x3y與x4,1,2113.647220.0635x4y與x1,3,2105.916727.7940

剔出x1x2入選逐步回歸第五步在第四步基礎(chǔ)上，檢驗(yàn)是否還有自變量需要剔出。變量模型UUiQFiP-Valuey與x4,3,2133.097889.4540x4y與x3,2100.829232.2686x3y與x4,2107.407425.69046.60540.0171x2y與x4,3106.568326.5295

沒有可剔出的變量了變異來(lái)源自由度SSMSFP-Value回歸3133.09844.36611.41**0.0001**殘差2389.4543.889總變異26222.5519多元回歸應(yīng)用的條件觀察個(gè)體數(shù)n與變量個(gè)數(shù)m的比例一般至少應(yīng)為：n/m＝5～10殘差分析(檢驗(yàn)應(yīng)用條件)用標(biāo)準(zhǔn)化殘差發(fā)現(xiàn)異常點(diǎn)一般，觀測(cè)點(diǎn)的標(biāo)準(zhǔn)化殘差絕對(duì)值大于2，就認(rèn)為該觀測(cè)點(diǎn)為異常點(diǎn)（outlier也稱離群值）多重復(fù)共線性及其應(yīng)對(duì)方法

多元線性回歸中，若自變量間存在較強(qiáng)的線性相關(guān)關(guān)系，使一個(gè)或幾個(gè)自變量可以由另外的自變量線性表示時(shí)，則稱自變量間存在有復(fù)共線性(Multi-Colinearity)。復(fù)共線性的存在，可使得回歸系數(shù)最小二乘估計(jì)方差加大，回歸系數(shù)估計(jì)穩(wěn)定性差，有時(shí)甚至?xí)?yán)重背離實(shí)際情況，結(jié)果分析困難。復(fù)共線性危害的認(rèn)識(shí)現(xiàn)從該系統(tǒng)中，隨機(jī)抽取10個(gè)個(gè)體，觀測(cè)數(shù)據(jù)如下。試就這些數(shù)據(jù)建立經(jīng)驗(yàn)回歸方程，并比較經(jīng)驗(yàn)回歸系數(shù)與其理論值。x11.11.41.71.71.81.81.92.02.32.4x21.11.51.81.71.91.81.82.12.42.5y16.316.819.218.019.520.921.120.920.322.0復(fù)共線性存在性的識(shí)別顯然，復(fù)共線性有下列危害①統(tǒng)計(jì)上會(huì)使經(jīng)驗(yàn)回歸系數(shù)嚴(yán)重不穩(wěn)定；②應(yīng)用上，會(huì)使回歸系數(shù)的符號(hào)與專業(yè)知識(shí)推斷不符，自變量的重要性與專業(yè)認(rèn)識(shí)不符。1.符號(hào)檢驗(yàn)法若某自變量在多元回歸模型中的偏回歸系數(shù)的符號(hào)與相應(yīng)簡(jiǎn)單回歸系數(shù)(或簡(jiǎn)單相關(guān)系數(shù))的符號(hào)相反，表明有多重共線性存在，并確定該變量為引起多重共線性的變量。

2.簡(jiǎn)單相關(guān)系數(shù)矩陣法根據(jù)簡(jiǎn)單相關(guān)系數(shù)確定多重共線性的嚴(yán)重程度。一般認(rèn)為相關(guān)系數(shù)在0.6以上均可導(dǎo)致多重共線性。3.決定系數(shù)法整個(gè)方程決定系數(shù)R2高，但各自變量對(duì)應(yīng)的回歸系數(shù)均不顯著，則一定有復(fù)共線性。4.方差膨脹因子(thevarianceinflationfactor，VIF)法：方差膨脹因子表達(dá)式為VIFi=1/(1-Ri2)。其中Ri為自變量xi對(duì)其余自變量作回歸分析的復(fù)相關(guān)系數(shù)。當(dāng)VIFi很大時(shí)，表明自變量間存在多重共線性。5.條件數(shù)與特征分析法在自變量的觀測(cè)值構(gòu)成的設(shè)計(jì)矩陣X中，求出自變量相關(guān)系數(shù)矩陣R的特征值，如果某個(gè)特征值很小(如小于0.05)，或所有特征值的倒數(shù)之和為自變量數(shù)目的5倍以上，表明自變量間存在多重共線性關(guān)系。對(duì)多重共線性的兩點(diǎn)認(rèn)識(shí)：①在實(shí)際中，多重共線性是一個(gè)程度問題而不是有無(wú)的問題，有意義的區(qū)分不在于有和無(wú)，而在于多重共線性的程度。②多重共線性是針對(duì)固定的自變量而言，是一種樣本的特征，而非總體的特征。消除多重共線性的方法：1.增加樣本容量；2.利用先驗(yàn)信息改變；3.篩選自變量，刪除不必要的自變量或采用逐步回歸；4.針對(duì)性估計(jì)法：①嶺回歸(Ridgeregression)②主成分分析(Principalcomponentsanalysis)③偏最小二乘回歸法(Partialleastsquaresregression)

④Lasso(Theleastabsoluteshrinkageandselectionoperator)回歸以下對(duì)4種針對(duì)性方法簡(jiǎn)要介紹如下復(fù)共線性處理方法①嶺回歸(Ridgeregression)嶺回歸法是1970年Hoerl(霍爾)和Kennard(凱南德)提出來(lái)的方法。主要用以引入偏誤為代價(jià)，換取估計(jì)量方差的減小，回歸系數(shù)估計(jì)以下列方式實(shí)現(xiàn)②主成分分析(Principalcomponentsanalysis)主成分回歸法是另外一種常用的處理多重共線性的有偏估計(jì)方法，它通過提取主成分，將解釋變量集合轉(zhuǎn)化為相互正交的少數(shù)幾個(gè)主成分變量，試圖通過降維消除解釋變量之間的多重共線性，然后再實(shí)施最小二乘回歸。③偏最小二乘回歸法(Partialleastsquaresregression)

偏最小二乘回歸是1983年由H.Wold和C.Albano提出，其原理也是通過提取主成分方式來(lái)降維以消除多重共線性。在