一元回歸及簡(jiǎn)單相關(guān)分析第1頁(yè)/共73頁(yè)變量之間的關(guān)系：函數(shù)關(guān)系（確定性關(guān)系），變量之間依公式的關(guān)系而存在。相關(guān)關(guān)系，一種變量受另一種變量的影響，兩者之間既有關(guān)系，但又不存在完全確定的函數(shù)關(guān)系。第2頁(yè)/共73頁(yè)內(nèi)容概要第一節(jié)回歸與相關(guān)的基本概念第二節(jié)一元線性回歸方程第四節(jié)一元非線性回歸第三節(jié)一元線性回歸的檢驗(yàn)第五節(jié)相關(guān)第3頁(yè)/共73頁(yè)

第一節(jié)回歸與相關(guān)的基本概念1、回歸的概念

回歸(regression)：設(shè)有兩個(gè)隨機(jī)變量X和Y，如果對(duì)于變量X的每一個(gè)可能的值xi，另一個(gè)隨機(jī)變量Y都有一個(gè)確定的分布與之相對(duì)應(yīng)，則稱隨機(jī)變量Y對(duì)變量X存在著回歸。一、回歸第4頁(yè)/共73頁(yè)自變量(independentvariable):在具有回歸關(guān)系的變量中，自身發(fā)生變化從而引起其他變量隨之發(fā)生變化的變量，稱為自變量，也稱解釋變量。隨機(jī)變量X為自變量。因變量(dependentvariable):依據(jù)自變量的變化而發(fā)生變化的隨機(jī)變量稱為因變量，也稱為反應(yīng)變量。隨機(jī)變量Y

為因變量。一元回歸：只有一個(gè)自變量的回歸，稱為一元回歸，也稱為簡(jiǎn)單回歸。2、自變量與因變量3、一元回歸與多元回歸多元回歸：有多個(gè)自變量的回歸，稱為多元回歸。第5頁(yè)/共73頁(yè)4、條件平均數(shù)

(conditionalmean)條件平均數(shù)：在具有回歸關(guān)系的兩變量之間，對(duì)于自變量X的任一可能的值xi，因變量Y與之對(duì)應(yīng)的分布的平均數(shù)μY·X=xi，稱為自變量X=xi時(shí)因變量Y的條件平均數(shù)。第6頁(yè)/共73頁(yè)相關(guān)：設(shè)有兩個(gè)隨機(jī)變量X和Y，對(duì)于任一隨機(jī)變量的每一個(gè)可能的值，另一個(gè)隨機(jī)變量都有一個(gè)確定的分布與之相對(duì)應(yīng)，即在Y對(duì)X存在回歸關(guān)系的同時(shí)，X對(duì)Y也存在回歸關(guān)系，則稱這兩個(gè)隨機(jī)變量間存在相關(guān)關(guān)系。二、相關(guān)

(correlation)回歸——變量間的依存關(guān)系相關(guān)——變量間的互依關(guān)系第7頁(yè)/共73頁(yè)“回歸”名稱的由來(lái)

英國(guó)統(tǒng)計(jì)學(xué)家F·Galton（1822——1911年）和他的學(xué)生、現(xiàn)代統(tǒng)計(jì)學(xué)的奠基者之一K·Pearson(1856——1936年)在研究父母身高與其子女身高的遺傳問(wèn)題時(shí)，觀察了1078對(duì)夫婦，以每對(duì)夫婦中父親的身高作為解釋變量X，而取他們的一個(gè)成年兒子的身高作為被解釋變量Y（應(yīng)變量），將結(jié)果在平面直角坐標(biāo)系上繪成散點(diǎn)圖，發(fā)現(xiàn)趨勢(shì)近乎一條直線。計(jì)算出的回歸直線方程為：

第8頁(yè)/共73頁(yè)50.250.7樣本條件平均數(shù)第9頁(yè)/共73頁(yè)

第二節(jié)一元線性回歸方程

用自變量X為橫軸，因變量Y為縱軸，在XY平面內(nèi)標(biāo)出(x1,y1)，(x2,y2)，…，(xn,yn)這些點(diǎn)，就構(gòu)成一幅散點(diǎn)圖。一、散點(diǎn)圖(scatterdiagram)：散點(diǎn)圖1、概念第10頁(yè)/共73頁(yè)2、常見(jiàn)類型的散點(diǎn)圖XYXYX00000YXYXYXY第11頁(yè)/共73頁(yè)⑴兩變量之間的關(guān)系是否密切，能否由

X來(lái)估計(jì)Y；3、根據(jù)散點(diǎn)圖考慮以下問(wèn)題：⑵兩變量之間的關(guān)系是呈一條直線（即線性的），還是呈某種曲線；⑶是否存在某個(gè)點(diǎn)偏離過(guò)大；⑷是否存在其他規(guī)律。第12頁(yè)/共73頁(yè)4、實(shí)例【例】土壤內(nèi)NaCI含量對(duì)植物的生長(zhǎng)有很大的影響，NaCI含量過(guò)高，將增加組織內(nèi)無(wú)機(jī)鹽的累積，抑制植物的生長(zhǎng)。下表中的數(shù)據(jù)，是每1000g土壤中所含NaCI的不同克數(shù)(X)，對(duì)植物單位葉面積干物重(Y)的影響，作出7對(duì)數(shù)據(jù)的散點(diǎn)圖。土壤NaCI含量X/

g.kg-3.24.04.8干重Y/

mg.dm-2809095115130115135以每1000g土壤中NaCI含量為橫軸，以單位葉面積干物重為縱軸，建立坐標(biāo)系，依據(jù)所給數(shù)據(jù)作出散點(diǎn)圖。解：不同NaCI含量對(duì)單位葉面積干物重影響的散點(diǎn)圖第13頁(yè)/共73頁(yè)土壤NaCI含量

/

g.kg-3.24.04.8干重/

mg.dm-2重復(fù)值1809095115130115135210085899410612513737510711510310312812848993921101101431275911031151131281321556799212010813112113271017895121117129148885105951101211121179839310510811412013410798598111116130132平均數(shù)86.293.1101.9109.3117.6125.5134.5增加每一NaCI含量下觀測(cè)次數(shù)(10次重復(fù)觀測(cè)值及平均值如下)

每個(gè)NaCI含量下10次重復(fù)的散點(diǎn)圖“?”表示在各xi處y的平均值；“+”是第一次觀測(cè)的數(shù)據(jù)第14頁(yè)/共73頁(yè)二、一元正態(tài)線性回歸模型

若X是可控制的變量，在實(shí)驗(yàn)無(wú)限重復(fù)之后，則可以得到在各xi上的Y的條件平均數(shù)μY·X

，這些平均數(shù)構(gòu)成一條直線。μY=α+βXY:NID(α+βX,σ2)ε

:NID(0,σ2)Y

=α+βX+ε第15頁(yè)/共73頁(yè)SimpleLinearRegressionModelY的總體均數(shù)自變量Intercept總體截距Slope總體斜率第16頁(yè)/共73頁(yè)LINE假定xy標(biāo)準(zhǔn)差相等

EQUALSTANDARDDEVIATION

對(duì)于任何X值，隨機(jī)變量Y的標(biāo)準(zhǔn)差Y|X相等獨(dú)立INDEPENDENCE

每一觀察值之間彼此獨(dú)立y|X=α+x線性LINEARITY

反應(yīng)變量均數(shù)與X間呈直線關(guān)系

Y|X=α+X直線回歸模型的四個(gè)假定正態(tài)

NORMALITY

對(duì)于任何給定的X,Y服從正態(tài)分布，均數(shù)為Y|X，標(biāo)準(zhǔn)差為Y|X第17頁(yè)/共73頁(yè)1、估計(jì)直線的一般表達(dá)式：a：截距(intercept)，直線與Y軸交點(diǎn)的縱坐標(biāo)，表示X＝0時(shí)Y的平均值。b：斜率(slope)，回歸系數(shù)(regressioncoefficient)。意義：X每改變一個(gè)單位，Y平均改變b個(gè)單位。

b>0，Y隨X的增大而增大（減少而減少）——斜上；

b<0，Y隨X的增大而減小（減少而增加）——斜下；

b=0，Y與X無(wú)直線關(guān)系——水平。｜b｜越大，表示Y隨X變化越快，直線越陡峭。三、參數(shù)α和β的估計(jì)第18頁(yè)/共73頁(yè)回歸系數(shù)：一元線性回歸線的斜率稱為回歸系數(shù)，表示自變量每改變一個(gè)單位，因變量平均改變的單位數(shù)。回歸線：根據(jù)回歸方程所畫(huà)出的直線稱為回歸線。2、基本概念

回歸方程：稱為Y對(duì)X的回歸方程。第19頁(yè)/共73頁(yè)3、最優(yōu)回歸線的估計(jì)原理

最小二乘法(methodofleastsquare)原理：在各種離差平方和中，以距平均數(shù)的離差平方和最小。在回歸問(wèn)題中，則在xi處Y的實(shí)際觀測(cè)值yi對(duì)條件平均數(shù)μY·xi離差平方和最小，也就是使各散點(diǎn)到直線的縱向距離的平方和最小。即觀測(cè)值與回歸估計(jì)值之間的離差平方和達(dá)到最小時(shí)的回歸線作為最好的回歸線。第20頁(yè)/共73頁(yè)最小二乘(Leastsquares)法圖解Yi（Y的估計(jì)值）

=a+bXi

Yi估計(jì)值i殘差i=Yi–估計(jì)值i尋找使S(殘差i)2最小的直線第21頁(yè)/共73頁(yè)33LeastSquaresMethodThe“best”lineistheonethatminimizesthesumofsquaredverticaldifferencesbetweenthepointsandtheline.wwww4114(1,2)22(2,4)(3,1.5)Sumofsquareddifferences=(2-1)2+(4-2)2+(1.5-3)2+(4,3.2)(3.2-4)2=6.89Sumofsquareddifferences=(2-2.5)2+(4-2.5)2+(1.5-2.5)2+(3.2-2.5)2=3.992.5LetuscomparetwolinesThesecondlineishorizontalThesmallerthesumofsquareddifferencesthebetterthefitofthelinetothedata.第22頁(yè)/共73頁(yè)4、β和α的最小二乘估計(jì)⑴

β的最小二乘估計(jì)：⑵

α的最小二乘估計(jì)：X和Y的校正交叉乘積和，用SXY表示。X的校正平方和，用SXX表示。Y的總校正平方和，用SYY表示。第23頁(yè)/共73頁(yè)四、回歸方程的計(jì)算實(shí)例【例10.1】根據(jù)下表中的數(shù)據(jù)，計(jì)算干物重在NaCI含量上的回歸方程。土壤NaCI含量X/

g.kg-3.24.04.8干重Y/

mg.dm-2809095115130115135第24頁(yè)/共73頁(yè)解：①列出回歸方程計(jì)算表：（編碼法）XX’=X-2.4X’2YY’

=Y-110Y’2X’Y’0-2.45.7680-30900720.8-1.62.5690-20400321.6-0.80.6495-15225122.4001155250413020400164.01.62.5611552561352562560和017.92-102600200②利用公式計(jì)算SXY

，SXX

，SYY

：第25頁(yè)/共73頁(yè)③計(jì)算b和a：④得到回歸方程，作出回歸線：干物重在NaCI含量上的回歸線第26頁(yè)/共73頁(yè)

第三節(jié)一元線性回歸的檢驗(yàn)一、b、a和e的數(shù)學(xué)期望值與方差

第27頁(yè)/共73頁(yè)二、b和a的顯著性檢驗(yàn)——t檢驗(yàn)1、b的顯著性檢驗(yàn)

H0:β

=0(β0)HA:β≠0(β0)檢驗(yàn)統(tǒng)計(jì)量為：|t|>tn-2,α/2時(shí)，拒絕H0，接受HA，說(shuō)明兩變量間存在顯著的線性關(guān)系，回歸顯著；|t|<tn-2,α/2時(shí)，接受H0，說(shuō)明兩變量間不存在顯著的線性關(guān)系，回歸不顯著。df=n-2第28頁(yè)/共73頁(yè)【例10.2】以例10.1中的數(shù)據(jù)為例，進(jìn)行回歸系數(shù)

b的顯著性檢驗(yàn)。t5,0.01/2=4.032，

t>t5,0.01/2，拒絕H0，即拒絕β

=0，說(shuō)明兩變量間存在極顯著的線性關(guān)系，回歸極顯著。結(jié)論：干物重在NaCI含量上的回歸極顯著。解：第29頁(yè)/共73頁(yè)2、a的顯著性檢驗(yàn)

H0:α=α0HA:α≠α0檢驗(yàn)統(tǒng)計(jì)量為：|t|>tn-2,α/2時(shí)，拒絕H0，接受HA；|t|<tn-2,α/2時(shí)，接受H0。df=n-2第30頁(yè)/共73頁(yè)【例10.5】以例10.1中的數(shù)據(jù)為例，檢驗(yàn)a是

否抽自α

=100的總體。t5,0.05/2=2.571，|t|>t5,0.05/2，拒絕H0，即拒絕α

=100。結(jié)論：a不是抽自α

=100的總體

。解：第31頁(yè)/共73頁(yè)三、兩個(gè)回歸方程的比較對(duì)兩個(gè)回歸方程的b和a的差異顯著性檢驗(yàn)之后，就能判斷它們是否來(lái)自同一總體。若來(lái)自同一總體，則可以將它們合并為一個(gè)回歸方程。第32頁(yè)/共73頁(yè)⑴檢驗(yàn)MSe1和MSe2有無(wú)顯著差異：F>Fα/2時(shí)，拒絕H0，說(shuō)明兩回歸線的總體方差不一致，差異顯著；F<Fα/2時(shí)，接受H0，說(shuō)明兩回歸線有一共同的總體方差，估計(jì)值為：H0:σ12=σ12HA:σ12≠σ12檢驗(yàn)統(tǒng)計(jì)量為：(df:n大-2,n小-2)第33頁(yè)/共73頁(yè)|t|>tα/2時(shí)，說(shuō)明兩回歸線的回歸系數(shù)差異顯著；|t|<tα/2時(shí)，說(shuō)明兩回歸線有一共同的總體回歸系數(shù)，估計(jì)值為：H0:β1-β2=0HA:β1-β2≠0⑵檢驗(yàn)b1和b2有無(wú)顯著差異：檢驗(yàn)統(tǒng)計(jì)量為：df:(n1-2)+(n2-2)或第34頁(yè)/共73頁(yè)|t|>tα/2時(shí)，說(shuō)明兩回歸線的a差異顯著；|t|<tα/2時(shí)，說(shuō)明兩回歸線的a有一共同的總體，合并值為：H0:α1-α2=0HA:α1-α2≠0檢驗(yàn)統(tǒng)計(jì)量為：df:(n1-2)+(n2-2)或⑶

檢驗(yàn)a1和a2有無(wú)顯著差異：第35頁(yè)/共73頁(yè)以上的檢驗(yàn)，都是后者在前者差異不顯著的基礎(chǔ)上進(jìn)行的，若前者差異顯著，后面的檢驗(yàn)則可終止；若三者的檢驗(yàn)，差異均不顯著，則兩回歸方程可合并為一個(gè)回歸方程。第36頁(yè)/共73頁(yè)【例10.6】在優(yōu)質(zhì)育種工作中，為了快速篩選優(yōu)良原始材料，采用染料結(jié)合（DBC）法測(cè)定種子中的堿性氨基酸含量。實(shí)驗(yàn)測(cè)定了大麥和黑麥每試樣的染料結(jié)合力（DBC）與堿性氨基酸含量，結(jié)果如下，試檢驗(yàn)兩回歸線有無(wú)顯著差異。第37頁(yè)/共73頁(yè)列出計(jì)算表：解：第38頁(yè)/共73頁(yè)⑴檢驗(yàn)MSe1和MSe2有無(wú)顯著差異：F<Fα/2，接受H0，兩回歸線有一共同的總體方差，估計(jì)值為：H0:σ12=σ12HA:σ12≠σ12檢驗(yàn)統(tǒng)計(jì)量為：第39頁(yè)/共73頁(yè)|t|<tα/2，兩回歸線有一共同的總體回歸系數(shù)，估計(jì)值為：H0:β1-β2=0HA:β1-β2≠0⑵檢驗(yàn)b1和b2有無(wú)顯著差異：檢驗(yàn)統(tǒng)計(jì)量為：第40頁(yè)/共73頁(yè)|t|>tα/2，兩回歸線的a差異顯著。H0:α1-α2=0HA:α1-α2≠0檢驗(yàn)統(tǒng)計(jì)量為：⑶

檢驗(yàn)a1和a2有無(wú)顯著差異：第41頁(yè)/共73頁(yè)|t|>tα/2，兩回歸線的a差異顯著。若檢驗(yàn)a1和a2無(wú)顯著差異，估計(jì)值：第42頁(yè)/共73頁(yè)X四、一元回歸的方差分析1、無(wú)重復(fù)時(shí)的情況

第43頁(yè)/共73頁(yè)Y的離均差平方和的分解第44頁(yè)/共73頁(yè)幾個(gè)平方和的意義第45頁(yè)/共73頁(yè)剩余（殘差）標(biāo)準(zhǔn)差SY|X

度量了實(shí)際散點(diǎn)遠(yuǎn)離回歸直線的離散程度，反映了模型的可靠性。越小模型越好。

tb檢驗(yàn)，區(qū)間的計(jì)算均需要使用這一值。第46頁(yè)/共73頁(yè)檢驗(yàn)統(tǒng)計(jì)量為：F>F1,n-2,α?xí)r，拒絕H0：β＝0，說(shuō)明兩變量的回歸關(guān)系顯著；F<F1,n-2,α?xí)r，接受H0，說(shuō)明兩者的回歸關(guān)系不顯著。兩種檢驗(yàn)是等價(jià)的。第47頁(yè)/共73頁(yè)實(shí)例以例10.1中的數(shù)據(jù)為例，做回歸顯著性的方差分析。將以上結(jié)果列成方差分析表結(jié)論是回歸極顯著。第48頁(yè)/共73頁(yè)2、有重復(fù)時(shí)的情況

總校正平方和做如下分解：

SSpe為純實(shí)驗(yàn)誤差平方和(pureexperimentalerrorsumofsquares)，是完全由實(shí)驗(yàn)誤差引起的。

SSLOF為失擬平方和(lackoffitsumofsquares)，是模型選擇不當(dāng)，非線性因素等原因造成的。

第49頁(yè)/共73頁(yè)設(shè)實(shí)驗(yàn)共收集i=1,2,…,n對(duì)數(shù)據(jù)，在每一xi下做了j=1,2,…,m次重復(fù)。

df=mn-1

df=1

df=n-2

df=mn-n

第50頁(yè)/共73頁(yè)首先用純誤差均方對(duì)

失擬均方做檢驗(yàn)：

若F檢驗(yàn)結(jié)果是顯著的，可能原因：⑴除X外還有

其他影響Y的因素；⑵模型選擇不當(dāng)；⑶X和Y

無(wú)關(guān)。沒(méi)有必要檢驗(yàn)下去，應(yīng)找出造成SSLOF過(guò)

大的原因，做進(jìn)一步的分析。若F檢驗(yàn)結(jié)果不顯著，說(shuō)明失擬平方和基本上是

由試驗(yàn)誤差造成的，這時(shí)將失擬平方和與純誤

差平方和合并，用合并后的平方和對(duì)回歸平方

和做檢驗(yàn)。第51頁(yè)/共73頁(yè)然后用合并后的均方對(duì)

回歸均方做檢驗(yàn)：

若第二次F檢驗(yàn)結(jié)果是顯著的，表明兩變量之間存在顯著的回歸關(guān)系。若第二次F檢驗(yàn)結(jié)果是不顯著的，表明兩變量之間的回歸關(guān)系不顯著，可能原因：⑴X與Y不存在線性關(guān)系；⑵試驗(yàn)誤差過(guò)大。第52頁(yè)/共73頁(yè)【例10.7】以表10-2中的前兩次重復(fù)數(shù)據(jù)為例，用方差分析的方法檢驗(yàn)回歸的顯著性。第53頁(yè)/共73頁(yè)列出方差分析表：

解：第54頁(yè)/共73頁(yè)第一步用MSpe對(duì)MSLOP

做檢驗(yàn)：

差異不顯著。第二步將MSpe和MSLOP

合并，用合并后的均方對(duì)回歸均方做檢驗(yàn)：

F1,12,0.01=9.33，F(xiàn)>F1,12,0.01。結(jié)論是兩變量之間存在極顯著的回歸關(guān)系。第55頁(yè)/共73頁(yè)五、點(diǎn)估計(jì)與區(qū)間估計(jì)1、對(duì)α和β的估計(jì)

β的1-α置信區(qū)間為：

α的1-α置信區(qū)間為：

區(qū)間估計(jì)與顯著性檢驗(yàn)的結(jié)果是一致的。

α和β的點(diǎn)估計(jì)分別是a和b第56頁(yè)/共73頁(yè)2、對(duì)回歸線μY.X的估計(jì)

當(dāng)X為某一指定值x0時(shí)，通過(guò)回歸方程計(jì)算所得到的回歸值是μY.X=x0的點(diǎn)估計(jì)值。在X=x0時(shí)，總體回歸線μY.X=x0的1-α置信區(qū)間為：

μY.X=x0的1-α置信區(qū)間與x0有關(guān)，是兩條對(duì)稱的弧線，①x0不同，置信區(qū)間不同；②當(dāng)時(shí)，區(qū)間長(zhǎng)度最小。第57頁(yè)/共73頁(yè)3、對(duì)y0的估計(jì)

在X=x0時(shí)，y0的1-α置信區(qū)間為：

y0的1-α置信區(qū)間也與x0有關(guān)，也是兩條對(duì)稱的弧線，①x0不同，置信區(qū)間不同；②當(dāng)時(shí)，區(qū)間長(zhǎng)度最小。當(dāng)X為某一指定值x0時(shí)，通過(guò)回歸方程計(jì)算所得到的回歸值是y0的點(diǎn)估計(jì)值。第58頁(yè)/共73頁(yè)第59頁(yè)/共73頁(yè)六、一元回歸分析的意義1、預(yù)報(bào)(forecast)

預(yù)報(bào)就是估計(jì)，由一個(gè)變量去估計(jì)另一個(gè)變量，點(diǎn)預(yù)報(bào)就是點(diǎn)估計(jì)，區(qū)間預(yù)報(bào)就是區(qū)間估計(jì)。預(yù)報(bào)通常是指區(qū)間預(yù)報(bào)。在做預(yù)報(bào)時(shí)應(yīng)注意，不能隨意超出計(jì)算回歸方程時(shí)所研究的范圍，建立的回歸方程僅適用于特定范圍，不得隨意外推或任意“外延”；建立的回歸方程要有實(shí)際意義。2、減少實(shí)驗(yàn)誤差

由于引進(jìn)了回歸，從總平方和中除去由于回歸引起的平方和以后，就大大降低了誤差平方和。在引進(jìn)自變量以后所得到的實(shí)驗(yàn)誤差，才是更真實(shí)的實(shí)驗(yàn)誤差。第60頁(yè)/共73頁(yè)一、相關(guān)系數(shù)相關(guān)系數(shù)(correlationcoefficient)，是指由于回歸因素所引起的變差與總變差之比的平方根。說(shuō)明兩變量相關(guān)的密切程度和方向。第五節(jié)

相關(guān)

（correlation）樣本相關(guān)系數(shù)：總體相關(guān)系數(shù)：第61頁(yè)/共73頁(yè)r無(wú)單位，-1≤

r≤

1。二、相關(guān)系數(shù)的性質(zhì)樣本相關(guān)系數(shù)平方為：r>0---正相關(guān)（positivecorrelation)r<0---負(fù)相關(guān)(negativecorrelation)

（與回歸系