1、統(tǒng)計思維,回歸的直觀理解與原理: 一元線性回歸,（一）問題的提出,例1 假定需要研究化肥施用量與糧食產(chǎn)量的關(guān)系，以便準確地定出化肥施用量的單位變化如何影響糧食產(chǎn)量的平均單位變化，進而確定合理的化肥施用量。,圖1 化肥施用量與糧食產(chǎn)量的散點圖,上述變量間關(guān)系的特點：,變量間關(guān)系不能用函數(shù)關(guān)系精確表達 一個變量的取值不能由另一個變量唯一確定 當變量 x 取某個值時，變量 y 的取值可能有幾個 各觀測點分布在直線周圍,問題,兩個變量之間有著密切的關(guān)系，但它們之間密切的程度并不能由一個變量唯一確定另一個變量，即它們間的關(guān)系是一種非確定性的關(guān)系。它們之間到底有什么樣的關(guān)系呢? 例1中由20組數(shù)據(jù)，糧食產(chǎn)

2、量與化肥施用量的關(guān)系式 是如何得到的？,解決方案,運用模型來擬合這些數(shù)據(jù)點。 觀測值分解成兩部分： y = b0 + b1 x + e 一元線性回歸模型,（二）一元線性回歸模型,描述因變量 y 如何依賴于自變量 x 和誤差項 的方程稱為回歸模型 一元線性回歸模型可表示為 y = b0 + b1 x + e y 是 x 的線性函數(shù)(部分)加上誤差項 線性部分反映了由于 x 的變化而引起的 y 的變化 誤差項 是隨機變量 反映了除 x 和 y 之間的線性關(guān)系之外的隨機因素對 y 的影響 是不能由 x 和 y 之間的線性關(guān)系所解釋的變異性 0 和 1 稱為模型的參數(shù),一元線性回歸模型 (基本假定),

3、因變量x與自變量y之間具有線性關(guān)系 在重復(fù)抽樣中，自變量x的取值是固定的，即假定x是非隨機的 誤差項是一個期望值為0的隨機變量，即E()=0。對于一個給定的 x 值，y 的期望值為E ( y ) = 0+ 1 x 對于所有的 x 值，的方差2 都相同 誤差項是一個服從正態(tài)分布的隨機變量，且相互獨立。即N(0 ,2 ) 獨立性意味著對于一個特定的 x 值，它所對應(yīng)的與其他 x 值所對應(yīng)的不相關(guān) 對于一個特定的 x 值，它所對應(yīng)的 y 值與其他 x 所對應(yīng)的 y 值也不相關(guān),回歸方程 (regression equation),描述 y 的平均值或期望值如何依賴于 x 的方程稱為回歸方程 一元線性

4、回歸方程的形式如下 E( y ) = 0+ 1 x,方程的圖示是一條直線，也稱為直線回歸方程 0是回歸直線在 y 軸上的截距，是當 x=0 時 y 的期望值 1是直線的斜率，稱為回歸系數(shù)，表示當 x 每變動一個單位時，y 的平均變動值,x,y,(xn , yn),(x1 , y1),(x2 , y2),(xi , yi),問題：回歸直線如何確定？,Karl Gauss的最小化圖,x,y,(xn , yn),(x1 , y1),(x2 , y2),(xi , yi),目標：找一條直線盡可能的擬合這n個樣本點。,（三）最小二乘估計 (least-squares estimation ),德國科學(xué)家

5、Karl Gauss(17771855)提出用最小化圖中垂直方向的誤差平方和來估計參數(shù) 使因變量的觀察值與估計值之間的誤差平方和達到最小來求得 和 的方法。即,用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小,問題,如何估計 使得 最小,解決方法,根據(jù)微積分法求極值的原理，通過求偏導(dǎo)數(shù)并命其為0而得到： 這組方程稱為正規(guī)方程組 經(jīng)過整理，可得？,其中， 記 可以簡寫為,經(jīng)過整理，可得,例1 假定需要研究化肥施用量與糧食產(chǎn)量的關(guān)系，以便準確地定出化肥施用量的單位變化如何影響糧食產(chǎn)量的平均單位變化，進而確定合理的化肥施用量。,最小二乘法求解回歸方程實例,解：,回歸方程

6、為：,直觀來看，回歸直線與20個樣本數(shù)據(jù)點都很接近，說明回歸直線對數(shù)據(jù)的擬合效果是好的。,圖1 化肥施用量與糧食產(chǎn)量的散點圖,最小二乘估計的軟件實現(xiàn)、輸出結(jié)果,回歸方程為：,小結(jié)：估計的回歸方程,一元線性回歸中估計的回歸方程為,用樣本統(tǒng)計量 和 代替回歸方程中的未知參數(shù) 和 ，就得到了估計的回歸方程,總體回歸參數(shù) 和 是未知的，必須利用樣本數(shù)據(jù)去估計,其中： 是估計的回歸直線在 y 軸上的截距， 是直線的斜率，它表示對于一個給定的 x 的值， 是 y 的估計值，也表示 x 每變動一個單位時， y 的平均變動值 .,“回歸”名稱的由來,十九世紀，英國生物學(xué)家兼統(tǒng)計學(xué)家高爾頓研究父母身高與其子女身高的遺傳問題時，觀察了1078對夫婦，以每對夫婦的平均身高作為x（單位：英寸，1英寸=2.54厘米），取他們的一個成年兒子的身高作為y，繪制