1、多元線性回歸,內(nèi)容,基礎概念 一元線性回歸 一元回歸方程、線性回歸條件 步驟 強影響點判斷 多元線性回歸 1、回歸方程、線性回歸條件 2、線性回歸步驟 3、評價方程的優(yōu)度 4、強影響點判斷 5、多重共線性的判斷,基礎概念,回歸,什么是回歸？ 變量間存在相關關系時，也就具備了建立預測關系的基礎。在相關變量見建立預測方程式的統(tǒng)計學方法叫做回歸分析。 在問卷調(diào)查中用得多 包括線性和非線性、一元和多元回歸分析,一元和多元線性回歸,一元線性回歸：在兩個變量具有線性關系的基礎上，建立預測方程式。用一個變量預測另一個變量。 如兒童的身高和體重存在線性相關，當?shù)弥砀邥r，預測被試的體重范圍。 多元線性回歸：多

2、個變量都與一個變量存在相關關系，建立用預測方程式。用多個變量預測某一個變量。 例如：兒童的體重和年齡，都與身高存在線性關系，當已知體重和年齡時，對身高進行預測。,一元和多元線性回歸的差別在于自變量的個數(shù),一元線性回歸,一元線性回歸方程（使用原始數(shù)據(jù)計算的回歸方程）,Y是因變量，X是自變量，alpha和beta是待求的參數(shù)。 = （y/ x）*r，稱為非標準化回歸系數(shù) = y- x,標準化回歸方程（使用標準化的數(shù)據(jù)計算的回歸方程）,ZY=BZx B = （Zy/ Zx）*r=1*r=r，稱為標準化回歸系數(shù),兩種方程表現(xiàn)形式,回歸分析的一般過程,1、提出假設的回歸模型，確定自變量和因變量。自變量是

3、現(xiàn)實中容易測量的，而因變量是難測量的，如幸福感、自我效能感等 2、估計回歸是線性還是非線性，用散點圖判斷。如果是線性則用線性回歸。(必須做) 3、建立回歸方程 4、回歸方程的有效性檢驗，測定系數(shù)和回歸系數(shù),一元線性回歸的條件,1、線性趨勢（用散點圖檢測） 2、獨立性：因變量y的取值相互獨立，殘差獨立。 用durbin-watson計算，值在0-4。如果殘差間相互獨立，則取值在2附近。D小于2說明相鄰誤差存在負相關。大于2，說明存在正相關 3、正態(tài)性：自變量的任何一個線性組合，因變量y都服從正態(tài)分布，殘差正態(tài)（直方圖和PP圖）。 4、方差齊性：自變量的任何一個線性組合，因變量y的方差均相同（把Z

4、PRED放入Y軸，把ZRESID放入X軸做圖）,注意的問題,強影響點判斷（極端值的判斷） Cooks distance：當值1，表明是特別大的極端值。 leverage值（杠桿值）：當值3倍均數(shù)，均數(shù)為（自變量個數(shù)+1）/N 畫散點圖：最后把cook距離值和leverage杠桿值分別作為X和Y軸畫散點圖，方便判斷。 強影響點處理 判斷原因，考慮是否刪除,一元線性回歸例子,建立體重和肺活量的回歸方程（用練習1的數(shù)據(jù)）,一元線性回歸步驟,先探索數(shù)據(jù)，判斷是否整態(tài)、極端值 畫散點圖（畫出散點圖后，雙擊圖，右鍵選add fit line at total tool） Analyze-regressio

5、n-把肺活量放入因變量dependent-體重放入自變量independent Statistics-默認的-residuals-durin waston save distance 勾上Cooks和leverage值 Plots-histogram 和 normal probability plot勾上-把ZPRED放入Y，把ZRESID放入X軸OK, = （y/ x）*r =（0.41989/7.426）*0.881=0.04981 = y- x =3.1027-0.04981*53.43=0.441,原始回歸方程Y=0.0498X+0.441 標準化回歸方程Zy=0.881Zx,測定系數(shù)

6、,判斷因變量Y是獨立的,回歸方程的顯著性檢驗,回歸方程的系數(shù)、標準化回歸系數(shù)、回歸系數(shù)的顯著性檢驗,決定系數(shù),決定系數(shù)R2 值域在0,1,越接近于1，表明方程的自變量對y的解釋能力越強。 當變量的關系是線性關系時，R2越大，說明回歸方程擬合數(shù)據(jù)越好，共變越多。,校正的決定系數(shù)： 隨著自變量的增加，R2自然就會隨之增加。所以R2是一個受自變量個數(shù)與樣本規(guī)模影響的系數(shù)，一般的常規(guī)是1:10為好。當這個比例小于1:5時，R2傾向于高估實際的擬合優(yōu)度。為了避免這種情形，常用校正的R2代替。,回歸方程顯著：說明X與Y 有顯著的線性關系。用該方程表示X與Y之間的關系是可靠的。如果不顯著，則不能用回歸方程表

7、示X與Y 之間的關系。,殘差的正態(tài)性,對比直方圖和正態(tài)曲線的相似性，是否是中間高，兩頭低。P-P圖的點是不是接近對角線。,殘差齊性,多元回歸,偏回歸系數(shù)：當其他變量不變時，xi每改變一個單位，所預測的y的平均變化量。受到自變量的單位影響。因此可以用標準化回歸系數(shù)。 標準化偏回歸系數(shù)：可以用來比較哪個自變量是影響y的主要因素，哪個是次要因素（即哪個自變量對y的影響更多）。,多元回歸方程,回歸系數(shù)計算,標準化偏回歸系數(shù)(假如有兩個自變量) B1=(r1y-r2y*r12)/(1-r212) B2=(r2y-r1y*r12)/(1-r212) 非標準化偏回歸系數(shù) b1=B1*（sy/sx1）,多元回

8、歸的樣本量要求,多元回歸模型的樣本量要求 根據(jù)經(jīng)驗，希望樣本量在自變量數(shù)的20倍以上。,比如：有5個自變量，則樣本量應該在100以上，少于此數(shù)可能會出現(xiàn)檢驗效能不足的問題,多元線性回歸的條件,同一元線性回歸的條件,回歸分析的5個步驟,回歸分析的步驟,1、做出散點圖，觀察變量間的趨勢（是否線性）。這些圖是用來觀察是否是線性趨勢。如果不是線性，可能考慮其他對變量進行預處理，或用曲線回歸,注意：是否是曲線關系，或者強影響點造成的線性，或者極端值）,2、考察數(shù)據(jù)的分布，進行必要的預處理。 3、進行直線回歸，選入變量進入計算。 回歸方程是否顯著 偏回歸系數(shù)顯著 根據(jù)決定系數(shù)，校正決定系數(shù)判斷擬合得好不好

9、。決定最優(yōu)方程,回歸分析的步驟,4、殘差分析，分析兩方面： 殘差是否獨立：用durbin-watson進行分析（取值02。 殘差是否正態(tài)：采用殘差圖顯示（勾選Histogram和Normal probability plot就行）。 殘差的方差齊性：以標準化預測值（ZPRED）為橫軸，標準化殘差(ZRESID)為縱軸做散點圖。若散點隨機分布，且絕大部分在2倍標準差以內(nèi)，則最好，表明沒有相關。如最左圖最好。中間圖隨著x值，殘差越來越大。最右圖，殘差非正態(tài)。,回歸分析的步驟,殘差是否正態(tài)：畫圖來評價 1、殘差直方圖：標準化殘差為x軸，標準化殘差頻數(shù)為Y軸。與正態(tài)曲線比較，是否擬合。 2、殘差p-p

10、圖：累積殘差觀測分布為x軸，期望分布為Y軸。如果符合的話數(shù)據(jù)會和理論的直線（對角線）重合。,回歸分析的步驟,5、根據(jù)散點圖，對強影響點進行判斷和對多重共線性進行判斷（自變量之間不能有強相關。）最后兩幅圖是有強影響點。需要判斷是否數(shù)據(jù)出錯，出錯則刪掉。,回歸分析的步驟,步驟同一元回歸,補充步驟 在statistic勾上R square change，part and partial correlation（半偏相關和偏相關），conlinerarity diagnostics（共線性判斷）,分層回歸方法,Enter：強制進入 Forward：前向選擇法 Backward：反向刪除法 Stepwi

11、se：逐步回歸，最常用 把需要控制的變量用這種方法強制enter法放入方程 自由進入變量用forward、backward和stepwise方法放入方程,Enter法,逐步回歸法（可以得出更優(yōu)的方程）,決定系數(shù)的變化量,回歸方程的顯著性檢驗,保留的變量，因為回歸系數(shù)和偏回歸系數(shù)顯著,刪除的變量，因為標準化回歸系數(shù)不顯著,多重共線性判斷,回歸方程的顯著性檢驗 偏回歸系數(shù)的顯著性檢驗 決定系數(shù)R2，校正決定系數(shù)R2 復相關系數(shù)R,回歸方程的解釋能力,回歸方程的解釋能力,回歸方程的顯著性檢驗 當顯著時，便可以認為回歸方程中至少有一個回歸系數(shù)是顯著的，但是并不一定多有的回歸系數(shù)都是顯著的。 偏回歸系數(shù)的顯著性檢驗 判斷指定的某個自變量的回歸系數(shù)是否顯著。顯著的話，代表與殘差相比，該x變量對y的貢獻是顯著的。 根據(jù)回歸系數(shù)顯著、偏回歸系數(shù)顯著、校正的決定系數(shù)判斷最優(yōu)方程。,復相關系數(shù)R 值域在0,1,是因變量y與所有自變量之間的多元線性相關程度的度量。 R值越接近于1，表明y與所有x之間的線性關系越密切。,對強影響點的