第十一章多重線性回歸分析2內容基本原理方法簡介分析步驟幾點補充3一、方法簡介

1.1分析目的與方法選擇研究一個因變量與一個自變量間的線性關系時簡單線性回歸分析研究一個因變量與多個自變量間的線性關系時多重線性回歸分析一、方法簡介1.3數(shù)據(jù)結構表1進行多重線性回歸分析資料的數(shù)據(jù)結構5編號X1X2…XkY1X11X12…X1kY12X21X22…X2kY2：：：：：nXn1Xn2…XnkYn6二、基本原理

2.1原理簡介多重線性回歸模型：

Y=b0+b1X1+b2X2+…+bkXk+e=bX+e

其中，bj(j=0,1,2…

,k)為未知參數(shù)，e為隨機誤差項。7二、基本原理多重線性回歸模型中包含多個自變量，它們同時對因變量Y發(fā)生作用。

若要考察一個自變量對Y

的影響，就必須假設其他自變量保持不變。因此，多重線性回歸模型中的回歸系數(shù)為偏回歸系數(shù)。它反映的是當模型中的其他自變量不變時，其中一個自變量對因變量Y的均值的影響。9二、基本原理

2.2前提條件線性——指自變量與因變量之間的關系是線性的獨立性——指各觀測值之間是相互獨立的正態(tài)性——指自變量取不同值時，因變量服從正

態(tài)分布方差齊性——指自變量取不同值時，因變量的方

差相等10三、分析步驟1.基本任務

求出模型中參數(shù)的估計值，對模型和參數(shù)進行假設檢驗；對自變量進行共線性診斷，對觀測值進行異常值診斷；結合統(tǒng)計學知識和專業(yè)知識，對回歸方程進行合理的解釋，并加以應用。

11三、分析步驟2.具體步驟2.1回歸參數(shù)估計

多重線性回歸分析的參數(shù)估計，常采用最小二乘法(OLS)進行。

參數(shù)估計值為：SS總=SS回歸+SS殘差SS總(總平方和)v總=n-1{SS回歸(回歸平方和)v回歸=1{SS殘差(殘差平方和)v殘差=n-p-1{v總=v回歸+v殘差自變量的個數(shù)14三、分析步驟2.具體步驟2.2模型檢驗

模型的顯著性檢驗步驟為：第一步，建立檢驗假設。H0：b1=b2=…=bk=0H1:b1,b2,…,bk不同時為015三、分析步驟第二步，計算統(tǒng)計量F的值。第三步，確定P值，下統(tǒng)計學結論。根據(jù)檢驗統(tǒng)計量F的值和自由度，確定其對應的P值。若P>a，則接受H0，認為回歸模型的系數(shù)全部為0；若P<a，則拒絕H0，接受H1，認為回歸模型的系數(shù)不全為0。17三、分析步驟對自變量Xi的系數(shù)是否為0進行假設檢驗，步驟為：第一步，建立檢驗假設。H0：bi=0H1:bi≠018三、分析步驟第二步，計算檢驗統(tǒng)計量。第三步，確定P值。根據(jù)自由度和臨界水平，查t分布表，可得雙側界值為ta/2(n-k-1)。若t>ta/2(n-k-1)或t<-ta/2(n-k-1)，則P<a。此時，拒絕H0，接受H1，認為該回歸系數(shù)不等于0。反之，則接受H0，認為該回歸系數(shù)為0。19三、分析步驟2.具體步驟2.4變量篩選不是所有的自變量都對因變量的作用都有統(tǒng)計學意義。

故需要找到一個較好的回歸方程，使之滿足：方程內的自變量對回歸都有統(tǒng)計學意義，方程外的自變量對回歸都無統(tǒng)計學意義。全局擇優(yōu)法變量篩選

逐步選擇法校正決定系數(shù)R2選擇法Cp選擇法前進法后退法逐步回歸法c22三、分析步驟2.4.1前進法(FORWARD)回歸方程中變量從無到有依次選擇一個自變量進入回歸方程，并根據(jù)該變量在回歸方程中的Ⅱ型離差平方和(SS2)計算F統(tǒng)計量及P值。當P小于sle(規(guī)定的選變量進入方程的臨界水平)則該變量入選，否則不能入選。23三、分析步驟當回歸方程中變量少時某變量不符合入選標準，但隨著回歸方程中變量逐次增多時,該變量就可能符合入選標準；這樣直到沒有變量可入選為止。具體而言，是從僅含常數(shù)項(即截距項)的最簡單模型開始，逐步在模型中添加自變量。

25三、分析步驟2.4.2后退法(BACKWARD)從模型中包含全部自變量開始，計算留在回歸方程中的各個自變量所產生的F統(tǒng)計量和P值，當P值小于sls(規(guī)定的從方程中踢除變量的臨界水準)則將此變量保留在方程中。否則，從最大的P值所對應的自變量開始逐一踢除，直到回歸方程中沒有變量可以被踢除時為止。

26三、分析步驟局限性：sls大時，任何一個自變量都不能被踢除；sls小時，開始被踢除的自變量后來在新條件下即使變得對因變量有較大的貢獻了，也不能再次被選入回歸方程并參與檢驗。

29三、分析步驟2.4.3逐步回歸法

逐步回歸法有無符合納入標準的新變量納入新變量有無符合排除標準的變量踢除完成無有無有30三、分析步驟

逐步回歸法比前進法和后退法都能更好地選出變量構造模型，但它也有局限性：其一，當有m個變量入選后，選第m＋1個變量時，對它來說，前m個變量不一定是最佳組合；其二，選入或踢除自變量僅以F值和P值作標準，完全沒考慮其它標準。

31三、分析步驟2.4.4變量篩選方法的選擇究竟哪一種篩選變量的方法最好？這個問題沒有絕對的定論。

一般來說，逐步回歸法和最優(yōu)回歸子集法較好。對于一個給定的資料，可試用多種變量篩選的方法，結合以下幾條判斷原則，從中選擇最佳者。32三、分析步驟

其一，擬合的回歸方程在整體上有統(tǒng)計學意義；其二，回歸方程中各回歸參數(shù)的估計值的假設檢驗結果都有統(tǒng)計學意義；其三，回歸方程中各回歸參數(shù)的估計值的正負號與其后的變量在專業(yè)上的含義相吻合；其四，根據(jù)回歸方程計算出因變量的所有預測值在專業(yè)上都有意義。其五，若有多個較好的多重線性回歸方程時，殘差平方和較小且多重線性回歸方程中所含的自變量的個數(shù)又較少者為最佳。33三、分析步驟2.5模型擬合效果評價2.5.1決定系數(shù)(R2)

即復(全)相關系數(shù)的平方，其值等于因變量觀測值與預測值之間簡單相關系數(shù)的平方。計算公式為：

34三、分析步驟2.5模型擬合效果評價2.5.1決定系數(shù)(R2)

R2取值介于0到1之間，其含義為自變量能夠解釋因變量y變異的百分比。

R2越接近于1，說明線性回歸對實際數(shù)據(jù)的擬合程度越好。

35三、分析步驟2.5模型擬合效果評價2.5.2校正決定系數(shù)(Rc2)

隨著模型中自變量個數(shù)的增加，決定系數(shù)R2將不斷增大，這不符合回歸模型中自變量個數(shù)盡可能少的原則。

36三、分析步驟2.5模型擬合效果評價2.5.2校正決定系數(shù)(Rc2)故在評價兩個包含不同個數(shù)自變量的回歸模型的擬合效果時，不能簡單地用決定系數(shù)作為評價標準。此時，必須考慮回歸模型中自變量個數(shù)的影響。

37三、分析步驟2.5模型擬合效果評價2.5.2校正決定系數(shù)(Rc2)構造校正決定系數(shù)，其公式為：

其中，n為樣本含量，p為模型中自變量個數(shù)。決定系數(shù)相同時，自變量個數(shù)越多，Rc2越小。

38三、分析步驟2.5模型擬合效果評價2.5.3AIC信息準則

該準則由日本學者赤池于1973年提出，廣泛應用于時間序列分析中自回歸階數(shù)的確定，多重回歸、廣義線性回歸中自變量的篩選以及非線性回歸模型的比較和選優(yōu)。該統(tǒng)計量取值越小，反映模型擬合效果越好。

在進行多重線性回歸分析時，除了要滿足LINE外，還要求各變量之間不能存在共線性，即各變量之間要相互獨立。為此，需要進行共線性診斷；當自變量均為隨機變量時，若它們之間高度相關，則稱變量間存在多重共線性(multicollinearity)；自變量之間不存在多重共線性，即稱其互相獨立。三、分析步驟2.6共線性診斷40三、分析步驟多重線性回歸分析中，可能會出現(xiàn)以下問題：回歸方程的檢驗有統(tǒng)計學意義，而各偏回歸系數(shù)的檢驗均無統(tǒng)計學意義。偏回歸系數(shù)的估計值大小或其符號與實際情況和專業(yè)知識相違背，難以解釋。某個（些）與因變量關系密切的自變量，因為參數(shù)標準誤的估計值較大，相應t值就會變得較小，造成其偏回歸系數(shù)無統(tǒng)計學意義。41三、分析步驟導致這些問題的原因可能有：(1)研究設計不夠合理；(2)資料收集存在問題；(3)自變量間近似線性；(4)數(shù)據(jù)中存在異常點；(5)樣本少而自變量多。

42三、分析步驟何謂多重共線性？自變量間的近似線性關系，即是多重共線性。由于數(shù)據(jù)自身的特征，回歸模型中的自變量之間或多或少地存在一些相關性，這違反了自變量間相互獨立的假設條件，稱為多重共線性。

43三、分析步驟多重共線性的分類：(1)嚴重的多重共線性

此時，自變量之間存在著較高甚至完全的線性相關關系，雖然最小二乘法仍可應用，但由于觀測誤差的穩(wěn)定性變差，所得的估計值可能面目全非。這類情況較為少見。(2)某種程度的多重共線性

此時，最小二乘法仍可獲得參數(shù)的無偏估計值，但參數(shù)的方差估計值將變得很大，導致估計精度下降，且無法判斷自變量對因變量的影響程度。例

研究胎兒受精齡Y/周與胎兒身長X1/cm、頭圍X2/cm，體重X3/g之間的依存關系。顯然，此處的3個解釋變量X1、X2、X3之間存在著高度的共線性，X1、X2、X3兩項對Y的過分貢獻只能用X2項的負系數(shù)抵消，造成其專業(yè)意義無法解釋而出現(xiàn)悖論。三、分析步驟相關系數(shù)Correlation容忍度Torelance方差膨脹因子VIF條件數(shù)Conditionindex方差比例Varianceproportions,VP

方差相關矩陣VarianceMatrix可用來判斷變量之間的獨立性、或說多重共線性三、分析步驟如果兩個自變量之間的相關系數(shù)超過0.9，則會帶來共線性問題，如果在0.8以下，一般不會出現(xiàn)多大問題。共線性診斷——1.兩個自變量之間的相關系數(shù)2.容忍度Tolerance/方差膨脹因子VIF經驗表明：VIF大于5或10時，存在嚴重的共線性；一般要求Tolerance必須大于0.1，或VIF必須小于10。容忍度=1/VIF483.條件數(shù)最大特征根與其余每個特征根比值的平方根，稱為條件指數(shù)(conditionalnumber)，公式為：

而最大條件指數(shù)，簡稱為條件數(shù)，其值為最大特征根與最小特征根之比值的平方根。即：

49條件數(shù)越大，說明設計矩陣X具有越強的共線性。經驗上，若0<CNk<10，可認為自變量間不存在多重共線性；若10≤CNk≤30，可認為自變量間存在中等程度的多重共線性；若CNk>30，則認為自變量間存在嚴重的多重共線性。

50三、分析步驟2.6.3共線性的解決方法(1)變量篩選采用自變量篩選的方法一般可選出對因變量有統(tǒng)計學影響且相互之間獨立或相關性較低的一組自變量。(2)有偏估計自變量間存在多重共線性且專業(yè)上認為需要保留在模型中時，不宜使用最小二乘法估計模型。此時，可采用有偏估計。此類方法包括嶺回歸分析、主成分回歸分析等。(3)增大樣本含量通過增加樣本含量，減少估計量的方差，提高估計精度，可在一定程度上克服多重共線性。51三、分析步驟2.7異常點診斷2.7.1異常點對因變量的預測值影響特別大，甚至容易導致相反結論的觀測點，稱為異常點。異常點的診斷，可采用學生化殘差統(tǒng)計量、Cook’sD統(tǒng)計量。

52三、分析步驟2.7.2學生化殘差統(tǒng)計量Studentizedresidual，計算公式為：該統(tǒng)計量的絕對值大于2時，所對應的觀測點可能是異常點。

53三、分析步驟2.7.3Cook’sD統(tǒng)計量庫克距離統(tǒng)計量。一般認為，

Cook’sD>0.5時，可認為此觀測點對回歸模型的擬合有強影響，即可認為是異常點。

54三、分析步驟2.7.4異常點的處置

認真核對原始數(shù)據(jù)。若屬抄寫或輸入等人為錯誤，應予以糾正；若非人為錯誤，可刪除異常點，重新擬合回歸模型。

如有可能，最好在此實驗點上補做實驗，進一步確定此可疑異常點是否屬實。

55三、分析步驟2.8自變量作用大小評價

由于自變量量綱不同，不能直接根據(jù)原始數(shù)據(jù)計算得來的偏回歸系數(shù)來評價各自變量對因變量的影響大小。也不能依據(jù)P值來判斷自變量對因變量的影響大小。因為P值的大小，不表示自變量的影響強弱，僅表示認為它有影響的可能性有多大。56三、