關(guān)于線性回歸分析第1頁，共57頁，2023年，2月20日，星期五學(xué)習(xí)的內(nèi)容與目標

掌握線性回歸分析的主要指標，了解最小二乘法的基本思想熟練掌握線性回歸分析的具體操作，讀懂分析結(jié)果；掌握計算結(jié)果之間的數(shù)量關(guān)系，寫出回歸方程，對回歸方程進行各種統(tǒng)計檢驗了解多元回歸分析中自變量篩選的策略，以及對應(yīng)結(jié)果的分析了解SPSS殘差分析和多重共線檢測的基本操作，并能分析結(jié)果第2頁，共57頁，2023年，2月20日，星期五9.1回歸分析概述9.1.1什么是回歸分析“回歸”一詞最初源于英國統(tǒng)計學(xué)家F.Galton（高爾頓）描述父親的身高和其成年兒子身高之間的關(guān)系，發(fā)現(xiàn)成年兒子的身高會趨向于子輩身高的平均值，F(xiàn).Galton稱這種現(xiàn)象為“回歸”。用于分析事物之間的統(tǒng)計關(guān)系，并通過回歸方程的形式描述變量間的數(shù)量變化規(guī)律，幫助人們準確把握變量受一個或多個變量的影響程度，進而為預(yù)測提供依據(jù)。第3頁，共57頁，2023年，2月20日，星期五回歸分析和相關(guān)分析1.相關(guān)分析變量性質(zhì)：都是隨機變量且關(guān)系對等分析方法：圖表法（散點圖）和相關(guān)系數(shù)分析目的：判定變量之間相關(guān)方向和關(guān)系的密切程度2.回歸分析變量性質(zhì)：自變量（確定型變量）和因變量（隨機變量）的關(guān)系且不對等分析方法：建立回歸模型分析目的：研究變量間數(shù)量依存關(guān)系第4頁，共57頁，2023年，2月20日，星期五9.1.2如何得到回歸線函數(shù)擬合首先，通過散點圖觀察變量之間的統(tǒng)計關(guān)系，得到對回歸線的感性認知，并據(jù)之確定最簡潔的數(shù)學(xué)函數(shù)（回歸模型）；其次，利用樣本數(shù)據(jù)在一定的擬合準則下，估計回歸模型中各個參數(shù)，得到確定的回歸方程；最后，由于回歸參數(shù)是在樣本數(shù)據(jù)的基礎(chǔ)上得到的，存在隨機性。因此需要進行各種檢驗。第5頁，共57頁，2023年，2月20日，星期五9.1.3回歸分析的一般步驟確定回歸方程中的解釋變量（父親身高x）和被解釋變量（兒子身高y）確定回歸模型（線性與非線性）建立回歸方程，并估計出模型中的參數(shù)對回歸方程進行各種檢驗利用方程進行預(yù)測第6頁，共57頁，2023年，2月20日，星期五9.2線性回歸分析和線性回歸模型觀察被解釋變量y和一個或多個解釋變量xi的散點圖，當發(fā)現(xiàn)y與xi之間呈現(xiàn)出顯著的線性關(guān)系時，應(yīng)采用線性回歸分析的方法，建立y關(guān)于xi的線性回歸模型。線性回歸模型可分為：

一元線性回歸模型多元線性回歸模型第7頁，共57頁，2023年，2月20日，星期五9.2.1一元線性回歸模型（只有1個解釋變量）

數(shù)學(xué)模型為：

y=β0+β1x+ε上式表明：y的變化可由兩部分解釋：第一，由解釋變量x的變化引起的y的線性變化部分，即y=β0+β1x；第二，由其他隨機因素引起的y的變化部分，即ε。β0、β1

都是模型中的未知參數(shù)，β0為回歸常數(shù)，β1為y對x回歸系數(shù)（即x每變動一個單位所引起的y的平均變動）。

ε稱為隨機誤差。且滿足：E(ε)=0，Var(ε)=σ2

。第8頁，共57頁，2023年，2月20日，星期五一元線性回歸方程：E（y）=β0+β1x

表明x和y之間的統(tǒng)計關(guān)系是在平均意義下表述的。估計的一元線性回歸方程：估計方程是平面上的一條直線，即回歸直線。參數(shù)分別代表回歸直線的截距和斜率。cbb??10?+=y第9頁，共57頁，2023年，2月20日，星期五9.2.2多元線性回歸模型多元數(shù)學(xué)模型：

y=β0+β1x1+β2x2….+βpxp+ε多元線性回歸方程：

E（y）=β0+β1x1+β2x2….+βpxp估計多元線性回歸方程：

^^^^^y=β0+β1x1+β2x2….+βpxp第10頁，共57頁，2023年，2月20日，星期五9.2.3回歸參數(shù)的最小二乘估計

（ordinaryleastsquareestimation,OLSE）估計思想：使每個樣本點（xi,yi）與回歸線上的對應(yīng)點（xi,E（yi））在垂直方向上偏差距離的二次方總和達到最小的原則來估計參數(shù)即，∑（

yi-E（yi））2=最小一元二乘估計：多元二乘估計（略）第11頁，共57頁，2023年，2月20日，星期五9.3回歸方程的統(tǒng)計檢驗擬合優(yōu)度檢驗回歸方程的顯著性檢驗回歸系數(shù)的顯著性檢驗殘差分析第12頁，共57頁，2023年，2月20日，星期五9.3.1回歸方程的擬合優(yōu)度檢驗用于檢驗樣本數(shù)據(jù)點聚集在回歸線周圍的密集程度，從而評價回歸線對樣本數(shù)據(jù)的代表程度。思想：因變量y（兒子身高）取值的變化受兩個因素的影響：自變量x（父親身高）不同取值的影響，其他因素（環(huán)境、飲食等）的影響?？杀硎救缦?因變量總變差=

自變量引起的+其他因素引起的即因變量總變差=

回歸方程可解釋的+不可解釋的即，因變量總離差平方和SST=回歸平方和

SSA

+剩余平方和SSE第13頁，共57頁，2023年，2月20日，星期五Yi圖示：第14頁，共57頁，2023年，2月20日，星期五第15頁，共57頁，2023年，2月20日，星期五一、一元線性回歸方程擬合優(yōu)度的檢驗采用R2統(tǒng)計量，稱為判定系數(shù)R2=SSA/SST=1-SSE/SST.R2體現(xiàn)了回歸方程所能解釋的因變量變差的比例;1-R2體現(xiàn)了回歸方程所無法解釋的變差比例。第16頁，共57頁，2023年，2月20日，星期五R2越接近于1，則說明回歸平方和占了絕大部分比例，因變量y的變差主要由自變量x的取值造成，回歸方程對樣本數(shù)據(jù)點擬合得好在一元線性回歸中，判定系數(shù)R2=相關(guān)系數(shù)r2;因此，從這個意義上講，判定系數(shù)能夠比較好地反映回歸直線對樣本數(shù)據(jù)的代表程度和線性相關(guān)性。說明第17頁，共57頁，2023年，2月20日，星期五二、多元線性回歸方程多元線性回歸方程的擬合優(yōu)度檢驗采用統(tǒng)計量，稱為調(diào)整的判定系數(shù)調(diào)整的判定系數(shù)：判定系數(shù)受解釋變量X的個數(shù)p的影響，在p的個數(shù)不同的模型之間進行比較時，判定系數(shù)必須進行調(diào)整。第18頁，共57頁，2023年，2月20日，星期五9.3.2回歸方程的顯著性檢驗用于檢驗被解釋變量與所有解釋變量之間的線性關(guān)系是否顯著，用線性模型來描述它們之間的關(guān)系是否恰當，即檢驗?zāi)Ｐ蛯傮w的近似程度。SST=回歸平方和

SSA

+剩余平方和SSE回歸方程的顯著性檢驗中采用方差分析的方法，研究在SST中SSA相對于SSE來說是否占有較大比例。如果比例較大，表明y與x全體的線性關(guān)系明顯，則利用線性模型反映y與x的關(guān)系是恰當?shù)?；反之，不恰當。?9頁，共57頁，2023年，2月20日，星期五原假設(shè)H0:β1=0.即:回歸系數(shù)與0無顯著差異利用F檢驗,構(gòu)造F統(tǒng)計量：F~F(1,n-2)判斷：若p<a，則拒絕H0，模型的線性關(guān)系是顯著的;反之，模型的線性關(guān)系不顯著.一、一元線性回歸方程顯著性檢驗第20頁，共57頁，2023年，2月20日，星期五原假設(shè)H0:β1=β2=….=βp=

0.即:各個回歸系數(shù)同時與0無顯著差異利用F檢驗,構(gòu)造F統(tǒng)計量：F~F(p,n-p-1)判斷：若p<a，則拒絕H0，模型的線性關(guān)系是顯著的;反之，模型的線性關(guān)系不顯著.二、多元線性回歸方程的顯著性檢驗第21頁，共57頁，2023年，2月20日，星期五R2檢驗與F檢驗的關(guān)系

F是R2的單調(diào)增函數(shù)，F(xiàn)α與一一對應(yīng)。R2FFα圖1F統(tǒng)計量與R2的關(guān)系第22頁，共57頁，2023年，2月20日，星期五9.3.3回歸系數(shù)的顯著性檢驗

主要目的是研究回歸方程中每個解釋變量與被解釋變量之間是否存在顯著的線性關(guān)系。即研究每個解釋變量能否有效的反映被解釋變量的線性變化，它們能否保留在線性回歸方程中?；貧w系數(shù)的顯著性檢驗是圍繞回歸系數(shù)估計值的抽樣分布展開的，構(gòu)造統(tǒng)計量，并進行檢驗。第23頁，共57頁，2023年，2月20日，星期五

一、一元線性回歸方程顯著性檢驗回歸系數(shù)的顯著性檢驗:t檢驗H0:β1=0，即:回歸系數(shù)與0無顯著差異,利用t檢驗：第24頁，共57頁，2023年，2月20日，星期五若p<a，拒絕H0,y和x線性關(guān)系顯著，應(yīng)保留在方程中；若p>a,不能拒絕H0，y和x線性關(guān)系不顯著。一元線性回歸方程的檢驗和回歸系數(shù)的檢驗是等效的。第25頁，共57頁，2023年，2月20日，星期五需要對回歸系數(shù)是否為零逐一進行檢驗。原假設(shè)H0:βi=0，即:第i個偏回歸系數(shù)與0無顯著差異利用t檢驗統(tǒng)計量（略）若與t統(tǒng)計量的概率伴隨p

<a，則拒絕H0多元線性回歸中回歸系數(shù)的檢驗與整體回歸方程的檢驗不能相互替代。二、多元線性方程回歸系數(shù)的檢驗第26頁，共57頁，2023年，2月20日，星期五9.3.4殘差分析殘差指由回歸方程計算所得的預(yù)測值與實際樣本值之間的差距，即模型中εi

的估計值：回歸模型要求：殘差序列中不含明顯的規(guī)律性和趨勢性，均值為零、正態(tài)分布、等方差，且序列是獨立的。第27頁，共57頁，2023年，2月20日，星期五一、殘差均值為零的正態(tài)分析可以通過繪制殘差散點圖來觀察：如果殘差的均值為零，殘差圖中的點應(yīng)在縱坐標為零的橫線上下隨機散落，如下圖。第28頁，共57頁，2023年，2月20日，星期五二、殘差的獨立性分析（非自相關(guān)）殘差是獨立的，則殘差序列應(yīng)滿足cov（εi,εj）=0（i≠j）,表示殘差序列前期和后期之間不存在相關(guān)關(guān)系，即不存在自相關(guān)。獨立性檢驗方式：第一、繪制殘差序列圖（下圖殘差隨時間的推移，呈有規(guī)律變化，表明殘差序列存在一定的正或負自相關(guān)）第29頁，共57頁，2023年，2月20日，星期五自相關(guān)系數(shù)用于測定序列自相關(guān)強弱，其取值范圍-1~+1，接近1表明序列存在正自相關(guān)第二、計算殘差的自相關(guān)系數(shù)第30頁，共57頁，2023年，2月20日，星期五

DW檢驗用于推斷小樣本序列是否存在自相關(guān)的方法。其原假設(shè)為：總體自相關(guān)系數(shù)ρ與零無顯著差異。采用統(tǒng)計量為：DW取值在0~4之間：

=（-1,0）時，DW=（2，4）殘差序列負自相關(guān)

=0時，DW=2，殘差序列無自相關(guān)

=（0,1）時，DW=（0，2）殘差序列正自相關(guān)殘差存在自相關(guān)表明遺漏了解釋變量，或變量取值存在滯后性，或線性模型不適合第三、DW（durbin-watson）檢驗第31頁，共57頁，2023年，2月20日，星期五三、殘差異方差分析回歸分析要求殘差的方差相等，如果存在異方差，則參數(shù)的最小二乘估計不再是最小方差的無偏估計。因此需要檢驗殘差是否存在異方差。其方法：第一，繪制殘差圖（下圖殘差的方差隨解釋變量值的增加呈現(xiàn)增加趨勢，表明存在異方差）第32頁，共57頁，2023年，2月20日，星期五第二，計算等級相關(guān)系數(shù)得到殘差序列后首先取其絕對值，然后分別計算出殘差和解釋變量的秩，最后計算spearman等級相關(guān)系數(shù)，進行等級相關(guān)分析。若p值小于給定顯著性水平α，則拒絕原假設(shè)，認為解釋變量與殘差間存在顯著相關(guān)，出現(xiàn)了異方差現(xiàn)象。第33頁，共57頁，2023年，2月20日，星期五9.4多元回歸分析中的其它問題9.4.1解釋變量的篩選問題

多元回歸分析中，模型選中應(yīng)引入多少解釋變量呢？少了難以解釋對解釋變量的變化，多了會引起多重共線。一、向前篩選策略

指解釋變量不斷進入回歸方程的策略。首先引入與被解釋變量線性相關(guān)系數(shù)最高的解釋變量進入方程，并進行回歸方程的各種檢驗；然后，引入與被解釋變量偏相關(guān)系數(shù)最高并通過檢驗的解釋變量，并對新方程進行各項檢驗；直到?jīng)]有可引入的變量為止。第34頁，共57頁，2023年，2月20日，星期五二、向后篩選策略

指解釋變量不斷剔除出回歸方程的過程。首先，將所有解釋變量引入方程，并檢驗；然后剔除t檢驗值不顯著（最?。┑囊粋€或多個變量，重新建立回歸方程并進行各種檢驗。如果回歸系數(shù)都顯著，則方程建立結(jié)束。否則，接著依次刪除最不顯著的解釋變量。三、逐步篩選策略

指向前向后篩選的綜合策略。在向前篩選過程中，隨著變量不斷引入方程，需要再次判斷是否存在可剔除的解釋變量，如有，則剔除。第35頁，共57頁，2023年，2月20日，星期五9.4.2變量的多重共線性問題變量的多重共線：指解釋變量之間存在線性相關(guān)關(guān)系的現(xiàn)象。若存在多重共線，則會造成偏回歸系數(shù)估計困難、估計的方差增大、估計值的不穩(wěn)定性增強、偏回歸系數(shù)假設(shè)檢驗的結(jié)果不顯著等問題。測度多重共線的方法如下：第36頁，共57頁，2023年，2月20日，星期五一、容忍度解釋變量xi

的容忍度:Toli=1-Ri2，其中:Ri2是解釋變量xi與方程中其他解釋變量間復(fù)相關(guān)系數(shù)的平方，表明了解釋變量之間的線性相關(guān)程度。容忍度大表示與其他自變量的共線性低,應(yīng)進入方程。容忍度很小的變量,spss才會給出警告，不應(yīng)進入方程（T<0.1一般認為具有多重共線性）第37頁，共57頁，2023年，2月20日，星期五二、方差膨脹因子方差膨脹因子(VIF):容忍度的倒數(shù)方差膨脹因子取值大于等于1。Ri2接近0，解釋變量間多重共線性越弱，VIFi

越接近于1。如果VIFi

大于等于10，說明解釋變量xi

與方程中其余解釋變量之間有嚴重的多重共線性。另外，也可以采用方差膨脹因子的均值來測度多重共線性。第38頁，共57頁，2023年，2月20日，星期五三、特征值與方差比如果最大特征值遠大于其它特征值，表明該解釋變量能刻畫所有解釋變量絕大部分信息（方差），意味著解釋變量間存在較強的線性相關(guān)關(guān)系。常以某特征值占70%左右。第39頁，共57頁，2023年，2月20日，星期五四、條件指數(shù)

條件指數(shù)是在特征值的基礎(chǔ)上定義的，它能反映解釋變量間多重共線性指標。定義如下：Ki

為第i個解釋變量的條件指標，它是最大特征值λm

與第i個特征值比的平方根。

第i個條件指數(shù)Ki

越大，表明解釋變量間信息重疊的越多，多重共線越嚴重。Ki

小表明共線不明顯。0≤Ki<10,認為多重共線弱；10≤Ki<100，認為多重共線較強，100≤Ki

時，認為共線很嚴重。第40頁，共57頁，2023年，2月20日，星期五9.5線性回歸分析的基本操作9.5.1線性回歸分析的基本操作SPSS將一元與多元集成在一起（一個菜單工具）【analyze】->【regression】->【linear】選擇被解釋變量進入【dependent】框中選擇一個或多個解釋變量進入【independent】框在【method】中選擇解釋變量的篩選策略enter:所選解釋變量強行進入回歸方程（默認方法，常用于一元回歸）remove:從回歸方程中剔除所選變量stepwise:逐步篩選策略；backward:向后篩選；forward:向前篩選第41頁，共57頁，2023年，2月20日，星期五【block】表示設(shè)置解釋變量不同的篩選策略塊?？梢园磏ext和previous按鈕設(shè)置多組解釋變量和變量的篩選策略，并放在不同的塊中。SPSS將按每一指定策略逐一進行回歸。其中【remove】方法只能放在第二個以后塊中。塊設(shè)置便于作各種探索性分析。【selectionvariable】為設(shè)置的條件變量框。Rule表示給定的判定條件。只有滿足條件的樣本數(shù)據(jù)才參與回歸分析?！綾aselabels】是指定某變量為樣本數(shù)據(jù)點的標記變量，將再圖形中標出。第42頁，共57頁，2023年，2月20日，星期五9.5.2線性回歸的其它操作一、statistics選項該窗口提供用戶可選擇的統(tǒng)計量【estimates】是SPSS默認輸出項，輸出與回歸系數(shù)相關(guān)的統(tǒng)計量。包括回歸系數(shù)（偏回歸系數(shù)）、回歸系數(shù)標準誤差、標準化回歸系數(shù)（如果各解釋變量單位不一致，如希望比較對被解釋變量的影響時，可采用）、回歸系數(shù)顯著性檢驗t統(tǒng)計量和P值、各解釋變量的容忍度。【confidenceintervals】輸出每個非標準化回歸系數(shù)的95%置信區(qū)間第43頁，共57頁，2023年，2月20日，星期五【descriptives】：輸出各解釋變量和被解釋變量的均值、標準差、相關(guān)系數(shù)矩陣及單側(cè)檢驗概率值?！緈odelfit】為SPSS默認輸出項，輸出判定系數(shù)、調(diào)整的判定系數(shù)，回歸方程的標準誤差、回歸方程顯著性檢驗的方差分析表?！綬squaredchange】表示每個解釋變量進入方程后引起判定系數(shù)的變化量（Rch2

）和F值的變化量第44頁，共57頁，2023年，2月20日，星期五【Partandpartialcorrelation】輸出方程中各解釋變量與被解釋變量間的簡單相關(guān)系數(shù)、偏相關(guān)系數(shù)和部分相關(guān)系數(shù)。【covariancematrix】輸出各解釋變量間的相關(guān)系數(shù)、協(xié)方差和回歸系數(shù)的方差?！綜ollinearitydignostics】多重共線性診斷。輸出各解釋變量的容忍度、方差膨脹因子、特征值、條件指標、方差比率等。在【residuals】框中：【durbin-watson】表示輸出DW檢驗值（異方差檢驗）；【casewisediagnostics】表示輸出標準化殘差絕對值大于等于3的樣本數(shù)據(jù)相關(guān)信息。第45頁，共57頁，2023年，2月20日，星期五二、option選項該窗口提供解釋變量篩選的標準以及缺失值處理方式。【useprobabilityofF】SPSS默認項，表示以偏F統(tǒng)計量的概率值為標準判斷解釋變量能否進入或剔除出回歸方程。一個解釋變量的F值顯著性水平小于entry（0.05）則該解釋變量可以進入方程;大于removal（0.1）則剔除出方程?！緐seFvalue】:以偏F統(tǒng)計量的臨界值來判斷解釋變量能否進入（默認大于3.84，線性影響顯著）方程；還是剔除出（默認小于2.71，不能拒絕原假設(shè)，線性影響不顯著）方程。第46頁，共57頁，2023年，2月20日，星期五三、plot選項該窗口用于對殘差的序列分析，包括分析殘差散點圖、正態(tài)分布累計概率圖等。窗口左邊dependent表示被解釋變量、zpred表示標準化預(yù)測值、dresid表示標準化殘差、adjpred表示剔除異常點后調(diào)整的新預(yù)測值、sresid表示學(xué)生化殘差。繪制多對變量散點圖需要在【scatter1of1】框中定義散點圖的縱坐標和橫坐標變量。在【standardizedresidualplots】中選【histogram】表示繪制標準化殘差序列直方圖；選【normalprobabilityplot】表示繪制標準化殘差序列正態(tài)分布累計概率圖；選【produceallpartialplots】項，表示一次繪制被解釋變量與各個解釋變量的散點圖。第47頁，共57頁，2023年，2月20日，星期五四、save選項表示將回歸分析結(jié)果保存到數(shù)據(jù)編輯窗口中（略講）【predictedvalue】：保存非標準化預(yù)測值unstandardized、標準化預(yù)測值standardized、調(diào)整的預(yù)測值adjusted，解釋變量x=x0

下預(yù)測值的均值標準差?！緋redictionintervals】:保存均值mean、保存?zhèn)€體值的預(yù)測值individual及其95%的上下限。【residuals】：保存非標準化殘差unstandardized