相關與回歸分析 統(tǒng)計學原理 相關與回歸的基本概念 相關分析 一元線性回歸分析 多元線性回歸分析 ( 回歸診斷與殘差分析 (主要介紹： 相關分析，回歸技術，回歸診斷方法。 要內(nèi)容 相關與回歸分析 相關與回歸的基本概念 相關分析 一元線性回歸分析 多元線性回歸分析 ( 回歸診斷與殘差分析 (習目的 1，掌握相關與回歸的基本概念 2，掌握相關分析技術 3，掌握一元線性回歸方法 4，掌握多元線性回歸方法 5，掌握回歸診斷方法 相關與回歸分析 相關與回歸的基本概念 相關分析 一元線性回歸分析 多元線性回歸分析 ( 回歸診斷與殘差分析 (相關與回歸分析 統(tǒng)計學原理 相關與回歸的基本概念 相關分析 一元線性回歸分析 多元線性回歸分析 ( 回歸診斷與殘差分析 ( 關與回歸的基本概念 確定性關系與相關關系 回歸函數(shù)與經(jīng)驗方程 相關與回歸分析 相關表與相關圖 相關關系的種類 相關與回歸分析 相關與回歸的基本概念 相關分析 一元線性回歸分析 多元線性回歸分析 ( 回歸診斷與殘差分析 (返回 定性關系與相關關系 確定性關系也叫函數(shù)關系 。 Y (X=X t)， ( 即只要給定一個 X， 就可以確定一個 Y， 的值變化 ， 則變量 Y, 就是一種確定性的函數(shù)關系 。 Y (X=X t)是這兩個變量之間的函數(shù)表達式 。 這個函數(shù)表達式 ， 對應著一個具體的因果數(shù)學定理 。 相關關系也叫統(tǒng)計關系或者經(jīng)驗關系 。 相關關系的特征是 ， “ 2個以上變量的變化方向大致是規(guī)則的 ” ， 變量 Y , 不是一種精確的確定性關系 ， 只是一個經(jīng)驗關系 Y (X=X t) + ； ( 是 (X=X t) 的偏差 ， 且總假定 E ( )= 0。 這種經(jīng)驗關系就是統(tǒng)計相關關系 。 統(tǒng)計相關關系 ， 常常表現(xiàn)為一種統(tǒng)計定律 。 統(tǒng)計定律和相關關系 ， 是相關回歸分析的主要研究對象 。 相關與回歸分析 相關與回歸的基本概念 返回 歸函數(shù)與經(jīng)驗方程 存在統(tǒng)計相關關系的變量 Y , 有 Y (X=X t) + ； ( 因為 ， E ( )= 0 ， 所以 ， E (Y |X= X t ) (X t) 是給定 X=X 的期望值 ， (X t) 就是 的期望函數(shù) 。 它實際反映的是 Y, 因為統(tǒng)計規(guī)律 ， 總是可以在日常的實踐過程中 ， 不斷回歸重現(xiàn) 。于是 ， 期望函數(shù) ， 也稱為 的回歸方程或回歸函數(shù) ， 記為 (X=X t) E (Y |X= X t ) ( 回歸函數(shù)的具體表達式 ， 通常也叫經(jīng)驗函數(shù)或者經(jīng)驗公式 。 相關與回歸分析 相關與回歸的基本概念 返回 關與回歸分析 相關與回歸分析： 是研究相關關系的一種有力數(shù)學工具 。 它是建立在對客觀事物進行大量試驗和觀察的基礎上 ， 在不確定的現(xiàn)象中 ， 尋找隱藏的統(tǒng)計規(guī)律性的數(shù)理統(tǒng)計方法 。 具體步驟是： 第一步 ， 根據(jù)研究的目的 ， 通過觀察和實驗取得資料 。 第二步 ， 整理資料 。 分組編制相關表 ， 以便進行分析 。 第三步 ， 繪制相關圖 。 把成對的相關資料 ， 繪成散布圖或曲線圖 ， 從圖形中 ， 初步判斷變量之間是否存在相關關系 ， 以及相關的基本形式 。 第四步 ， 相關關系的解析 。 建立回歸方程 ， 計算估計標準誤差 、相關系數(shù)等 ， 以反映變量之間的關系 、 誤差大小及密切程度 ，并運用數(shù)理統(tǒng)計方法 ， 進行檢驗和評價 。 相關與回歸分析 相關與回歸的基本概念 返回 關表與相關圖 相關表與相關圖 ， 是研究相關關系的直觀工具 。 一般在進行詳細的定量分析之前 ， 可以先利用它們 ， 對現(xiàn)象之間存在的相關方向 、 形式和密切程度 ， 作大致的判斷 。 相關表 ， 是一種反映變量之間相關關系的統(tǒng)計表 。 將某一變量 ，按其取值的大小順序排列 ， 然后再將與其相關的另一變量的值 ，對應排列 ， 便可得到簡單的相關表 。 利用相關表 ， 便可得到相關圖 。 相關圖又稱散布圖 。 它是以直角坐標系的橫軸代表變量 X， 縱軸代表變量 Y ， 將兩個變量的值 ，用坐標點 (Y t) 的形式描繪出來 ， 用來反映兩變量之間相關關系的圖形 。 相關與回歸分析 相關與回歸的基本概念 關表與相關圖 【 例 7利用某國 1951可支配收入 可整理得相關表與相關圖 。 相關與回歸分析 相關與回歸的基本概念 年份 序號 t 可支配收入 消費 1951 1 952 2 953 3 30 1954 4 955 5 956 6 957 7 958 8 959 9 960 10 350 961 11 962 12 963 13 75 1964 14 965 15 966 16 967 17 968 18 969 19 970 20 7 1 消費 Y 和可支配收入 Y X 0 200 200 600 400 400 600 返回 關關系的種類 按相關的程度可分為完全相關 、 不完全相關 、 不相關 按相關的方向可分為正相關 、負相關 按相關的形式可分為線性相關和非線性相關 按所研究的變量的多少可分為單相關 、 復相關和偏相關 相關與回歸分析 相關與回歸的基本概念 正線性相關 負線性相關 Y X 0 Y X =1+ 2X. 0 非線性相關 非線性相關 Y X 0 Y X 圖 7 2 線性相關與非線性相關 0 返回 關分析 相關系數(shù) 相關系數(shù)與相關程度 相關系數(shù)的檢驗 等級相關系數(shù)及其檢驗 相關與回歸分析 相關與回歸的基本概念 相關分析 一元線性回歸分析 多元線性回歸分析 ( 回歸診斷與殘差分析 (返回 關系數(shù) 相關系數(shù)也叫單相關系數(shù) 。 它是在線性相關的條件下 ， 用來測定變量 Y , 通常以 表示總體的相關系數(shù) ， 以 表示樣本的相關系數(shù) 。 存在線性相關的變量總體 (Y , X)， 定義為 ( 式中： ,Y)是變量 的協(xié)方差 ， )和 )分別是 的方差 。 對來自總體 (Y , X)的 Y t, X t)， t=1,2,3, ,n， 記 為 ( 其中 =t,樣本 (Y t, 協(xié)方差 ， 和 Y 的樣本標準差 。 樣本相關系數(shù) ， 是根據(jù)樣本觀察值計算的 。 相關與回歸分析 相關分析 o v,22,)()(),( .)()()(12121, 關系數(shù) 總體 值為常數(shù) ， 在很多情況下 ， 是無法直接按定義計算的 ， 只能通過樣本相關系數(shù) ， 去估計 值 。 容易證明 ， 樣本相關系數(shù) ， 是總體相關系數(shù) 的一致估計量 。 可以證明 ， 存在線性相關的變量之間 ， 不論是總體相關系數(shù) ， 還是樣本相關系數(shù) ， 均有 0 | 1， 0 | 1。 為便于計算 ， 引進如下符號： ( 相關與回歸分析 相關分析 )(1)()()(1)()(1)(1111211212211212 關系數(shù) 【 例 7利用某國 1951和可支配收入 計算它們之間的相關系數(shù) 。 解：根據(jù)相關系數(shù)的公式 ， 有 于是 相關與回歸分析 相關分析 年份 序號 t 可支配收入 消費 t t t 1951 1 952 2 953 3 30 2900 58098 1954 4 955 5 956 6 957 7 958 8 959 9 960 10 350 22500 105755 113820 1961 11 12359 962 12 26096 136820 1963 13 75 40625 151725 1964 14 965 15 04801 1966 16 38699 1967 17 968 18 16765 1969 19 64749 1970 20 22323 合計 - 471559 2888129 3166305 平均 - 73578 8893166305)(1)(2062888129)(8893471559)(1)(11121122112 9 6 8 1 5 9 9 5 0 6 3 6 7 2 L L返回 關系數(shù)與相關程度 如果 |=1， 表明 (Y , X )之間是完全線性相關 ， 完全線性相關 ， 是一種精確的線性函數(shù)關系； 如果 |=0， 表明 (Y , X )之間沒有關系或者線性無關； 如果 0t/2， 拒絕 表示 Y, 相關與回歸分析 相關分析 212 關系數(shù)的檢驗 作統(tǒng)計假設 零假設 =0， 備擇假設 0。 計算樣本相關系數(shù) 的 ， 選擇顯著性水平 ， 取 =1%或者 =5%。 根據(jù) 和自由度 1,求 1-/2(1,F/2(1,， 且 2(1,F/2(1, 2， 拒絕 表示 Y, 相關與回歸分析 相關分析 關系數(shù)的檢驗 【 例 7利用某國 1951和可支配收入 ，在 =5%時 ， 是否可以認為 之間存在顯著性的線性相關關系 。 解： 作統(tǒng)計假設 =0， 0。 計算樣本相關系數(shù) 的 已知 =求得 t= 選擇顯著性水平 ， 取 =5%。 根據(jù) 和自由度 求得 t/2( 20因為 |t|=t/2=所以拒絕 示 Y, 相關與回歸分析 相關分析 返回 級相關系數(shù)及其檢驗 等級相關系數(shù) （ 又稱為順序相關系數(shù) ） 。 設有 依數(shù)量的大小或者品質(zhì)的優(yōu)劣 ， 分為 1,2,3, , 以 VX, 以 VY, 則等級相關系數(shù) ( 式中 ， 該公式可由兩個等級變量的相關系數(shù) ， 推導而來 。 與相關系數(shù) 類似 ， | s| 1。 存在正的等級相關關系 ， 存在負的等級相關 。 s=1， 表明兩種現(xiàn)象的等級完全相同 ， 存在完全正相關； s=表明兩種現(xiàn)象的等級完全相反 ， 存在完全負相關 。 相關與回歸分析 相關分析 )1(61)1()(61 212212, 級相關系數(shù)及其檢驗 等級相關系數(shù)檢驗 。 當樣本容量 n 20時 ， 可利用以下的 進行 ( 當總體等級相關系數(shù) s =0時 ， 可以證明： 在給定顯著性水平 下 ， 如果 |t| t/2( 接受 表示 Y, |t|t/2( 拒絕 表示 Y, 同樣也可以參照樣本相關系數(shù) 的檢驗方法 ， 構(gòu)造新的統(tǒng)計量 檢驗 ， 或者直接查相關系數(shù)表檢驗 。 相關與回歸分析 相關分析 212 級相關系數(shù)及其檢驗 【 例 7某校對學生某專業(yè)課程的復習時間和考試成績進行調(diào)查 。 抽查 10同學的有關數(shù)據(jù)如下表 。 計算復習時間與考試成績的相關系數(shù)和等級相關系數(shù) 。 根據(jù)以上結(jié)果 ， 能否得出復習時間越長考試成績越高的結(jié)論 。 解： 相關與回歸分析 相關分析 序號 t 復習時間 考試成績 VX,t)2 時間 排隊等級 VX,t 成績 排隊等級 VX,t 1 3 3 86 3 0 2 4 4 87 4 0 3 1 1 4 1 0 4 2 2 85 2 0 5 5 5 93 6 1 6 8 6 91 5 1 7 10 8 95 8 9 7 94 7 0 9 11 9 95 10 13 10 96 10 0 合計 - 55 - 55 級相關系數(shù)及其檢驗 解：首先對復習時間 按從小到大的順序確定等級 。 對于 取其應得等級的平均數(shù) 。 其次 ， 計算相關系數(shù) 。 根據(jù)公式 ， 得 =t=在 =5%、 自由度 =條件下 ， 得 t/2(因為 |t|=t/2(表示Y, 難以判斷復習時間 之間存在顯著的線性關系 。 最后 ， 計算等級相關系數(shù) s。 根據(jù)公式 ， 得 s =t s =在=5%、 自由度 =條件下 ， 得 t/2(因為 |t s |=t/2(表示 Y, 存在復習時間越長考試成績越高的現(xiàn)象 。 相關與回歸分析 相關分析 返回 元線性回歸分析 標準的一元線性回歸模型 一元線性回歸模型的估計 一元線性回歸模型的檢驗 誤差項 一元線性回歸模型的預測 相關與回歸分析 相關與回歸的基本概念 相關分析 一元線性回歸分析 多元線性回歸分析 ( 回歸診斷與殘差分析 (返回 準的一元線性回歸模型 總體回歸函數(shù) 設因變量為 Y， 自變量為 X；若 且服從如下的分布 YN (1+ 2X , 2) ( 式中 1， 2和 2是不依賴于 則方程 Y= 1+ 2X+ u ;u N (0， 2) ( 就稱為 一元線性回歸模型 （ 或稱為相關方程 ） 。 其中 ， 是隨機誤差項 ， E ( ) = 0。 又由于 的函數(shù) ， E ( YX ) = 1+ 2X ( 的取值決定 ， 因此 ， E (YX )是一個關于 它從平均意義上表達了 的統(tǒng)計規(guī)律性 ， 于是 ， E (YX )也可以作為 故 X = 1+ 2X ( 稱為總體一元回歸估計方程或者回歸估計函數(shù)， 1， 2是這個回歸方程中的回歸系數(shù)，其圖形表現(xiàn)為一條直線。 相關與回歸分析 一元線性回歸分析 準的一元線性回歸模型 誤差項 的標準假定 誤差項的期望值恒為零 ， 即 E ( t0 ( 誤差項的方差是同觀察時點 即 tE ( t)= 2 ( 時點不同的誤差項之間不相關 ， 即 t, s)=E ( t s )=0;ts ( 1， 2和 確定變量 ） ， 即 X, 不是有統(tǒng)計從屬關系的隨機變量 。 t, t)=E (t )=0 ( 即 t N (0， 2) ( 以上假定最早是由德國數(shù)學家高斯提出來的，也稱為高斯假定或者標準假定。 相關與回歸分析 一元線性回歸分析 圖 7 3 總體回歸與隨機誤差 Y X = 1+ 2X. 0 Y= 1+ 2X+u u t 準的一元線性回歸模型 滿足以上 假定的一元線性回歸模型，稱為標準的一元線性回歸模型。滿足 假定的一元線性回歸模型，稱為標準線性正態(tài)回歸模型。 應當指出的是 ， 在現(xiàn)實的情況是由于種種原因 ， 以上假定常常不能得到滿足 。 其最一般的模型及回歸函數(shù)為 Y= 1 + 2X +u , X = E ( YX ) = 1+2X ( E (u)=0, E( 2)= 2，Y與 均為非正態(tài)分布，我們以下的討論均以 (為基礎，其余變量的解釋如前。 相關與回歸分析 一元線性回歸分析 圖 7 3 總體回歸與隨機誤差 Y X = 1+ 2X. 0 Y= 1+ 2X+u u t 準的一元線性回歸模型 樣本回歸函數(shù)，就是根據(jù)樣本資料 (X t)，對總體回歸函數(shù)進行擬合的估計函數(shù)。由于樣本 (X t)來源于總體 (Y, X )，因此，樣本回歸線與總體回歸線，有相同的函數(shù)形式。由樣本關系方程 ( 有樣本回歸函數(shù) ( 式中 ， 和 它是對 E( t)的估計； 為樣本回歸系數(shù) ， 是對總體回歸系數(shù)的 1， 2的估計； t= 亦稱殘差 ， 是一個可計算的量； 是對 2的估計 。 樣本回歸函數(shù)是總體回歸函數(shù)的近似反映 。 回歸分析的主要任務 ， 就是充分利用樣本的信息 ， 采用適當?shù)姆椒?， 使得樣本回歸函數(shù) ， 盡可能接近真實的總體回歸函數(shù) 。 相關與回歸分析 一元線性回歸分析 .,3,2,1;)(,0)(; 2221 221 , , . .,3,2,1; 21 返回 元線性回歸模型的估計 回歸系數(shù)的估計 最小二乘法 ， 簡記為 它的準則是使 即 ( 由極值條件 ， 有聯(lián)立方程 ( 整理得正規(guī)方程組 ( 相關與回歸分析 一元線性回歸分析 1221121221)(m ()(),(21(20)(2 元線性回歸模型的估計 回歸系數(shù)的估計 （續(xù)） 求解正規(guī)方程組 ， 得 ( 利用 ( ， 則最小二乘估計量 ， 又可簡寫為 ( 相關與回歸分析 一元線性回歸分析 )()()()(122221)()()()( 元線性回歸模型的估計 【 例 7利用某國 1951和可支配收入 立消費對可支配收入的回歸估計方程。 解：因為消費 之間是顯著線性相關 ， 所以 ， 可以建立Y, Y= 1+ 2X +u , X = E ( YX ) = 1+ 2X 根據(jù)最小二乘估計方法 ， 得回歸估計方程 X = S =2= ( ( d= 相關與回歸分析 一元線性回歸分析 元線性回歸模型的估計 相關與回歸分析 一元線性回歸分析 年份 序號 t 可支配收入 消費 t t t X,t t=t 1951 1 952 2 953 3 30 2900 58098 954 4 955 5 956 6 957 7 958 8 959 9 960 10 350 22500 105755 113820 961 11 12359 962 12 26096 136820 963 13 75 40625 151725 964 14 965 15 04801 966 16 38699 967 17 968 18 16765 969 19 64749 970 20 22323 計 210 471559 2888129 3166305 均 73578 元線性回歸模型的估計 最小二乘估計量的性質(zhì) 可以證明 ， 在高斯假定能夠得到滿足的條件下 ， ( 其方差 ( 回歸系數(shù)的最小二乘估計量 ， 是最優(yōu)的線性無偏估計量和一致估計量 。 以上性質(zhì) ， 在文獻中被稱為高斯 馬爾可夫定理 。 該定理表明 ， 在高斯假定條件下 ， 最小二乘估計量 ， 是一種最佳的估計方式 。 相關與回歸分析 一元線性回歸分析 .)(.)( 2211 )()1()(1()( 元線性回歸模型的估計 隨機誤差項的方差估計 數(shù)學上可以證明 ， 2的無偏估計 ( 在一元線性回歸模型中 ， 殘差 1， 2最小二乘估計要求所導出的兩個約束條件： ( 因而失去了 2個自由度 ， 所以 ， 殘差 n 表明實際觀測點與所擬的樣本回歸線的離差程度越小 ， 即回歸線具有較強的代表性；反之 ， 表明實際觀測點與所擬合的樣本回歸的離差程度越大 ， 即回歸線的代表性較差 。 因此 ， 相關與回歸分析 一元線性回歸分析 2)(22)(1221121222 0)(;0)(20;0)(211221211211 元線性回歸模型的估計 【 例 7利用例 7例 7 計算其消費對可支配收入回歸估計方程的回歸估計標準誤差 。 解：已知 n=20,(Y)= (2888129, (XY)=3166305, ( 2)= ( (Y)- (XY) = 3166305 = ( 2)/(8= S= (X)=(X)/n= 另外可計算回歸系數(shù) 1， 2估計值的標準差分別為 ( ( 上述結(jié)果如果用 相關與回歸分析 一元線性回歸分析 12111212 )( 返回 元線性回歸模型的檢驗 回歸模型檢驗的種類 包括理論意義檢驗 、 一級檢驗和二級檢驗 。 理論意義檢驗 ， 主要涉及參數(shù)估計值的符號和取值區(qū)間 ，如果它們與實質(zhì)性科學的理論及其人們的經(jīng)驗不相符 ， 就說明模型不能很好地解釋現(xiàn)實的現(xiàn)象 。 一級檢驗 ， 又稱為統(tǒng)計學檢驗 ， 它是利用統(tǒng)計學的抽樣理論 ， 來檢驗回歸方程的可靠性 ， 具體可分為擬合程度評價和顯著性檢驗 。 一級檢驗 ， 是所有回歸分析必須通過的檢驗 。 二級檢驗 ， 又稱為經(jīng)濟計量學檢驗 ， 它是對標準線性回歸模型中的高斯假定條件能否滿足 ， 進行檢驗 ， 具體包括序列相關 、 異方差性檢驗等 。 相關與回歸分析 一元線性回歸分析 元線性回歸模型的檢驗 由于 ( 稱為回歸平方和 ， 是用回歸直線無法解釋的部分離差平方和 。 公式兩端同除以 則 ( 顯然 ， 各個樣本觀察值與樣本回歸線靠得愈近 ， 因此 ， 可定義這一比例為可決系數(shù) ( 相關與回歸分析 一元線性回歸分析 121212 )()(1 122 11 元線性回歸模型的檢驗 可決系數(shù) 2， 是對回歸模型擬合程度的綜合度量指標 ， 2越大 ， 模型擬合程度越高； 2越小 ， 模型擬合程度越差 。 可決系數(shù) 2具有如下性質(zhì)： 0 2 1；當 樣本觀察值 (X t)都處于回歸直線上時 ， ，2=1；當 觀察值 (X t)并不全部處于回歸直線上時 ， ， 0t /2， 拒絕零假設 表示 Y, 對一元線性回歸模