1、第十章 多元回歸和相關(guān),第一節(jié) 多元回歸 第二節(jié) 多元相關(guān)和偏相關(guān),本章主要內(nèi)容有：,確定各個(gè)自變數(shù)對(duì)依變數(shù)的各自效應(yīng)和綜合效應(yīng)，即建立由各個(gè)自變數(shù)描述和預(yù)測(cè)依變數(shù)反應(yīng)量的多元回歸方程； 對(duì)上述綜合效應(yīng)和各自效應(yīng)的顯著性進(jìn)行測(cè)驗(yàn)，并在大量自變數(shù)中選擇僅對(duì)依變數(shù)有顯著效應(yīng)的自變數(shù)，建立最優(yōu)多元回歸方程； 評(píng)定各個(gè)自變數(shù)對(duì)依變數(shù)的相對(duì)重要性，以便研究者抓住關(guān)鍵，能動(dòng)地調(diào)控依變數(shù)的響應(yīng)量。,第一節(jié) 多元回歸,一、多元回歸方程 二、多元回歸的假設(shè)測(cè)驗(yàn) 三、最優(yōu)多元線性回歸方程的統(tǒng)計(jì)選擇 四、自變數(shù)的相對(duì)重要性,一、多元回歸方程 多元回歸或復(fù)回歸(multiple regression)：依變數(shù)依兩個(gè)或

2、兩個(gè)以上自變數(shù)的回歸。 (一) 多元回歸的線性模型和多元回歸方程式 若依變數(shù)Y 同時(shí)受到m 個(gè)自變數(shù)X1、X2、Xm 的影響，且這m 個(gè)自變數(shù)皆與Y 成線性關(guān)系，則這m+1個(gè)變數(shù)的關(guān)系就形成m 元線性回歸。,一個(gè)m元線性回歸總體的線性模型為： 其中， N( 0， )。 一個(gè)m元線性回歸的樣本觀察值組成為：,(101),(102),一個(gè)m元線性回歸方程可給定為： b0是x1、x2、xm 都為0時(shí)y 的點(diǎn)估計(jì)值；b1是by123m 的簡(jiǎn)寫(xiě)，它是在x2，x3，xm 皆保持一定時(shí)，x1 每增加一個(gè)單位對(duì)y的效應(yīng)，稱(chēng)為x2，x3，xm 不變(取常量)時(shí)x1 對(duì)y 的偏回歸系數(shù)(partial regre

3、ssion coefficient) 。,(103),(二) 多元回歸統(tǒng)計(jì)數(shù)的計(jì)算,(102) 用矩陣表示為： 即 Y=Xb+e (104),其中 (三) 多元回歸方程的估計(jì)標(biāo)準(zhǔn)誤 Qy/12m 稱(chēng)為多元離回歸平方和或多元回歸剩余平方和，它反映了回歸估計(jì)值和實(shí)測(cè)值y之間的差異。 最小 自由度： = n-(m+1),(105),sy/12m,（106）,二、多元回歸的假設(shè)測(cè)驗(yàn),(一) 多元回歸關(guān)系的假設(shè)測(cè)驗(yàn) 測(cè)驗(yàn) m 個(gè)自變數(shù)的綜合對(duì) Y 的效應(yīng)是否顯著。若令回歸方程中b1、b2、bm 的總體回歸系數(shù)為 、 、 、 ，則這一測(cè)驗(yàn)所對(duì)應(yīng)的假設(shè)為H0： 0 對(duì)HA： 不全為0。,由于多元回歸下 SS

4、y 可分解為 Uy/12m 和 Qy/12m 兩部分，Uy/12m由 x1、x2、xm的不同所引起，具有 = m；Qy/12m與 x1、x2、xm的不同無(wú)關(guān)，具有 =n-(m+1)，由之構(gòu)成的F 值：,(108）,(二) 偏回歸關(guān)系的假設(shè)測(cè)驗(yàn),偏回歸系數(shù)的假設(shè)測(cè)驗(yàn)，就是測(cè)驗(yàn)各個(gè)偏回歸系數(shù)bi(i=1，2,，m)來(lái)自 =0的總體的概率，所作的假設(shè)為H0： =0對(duì)HA： 0，測(cè)驗(yàn)方法有兩種。 1t 測(cè)驗(yàn),服從 的 t 分布，可測(cè)驗(yàn) bi 的顯著性。,(109),=sy/12m,(1010),(1011),2. F 測(cè)驗(yàn) (1012) 就是y對(duì)xi的偏回歸平方和， 。 (1013),三、最優(yōu)多元線性

5、回歸方程的統(tǒng)計(jì)選擇,剔除不顯著自變數(shù)的過(guò)程稱(chēng)為自變數(shù)的統(tǒng)計(jì)選擇，所得的僅包含顯著自變數(shù)的多元回歸方程，叫做最優(yōu)的多元線性回歸方程。,逐步回歸(stepwise regression)：為了獲得最優(yōu)方程，回歸計(jì)算就要一步一步做下去，直至所有不顯著的自變數(shù)皆被剔除為止。 自變數(shù)統(tǒng)計(jì)選擇的具體步驟為： 第一步：m個(gè)自變數(shù)的回歸分析，一直進(jìn)行到偏回歸的假設(shè)測(cè)驗(yàn)。,第二步：m-1個(gè)自變數(shù)的回歸分析，也是一直進(jìn)行到 偏回歸的假設(shè)測(cè)驗(yàn)。 第三步：m-2個(gè)自變數(shù)的回歸分析，又一直進(jìn)行到偏回歸的假設(shè)測(cè)驗(yàn)。 如此重復(fù)進(jìn)行，直至留下的所有自變數(shù)的偏回歸都顯著，即得最優(yōu)多元線性回歸方程。,四、自變數(shù)的相對(duì)重要性,偏回

6、歸系數(shù)bi本身并不能反映自變數(shù)的相對(duì)重要性，其原因有二： bi是帶有具體單位的，單位不同則無(wú)從比較； 即使單位相同，若Xi的變異度不同，也不能比較。 通徑系數(shù)(path coefficient，記作pi)：即對(duì)bi進(jìn)行標(biāo)準(zhǔn)化，在分子和分母分別除以Y 和Xi的標(biāo)準(zhǔn)差，從而消除單位和變異度不同的影響，獲得一個(gè)表示Xi 對(duì)Y 相對(duì)重要性的統(tǒng)計(jì)數(shù)。,通徑系數(shù) pi 統(tǒng)計(jì)意義是：若 Xi 增加一個(gè)標(biāo)準(zhǔn)差單位，Y 將增加(pi0)或減少(pi0)pi 個(gè)標(biāo)準(zhǔn)差單位。,(1014),第二節(jié) 多元相關(guān)和偏相關(guān),一、多元相關(guān) 二、偏相關(guān) 三、偏相關(guān)和簡(jiǎn)單相關(guān)的關(guān)系,一、 多元相關(guān),多元相關(guān)或復(fù)相關(guān)(multip

7、le correlation)：在M=m+1個(gè)變數(shù)中，m個(gè)變數(shù)的綜合和1個(gè)變數(shù)的相關(guān)。 偏相關(guān)(partial correlation)：在其余M-2個(gè)變數(shù)皆固定時(shí)，指定的兩個(gè)變數(shù)間的相關(guān)。,(一) 多元相關(guān)系數(shù) 在m個(gè)自變數(shù)和1個(gè)依變數(shù)的多元相關(guān)中，多元相關(guān)系數(shù)記作 Ry12m ，讀作依變數(shù)y和m個(gè)自變數(shù)的多元相關(guān)系數(shù)。 Ry12m= （1015）,多元相關(guān)系數(shù)為多元回歸平方和與總變異平方和之比的平方根。 Ry12m的存在區(qū)間為0，1。 (二) 多元相關(guān)系數(shù)的假設(shè)測(cè)驗(yàn) 令總體的多元相關(guān)系數(shù)為 ，則對(duì)多元相關(guān)系數(shù)的假設(shè)測(cè)驗(yàn)為H0： 對(duì)HA： ，,F 測(cè)驗(yàn) ： 其中的 =m， =n-(m+1)，

8、R2為 的簡(jiǎn)寫(xiě)。,（1016）,二、偏相關(guān),(一) 偏相關(guān)系數(shù) 偏相關(guān)系數(shù)：表示在其它M-2個(gè)變數(shù)都保持一定時(shí)，指定的兩個(gè)變數(shù)間相關(guān)的密切程度。 偏相關(guān)系數(shù)以r 帶右下標(biāo)表示。如有X1、X2、X3 3個(gè)變數(shù)，則r123表示X3變數(shù)保持一定時(shí)，X1和X2變數(shù)的偏相關(guān)系數(shù)；,若有M 個(gè)變數(shù)，則偏相關(guān)系數(shù)共有M(M-1)/2個(gè)。 偏相關(guān)系數(shù)的取值范圍是-1，1。 偏相關(guān)系數(shù)解法是：由簡(jiǎn)單相關(guān)系數(shù)rij(i，j=1，2，M )組成的相關(guān)矩陣：,求得其逆矩陣： 令xi 和xj 的偏相關(guān)系數(shù)為rij ，解得 后即有 rij （1018）,矩陣以主對(duì)角線為軸而對(duì)稱(chēng)，即rij =rji。逆陣 R-1中 的元素也是以主對(duì)角線為軸而對(duì)稱(chēng)的 。 (二) 偏相關(guān)系數(shù) 的假設(shè)測(cè)驗(yàn) 可測(cè)驗(yàn)H0