多元回歸和相關(guān)第1頁，共27頁，2023年，2月20日，星期一本章主要內(nèi)容有：

①確定各個(gè)自變數(shù)對依變數(shù)的各自效應(yīng)和綜合效應(yīng)，即建立由各個(gè)自變數(shù)描述和預(yù)測依變數(shù)反應(yīng)量的多元回歸方程；②對上述綜合效應(yīng)和各自效應(yīng)的顯著性進(jìn)行測驗(yàn)，并在大量自變數(shù)中選擇僅對依變數(shù)有顯著效應(yīng)的自變數(shù)，建立最優(yōu)多元回歸方程；③評定各個(gè)自變數(shù)對依變數(shù)的相對重要性，以便研究者抓住關(guān)鍵，能動(dòng)地調(diào)控依變數(shù)的響應(yīng)量。

第2頁，共27頁，2023年，2月20日，星期一第一節(jié)多元回歸一、多元回歸方程二、多元回歸的假設(shè)測驗(yàn)三、最優(yōu)多元線性回歸方程的統(tǒng)計(jì)選擇四、自變數(shù)的相對重要性第3頁，共27頁，2023年，2月20日，星期一一、多元回歸方程多元回歸或復(fù)回歸(multipleregression)：依變數(shù)依兩個(gè)或兩個(gè)以上自變數(shù)的回歸。

(一)多元回歸的線性模型和多元回歸方程式若依變數(shù)Y同時(shí)受到m個(gè)自變數(shù)X1、X2、…、Xm的影響，且這m個(gè)自變數(shù)皆與Y成線性關(guān)系，則這m+1個(gè)變數(shù)的關(guān)系就形成m元線性回歸。

第4頁，共27頁，2023年，2月20日，星期一一個(gè)m元線性回歸總體的線性模型為：

其中，～N(0，)。一個(gè)m元線性回歸的樣本觀察值組成為：

(10·1)(10·2)第5頁，共27頁，2023年，2月20日，星期一一個(gè)m元線性回歸方程可給定為：

b0是x1、x2、…、xm都為0時(shí)y的點(diǎn)估計(jì)值；b1是by1·23…m的簡寫，它是在x2，x3，…，xm皆保持一定時(shí)，x1每增加一個(gè)單位對y的效應(yīng)，稱為x2，x3，…，xm不變(取常量)時(shí)x1對y的偏回歸系數(shù)(partialregressioncoefficient)

。

(10·3)第6頁，共27頁，2023年，2月20日，星期一(二)多元回歸統(tǒng)計(jì)數(shù)的計(jì)算(10·2)

用矩陣表示為：

即Y=Xb+e

(10·4)第7頁，共27頁，2023年，2月20日，星期一其中(三)多元回歸方程的估計(jì)標(biāo)準(zhǔn)誤

Qy/12…m

稱為多元離回歸平方和或多元回歸剩余平方和，它反映了回歸估計(jì)值和實(shí)測值y之間的差異。

最小

自由度：

=n-(m+1)

(10·5)

sy/12…m（10·6）第8頁，共27頁，2023年，2月20日，星期一二、多元回歸的假設(shè)測驗(yàn)(一)多元回歸關(guān)系的假設(shè)測驗(yàn)測驗(yàn)m個(gè)自變數(shù)的綜合對Y的效應(yīng)是否顯著。若令回歸方程中b1、b2、…、bm的總體回歸系數(shù)為、、…

、，則這一測驗(yàn)所對應(yīng)的假設(shè)為H0：

0對HA：不全為0。

第9頁，共27頁，2023年，2月20日，星期一由于多元回歸下SSy可分解為Uy/12…m和Qy/12…m兩部分，Uy/12…m由x1、x2、…、xm的不同所引起，具有=m；Qy/12…m與x1、x2、…、xm的不同無關(guān)，具有=n-(m+1)，由之構(gòu)成的F值：

(10·8）第10頁，共27頁，2023年，2月20日，星期一(二)偏回歸關(guān)系的假設(shè)測驗(yàn)

偏回歸系數(shù)的假設(shè)測驗(yàn)，就是測驗(yàn)各個(gè)偏回歸系數(shù)bi(i=1，2,…，m)來自=0的總體的概率，所作的假設(shè)為H0：=0對HA：≠0，測驗(yàn)方法有兩種。1．t測驗(yàn)

第11頁，共27頁，2023年，2月20日，星期一

服從的t分布，可測驗(yàn)bi的顯著性。

(10·9)=sy/12…m(10·10)(10·11)第12頁，共27頁，2023年，2月20日，星期一2.F測驗(yàn)

(10·12)

就是y對xi的偏回歸平方和，。

(10·13)

第13頁，共27頁，2023年，2月20日，星期一三、最優(yōu)多元線性回歸方程的統(tǒng)計(jì)選擇剔除不顯著自變數(shù)的過程稱為自變數(shù)的統(tǒng)計(jì)選擇，所得的僅包含顯著自變數(shù)的多元回歸方程，叫做最優(yōu)的多元線性回歸方程。第14頁，共27頁，2023年，2月20日，星期一逐步回歸(stepwiseregression)：為了獲得最優(yōu)方程，回歸計(jì)算就要一步一步做下去，直至所有不顯著的自變數(shù)皆被剔除為止。自變數(shù)統(tǒng)計(jì)選擇的具體步驟為：第一步：m個(gè)自變數(shù)的回歸分析，一直進(jìn)行到偏回歸的假設(shè)測驗(yàn)。

第15頁，共27頁，2023年，2月20日，星期一第二步：m-1個(gè)自變數(shù)的回歸分析，也是一直進(jìn)行到偏回歸的假設(shè)測驗(yàn)。第三步：m-2個(gè)自變數(shù)的回歸分析，又一直進(jìn)行到偏回歸的假設(shè)測驗(yàn)。

……如此重復(fù)進(jìn)行，直至留下的所有自變數(shù)的偏回歸都顯著，即得最優(yōu)多元線性回歸方程。第16頁，共27頁，2023年，2月20日，星期一四、自變數(shù)的相對重要性偏回歸系數(shù)bi本身并不能反映自變數(shù)的相對重要性，其原因有二：①bi是帶有具體單位的，單位不同則無從比較；②即使單位相同，若Xi的變異度不同，也不能比較。通徑系數(shù)(pathcoefficient，記作pi)：即對bi進(jìn)行標(biāo)準(zhǔn)化，在分子和分母分別除以Y和Xi的標(biāo)準(zhǔn)差，從而消除單位和變異度不同的影響，獲得一個(gè)表示Xi對Y相對重要性的統(tǒng)計(jì)數(shù)。第17頁，共27頁，2023年，2月20日，星期一通徑系數(shù)pi統(tǒng)計(jì)意義是：若Xi增加一個(gè)標(biāo)準(zhǔn)差單位，Y將增加(pi＞0)或減少(pi＜0)pi個(gè)標(biāo)準(zhǔn)差單位。(10·14)第18頁，共27頁，2023年，2月20日，星期一第二節(jié)多元相關(guān)和偏相關(guān)一、多元相關(guān)二、偏相關(guān)三、偏相關(guān)和簡單相關(guān)的關(guān)系第19頁，共27頁，2023年，2月20日，星期一一、多元相關(guān)多元相關(guān)或復(fù)相關(guān)(multiplecorrelation)：在M=m+1個(gè)變數(shù)中，m個(gè)變數(shù)的綜合和1個(gè)變數(shù)的相關(guān)。偏相關(guān)(partialcorrelation)：在其余M-2個(gè)變數(shù)皆固定時(shí)，指定的兩個(gè)變數(shù)間的相關(guān)。

第20頁，共27頁，2023年，2月20日，星期一(一)多元相關(guān)系數(shù)在m個(gè)自變數(shù)和1個(gè)依變數(shù)的多元相關(guān)中，多元相關(guān)系數(shù)記作Ry·12…m，讀作依變數(shù)y和m個(gè)自變數(shù)的多元相關(guān)系數(shù)。

Ry·12…m=（10·15）

第21頁，共27頁，2023年，2月20日，星期一多元相關(guān)系數(shù)為多元回歸平方和與總變異平方和之比的平方根。Ry·12…m的存在區(qū)間為[0，1]。

(二)

多元相關(guān)系數(shù)的假設(shè)測驗(yàn)令總體的多元相關(guān)系數(shù)為，則對多元相關(guān)系數(shù)的假設(shè)測驗(yàn)為H0：對HA：，第22頁，共27頁，2023年，2月20日，星期一F測驗(yàn)：

其中的=m，=n-(m+1)，R2為的簡寫。

（10·16）第23頁，共27頁，2023年，2月20日，星期一二、偏相關(guān)(一)偏相關(guān)系數(shù)偏相關(guān)系數(shù)：表示在其它M-2個(gè)變數(shù)都保持一定時(shí)，指定的兩個(gè)變數(shù)間相關(guān)的密切程度。偏相關(guān)系數(shù)以r帶右下標(biāo)表示。如有X1、X2、X33個(gè)變數(shù)，則r12·3表示X3變數(shù)保持一定時(shí)，X1和X2變數(shù)的偏相關(guān)系數(shù)；

第24頁，共27頁，2023年，2月20日，星期一若有M個(gè)變數(shù)，則偏相關(guān)系數(shù)共有M(M-1)/2個(gè)。偏相關(guān)系數(shù)的取值范圍是[-1，1]。偏相關(guān)系數(shù)解法是：由簡單相關(guān)系數(shù)rij(i，j=1，2，…，M)組成的相關(guān)矩陣：

第25頁，共27頁，2023年，2月20日，星期一求得其逆矩陣：令xi和xj的偏相關(guān)系數(shù)為rij·

，解得后即有

rij·