第二節(jié)回歸分析1回歸分析，是研究變量間統(tǒng)計(jì)相依關(guān)系的重要方法，旨的恰當(dāng)數(shù)學(xué)表達(dá)式，以近似表示和描述變量間統(tǒng)計(jì)相依關(guān)系．在尋求一個(gè)變量Y對(duì)另一個(gè)變量X或?qū)θ舾勺兞孔兞縔對(duì)X的統(tǒng)計(jì)相依關(guān)系……類似的關(guān)系通?？梢员硎緸槠渲衑

表示隨機(jī)誤差．由于Y

對(duì)X和Y對(duì)的統(tǒng)計(jì)相依關(guān)系含有隨機(jī)的成分，而隨機(jī)誤差e就表示這種隨機(jī)成分．我們可以用曲線方程（如）近似地描繪2以是隨機(jī)變量也可以是非隨機(jī)的普通變量；變量Y

稱做被解釋變量或響應(yīng)變量，假設(shè)被解釋變量都是隨機(jī)變量．只有一個(gè)回歸變量的情形稱做一元回歸；含兩個(gè)或兩個(gè)以上回歸變量的情形稱做多元回歸；當(dāng)回歸函數(shù)為線性函數(shù)時(shí)，稱做線性回歸，否則稱做非線性回歸．?dāng)?shù)；變量X

及稱做解釋變量或回歸變量，可函數(shù)和稱做回歸函3(1)

一元線性回歸的變量關(guān)系其中a和b是未知常數(shù)，稱做回歸系數(shù)；回歸變量X可以是隨機(jī)變量，也可能是可以控制的非隨機(jī)的普通變量；e表示X和Y的關(guān)系中的不確定因素的成分，我們稱之為隨機(jī)誤差，假設(shè)其期望值為0，即Ee=0．在一般回歸模型中，當(dāng)函數(shù)為線性函數(shù)時(shí),得一元線性回歸的變量Y

和X關(guān)系：一、一元線性回歸分析1、一元線性回歸模型

4

X取為值的條件下，分別獨(dú)立地對(duì)變量Y進(jìn)行觀測，測得．若在數(shù)據(jù)點(diǎn)線波動(dòng)，則說明Y和X的關(guān)系可以試用形如(9.11)的線性(2)

一元線性回歸的數(shù)據(jù)結(jié)構(gòu)可以表示為：為描繪變量X

和Y

之間存在統(tǒng)計(jì)相依關(guān)系，在變量線性關(guān)系表示.一般，對(duì)X和Y的聯(lián)合觀測結(jié)果若散點(diǎn)圖（圖9.1-9.3）上的點(diǎn)都大致圍繞著一條直線5其中假定隨機(jī)誤差滿足下列條件，觀測無系統(tǒng)誤差：；等方差性：，即各次觀測的精度相同；不相關(guān)性：兩兩不相關(guān)。即由這些條件可見，觀測值Y1

,Y2

,

,Yn兩兩不相關(guān)，且63

統(tǒng)計(jì)推斷的基本問題回歸分析的基本問題也是估計(jì)問題和檢驗(yàn)問題．估計(jì)問題：估計(jì)回歸系數(shù)和b，以及未知方差．

檢驗(yàn)問題：主要是檢驗(yàn)回歸效果．我們是用一條直線來近似地表示變量X和Y的統(tǒng)計(jì)相依關(guān)系，即由觀測數(shù)據(jù)建立了X和Y之間的經(jīng)驗(yàn)公式．根據(jù)回歸變量X

的給定值預(yù)測被解釋變量的值，也屬于估計(jì)問題．7法；方差的估計(jì)是均方殘差．和b

，隨機(jī)誤差的方差,估計(jì)回歸系數(shù)用最小二乘2、未知參數(shù)的估計(jì)一元線性回歸模型中有三個(gè)未知參數(shù)：回歸系數(shù)a

(1)經(jīng)驗(yàn)回歸方程以和表示a

和b

的估計(jì)量，以表示的估計(jì)量．稱為(經(jīng)驗(yàn))回歸方程；稱為的回歸值或擬合值．8的回歸值．實(shí)際觀測值與其回歸相應(yīng)地是觀測值

值之差稱做殘差．

(2)回歸系數(shù)的最小二乘估計(jì)估計(jì)回歸系數(shù)，由最小二乘法所得估計(jì)稱做最小二乘估計(jì)．回歸系數(shù)a和

b的最小二乘估計(jì)

和，指使殘差平方和9由此，得關(guān)于和的線性方程組：

取最小值的估計(jì)量．由微積分中求極值必要條件知，和

應(yīng)滿足條件：10其中方程組(9.19)稱做正規(guī)方程組．可以證明，正規(guī)方程組的解就是回歸系數(shù)

和b

的最小二乘估計(jì)（即和使殘差平方和達(dá)到最小值），并且是無偏估計(jì)：11可以證明，方差的無偏估計(jì)量是(3)方差的無偏估計(jì)易見，經(jīng)驗(yàn)回歸方程（9.14）和（9.15）可以表示為稱做均方殘差，而稱為標(biāo)準(zhǔn)殘差12(1)離差平方和的分解4、回歸效果的評(píng)價(jià)

回歸效果的評(píng)價(jià)，基于在統(tǒng)計(jì)數(shù)據(jù)的全部信息中“被回歸方程所吸納的部分”與“剩余部分”的比較，即觀測值部分的比較．被回歸方程解釋的部分所占比重越大，回歸其變動(dòng)中．?dāng)?shù)據(jù)的變動(dòng)情況可以用離差平方和表示，數(shù)據(jù)效果就越顯著．觀測值所能提供的信息包含在被回歸方程解釋的部分和未被回歸方程解釋的總的變動(dòng)可以由總（離差）平方和表示．我們證明13不難理解式中三個(gè)離差平方和的意義．總平方和平均值，恰好等于觀測值的算術(shù)平均值．表示用回歸值代替相應(yīng)的觀測值后的“剩余變動(dòng)”．不難驗(yàn)證，回歸值的算術(shù)其中分別稱做總平方和、回歸平方和與殘差平方和，其計(jì)算公式為反映觀測值總的變動(dòng)；殘差平方和，14(2)回歸效果的顯著性檢驗(yàn)檢驗(yàn)回歸效果基于離差平方和的比較．將回歸平方有關(guān)統(tǒng)計(jì)量的概率分布，在模型中，除了以及等．方差性和兩兩不相關(guān)外，需要假設(shè)隨機(jī)誤差服從正態(tài)分布.因此，回歸平方和就是“回歸值的總離差平方和”．于是，越小，即越接近回歸效果就越好．和與殘差平方和比較，形成統(tǒng)計(jì)量F．為導(dǎo)出15現(xiàn)在假設(shè)模型滿足條件：相互獨(dú)立且服從同一正態(tài)分布統(tǒng)計(jì)量F服從