1、下一頁上一頁 某種水泥在凝固時(shí)放出的熱量某種水泥在凝固時(shí)放出的熱量y（卡（卡/克）與水泥中下列克）與水泥中下列4種化學(xué)成份有關(guān)。種化學(xué)成份有關(guān)。 x1：3CaOAl2O3的成份（的成份（%） x2：3CaOSiO2的成份（的成份（%） x3：4CaOAl2O3Fe3O3的成份（的成份（%） x4：2CaOSiO2的成份（的成份（%） 現(xiàn)記錄了現(xiàn)記錄了13組數(shù)據(jù)，列在表組數(shù)據(jù)，列在表34中，根據(jù)表中的數(shù)據(jù)，中，根據(jù)表中的數(shù)據(jù)，試研究試研究y與與x1，x2，x3，x4四種成份的關(guān)系。四種成份的關(guān)系。 3.2.1 水泥凝固時(shí)放出熱量問題水泥凝固時(shí)放出熱量問題下一頁上一頁 表表3 34 4 編編 號(hào)號(hào)

2、x1(%)x2(%)x3(%)x4(%)y (卡卡/克克)172666078.52129155274.331156820104.34113184787.6575263395.961155922109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.4下一頁上一頁 影響生豬生產(chǎn)的原因很多，為尋找影響生產(chǎn)的原因，影響生豬生產(chǎn)的原因很多，為尋找影響生產(chǎn)的原因，現(xiàn)搜集整理了某市現(xiàn)搜集整理了某市1980198019901990年共年共1111年的糧食產(chǎn)量、生豬年的糧食產(chǎn)量

3、、生豬外調(diào)量、鮮魚產(chǎn)量、家禽產(chǎn)量、豬肉銷售價(jià)格和生豬出欄外調(diào)量、鮮魚產(chǎn)量、家禽產(chǎn)量、豬肉銷售價(jià)格和生豬出欄量的統(tǒng)計(jì)數(shù)據(jù)（見表量的統(tǒng)計(jì)數(shù)據(jù)（見表3 35 5），試研究生豬出欄量與糧食產(chǎn)），試研究生豬出欄量與糧食產(chǎn)量、生豬外調(diào)量、鮮魚產(chǎn)量、家禽產(chǎn)量、豬肉銷售價(jià)格之量、生豬外調(diào)量、鮮魚產(chǎn)量、家禽產(chǎn)量、豬肉銷售價(jià)格之間的關(guān)系，并據(jù)此對(duì)未來的生豬生產(chǎn)進(jìn)行預(yù)測(cè)。間的關(guān)系，并據(jù)此對(duì)未來的生豬生產(chǎn)進(jìn)行預(yù)測(cè)。 下一頁上一頁 表表3 35 5 指標(biāo)指標(biāo)年年 份份糧食產(chǎn)量糧食產(chǎn)量（萬噸）（萬噸）x1豬外調(diào)量豬外調(diào)量（千頭）（千頭）x2鮮魚產(chǎn)量鮮魚產(chǎn)量（百噸）（百噸）x3家禽產(chǎn)量家禽產(chǎn)量（萬只）（萬只）x4豬肉售價(jià)豬

4、肉售價(jià)(元元/公斤公斤)x5生豬出欄生豬出欄（萬頭）（萬頭）Y1980215.52190.94132.777701.60210.291981219.91270.42153.308341.607222.091982229.53230.72120.738171.627218.811983258.44250.58188.059062.014237.021984234.25305.76241.7211611.978263.191985211.57358.45255.3811592.262277.741986243.43426.07255.8512272.437272.421987239.79414.7

5、7304.6411842.827313.251988245.94345.53305.1711484.185321.911989253.17380.18353.9613584.547330.091990232.08333.60335.8812894.344335.92下一頁上一頁在現(xiàn)實(shí)生活中，變量與變量之間經(jīng)常存在一定的關(guān)系，在現(xiàn)實(shí)生活中，變量與變量之間經(jīng)常存在一定的關(guān)系，一般來說，變量之間的關(guān)系可以分為兩大類，一類是確定性一般來說，變量之間的關(guān)系可以分為兩大類，一類是確定性的關(guān)系，這種關(guān)系通常用函數(shù)來表示。例如，已知圓的半徑的關(guān)系，這種關(guān)系通常用函數(shù)來表示。例如，已知圓的半徑r r，那么圓的面

6、積那么圓的面積S S與半徑與半徑r r的關(guān)系就可用函數(shù)關(guān)系：的關(guān)系就可用函數(shù)關(guān)系： 來表來表示，這時(shí)如果取定了示，這時(shí)如果取定了r r 的值，的值，S S 的值就會(huì)完全確定了。另一的值就會(huì)完全確定了。另一類是非確定性關(guān)系，例如，人的體重與身高之間的關(guān)系就是類是非確定性關(guān)系，例如，人的體重與身高之間的關(guān)系就是非確定性關(guān)系，一般來說，身高越高，體重越大，但是身高非確定性關(guān)系，一般來說，身高越高，體重越大，但是身高相同的人體重往往是不相同的。再如，鋼材的強(qiáng)度與鋼材中相同的人體重往往是不相同的。再如，鋼材的強(qiáng)度與鋼材中含某種元素的含量，纖維的拉伸倍數(shù)與強(qiáng)度，降雨量、氣溫、含某種元素的含量，纖維的拉伸倍

7、數(shù)與強(qiáng)度，降雨量、氣溫、施肥量與農(nóng)作物的產(chǎn)量等均屬于這種關(guān)系。變量之間的這種施肥量與農(nóng)作物的產(chǎn)量等均屬于這種關(guān)系。變量之間的這種非確定性關(guān)系通常稱為相關(guān)關(guān)系。非確定性關(guān)系通常稱為相關(guān)關(guān)系。 2rS3.2.3 3.2.3 多元線性回歸分析模型多元線性回歸分析模型下一頁上一頁回歸分析就是數(shù)理統(tǒng)計(jì)中研究相關(guān)關(guān)系的一種數(shù)學(xué)方回歸分析就是數(shù)理統(tǒng)計(jì)中研究相關(guān)關(guān)系的一種數(shù)學(xué)方法，它就是通過大量的試驗(yàn)或觀測(cè)，發(fā)現(xiàn)變量之間關(guān)系的法，它就是通過大量的試驗(yàn)或觀測(cè)，發(fā)現(xiàn)變量之間關(guān)系的統(tǒng)計(jì)規(guī)律。統(tǒng)計(jì)規(guī)律。 為了研究方便，我們考慮一個(gè)變量受其它變量影響時(shí)，為了研究方便，我們考慮一個(gè)變量受其它變量影響時(shí)，仍把這變量稱為因變

8、量，記為仍把這變量稱為因變量，記為Y Y，其它變量稱為自變量，其它變量稱為自變量，記為記為X X，這時(shí)相關(guān)關(guān)系可記作，這時(shí)相關(guān)關(guān)系可記作Y=fY=f（x x）+ （1 1） 其中其中f f（x x）為當(dāng)）為當(dāng)X=X=x x時(shí)，因變量時(shí)，因變量Y Y的均值，即的均值，即f f（x x）=E=E（Y|X=Y|X=x x） 稱稱f f（x x）為）為Y Y對(duì)對(duì)X X的回歸函數(shù)，的回歸函數(shù)，為為Y Y與與f f（x x）的偏差，的偏差，它是一個(gè)隨機(jī)變量，并假定它是一個(gè)隨機(jī)變量，并假定E E（）=0=0。下一頁上一頁“回歸回歸”一詞始于英國統(tǒng)計(jì)學(xué)家蓋爾登（一詞始于英國統(tǒng)計(jì)學(xué)家蓋爾登（GaltonGalt

9、on）和）和皮皮爾遜（爾遜（PearsonPearson），他們研究兒子的身高），他們研究兒子的身高Y Y與其父母的平均與其父母的平均身高身高X X之間的關(guān)系，通常雙親的平均身高較矮時(shí)，其子的身之間的關(guān)系，通常雙親的平均身高較矮時(shí)，其子的身高也較矮；雙親的平均身高較高時(shí)，其子的身高也較高，高也較矮；雙親的平均身高較高時(shí)，其子的身高也較高，但是他們發(fā)現(xiàn)，如果雙親屬于高個(gè)類（高于但是他們發(fā)現(xiàn)，如果雙親屬于高個(gè)類（高于10001000多對(duì)夫婦多對(duì)夫婦的平均身高）時(shí)，其子比他父親更高的概率會(huì)較??；相反的平均身高）時(shí)，其子比他父親更高的概率會(huì)較小；相反地，如果雙親屬于低個(gè)類時(shí)，其子比他父親更矮的概率也地

10、，如果雙親屬于低個(gè)類時(shí)，其子比他父親更矮的概率也較小，所以，平均身高偏高或偏矮的雙親，其子的身高都較小，所以，平均身高偏高或偏矮的雙親，其子的身高都有一種有一種“向中心回歸向中心回歸”的現(xiàn)象，基于這個(gè)事實(shí)，蓋爾登把的現(xiàn)象，基于這個(gè)事實(shí)，蓋爾登把求求描述兒子與雙親身高關(guān)系的直線稱為回歸直線。描述兒子與雙親身高關(guān)系的直線稱為回歸直線。 下一頁上一頁 回歸函數(shù)可以是一元函數(shù)，也可以是多元函數(shù)，即回歸函數(shù)可以是一元函數(shù)，也可以是多元函數(shù)，即Y=Y=f f（x x1 1，x x2 2，x xm m）+ + （2 2）其中其中f f（x x1 1，x x2 2，x xm m）= E= E（Y|XY|X1

11、1= =x x1 1，X X2 2= =x x2 2，X Xm m= =x xm m）為為m m元回歸函數(shù)，統(tǒng)稱為多元回歸函數(shù)。元回歸函數(shù)，統(tǒng)稱為多元回歸函數(shù)。 若回歸函數(shù)若回歸函數(shù)f f（x x1 1，x x2 2，x xm m）中的）中的m m =1,=1,且是一元線性且是一元線性函數(shù)，則稱為是一元線性回歸；函數(shù)，則稱為是一元線性回歸；m m11且是多元線性函數(shù)，則稱且是多元線性函數(shù)，則稱為是多元線性回歸；若回歸函數(shù)為是多元線性回歸；若回歸函數(shù)f f（x x1 1，x x2 2，x xm m）是非線）是非線性函數(shù)，則稱為是非線性回歸。對(duì)非線性回歸，經(jīng)常采用線性函數(shù)，則稱為是非線性回歸。對(duì)非

12、線性回歸，經(jīng)常采用線性化的方法來處理。所以，目前研究最多的是線性回歸，且性化的方法來處理。所以，目前研究最多的是線性回歸，且假定假定X X1 1，X X2 2，X Xm m和和Y Y均服從正態(tài)分布?；貧w分析的任務(wù)就均服從正態(tài)分布?；貧w分析的任務(wù)就是要求出滿足式（是要求出滿足式（2 2）的回歸函數(shù)）的回歸函數(shù)f f（x x1 1，x x2 2，x xm m），從而），從而對(duì)所研究的相關(guān)關(guān)系作出所需的預(yù)測(cè)和控制。對(duì)所研究的相關(guān)關(guān)系作出所需的預(yù)測(cè)和控制。 下一頁上一頁 多元回歸模型的應(yīng)用是相當(dāng)廣泛的，例如，某種商品的多元回歸模型的應(yīng)用是相當(dāng)廣泛的，例如，某種商品的銷售量可能受收入水平、風(fēng)俗習(xí)慣、產(chǎn)品

13、質(zhì)量、價(jià)格、宣傳銷售量可能受收入水平、風(fēng)俗習(xí)慣、產(chǎn)品質(zhì)量、價(jià)格、宣傳廣告等多種因素的影響；某種產(chǎn)品的質(zhì)量可能受生產(chǎn)該產(chǎn)品廣告等多種因素的影響；某種產(chǎn)品的質(zhì)量可能受生產(chǎn)該產(chǎn)品時(shí)的溫度、濕度、壓力、原材料的質(zhì)量和有害成份的含量等時(shí)的溫度、濕度、壓力、原材料的質(zhì)量和有害成份的含量等影響；工人的勞動(dòng)生產(chǎn)率可能受學(xué)歷、智力水平、情緒的穩(wěn)影響；工人的勞動(dòng)生產(chǎn)率可能受學(xué)歷、智力水平、情緒的穩(wěn)定性和才能等因素的影響；某城市的用水量可能與該城市的定性和才能等因素的影響；某城市的用水量可能與該城市的人口數(shù)及工業(yè)總產(chǎn)值有關(guān)。諸如此類的關(guān)系，可以通過多元人口數(shù)及工業(yè)總產(chǎn)值有關(guān)。諸如此類的關(guān)系，可以通過多元回歸分析模型

14、進(jìn)行研究?；貧w分析模型進(jìn)行研究。)3( 443322110 xbxbxbxbbY 例如，在水泥凝固時(shí)放出熱量問題中，可建立線性回歸例如，在水泥凝固時(shí)放出熱量問題中，可建立線性回歸模型模型其中其中E E（）=0=0，D D（）=2 2，b b0 0，b b1 1，b b2 2，b b3 3，b b4 4和和2 2是是未知參數(shù)，為了估計(jì)這些參數(shù)，將表未知參數(shù)，為了估計(jì)這些參數(shù)，將表3 34 4的值代入模型的值代入模型(3(3），）， 下一頁上一頁其中，其中，x x1 1，x x2 2，x xm m是自變量，是自變量，b b0 0為常數(shù)，為常數(shù)，b b1 1，b b2 2，b bm m為回歸系數(shù)，為

15、回歸系數(shù)，b b0 0，b b1 1，b b2 2，b bm m皆為未知，統(tǒng)稱皆為未知，統(tǒng)稱b b0 0，b b1 1，b b2 2，b bm m為回歸參數(shù)，一旦回歸參數(shù)確定，則多元線性回為回歸參數(shù)，一旦回歸參數(shù)確定，則多元線性回歸模型就完全確定，一般假定隨機(jī)誤差歸模型就完全確定，一般假定隨機(jī)誤差N N（0 0，2 2）。）。 )4( )131,( ,),(, 0)(2443322110jiCovExbxbxbxbbyijjiiiiiiii)5( 22110mmxbxbxbbY得線性模型得線性模型一般地，多元線性回歸模型可表示為一般地，多元線性回歸模型可表示為下一頁上一頁 為了得到回歸參數(shù)的估

16、計(jì)值，就要對(duì)變量進(jìn)行觀測(cè)，為了得到回歸參數(shù)的估計(jì)值，就要對(duì)變量進(jìn)行觀測(cè)，假設(shè)對(duì)變量的假設(shè)對(duì)變量的n n（nmnm）次獨(dú)立觀測(cè)數(shù)據(jù)為）次獨(dú)立觀測(cè)數(shù)據(jù)為（y yi i，x xi i1 1，x xi i2 2，x ximim）,i=,i=1 1n,n,則這些觀測(cè)數(shù)據(jù)應(yīng)滿足式（則這些觀測(cè)數(shù)據(jù)應(yīng)滿足式（5 5），即有），即有 )6( 11022211021111101nnmmnnmmmmxbxbbyxbxbbyxbxbby)1,(),(, 0)(2njiCovEijjii 其中其中 下一頁上一頁則多元線性回歸的數(shù)學(xué)模型式（則多元線性回歸的數(shù)學(xué)模型式（6 6）可以寫成矩陣形式）可以寫成矩陣形式 ,),(,

17、),(,),(211021TnTmTnbbbyyyY) 1(212222111211111mnnmnnmmxxxxxxxxxX)7( XYnIVarE2)(, 0)(若若記記其中其中 。 下一頁上一頁 為了獲得參數(shù)為了獲得參數(shù)的估計(jì)，我們采用最小二乘法，即選的估計(jì)，我們采用最小二乘法，即選擇擇，使，使 TniiQ12)()8( )()(XYXYT0)(2XYXQT達(dá)到最小。達(dá)到最小。 將將Q Q（）對(duì)）對(duì)求導(dǎo)數(shù)并令其為零，得求導(dǎo)數(shù)并令其為零，得 下一頁上一頁 方程（方程（9 9）稱為正規(guī)方程，）稱為正規(guī)方程， 其中其中 X X 為為n n（m m+1+1） 階矩階矩陣，一般假定陣，一般假定ra

18、nkrank（X X）= =m m+1+1，由線性代數(shù)理論可知，由線性代數(shù)理論可知，L=XL=XT TX X為滿秩矩陣，它的秩為滿秩矩陣，它的秩rankrank（L L）= =m m+1+1，則正規(guī)方程（，則正規(guī)方程（9 9）有唯）有唯一解，記作一解，記作 YXXXTTXXLT)9( YXLT)10( 1YXLT即即記記 ，則，則 我們來證明（我們來證明（1010）式中的）式中的 為參數(shù)向量為參數(shù)向量的最小二乘法的最小二乘法估計(jì)量，現(xiàn)用矩陣形式來敘述其證明步驟。估計(jì)量，現(xiàn)用矩陣形式來敘述其證明步驟。 下一頁上一頁 從式（從式（8 8）知，對(duì)任意的）知，對(duì)任意的)()(XYXYQT)()()()

19、()()()()()()()()()()()()(XYXYXYXXXYXXXYXYXXYXXYXYXYTTTTTTTTT則有則有 上述證明過程中應(yīng)用了如下結(jié)果：上述證明過程中應(yīng)用了如下結(jié)果：下一頁上一頁 至此，在至此，在 時(shí)，證明了式（時(shí)，證明了式（1010）中的）中的 是是的最的最小二乘法估計(jì)量。小二乘法估計(jì)量。 在實(shí)際工作中，常稱在實(shí)際工作中，常稱 0)()()()(0)()()()(XYXYXXXYXXYXXXXTTTTTTTTT)11( 110mmxbxbby 為經(jīng)驗(yàn)線性回歸方程。為經(jīng)驗(yàn)線性回歸方程。 0L下一頁上一頁 首先我們?cè)诩俣ㄊ紫任覀冊(cè)诩俣?的條件下，的條件下，探討一下由式（探

20、討一下由式（1010）確定）確定的最小二乘法估計(jì)量的最小二乘法估計(jì)量 的性質(zhì)。的性質(zhì)。 1 1、 是是的線性無偏估計(jì)量。的線性無偏估計(jì)量。 證：由于證：由于 ，每一個(gè)，每一個(gè) 都是都是y y1 1，y yn n的線性組合，因而的線性組合，因而 是是 的線性估計(jì)量，此時(shí)稱的線性估計(jì)量，此時(shí)稱 的線性估計(jì)量。的線性估計(jì)量。 nIVarE2)(,0)(YXLT1ib是ibibXXLEXXLXEXLYEXLYXLEETTTTT11111)()()()()(下一頁上一頁證：記證：記 = =E EBYBYBEBE( (Y)Y)BYBYBEBE( (Y)Y) T T = =B BE EY YE E( (Y)

21、Y)Y YE E( (Y)Y) T T B BT T = =B B2 2I In nB BT T = =L L-1-1X XT T2 2I In n（L L-1-1X XT T）T T = =2 2L L-1-1)1()(mibbEii12L) 1, 2 , 1 , 0,( ,),(,)(22mjicbbCovcbDijjiiii) 1() 1(1)(mmijcCLBYXLBT,1則即即2 2、 的協(xié)方差矩陣為的協(xié)方差矩陣為 ，即，即其中其中 ),(Cov下一頁上一頁 性質(zhì)性質(zhì)2 2告訴我們，用最小二乘法求出的諸回歸系數(shù)告訴我們，用最小二乘法求出的諸回歸系數(shù) 之間存在相關(guān)性，進(jìn)一步可以證明之間

22、存在相關(guān)性，進(jìn)一步可以證明. . 3 3、 是是的最小方差線性無偏估計(jì)，即在所有線性無的最小方差線性無偏估計(jì)，即在所有線性無偏估計(jì)類中，有且只有偏估計(jì)類中，有且只有 使其方差達(dá)到最小。使其方差達(dá)到最小。 mbbbb,210下一頁上一頁3.2.6 3.2.6 多元線性回歸方程的顯著性檢驗(yàn)多元線性回歸方程的顯著性檢驗(yàn) 從上面的參數(shù)估計(jì)過程可以看出，對(duì)于一批觀察數(shù)據(jù)從上面的參數(shù)估計(jì)過程可以看出，對(duì)于一批觀察數(shù)據(jù) 不論它們是否具有線性關(guān)系，總可以利用最小二乘法不論它們是否具有線性關(guān)系，總可以利用最小二乘法建立起多元線性回歸方程建立起多元線性回歸方程 但是但是Y Y與與x x1 1，x x2 2，x x

23、m m 是否確實(shí)存在相關(guān)關(guān)系呢？回歸是否確實(shí)存在相關(guān)關(guān)系呢？回歸方程的效果如何呢？這就要進(jìn)行方程的效果如何呢？這就要進(jìn)行“整個(gè)回歸效果是否顯著整個(gè)回歸效果是否顯著”的的檢檢驗(yàn)。當(dāng)驗(yàn)。當(dāng) 時(shí)，時(shí)， 沒有關(guān)系，沒有關(guān)系，回歸模型沒有意義，于是我們要檢驗(yàn)回歸模型沒有意義，于是我們要檢驗(yàn) 是否成立。是否成立。 nixxxyimiii1),(21)12(22110mmxbxbxbbymxxxy,21與0:210mbbbH021mbbb下一頁上一頁 若若H H0 0成立，則成立，則x x1 1，x x2 2，x xm m對(duì)對(duì)y y 沒有影響；反之，若沒有影響；反之，若H H0 0不不成立，則成立，則x x

24、1 1，x x2 2，x xm m對(duì)對(duì)y y 有影響，此時(shí)有影響，此時(shí)y y與與x x1 1，x x2 2，x xm m的線性關(guān)系顯著，也稱為整個(gè)回歸效果顯著。但要注意，即使的線性關(guān)系顯著，也稱為整個(gè)回歸效果顯著。但要注意，即使整個(gè)回歸效果是顯著的，整個(gè)回歸效果是顯著的，y y也可能只與某幾個(gè)也可能只與某幾個(gè)x xi i關(guān)系密切（相應(yīng)關(guān)系密切（相應(yīng)的的b bi i顯著不為零），而與另幾個(gè)顯著不為零），而與另幾個(gè)x xi i關(guān)系不密切（相應(yīng)的關(guān)系不密切（相應(yīng)的b bi i為為零）。這就是說，多元線性回歸除了首先要檢驗(yàn)零）。這就是說，多元線性回歸除了首先要檢驗(yàn)“整個(gè)回歸是整個(gè)回歸是否顯著否顯著”外

25、，還要逐個(gè)檢驗(yàn)每一個(gè)外，還要逐個(gè)檢驗(yàn)每一個(gè)b bi i是否為零，以便分辨出哪是否為零，以便分辨出哪些些x xi i對(duì)對(duì)y y并無顯著影響，最后，還要對(duì)各個(gè)并無顯著影響，最后，還要對(duì)各個(gè)b bi i作出區(qū)間估計(jì)。作出區(qū)間估計(jì)。 為了進(jìn)行檢驗(yàn)和區(qū)間估計(jì)，可以證明以下結(jié)論成立：為了進(jìn)行檢驗(yàn)和區(qū)間估計(jì)，可以證明以下結(jié)論成立： 下一頁上一頁niiyny11記獨(dú)立與則mbbbQmnQ,),1(1) 1 (2122niiyyyyl12)(則稱則稱l lyyyy為總變差或稱為為總變差或稱為y y的離差平方和。的離差平方和。l lyyyy可進(jìn)行如下分解：可進(jìn)行如下分解：UQyyyyliiiyy22)()(這時(shí)這

26、時(shí) 稱為殘差平方和。稱為殘差平方和。 稱為回歸平方和。稱為回歸平方和。記記稱為剩余標(biāo)準(zhǔn)差或估計(jì)的標(biāo)準(zhǔn)差。稱為剩余標(biāo)準(zhǔn)差或估計(jì)的標(biāo)準(zhǔn)差。)(iiyyQ2)(iiyyU1mnQs下一頁上一頁 由于由于l lyyyy不變，當(dāng)然希望不變，當(dāng)然希望Q Q 越小越好，即越小越好，即U U 越大越好，因越大越好，因此，定義復(fù)相關(guān)系數(shù)（此，定義復(fù)相關(guān)系數(shù)（complex correlation coefficientcomplex correlation coefficient） yyyylQlUR1 當(dāng)觀察值當(dāng)觀察值 全都與回歸值全都與回歸值 吻合時(shí)，吻合時(shí)，Q=0Q=0，R=1R=1；當(dāng)；當(dāng) 時(shí)，時(shí)， ，

27、 ，在一般情況下，在一般情況下，R R 的數(shù)值在的數(shù)值在0 0與與1 1之間。之間。 復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)R R 的定義，類似于兩個(gè)變量時(shí)的相關(guān)系數(shù)的定的定義，類似于兩個(gè)變量時(shí)的相關(guān)系數(shù)的定義，但要注意，復(fù)相關(guān)系數(shù)義，但要注意，復(fù)相關(guān)系數(shù)R R只取正值。在兩個(gè)變量時(shí)，有正只取正值。在兩個(gè)變量時(shí)，有正相關(guān)與負(fù)相關(guān)之分，在多個(gè)變量時(shí)，就沒有這一說了，所以復(fù)相關(guān)與負(fù)相關(guān)之分，在多個(gè)變量時(shí)，就沒有這一說了，所以復(fù)相關(guān)系數(shù)相關(guān)系數(shù)R R只取正值。只取正值。yyiyylQ 0Riy iy下一頁上一頁（2 2）在）在 的條件下的條件下且且U U與與Q Q獨(dú)立，因此獨(dú)立，因此（3 3） i i=1=1，2 2

28、，m m 這里這里c ciiii為為C C = = L L-1-1中第中第i i個(gè)對(duì)角線元素。個(gè)對(duì)角線元素。021mbbb)(22mU) 1,(11) 1/(/22mnmFRRmmnmnQmUF,) 1(mntscbbtiiiii) 1, 1 ()() 1/(/)(2222mnFscbbmnQcbbFiiiiiiiii下一頁上一頁 利用上述幾條結(jié)論，可進(jìn)行下列檢驗(yàn)、估計(jì)和預(yù)測(cè)。利用上述幾條結(jié)論，可進(jìn)行下列檢驗(yàn)、估計(jì)和預(yù)測(cè)。 （1 1）回歸顯著性檢驗(yàn)（）回歸顯著性檢驗(yàn)（F F檢驗(yàn)）即整個(gè)回歸效果是否顯檢驗(yàn)）即整個(gè)回歸效果是否顯著性檢驗(yàn)。著性檢驗(yàn)。 若整個(gè)回歸效果不顯著，即全部回歸系數(shù)為零，因此，

29、若整個(gè)回歸效果不顯著，即全部回歸系數(shù)為零，因此，設(shè)原假設(shè)設(shè)原假設(shè)H H0 0：b b1 1= =b b2 2= = =b bm m=0=0。若。若H H0 0為真，則為真，則 而且在而且在H H0 0不成立時(shí)，不成立時(shí)，F(xiàn) F值有變大的趨勢(shì)，因此應(yīng)取右側(cè)值有變大的趨勢(shì)，因此應(yīng)取右側(cè)否否定域，故檢驗(yàn)法是當(dāng)定域，故檢驗(yàn)法是當(dāng) 時(shí)拒絕原假設(shè)，時(shí)拒絕原假設(shè)，認(rèn)為回歸效果顯著；否則認(rèn)為回歸效果不顯著。認(rèn)為回歸效果顯著；否則認(rèn)為回歸效果不顯著。 ) 1,(11122mnmFRRmmnQUmmnF) 1,(mnmFF下一頁上一頁 （2 2）單個(gè)回歸系數(shù)為零的檢驗(yàn)（）單個(gè)回歸系數(shù)為零的檢驗(yàn)（t t檢驗(yàn)），即某

30、個(gè)自變檢驗(yàn)），即某個(gè)自變量是否對(duì)因變量有顯著性影響的檢驗(yàn)。量是否對(duì)因變量有顯著性影響的檢驗(yàn)。 在多元回歸分析中可能出現(xiàn)在多元回歸分析中可能出現(xiàn)y y與所有自變量的總體是有與所有自變量的總體是有相關(guān)關(guān)系的，但相關(guān)關(guān)系的，但y y與某個(gè)特定的與某個(gè)特定的x xi i則可能無關(guān)，即則可能無關(guān)，即x xi i對(duì)對(duì)y y并不并不起作用或者已被其它的起作用或者已被其它的x xi i的作用所代替，為此設(shè)的作用所代替，為此設(shè)m m個(gè)原假設(shè)個(gè)原假設(shè) 若若H H0i0i為真，統(tǒng)計(jì)量為真，統(tǒng)計(jì)量 mibHii,2 , 1, 0:0mimntscbtiiii, 2 , 1),1(下一頁上一頁 而當(dāng)而當(dāng)H H0i0i不

31、成立時(shí)，不成立時(shí)， 有變大的趨勢(shì)，因而應(yīng)取雙側(cè)拒有變大的趨勢(shì)，因而應(yīng)取雙側(cè)拒絕域，故當(dāng)絕域，故當(dāng) 時(shí)，否定時(shí)，否定H H0i0i，即認(rèn)為，即認(rèn)為x xi i對(duì)對(duì)y y是有是有作用的，若某幾個(gè)作用的，若某幾個(gè)x xi i是有作用的，而另幾個(gè)是有作用的，而另幾個(gè)x xi i是不起作用的，是不起作用的，則應(yīng)從回歸方程中刪除那些不起作用的自變量。則應(yīng)從回歸方程中刪除那些不起作用的自變量。 單個(gè)回歸系數(shù)是否為零，也可以用單個(gè)回歸系數(shù)是否為零，也可以用F F 檢驗(yàn)，即若檢驗(yàn)，即若H H0i0i為真，為真，統(tǒng)計(jì)量統(tǒng)計(jì)量 故當(dāng)故當(dāng) 時(shí)，拒絕原假設(shè)，即認(rèn)為時(shí)，拒絕原假設(shè)，即認(rèn)為x xi i對(duì)對(duì)y y的影響是顯著

32、的；否則認(rèn)為的影響是顯著的；否則認(rèn)為x xi i對(duì)對(duì)y y的影響是不顯著的。的影響是不顯著的。 mimnFscbFiiii, 2 , 1),1, 1 (222) 1, 1 (mnFFiit) 1(2mnttai下一頁上一頁（4 4）y y0 0的的95%95%預(yù)測(cè)區(qū)間近似為預(yù)測(cè)區(qū)間近似為 ，其中，其中（3 3）對(duì)）對(duì)b bi i的區(qū)間估計(jì)的區(qū)間估計(jì) 由于由于 因而因而b bi i的的 置信區(qū)間為置信區(qū)間為 其中其中 ) 1(mntscbbiiii1),(iiiidbdbscmntdiii) 1(2)2,2(00SySymmxbxbxbby002201100下一頁上一頁（1 1）多項(xiàng)式回歸分析模

33、型）多項(xiàng)式回歸分析模型 類似于模型（類似于模型（5 5），由自變量多項(xiàng)式和隨機(jī)項(xiàng)組成的回歸），由自變量多項(xiàng)式和隨機(jī)項(xiàng)組成的回歸模型稱為多項(xiàng)式回歸模型，它的一般形式為模型稱為多項(xiàng)式回歸模型，它的一般形式為 初看模型（初看模型（1313）不是線性回歸，因自變量中含有冪函數(shù)，）不是線性回歸，因自變量中含有冪函數(shù)，但由于未知參數(shù)但由于未知參數(shù)b b0 0，b b1 1，b bm m都是線性出現(xiàn)的，因此，令都是線性出現(xiàn)的，因此，令則模型（則模型（1313）就變成為多元線性回歸模型：）就變成為多元線性回歸模型： )13(), 0(,22210NxbxbxbbYmmmmxxxxxx,221)14(22110

34、mmxbxbxbbY下一頁上一頁 從而多項(xiàng)式回歸模型可以用多元線性回歸模型的計(jì)算公從而多項(xiàng)式回歸模型可以用多元線性回歸模型的計(jì)算公式和檢驗(yàn)方法。多項(xiàng)式回歸還有許多推廣的形式，式和檢驗(yàn)方法。多項(xiàng)式回歸還有許多推廣的形式， 例如：例如： 上述模型的共同特點(diǎn)是未知參數(shù)都是以線性形式出現(xiàn)，上述模型的共同特點(diǎn)是未知參數(shù)都是以線性形式出現(xiàn)，所以都可以采用恒等變換像模型（所以都可以采用恒等變換像模型（1313）化為模型（）化為模型（1414）一樣）一樣化為多元線性回歸模型?；癁槎嘣€性回歸模型。 xcxbxbxbbymm2210 xmmCLnxbxbxbby2210)(2210mmxbxbxbbExpy)(

35、2210 xcxbxbxbbExpymmcmmxxbxbxbbExpy)(2210下一頁上一頁（2 2）廣義線性回歸模型）廣義線性回歸模型 廣義線性回歸模型的一般形式為廣義線性回歸模型的一般形式為 其中：其中： 是一個(gè)不含未知數(shù)參數(shù)的一元函數(shù)，且有是一個(gè)不含未知數(shù)參數(shù)的一元函數(shù)，且有反函數(shù)：反函數(shù)： 的不含未知參的不含未知參數(shù)數(shù)的多元函數(shù)。的多元函數(shù)。 )15( ),(),(2121110mppmxxxFbxxxFbbfy)(0yfy )(0ygymmjxxxpjxxxF,), 2 , 1)(,(2121是下一頁上一頁 廣義線性回歸模型的回歸系數(shù)的確定主要是從自變量廣義線性回歸模型的回歸系數(shù)的

36、確定主要是從自變量 和因變量和因變量y y 的的n n 組觀察值組觀察值出發(fā)，用最小二乘法求出出發(fā)，用最小二乘法求出 ，使，使得得達(dá)到最小。達(dá)到最小。此時(shí)也就是令此時(shí)也就是令mxxx,21niyxxxiimii, 2 , 1),21（ppbbbbbb,1010的估計(jì)niimiippimiiixxxFbxxxFbbygQ122121110),(),()(),(),(),(2121110mppmxxxFtxxxFtygY下一頁上一頁則則這樣就把廣義線性回歸模型化為多元線性回歸模型。這樣就把廣義線性回歸模型化為多元線性回歸模型。例如：例如：這里這里 為已知的常數(shù)，就屬于廣義線性回歸為已知的常數(shù)，就屬

37、于廣義線性回歸模型。模型。)16(110pptbtbbYxbxaxbxaaymmmmcossincossin11110m,21下一頁上一頁 很多實(shí)際問題中，例如氣象預(yù)報(bào)、地震預(yù)報(bào)等，自變量很多實(shí)際問題中，例如氣象預(yù)報(bào)、地震預(yù)報(bào)等，自變量個(gè)數(shù)多得驚人，過多的自變量不僅給數(shù)據(jù)的收集、計(jì)算帶來很個(gè)數(shù)多得驚人，過多的自變量不僅給數(shù)據(jù)的收集、計(jì)算帶來很大麻煩，而且多個(gè)自變量之間往往會(huì)產(chǎn)生線性相關(guān)或近似線性大麻煩，而且多個(gè)自變量之間往往會(huì)產(chǎn)生線性相關(guān)或近似線性相關(guān)關(guān)系。這種相關(guān)關(guān)系，稱為相關(guān)關(guān)系。這種相關(guān)關(guān)系，稱為“復(fù)共線性復(fù)共線性”，復(fù)共線性的存在，復(fù)共線性的存在，會(huì)使得回歸分析的誤差增大，得到不合理的

38、結(jié)果，甚至使計(jì)算會(huì)使得回歸分析的誤差增大，得到不合理的結(jié)果，甚至使計(jì)算溢出，無法求得回歸分析問題的解。所以，我們總是希望從眾溢出，無法求得回歸分析問題的解。所以，我們總是希望從眾多自變量中挑選較少的一些變量，建立多自變量中挑選較少的一些變量，建立“最優(yōu)最優(yōu)”的回歸模型。所的回歸模型。所謂謂“最優(yōu)最優(yōu)”的回歸模型有兩個(gè)方面的含義：一方面指方程中要包的回歸模型有兩個(gè)方面的含義：一方面指方程中要包含所有的有顯著作用的自變量；另一方面，希望自變量的個(gè)數(shù)含所有的有顯著作用的自變量；另一方面，希望自變量的個(gè)數(shù)盡可能地少，因?yàn)樽宰兞窟^多，使用起來不方便，而且引入了盡可能地少，因?yàn)樽宰兞窟^多，使用起來不方便，

39、而且引入了無意義的量，反而會(huì)使回歸方程的穩(wěn)定性降低。無意義的量，反而會(huì)使回歸方程的穩(wěn)定性降低。下一頁上一頁 為了解決這些問題，就產(chǎn)生了一種重要的新的方法，為了解決這些問題，就產(chǎn)生了一種重要的新的方法，即逐步回歸法，它是一種能避免由復(fù)共線性產(chǎn)生的不良影響即逐步回歸法，它是一種能避免由復(fù)共線性產(chǎn)生的不良影響的回歸分析方法，其基本思想是：不取全部自變量作回歸，的回歸分析方法，其基本思想是：不取全部自變量作回歸，而是從一個(gè)含自變量的方程出發(fā)，通過逐步引入和刪除，從而是從一個(gè)含自變量的方程出發(fā)，通過逐步引入和刪除，從全部自變量中選取一部分自變量作回歸，既要使殘差平方和全部自變量中選取一部分自變量作回歸，

40、既要使殘差平方和盡量小，又要避免引入過多的自變量，以致產(chǎn)生復(fù)共線性現(xiàn)盡量小，又要避免引入過多的自變量，以致產(chǎn)生復(fù)共線性現(xiàn)象。象。 下一頁上一頁來表示它，得回歸方程來表示它，得回歸方程及回歸平方和及回歸平方和U U，再用回歸模型，再用回歸模型 來表示它，得回歸方程來表示它，得回歸方程 及回歸平方和及回歸平方和U Ui i，則，則 稱為偏回歸平方和。稱為偏回歸平方和。)(,1211mpnxxxymm型用回歸模次觀察值的個(gè)變量設(shè)有ppxbxbby110ppxbxbby110ppiiiixbxbxbxbby1111110ppiiiixbxbxbxbby1111110下面簡單介紹一下數(shù)學(xué)原理。下面簡單介

41、紹一下數(shù)學(xué)原理。iiUUS下一頁上一頁若若x xi i可用其余自變量線性表示，則可用其余自變量線性表示，則U U與與U Ui i應(yīng)當(dāng)差不多，因而應(yīng)當(dāng)差不多，因而S Si i應(yīng)當(dāng)很小。所以當(dāng)從應(yīng)當(dāng)很小。所以當(dāng)從F F檢驗(yàn)中發(fā)現(xiàn)檢驗(yàn)中發(fā)現(xiàn)S Si i很小時(shí)，我們就可以從很小時(shí)，我們就可以從P P個(gè)個(gè)自變量中刪除它。類似地，我們也可以檢驗(yàn)自變量中刪除它。類似地，我們也可以檢驗(yàn)x xp p+1+1，x xm m中的中的自變量是否應(yīng)當(dāng)添到回歸模型中去。自變量是否應(yīng)當(dāng)添到回歸模型中去。 逐步回歸的具體做法是：事先給定一個(gè)引入變量的逐步回歸的具體做法是：事先給定一個(gè)引入變量的F F水平水平界限界限F Fin

42、in和一個(gè)刪除變量的和一個(gè)刪除變量的F F水平界限水平界限F Foutout，首先在所有尚未引，首先在所有尚未引進(jìn)方程的自變量中，找出進(jìn)方程的自變量中，找出F Fi i值最大的一個(gè)，如果值最大的一個(gè)，如果F Fi iFFinin就引入就引入自變量自變量x xi i，然后在所有已引進(jìn)方程的自變量中，找出，然后在所有已引進(jìn)方程的自變量中，找出F Fi i值最小值最小的一個(gè)，如果的一個(gè)，如果F Fi iFFoutout，就刪除自變量，就刪除自變量x xi i。這樣逐步引入、刪。這樣逐步引入、刪除，直到方程外沒有一個(gè)自變量的除，直到方程外沒有一個(gè)自變量的F Fi i大于大于F Finin，方程內(nèi)沒有一

43、，方程內(nèi)沒有一個(gè)自變量的個(gè)自變量的F Fi i小于小于F Foutout為止。為止。 在逐步回歸中，檢驗(yàn)作用顯著的臨界值在逐步回歸中，檢驗(yàn)作用顯著的臨界值F F像一個(gè)門坎，它像一個(gè)門坎，它的值取大些，進(jìn)入回歸方程的變量就會(huì)少些，反之就會(huì)多些。的值取大些，進(jìn)入回歸方程的變量就會(huì)少些，反之就會(huì)多些。 下一頁上一頁（1）MATLAB命令命令命令格式命令格式b,bint,r,rint,stats=regress(Y,X,alpha)其中輸入向量其中輸入向量X，Y的排列方式分別為的排列方式分別為 alpha為顯著性水平（缺省時(shí)設(shè)定為為顯著性水平（缺省時(shí)設(shè)定為0.05）。）。輸出向量輸出向量b為回歸系數(shù)的

44、估計(jì)值，即為回歸系數(shù)的估計(jì)值，即輸出向量輸出向量bint為回歸系數(shù)估計(jì)值的置信區(qū)間；為回歸系數(shù)估計(jì)值的置信區(qū)間； nmnnmmxxxxxxxxxX212222111211111nyyyY21Tmbbbb),(10下一頁上一頁 輸出向量輸出向量r為殘差向量；為殘差向量； 輸出向量輸出向量rintrint為殘差向量的置信區(qū)間；為殘差向量的置信區(qū)間； 輸出向量輸出向量 ，它是一個(gè)，它是一個(gè)3 3維向量，用于維向量，用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量，其中第一個(gè)分量檢驗(yàn)回歸模型的統(tǒng)計(jì)量，其中第一個(gè)分量R R2 2中的中的R R是相關(guān)系是相關(guān)系數(shù)，第二個(gè)分量是數(shù)，第二個(gè)分量是F F統(tǒng)計(jì)量，第三個(gè)分量是與統(tǒng)計(jì)量統(tǒng)計(jì)

45、量，第三個(gè)分量是與統(tǒng)計(jì)量F F 對(duì)應(yīng)對(duì)應(yīng)的概率的概率P P，當(dāng)，當(dāng)P P alpha alpha 時(shí)拒絕原假設(shè)時(shí)拒絕原假設(shè)H H0 0，說明回歸模型成立。，說明回歸模型成立。TPFRstats),(2下一頁上一頁（2 2）MathematicaMathematica命令命令在在MathematicaMathematica中健入命令中健入命令StatistiLinearre.mFF=62.0595F0.050.05(5,5)=5.05(5,5)=5.05，所以回歸效果是顯著的。，所以回歸效果是顯著的。 從回歸方程（從回歸方程（2020）可見，）可見，x x1 1，x x2 2，x x4 4前面的

46、系數(shù)都很小，前面的系數(shù)都很小，為些考慮剔出變量為些考慮剔出變量x x1 1，x x2 2，x x4 4，在原程序中將語句，在原程序中將語句 修改為修改為 重新計(jì)算，輸出結(jié)果為重新計(jì)算，輸出結(jié)果為 回歸系數(shù)估計(jì)值回歸系數(shù)估計(jì)值 b =b = 140.3617 140.3617 0.4413 0.4413 9.8701 9.8701) 1 ,11(53xxonesX ) 1 ,11(54321xxxxxonesX 05. 5)5 , 5() 1,(05. 0FmnmF下一頁上一頁回歸系數(shù)估計(jì)值的置信區(qū)間回歸系數(shù)估計(jì)值的置信區(qū)間bint =bint = 122.5977 158.1257 122.597