1、第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 第三節(jié)第三節(jié) 非線性回歸預(yù)測法非線性回歸預(yù)測法 第四節(jié)第四節(jié) 應(yīng)用回歸預(yù)測法應(yīng)注意的問題應(yīng)用回歸預(yù)測法應(yīng)注意的問題第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 概概 念念是指成對(duì)的兩個(gè)變量數(shù)據(jù)分布大體上呈直線是指成對(duì)的兩個(gè)變量數(shù)據(jù)分布大體上呈直線趨勢時(shí)，采用適當(dāng)?shù)挠?jì)算方法，找到兩者之趨勢時(shí)，采用適當(dāng)?shù)挠?jì)算方法，找到兩者之間特定的經(jīng)驗(yàn)公式，即一元線性回歸模型，然間特定的經(jīng)驗(yàn)公式，即一元線性回歸模型，然后根據(jù)自變量的變化，來預(yù)測因變量發(fā)展變化后根據(jù)自變量的變化，來預(yù)測因變量發(fā)展變化的方法。

2、的方法。建立模型建立模型一一第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 01iiiybb x 其中，、其中，、 是未知參數(shù)，是未知參數(shù)， 為剩余殘差項(xiàng)或?yàn)槭Ｓ鄽埐铐?xiàng)或稱隨機(jī)擾動(dòng)項(xiàng)。稱隨機(jī)擾動(dòng)項(xiàng)。0b1bi估計(jì)參數(shù)估計(jì)參數(shù)二二第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 用最小二乘法進(jìn)行參數(shù)的估計(jì)時(shí)，要求用最小二乘法進(jìn)行參數(shù)的估計(jì)時(shí)，要求 滿足一定的假設(shè)條件：滿足一定的假設(shè)條件： 是一個(gè)隨機(jī)變量；是一個(gè)隨機(jī)變量； 的均值為零；的均值為零； 的方差為常量；的方差為常量；iiii各個(gè)各個(gè) 相互獨(dú)立；相互獨(dú)立； i與自變量無關(guān)。與自變量無關(guān)。 i估計(jì)參數(shù)估計(jì)參數(shù)二二第一節(jié)第一節(jié) 一元線性

3、回歸預(yù)測法一元線性回歸預(yù)測法 12xxyybxx01byb x01iiiybb x估計(jì)參數(shù)估計(jì)參數(shù)舉例舉例二二第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 估計(jì)參數(shù)估計(jì)參數(shù)舉例舉例二二第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 y=430 335 520 490 470 210 195 270 400 480;x=30 21 35 42 37 20 8 17 35 25;x=ones(10,1) x;format longb,bint,r,rint,stats=regress(y,x);進(jìn)行檢驗(yàn)進(jìn)行檢驗(yàn)三三第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 1.1.標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤

4、差估計(jì)值與因變量值間的平均平方誤差。估計(jì)值與因變量值間的平均平方誤差。22yySEnY=409 322 458 526 477 312 195 283 458 361se=sqrt(sum(y-Y).2)/(10-2)進(jìn)行檢驗(yàn)進(jìn)行檢驗(yàn)三三第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 2.2.相關(guān)系數(shù)相關(guān)系數(shù)相關(guān)系數(shù)越接近相關(guān)系數(shù)越接近+1+1或或-1-1，因變量與自變量的擬，因變量與自變量的擬合程度就越好。合程度就越好。22xxyyrxxyy進(jìn)行檢驗(yàn)進(jìn)行檢驗(yàn)三三第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 3.3.可決系數(shù)可決系數(shù)可決系數(shù)相關(guān)系數(shù)的平方?？蓻Q系數(shù)相關(guān)系數(shù)的平方?？蓻Q

5、系數(shù)：衡量自變量與因變量關(guān)系密切可決系數(shù)：衡量自變量與因變量關(guān)系密切程度的指標(biāo)，表示自變量解釋了因變量變動(dòng)程度的指標(biāo)，表示自變量解釋了因變量變動(dòng)的百分比。的百分比。2222221xxyyyyRyyxxyy 進(jìn)行檢驗(yàn)進(jìn)行檢驗(yàn)三三第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 4.4.回歸系數(shù)顯著性檢驗(yàn)回歸系數(shù)顯著性檢驗(yàn)檢驗(yàn)假設(shè)：檢驗(yàn)假設(shè)： 01:0Hb 11:0Hb 其中，其中，2bSESxx檢驗(yàn)規(guī)則：給定顯著性水平檢驗(yàn)規(guī)則：給定顯著性水平 ，若，若 tt則回歸系數(shù)顯著。則回歸系數(shù)顯著。 檢驗(yàn)統(tǒng)計(jì)量：檢驗(yàn)統(tǒng)計(jì)量： 12bbtt nS進(jìn)行檢驗(yàn)進(jìn)行檢驗(yàn)三三第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性

6、回歸預(yù)測法 5. 5. F F檢驗(yàn)檢驗(yàn) 檢驗(yàn)假設(shè)：檢驗(yàn)假設(shè)： 0:H回歸方程不顯著回歸方程不顯著 1:H回歸方程顯著回歸方程顯著 檢驗(yàn)統(tǒng)計(jì)量：檢驗(yàn)統(tǒng)計(jì)量： 222yyFyyn1,2Fn檢驗(yàn)規(guī)則：給定顯著性水平檢驗(yàn)規(guī)則：給定顯著性水平 ，若，若 1,2FFn則回歸方程顯著。則回歸方程顯著。 進(jìn)行檢驗(yàn)進(jìn)行檢驗(yàn)三三第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 6. 6. 德賓德賓沃森統(tǒng)計(jì)量沃森統(tǒng)計(jì)量檢驗(yàn)檢驗(yàn) iu之間是否存在自相關(guān)關(guān)系。之間是否存在自相關(guān)關(guān)系。 21221niiiniiDW其中，其中， ，iiiyyD D- -W W 的取值域在的取值域在0404之間。之間。進(jìn)行預(yù)測進(jìn)行預(yù)測四四

7、第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 1. 1. 點(diǎn)估計(jì)點(diǎn)估計(jì)只要將給定的自變量值代入所建立的一元線性只要將給定的自變量值代入所建立的一元線性 回歸模型，便可得到因變量的一個(gè)對(duì)應(yīng)的估計(jì)回歸模型，便可得到因變量的一個(gè)對(duì)應(yīng)的估計(jì) 值。值。xy74. 9117進(jìn)行預(yù)測進(jìn)行預(yù)測四四第一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 2. 2. 區(qū)間估計(jì)區(qū)間估計(jì)如果要估計(jì)的是因變量的平均水平，則所估計(jì)如果要估計(jì)的是因變量的平均水平，則所估計(jì) 的區(qū)間稱為置信區(qū)間。的區(qū)間稱為置信區(qū)間。22022)()(1xxxxnSESESEtySEzyi小樣本：置信區(qū)間大樣本：置信區(qū)間進(jìn)行預(yù)測進(jìn)行預(yù)測四四第

8、一節(jié)第一節(jié) 一元線性回歸預(yù)測法一元線性回歸預(yù)測法 2. 2. 區(qū)間估計(jì)區(qū)間估計(jì)如果要估計(jì)的是某個(gè)特定的因變量，則所估計(jì)如果要估計(jì)的是某個(gè)特定的因變量，則所估計(jì) 的區(qū)間稱為預(yù)測區(qū)間。的區(qū)間稱為預(yù)測區(qū)間。 22022)()(11xxxxnSESESEtySEzyiyyy小樣本：置信區(qū)間大樣本：置信區(qū)間第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 概概 念念一元線性回歸是一個(gè)主要影響因素作為一元線性回歸是一個(gè)主要影響因素作為自自變量變量來解釋因變量的變化。來解釋因變量的變化。 在現(xiàn)實(shí)問題研究中，因變量的變化往往受在現(xiàn)實(shí)問題研究中，因變量的變化往往受幾個(gè)重要因素的影響，此時(shí)就需要用兩個(gè)或幾個(gè)重要

9、因素的影響，此時(shí)就需要用兩個(gè)或兩個(gè)以上的影響因素作為自變量來解釋因變兩個(gè)以上的影響因素作為自變量來解釋因變量的變化，這就是多元回歸亦稱多重回歸。量的變化，這就是多元回歸亦稱多重回歸。當(dāng)多個(gè)自變量與當(dāng)多個(gè)自變量與因變量因變量之間是之間是線性關(guān)系線性關(guān)系時(shí)，時(shí)，所進(jìn)行的回歸分析就是多元性回歸。所進(jìn)行的回歸分析就是多元性回歸。 建立模型建立模型一一第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 回總目錄回本章目錄nixbxbbyikikii, 2 , 111001 122iiiiybb xb x二元線性回歸模型二元線性回歸模型估計(jì)參數(shù)估計(jì)參數(shù)二二第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法

10、 用最小二乘法進(jìn)行參數(shù)估計(jì)用最小二乘法進(jìn)行參數(shù)估計(jì)01 122iiiybb xb x估計(jì)參數(shù)估計(jì)參數(shù)二二第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 回本章目錄 二元回歸模型二元回歸模型1239.1948 9.06419.6074yxx 預(yù)測預(yù)測39.1948 9.0641*359.6074*8=433y（箱）擬合優(yōu)度擬合優(yōu)度三三第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 1.1.標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差估計(jì)值與因變量值間的平均平方誤差。估計(jì)值與因變量值間的平均平方誤差。23yySEn23yySEny=430 335 520 490 470 210 195 270 400 480;x1=

11、30 21 35 42 37 20 8 17 35 25;x2=12 10 22 6 8 2 9 8 6 17;x=ones(10,1) (x1) (x2);format longb,bint,r,rint,stats=regress(y,x);for i=1:10; z(i)=b(1)+b(2).*x1(i)+b(3).*x2(i);endz;se=sqrt(sum(y-z).2)/(10-3)擬合優(yōu)度擬合優(yōu)度三三第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 2.2.可決系數(shù)可決系數(shù)可決系數(shù)是相關(guān)系數(shù)的平方?？蓻Q系數(shù)是相關(guān)系數(shù)的平方?？蓻Q系數(shù)：衡量自變量與因變量關(guān)系密切可決系數(shù)：衡量自

12、變量與因變量關(guān)系密切程度的指標(biāo)，表示自變量解釋了因變量變動(dòng)程度的指標(biāo)，表示自變量解釋了因變量變動(dòng)的百分比。的百分比。2222221xxyyyyRyyxxyy 2222221xxyyyyRyyxxyy y=430 335 520 490 470 210 195 270 400 480;x1=30 21 35 42 37 20 8 17 35 25;x2=12 10 22 6 8 2 9 8 6 17;x=ones(10,1) (x1) (x2);format longb,bint,r,rint,stats=regress(y,x);for i=1:10; z(i)=b(1)+b(2).*x1(i

13、)+b(3).*x2(i);Endz;se=sqrt(sum(y-z).2)/(10-3);R=1-(sum(y-z).2)/(sum(y-mean(y).2)自相關(guān)和多重共線性問題自相關(guān)和多重共線性問題四四第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 1. 1. 自相關(guān)檢驗(yàn)自相關(guān)檢驗(yàn)檢驗(yàn)檢驗(yàn) iu之間是否存在自相關(guān)關(guān)系。之間是否存在自相關(guān)關(guān)系。 21221niiiniiDW其中，其中， ，iiiyyD D- -W W 的取值域在的取值域在0404之間。之間。自相關(guān)和多重共線性問題自相關(guān)和多重共線性問題四四第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 21221niiiniiDWf

14、or i=1:10 u(i)=y(i)-z(i);endu;for i=2:10 D=sum(u(i)-u(i-1)2);endfor i=1:10 W=sum(u(i)2);endD/W自相關(guān)和多重共線性問題自相關(guān)和多重共線性問題四四第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 2. 2. 多重共線性檢驗(yàn)多重共線性檢驗(yàn)22xxyyrxxyycorrcoef(x1,x2);進(jìn)行預(yù)測進(jìn)行預(yù)測五五第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 1. 1. 點(diǎn)估計(jì)點(diǎn)估計(jì)只要將給定的自變量值代入所建立的多元線性只要將給定的自變量值代入所建立的多元線性 回歸模型，便可得到因變量的一個(gè)對(duì)應(yīng)的估計(jì)

15、回歸模型，便可得到因變量的一個(gè)對(duì)應(yīng)的估計(jì) 值。值。1239.1948 9.06419.6074yxx39.1948 9.0641*359.6074*8=433y（箱）進(jìn)行預(yù)測進(jìn)行預(yù)測五五第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 2. 2. 區(qū)間估計(jì)區(qū)間估計(jì)如果要估計(jì)的是因變量的平均水平，則所估計(jì)如果要估計(jì)的是因變量的平均水平，則所估計(jì) 的區(qū)間稱為置信區(qū)間。的區(qū)間稱為置信區(qū)間。22SEtySEzy小樣本：置信區(qū)間大樣本：置信區(qū)間進(jìn)行預(yù)測進(jìn)行預(yù)測五五第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 2. 2. 區(qū)間估計(jì)區(qū)間估計(jì)如果要估計(jì)的是某個(gè)特定的因變量，則所估計(jì)如果要估計(jì)的是某個(gè)特

16、定的因變量，則所估計(jì) 的區(qū)間稱為預(yù)測區(qū)間。的區(qū)間稱為預(yù)測區(qū)間。 yySEtySEzy22小樣本：置信區(qū)間大樣本：置信區(qū)間計(jì)算機(jī)在多元回歸分析中的應(yīng)用計(jì)算機(jī)在多元回歸分析中的應(yīng)用六六第二節(jié)第二節(jié) 多元線性回歸預(yù)測法多元線性回歸預(yù)測法 15.815.865.265.230.930.948.948.91616656530.930.946.746.715.915.965.165.130.430.445.845.815.915.965.465.430.530.545.145.116.516.565.265.232.932.944.544.516.716.766.366.338.638.645.145.1

17、17.517.564.964.939.539.545.545.517.717.7656540.140.145.845.817.817.864.364.340.640.646.146.117.317.364.364.342.442.447.447.417.117.164.964.951.251.245.845.8171764.964.9515147.847.817.217.264.1564.1552.6552.6549.449.4選配曲線問題選配曲線問題一一第三節(jié)第三節(jié) 非線性回歸預(yù)測法非線性回歸預(yù)測法 1.1.確定變量間函數(shù)的類型確定變量間函數(shù)的類型變量間函數(shù)關(guān)系的類型有的可根據(jù)理論或過變量間

18、函數(shù)關(guān)系的類型有的可根據(jù)理論或過去積累的經(jīng)驗(yàn)事前予以確定；不能根據(jù)理論或去積累的經(jīng)驗(yàn)事前予以確定；不能根據(jù)理論或過去積累的經(jīng)驗(yàn)確定時(shí)，根據(jù)實(shí)際資料作散點(diǎn)過去積累的經(jīng)驗(yàn)確定時(shí)，根據(jù)實(shí)際資料作散點(diǎn)圖，從其分布形狀選擇適當(dāng)?shù)那€來配合。圖，從其分布形狀選擇適當(dāng)?shù)那€來配合。選配曲線問題選配曲線問題一一第三節(jié)第三節(jié) 非線性回歸預(yù)測法非線性回歸預(yù)測法 2.2.確定相關(guān)函數(shù)中的未知參數(shù)確定相關(guān)函數(shù)中的未知參數(shù)最小二乘法是確定未知參數(shù)最常用的方法。最小二乘法是確定未知參數(shù)最常用的方法。常見的非線性回歸常見的非線性回歸二二第三節(jié)第三節(jié) 非線性回歸預(yù)測法非線性回歸預(yù)測法 1.1.拋物線函數(shù)拋物線函數(shù)預(yù)測在不同廣

19、告費(fèi)用下的牙膏銷售量。預(yù)測在不同廣告費(fèi)用下的牙膏銷售量。 2yabxcx廣告費(fèi)廣告費(fèi)( (百萬百萬) )：x=5.5 6.75 7.25 5.5 7 6.5 6.75 5.25 5.25 6x=5.5 6.75 7.25 5.5 7 6.5 6.75 5.25 5.25 6 6.5 6.25 6.5 6.25 7 6.9 6.8 6.8 7.1 7 6.8 6.5 6.25 6 6.5 7 6.8 6.8 6.5 5.75 5.8 6.87 6.9 6.8 6.8 7.1 7 6.8 6.5 6.25 6 6.5 7 6.8 6.8 6.5 5.75 5.8 6.8銷售量銷售量( (百萬百萬)

20、 )：y=7.38 8.51 9.52 7.5 9.33 8.28 8.75 7.87 7.1 8 7.89y=7.38 8.51 9.52 7.5 9.33 8.28 8.75 7.87 7.1 8 7.898.15 9.1 8.86 8.9 8.87 9.26 9 8.75 7.95 7.65 7.27 8 8.5 8.75 9.21 8.15 9.1 8.86 8.9 8.87 9.26 9 8.75 7.95 7.65 7.27 8 8.5 8.75 9.21 8.27 7.67 7.93 9.268.27 7.67 7.93 9.26參數(shù)估計(jì)：參數(shù)估計(jì)：polyfit(x,y,2)p

21、olyfit(x,y,2)常見的非線性回歸常見的非線性回歸二二第三節(jié)第三節(jié) 非線性回歸預(yù)測法非線性回歸預(yù)測法 2.2.對(duì)數(shù)函數(shù)對(duì)數(shù)函數(shù)預(yù)測在不同投資額下的牙膏利潤。預(yù)測在不同投資額下的牙膏利潤。 投資額：投資額：x=3.9 5.3 7.2 9.6 12.9 17.1 23.2 31.4 38.6 50.2 62.9 76x=3.9 5.3 7.2 9.6 12.9 17.1 23.2 31.4 38.6 50.2 62.9 76利潤：利潤：y=1790 1800 1810 1820 1830 1840 1850 1860 1870 1880 1890 y=1790 1800 1810 1820 1830 1840 1850 1860 1870 1880 1890 19001900參數(shù)估計(jì)：參數(shù)估計(jì)：polyfit(log(x),y,1)polyfit(log(x),y,1)lgyabx常見的非線性回歸常見的非線性回歸二二第三節(jié)第三節(jié) 非線性