決策與預(yù)測(cè)課件第1頁(yè)，共54頁(yè)，2023年，2月20日，星期日一、回歸的由來1889年F.Gallton和他的朋友K.Pearson收集了上千個(gè)家庭的身高、臂長(zhǎng)和腿長(zhǎng)的記錄企圖尋找出兒子們身高與父親們身高之間關(guān)系的具體表現(xiàn)形式下圖是根據(jù)1078個(gè)家庭的調(diào)查所作的散點(diǎn)圖（略圖）第2頁(yè)，共54頁(yè)，2023年，2月20日，星期日160165170175180185140150160170180190200YX兒子們身高向著平均身高“回歸”，以保持種族的穩(wěn)定第3頁(yè)，共54頁(yè)，2023年，2月20日，星期日“回歸”一詞的由來從圖上雖可看出，個(gè)子高的父親確有生出個(gè)子高的兒子的傾向，同樣地，個(gè)子低的父親確有生出個(gè)子低的兒子的傾向。得到的具體規(guī)律如下：如此以來，高的越來越高，矮的越來越矮。他百思不得其解，同時(shí)又發(fā)現(xiàn)某人種的平均身高是相當(dāng)穩(wěn)定的。最后得到結(jié)論：兒子們的身高回復(fù)于全體男子的平均身高，即“回歸”——見1889年F.Gallton的論文《普用回歸定律》。后人將此種方法普遍用于尋找變量之間的規(guī)律

第4頁(yè)，共54頁(yè)，2023年，2月20日，星期日二、回歸的定義回歸是研究自變量與因變量之間的關(guān)系形式的分析方法，其目的在于根據(jù)已知自變量值來估計(jì)因變量的總體平均值。在研究某一社會(huì)經(jīng)濟(jì)現(xiàn)象的發(fā)展變化規(guī)律時(shí)，經(jīng)過分析可以找到影響這一現(xiàn)象變化的原因。在回歸分析中，把某一現(xiàn)象稱為因變量，它是預(yù)測(cè)的對(duì)象，把引起這一現(xiàn)象變化的因素稱為自變量，它是引起這一現(xiàn)象變化的原因。而因變量則反映了自變量變化的結(jié)果。第5頁(yè)，共54頁(yè)，2023年，2月20日，星期日回歸自變量與因變量之間的因果關(guān)系可以通過函數(shù)形式來表現(xiàn)，用數(shù)學(xué)模型來體現(xiàn)兩者之間的數(shù)量關(guān)系。自變量的值是確定的，而因變量的值是隨機(jī)的?；貧w函數(shù)中，確定的自變量值所對(duì)應(yīng)的是隨機(jī)的因變量值的總體平均值。第6頁(yè)，共54頁(yè)，2023年，2月20日，星期日三、回歸模型的分類1.按模型中自變量的多少，分為一元回歸模型和多元回歸模型。一元回歸模型是指只包含一個(gè)自變量的回歸模型；多元回歸模型是指包含兩個(gè)或兩個(gè)以上自變量的回歸模型。第7頁(yè)，共54頁(yè)，2023年，2月20日，星期日2.按模型中自變量與因變量之間是否線性分為線性回歸模型和非線性回歸模型。線性回歸模型是指自變量與因變量之間呈線性關(guān)系；非線性回歸模型是指自變量與因變量之間呈非線性關(guān)系。第8頁(yè)，共54頁(yè)，2023年，2月20日，星期日3.按模型中方程數(shù)目的多少分為單一方程模型和聯(lián)立方程模型。單一方程模型是指只包含一個(gè)方程的回歸模型；聯(lián)立方程模型是指包含兩個(gè)或兩個(gè)以上方程的回歸模型。單一方程的一元線性回歸分析是其它回歸分析的基礎(chǔ)，本章將主要介紹一元線性回歸預(yù)測(cè)法。第9頁(yè)，共54頁(yè)，2023年，2月20日，星期日第二節(jié)一元線性回歸預(yù)測(cè)法一元線性回歸預(yù)測(cè)法是根據(jù)一元線性回歸模型中單一自變量的變動(dòng)來預(yù)測(cè)因變量平均發(fā)展趨勢(shì)的方法。第10頁(yè)，共54頁(yè)，2023年，2月20日，星期日一、一元線性回歸模型若用X代表自變量，Y代表因變量。則給定一個(gè)自變量的值Xi時(shí)，對(duì)于一元線性回歸模型就有一個(gè)因變量的總體平均值E(Yi)與它對(duì)應(yīng)，其函數(shù)關(guān)系可寫成E(Yi)=f(Xi)，它表明Y的總體平均值是隨著X的變化而變化的。該函數(shù)亦稱為總體回歸函數(shù)。第11頁(yè)，共54頁(yè)，2023年，2月20日，星期日一元線性回歸模型的基本形式為：E(Yi)=β0+1Xi（3-1）

或Yi=E(Yi)+ui=β0+1Xi+ui（3-2）

其中β0、1是未知而固定的參數(shù)，稱為回歸系數(shù)，ui稱為隨機(jī)擾動(dòng)項(xiàng)。在回歸分析中，我們要根據(jù)Y和X的觀測(cè)值來估計(jì)未知的β0和1的值，進(jìn)而建立回歸模型。第12頁(yè)，共54頁(yè)，2023年，2月20日，星期日回歸模型通常我們是通過Y和X的樣本觀測(cè)值建立樣本回歸函數(shù)來估計(jì)參數(shù)的。第13頁(yè)，共54頁(yè)，2023年，2月20日，星期日一元線性回歸樣本函數(shù)第14頁(yè)，共54頁(yè)，2023年，2月20日，星期日回歸模型對(duì)于樣本中每一個(gè)與Xi相對(duì)的觀測(cè)值Yi與由樣本回歸函數(shù)得到的估計(jì)值有一隨機(jī)偏差，這個(gè)偏差稱為樣本剩余，記為ei。

第15頁(yè)，共54頁(yè)，2023年，2月20日，星期日樣本回歸函數(shù)第16頁(yè)，共54頁(yè)，2023年，2月20日，星期日回歸模型回歸分析就是要根據(jù)樣本回歸函數(shù)來估計(jì)總體回歸函數(shù)。在這里需要解決的問題主要有兩個(gè)：其一是估計(jì)參數(shù);其二是“接近”的程度有多大。第17頁(yè)，共54頁(yè)，2023年，2月20日，星期日二、最小二乘估計(jì)建立樣本回歸函數(shù)的方法有許多，其中最流行的是最小二乘法（OLS）。1.最小二乘準(zhǔn)則2.最小二乘估計(jì)式第18頁(yè)，共54頁(yè)，2023年，2月20日，星期日1.最小二乘準(zhǔn)則．當(dāng)給定樣本X和Y的N對(duì)觀測(cè)值時(shí)，我們希望據(jù)此建立的樣本回歸函數(shù)值應(yīng)盡可能接近觀測(cè)值Yi，使其樣本剩余的平方和盡可能地小，即ei2min。這一準(zhǔn)則就是最小二乘準(zhǔn)則。第19頁(yè)，共54頁(yè)，2023年，2月20日，星期日Y

Yi

e....

0XiX

第20頁(yè)，共54頁(yè)，2023年，2月20日，星期日2.最小二乘估計(jì)式根據(jù)最小二乘準(zhǔn)則建立樣本回歸函數(shù)的過程為最小二乘估計(jì)，簡(jiǎn)記OLS估計(jì)。由此得到的估計(jì)值得計(jì)算式稱為最小二乘估計(jì)式。第21頁(yè)，共54頁(yè)，2023年，2月20日，星期日雙變量線性回歸模型的最小二乘估計(jì)第22頁(yè)，共54頁(yè)，2023年，2月20日，星期日雙變量線性回歸模型的最小二乘估計(jì)由最小二乘準(zhǔn)則：ei2min有：第23頁(yè)，共54頁(yè)，2023年，2月20日，星期日第24頁(yè)，共54頁(yè)，2023年，2月20日，星期日雙變量線性回歸模型的最小二乘估計(jì)式第25頁(yè)，共54頁(yè)，2023年，2月20日，星期日記X，Y的平均數(shù)則得第26頁(yè)，共54頁(yè)，2023年，2月20日，星期日或

記：三、相關(guān)系數(shù)

1．離差平方和的分解在一元線性回歸模型中，觀察值yi的取值大小是上下波動(dòng)的，這種波動(dòng)現(xiàn)象稱為變差。變差的產(chǎn)生是由兩方面原因引起的：(1)受自變量變動(dòng)的影響，即x取值的不同；(2)其他因素（包括觀察和實(shí)踐中產(chǎn)生的誤差）影響。為了分析這兩方面的影響，需要對(duì)總變差進(jìn)行分解。第27頁(yè)，共54頁(yè)，2023年，2月20日，星期日三、相關(guān)系數(shù)一、總離差平方和分解回歸直線=+X

=回歸直線解釋的部分

Yi=ei

實(shí)際與回歸值之殘差Yi

=(Yi)+()越大，ei越小說明回歸直線與樣本點(diǎn)擬合得好。YYiiY?Y

OXiXie?=來自殘差(Yi－Y)=總離差來自回歸第28頁(yè)，共54頁(yè)，2023年，2月20日，星期日三、相關(guān)系數(shù)對(duì)每一個(gè)觀察值來說，變差的大小可以通過該觀察值yi與其算術(shù)平均數(shù)y-的離差yi-y-來表示，而全部n次觀察值的總變差可由這些離差的平方和來表示：即：總變差＝剩余變差＋回歸變差（可記為TSS=RSS+ESS）等式右邊的第二項(xiàng)Q2稱為回歸變差（或稱回歸平方和），它是通過x與y的線性關(guān)系由自變量x的變動(dòng)而引起的；等式右邊的第一項(xiàng)Q1稱為剩余變差（或稱殘差平方和），它是由觀察和實(shí)驗(yàn)中產(chǎn)生的誤差以及其他未加控制的因素引起的。第29頁(yè)，共54頁(yè)，2023年，2月20日，星期日2.可決系數(shù)R2=ESS/TSS

可決系數(shù)護(hù)的大小表明了在Y的總變差中由自變量x變動(dòng)所引起的百分比，它是評(píng)價(jià)兩個(gè)變量之間線性相關(guān)關(guān)系強(qiáng)弱的一個(gè)重要指標(biāo)。根據(jù)上述定義，有：第30頁(yè)，共54頁(yè)，2023年，2月20日，星期日3．相關(guān)系數(shù)R相關(guān)系數(shù)是可決系數(shù)的平方根，它是一元線性回歸模型中用來衡量?jī)蓚€(gè)變量之間相關(guān)程度的重要指標(biāo)。相關(guān)系數(shù)有兩種定義方法：（1)根據(jù)總變差定義：(2）根據(jù)積差法定義：所以，根據(jù)積差法定義的相關(guān)系數(shù)為第31頁(yè)，共54頁(yè)，2023年，2月20日，星期日3．相關(guān)系數(shù)R由于根據(jù)積差法定義的相關(guān)系數(shù)不需要先求回歸模型的剩余變差，可以直接從樣本數(shù)據(jù)中計(jì)算得到，所以在實(shí)際工作中用得較為廣泛。用積差法計(jì)算相關(guān)系數(shù)計(jì)算量比較大，因此，根據(jù)平均數(shù)的數(shù)學(xué)性質(zhì)可將其簡(jiǎn)化為：從上述定義可以看出，相關(guān)系數(shù)的取值范圍為一1≤R≤1，相關(guān)系數(shù)為正值表示兩變量之間為正相關(guān)；相關(guān)系數(shù)為負(fù)值表示兩變量之間為負(fù)相關(guān)。相關(guān)系數(shù)R的絕對(duì)值的大小表示相關(guān)程度的高低。①當(dāng)R=0時(shí)，說明回歸變差為0，自變量x的變動(dòng)對(duì)總變差毫無影響，這種情況稱為零相關(guān)。②當(dāng)∣R∣＝1時(shí)，說明回歸變差等于總變差，總變差的變化完全由自變量x的變化所引起，這種情況稱為完全相關(guān)。這時(shí)自變量x與因變量y的關(guān)系已轉(zhuǎn)化為函數(shù)關(guān)系。③當(dāng)0＜∣R∣＜1時(shí)，說明自變量x的變動(dòng)對(duì)總變差有部分影響，這種情況稱為普通相關(guān)。其中，R的絕對(duì)值愈大，表示相關(guān)程度愈高。一般情況下，當(dāng)∣R∣≥0.7，即R2≥0.49時(shí)，說明自變量x的變動(dòng)對(duì)總變差的影響占一半以上，故稱為高度相關(guān)；當(dāng)∣R∣＜0.3，即R2<0.09時(shí)，說明自變量x的變動(dòng)對(duì)總變差的影響少于9%，故稱為低度相關(guān)；當(dāng)0.3R2<∣R∣<0.7時(shí)，說明自變量x的變動(dòng)對(duì)總變差的影響程度在9%一50%之間，故稱為中度相關(guān)。第32頁(yè)，共54頁(yè)，2023年，2月20日，星期日例1：某地區(qū)某企業(yè)近8年產(chǎn)品廣告投入費(fèi)和月平均銷售額相關(guān)情況如表1所示

表1廣告投入費(fèi)和月平均銷售額相關(guān)表年份

199719981999200020012002200320041.22.03.13.85.06.17.28.062086080011001150132013501600第33頁(yè)，共54頁(yè)，2023年，2月20日，星期日

Iwishyouallhaveahappyeveryday!Blog地址：/用途:重要通知通告；作業(yè)布置；學(xué)習(xí)交流留言；考試輔導(dǎo)等。第34頁(yè)，共54頁(yè)，2023年，2月20日，星期日解：（1）畫散點(diǎn)圖第35頁(yè)，共54頁(yè)，2023年，2月20日，星期日(2)計(jì)算相關(guān)系數(shù)

年份

199719981999200020012002200320041.223.13.856.17.28620860800110011501320135016001.4449.6114.442537.2151.84643844007396006400001210000132250017424001822500256000074417202480418057508052972012800合計(jì)36.48800207.541042140045446第36頁(yè)，共54頁(yè)，2023年，2月20日，星期日于是：

（3）計(jì)算回歸方程=0.9697128.9599=513.2323一元線性回歸模型為：第37頁(yè)，共54頁(yè)，2023年，2月20日，星期日四、顯著性檢驗(yàn)

建立的一元線性回歸模型，是否符合變量之間的客觀規(guī)律性，兩變量之間是否具有顯著的線性相關(guān)關(guān)系？這就需要對(duì)回歸模型進(jìn)行顯著性檢驗(yàn)。在一元線性回歸模型中最常用的顯著性檢驗(yàn)法是相關(guān)系數(shù)檢驗(yàn)法。相關(guān)系數(shù)是一元線性回歸模型中用來衡量?jī)蓚€(gè)變量之間相關(guān)程度的指標(biāo)。一般說來，相關(guān)系數(shù)愈大說明兩個(gè)變量之間的相關(guān)關(guān)系愈密切。但相關(guān)系數(shù)的絕對(duì)值大到什么程度時(shí)，才能認(rèn)為兩變量之間的相關(guān)關(guān)系是顯著的，回歸模型用來預(yù)測(cè)是有意義的？對(duì)于不同組數(shù)的觀察值，不同數(shù)值的顯著性水平，衡量的標(biāo)準(zhǔn)是不同的。這一數(shù)量界線的確定只有根據(jù)具體的條件和要求，通過相關(guān)系數(shù)檢驗(yàn)法的檢驗(yàn)才能加以判別。相關(guān)系數(shù)檢驗(yàn)法的步驟如下：第一步，按公式（3一10）、（3一11）或（3一12）計(jì)算相關(guān)系數(shù)R；第二步，根據(jù)回歸模型的自由度（n-2）和給定的顯著性水平a值，從相關(guān)系數(shù)臨界值表中查出臨界值Ra（n一2）；第三步，判別。若|R|≥Ra（n一2）

，表明兩變量之間線性相關(guān)關(guān)系顯著，檢驗(yàn)通過，這時(shí)回歸模型可以用來預(yù)測(cè)；若|R|＜Ra（n一2），表明兩變量之間線性相關(guān)關(guān)系不顯著，檢驗(yàn)通不過，這時(shí)的回歸模型就不能用來預(yù)測(cè)，應(yīng)分析其原因，對(duì)回歸模型重新加以處理。第38頁(yè)，共54頁(yè)，2023年，2月20日，星期日五、預(yù)測(cè)區(qū)間1、點(diǎn)預(yù)測(cè)對(duì)于自變量：的一個(gè)給定值x。，對(duì)應(yīng)回歸模型的點(diǎn)估計(jì)值為：。2、預(yù)測(cè)區(qū)間就是指在一定的顯著性水平上，依據(jù)數(shù)理統(tǒng)計(jì)方法計(jì)算出的包含預(yù)測(cè)目標(biāo)未來真實(shí)值的某一區(qū)間范圍。第39頁(yè)，共54頁(yè)，2023年，2月20日，星期日區(qū)間預(yù)測(cè)公式≤≤第40頁(yè)，共54頁(yè)，2023年，2月20日，星期日其中：代表估計(jì)標(biāo)準(zhǔn)誤差（也稱剩余標(biāo)準(zhǔn)差）?？傋儾?剩余變差+回歸變差計(jì)標(biāo)準(zhǔn)誤差公式：實(shí)際計(jì)算時(shí)可用其簡(jiǎn)捷式：第41頁(yè)，共54頁(yè)，2023年，2月20日，星期日六、應(yīng)用舉例

某省1978-1989年國(guó)內(nèi)生產(chǎn)總值和固定資產(chǎn)投資完成額資料如3一1表：表3-1一元線性回歸模型計(jì)算表單位：億元年份國(guó)內(nèi)生產(chǎn)總值Y固定資產(chǎn)投資完成額xxYx2Y219781952039004003802519792102042004004410019802442663446765953619812643592401225696961982294521528827048643619833145617584313698596198436081291606561129600198543213156592171611866241986481149716692220123136119875671639242126569321489198865523215196053824429025198970420214220840804495616合計(jì)472011676005661756612190104第42頁(yè)，共54頁(yè)，2023年，2月20日，星期日六、應(yīng)用舉例試配合適當(dāng)?shù)幕貧w模型并進(jìn)行顯著性檢驗(yàn)；若1990年該省固定資產(chǎn)投資完成額為249億元，當(dāng)顯著性水平α=0.05時(shí)，試估計(jì)1990年國(guó)內(nèi)生產(chǎn)總值的預(yù)測(cè)區(qū)間：解：1．繪制散點(diǎn)圖設(shè)國(guó)內(nèi)生產(chǎn)總值為y，固定資產(chǎn)投資完成額為x，繪制散點(diǎn)圖（圖略），由散點(diǎn)圖形看出兩者為線性關(guān)系，可以配合一元線形回歸模型。2．建立一元線形回歸模型y∧=a+bx

回歸模型y∧=171.9243+2.2767x第43頁(yè)，共54頁(yè)，2023年，2月20日，星期日3、計(jì)算回歸系數(shù)和顯著性檢驗(yàn)計(jì)算回歸系數(shù)：

當(dāng)顯著性水平a=0.05，自由度＝n-2=12-2=10時(shí)，查相關(guān)系數(shù)臨界值表，得Ro.o5（10）＝0.567，因R＝0．9829＞0．576＝Ro.o5(10)故在a＝0.05顯著性水平上，檢驗(yàn)通過，說明兩變量之間相關(guān)關(guān)系顯著。第44頁(yè)，共54頁(yè)，2023年，2月20日，星期日5．預(yù)測(cè)（1)計(jì)算估計(jì)標(biāo)準(zhǔn)誤差。(2）當(dāng)顯著性水平a=0.05，自由度二n-2=10時(shí)，查t分布表得：t0.025（10）＝2．228。(3）當(dāng)xo＝249億元時(shí)，代人回歸模型得y的點(diǎn)估計(jì)值為：y。＝171．9243＋2．2767x249＝738．8226（億元）預(yù)測(cè)區(qū)間為：即：當(dāng)1990年全省固定資產(chǎn)投資完成額為249億元時(shí)，在a=0.05的顯著性水平上，國(guó)內(nèi)生產(chǎn)總值的預(yù)測(cè)區(qū)間為：648．4708～829．1744億元之間。第45頁(yè)，共54頁(yè)，2023年，2月20日，星期日課堂練習(xí)已知1984年的收入為213億元，試預(yù)測(cè)1984年的消費(fèi)支出額。已知sy=0.9117，a=0.5.年個(gè)人收入x消費(fèi)支出yXyx2y2y∧Y-y∧1974645635844096313655.30.7…………………………………………1983189155292953572124025154.40.6∑111492911655714058296669第46頁(yè)，共54頁(yè)，2023年，2月20日，星期日答案提示回歸方程：y^=4.593+0.7927xR=0.9997S=0.9117Ta/2=2.306預(yù)測(cè)區(qū)間為[170.5,176.3]第47頁(yè)，共54頁(yè)，2023年，2月20日，星期日第三節(jié)非線性回歸預(yù)測(cè)法一、非線性回歸模型的概念及其分類非線性回歸模型，是指用于經(jīng)濟(jì)預(yù)測(cè)的模型是曲線型的。常見的非線性回歸模型有下列幾種：（1)雙曲線模型：第48頁(yè)，共54頁(yè)，2023年，2月20日，星期日第三節(jié)非線性回歸預(yù)測(cè)法根據(jù)非線性回歸模型線性化的不同性質(zhì)，上述模型一般可細(xì)分成三種類型。第一類：直接換元型。這類非線性回歸模型通過簡(jiǎn)單的變量換元可直接化為線性回歸模型，如：（3一59)、(3一60)、(3－61）、（3-62）式。由于這類模型的因變量沒有變形，所以可以直接采用最小平方法估計(jì)回歸系數(shù)并進(jìn)行檢驗(yàn)和預(yù)測(cè)。第二類：間接代換型。這類非線性回歸模型經(jīng)常通過對(duì)數(shù)變形的代換間接地化為線性回歸模型，如：(3一63)、（3一64)、（3一65）式。由于這類模型在對(duì)數(shù)變形代換過程中改變了因變量的形態(tài)，使得變形后模型的最小平方估計(jì)失去了原模型的殘差平方和為最小的意義，從而估計(jì)不到原模型的最佳回歸系數(shù)，造成回歸模型與原數(shù)列之間的較大偏差。第三類：非線性型。這類非線性回歸模型屬于不可線性化的非線性回歸模型。第一類和第二類非線性回歸模型相對(duì)于第三類，又稱為可線性化的非線性回歸模型。本節(jié)重點(diǎn)研究第一類和第二類即可線性化的非線性回歸模型。第49頁(yè)，共54頁(yè)，2023年，2月20日，星期日二、可線性化的非線性回歸模型直接換元法例設(shè)某商店1981-1990年的商品流通費(fèi)用率和商品零售額資料如下表：年份商品流通費(fèi)用率％商品零售額（萬(wàn)元）YixiXi︳＝1/xix'iYix'i2Yi219811982198319841985198619871988198919907．06．25．85．35．04．64．54．44．24.010．211．713．015．016．519．022．025．028．532．00．09800．08550．07690．06670．06060．