1、1,第二章 一元線性回歸模型,2.0 隨機(jī)變量及其數(shù)字特征（補(bǔ)充） 2.1 模型的建立及其假定條件 2.2 一元線性回歸模型的參數(shù)估計(jì) 2.3 最小二乘估計(jì)量的統(tǒng)計(jì)性質(zhì) 2.4 樣本可決系數(shù)與擬合優(yōu)度 2.5 參數(shù)估計(jì)值的顯著性檢驗(yàn)和置信區(qū)間 2.6 預(yù)測 2.7 小結(jié) 2.8 案例分析,2,第一節(jié) 隨機(jī)變量及其數(shù)字特征(補(bǔ)充內(nèi)容),隨機(jī)變量 隨機(jī)變量的數(shù)字特征,3,隨機(jī)變量,隨機(jī)變量(stochastic/random variable) 一個變量若它的值是由隨機(jī)試驗(yàn)決定的，稱其為隨機(jī)變量。 離散型隨機(jī)變量(discrete random variable) 可能取到的值是有限個的隨機(jī)變量

2、連續(xù)型隨機(jī)變量(continuous random variable) 可能取到的值是無限個的隨機(jī)變量 實(shí)例 離散型隨機(jī)變量：扔一次骰子出現(xiàn)的點(diǎn)數(shù)；未出生嬰兒的性別 連續(xù)型隨機(jī)變量：人的身高；百米跑速度,4,離散型變量的概率密度函數(shù)/概率分布 (probability density function/probability distribution) 實(shí)例 X：投擲兩顆骰子出現(xiàn)的點(diǎn)數(shù)之和 f(X) ：X的PDF,5,連續(xù)型變量的概率密度函數(shù)(PDF),6,連續(xù)型變量的概率密度函數(shù)(PDF),f(x),x,a,b,F(x),常用的概率分布,1.正態(tài)分布 2. x2 分布 3.t分布 4.F分布

3、,則,三大抽樣分布,定理2,設(shè),分布的密度函數(shù)為,(1),卡方分布,n=2,n = 3,n = 5,n = 10,n = 15,分布圖,分布密度圖形,(紅色的是標(biāo)準(zhǔn)正態(tài)分布),分布圖,m = 10, n = 4 m = 10, n = 10 m = 10, n = 15,m = 4, n =10 m = 10, n = 10 m = 15, n = 10,分布圖,16,隨機(jī)變量的數(shù)字特征,以上討論了隨機(jī)變量的概率密度函數(shù)PDF，但在處理實(shí)際問題時，往往不需要求出這些函數(shù)，而是只需要了解變量的某些特征值。 這些特征值包括三類： 度量變量分布的集中趨勢（central tendency）：數(shù)學(xué)期望

4、或均值 度量變量分布的離散性（dispersion）：方差；標(biāo)準(zhǔn)差 度量兩個變量的相關(guān)性（correlation）：協(xié)方差；相關(guān)系數(shù),17,數(shù)學(xué)期望（expectation）或均值（mean） 離散型變量的期望： 實(shí)例：扔兩個骰子的點(diǎn)數(shù)之和,18,隨機(jī)變量的數(shù)字特征,連續(xù)型變量的期望： 實(shí)例：,19,隨機(jī)變量的數(shù)字特征,期望的性質(zhì)：,20,方差（variance） 方差被定義為隨機(jī)變量對其均值的期望距離，用于表示隨機(jī)變量與其均值的偏離程度。方差較小說明變量的分布比較集中，反之則說明變量的分布很分散 方差的性質(zhì),21,實(shí)例：,22,標(biāo)準(zhǔn)差（standard deviation） 方差的量綱與變量

5、的量綱不同，為此引入與變量具有相同量綱的數(shù)字特征標(biāo)準(zhǔn)差，同樣度量變量的離散程度 標(biāo)準(zhǔn)差的性質(zhì)：,23,協(xié)方差（covariance） 協(xié)方差度量兩個隨機(jī)變量的相關(guān)（correlation）程度 協(xié)方差大于0表示兩個變量正相關(guān)（positively correlated），即其中一個變量隨著另一個變量的增大而增大 協(xié)方差小于0表示兩個變量負(fù)相關(guān)（negatively correlated），即其中一個變量隨著另一個變量的增大而減小 協(xié)方差等于0表示兩個變量不相關(guān)（uncorrelated）,24,第一節(jié) 模型的建立及其假定條件,一、回歸分析的概念 二、一元線性回歸模型 三、隨機(jī)誤差項(xiàng)的假定條件,

6、25,變量間關(guān)系的分類,確定的函數(shù)關(guān)系： 如圓的面積:,非確定的依賴關(guān)系： 如廣告支出與商品銷售額,為了分析和利用變量間非確定的依賴關(guān)系，人們建立了各種統(tǒng)計(jì)分析方法，回歸分析方法是最常用的經(jīng)典方法之一。,26,回歸分析的概念,最初的涵義：“回歸”一詞最早由英國生理學(xué)家高爾頓（Galton,1886）提出，用以指兒女的身高有回復(fù)到同齡人口總體平均身高的趨勢。 回歸分析研究因變量對一個或多個自變量的依賴關(guān)系，其用意在于通過后者的已知值，去估計(jì)或預(yù)測前者的總體均值（Gujarati，1995） 回歸分析與相關(guān)性分析(對應(yīng)依賴關(guān)系與相關(guān)關(guān)系),27,一元線性回歸模型,學(xué)習(xí)成績Yi與自習(xí)時間Xi之間的非

7、確定依賴關(guān)系 yi = 0 + 1xi + ui 其中 yi 被解釋變量（因變量）， xi 解釋變量（自變量）， ui 隨機(jī)誤差項(xiàng)， 0 截距項(xiàng)（常數(shù)項(xiàng)）， 0，1一起稱為回歸系數(shù)（待定系數(shù)或待定參數(shù)）, 。 上式稱為一元線性回歸模型。,28,yi = 0 + 1xi + ui,包括兩部分： （1）線性部分(確定性部分)，0 + 1xi，稱為總體回歸直線； （2）隨機(jī)部分(非確定性部分)ui，是對上述線性關(guān)系的擾動。,29,yi = 0 + 1xi + ui,隨機(jī)部分(非確定性部分)ui的內(nèi)容； 1、人們的隨機(jī)行為； 2、回歸模型中省略的變量； 3、數(shù)學(xué)模型不夠完善； 4、經(jīng)濟(jì)變量之間的合并誤

8、差； 5、數(shù)據(jù)測量誤差；,30,總體回歸直線,通常線性回歸函數(shù)E(yi) = 0 + 1xi是觀察不到的，利用樣本得到的只是對它的估計(jì)，也就是對0和1的估計(jì)。,31,有關(guān)隨機(jī)誤差項(xiàng)的假定,1.零均值性，E(ui) = 0。 2.同方差性，Var(ui)=u2。 （Yi與ui也有相同的方差） 3.無序列相關(guān)性（非自相關(guān)性）， Cov(ui，uj)=0，(ij )。 4. ui 與xi不相關(guān)，Cov(ui，xi) = 0。 .ui 為正態(tài)分布，ui N (0，u )。,32,第二節(jié)一元線性回歸模型的參數(shù)估計(jì),普通最小二乘法（） 幾個常用的結(jié)果 截距為零的一元線性回歸模型的參數(shù)估計(jì) 一元線性回歸模型

9、舉例,33,總體與樣本,總體（population） 研究對象的全體，記為X 隨機(jī)樣本（random sample）/樣本（sample） 在相同條件下對總體X進(jìn)行n次重復(fù)的、獨(dú)立的觀測，每次觀測結(jié)果都是與X具有相同分布的、相互獨(dú)立的隨機(jī)變量，記為X1 , X2 , , Xn ，把它們稱為來自總體的一個簡單隨機(jī)樣本，簡稱樣本，稱n為樣本容量。當(dāng)觀測完成后，得到一組觀測值x1 , x2 , , xn ，稱為樣本值.,34,總體回歸模型與總體回歸方程,yi = 0 + 1xi + ui 這個式子表示的是變量和之間的某種非確定依賴關(guān)系（真實(shí)的），稱為它們的總體回歸模型。 由于隨機(jī)擾動項(xiàng)的存在，使得變

10、量i和i不是總在一條直線上，但是i的均值總是和i在一條直線上。因?yàn)椋?（i） 0 + 1xi 這個式子稱為變量和之間的總體回歸方程或總體回歸線。,35,樣本回歸模型與樣本回歸方程,由于我們不可能從總體中得到所有可能的和的值，從而也就無法求出0和1的值。但是，我們可以用抽樣方法從總體中得到一些和的值，從而可以得出這個樣本中和的非確定依賴關(guān)系，即樣本回歸模型,36,樣本回歸模型與樣本回歸方程,樣本回歸方程或樣本回歸線表示的是,由樣本回歸模型得到的樣本觀測值的擬合值與解釋變量之間的關(guān)系。,37,總體回歸線與樣本回歸線圖示,（i） 0 + 1xi,ei,ui,Y,X,顯然，樣本回歸線與總體回歸線之間存

11、在著差距，為了使得它們之間更接近，需要盡可能低降低殘差的大小。,38,最小二乘法,為了研究總體回歸模型中變量和之間的線性關(guān)系，需要求出一條最好的擬合直線，這可以根據(jù)普通最小二乘法（Ordinary Least Squares)來得到。這種方法認(rèn)為一條好的擬合直線應(yīng)該是使殘差平方和最小，并據(jù)此來得出總體回歸系數(shù)的估計(jì)值（樣本回歸系數(shù)的值），以確定變量X和Y之間的關(guān)系。,39,用OLS估計(jì)總體回歸系數(shù)估計(jì)值的過程,根據(jù)多元函數(shù)極值原理，上式分別對兩個總體回歸系數(shù)估計(jì)值求偏導(dǎo)，可得到正規(guī)方程組，,40,用OLS估計(jì)總體回歸系數(shù)估計(jì)值的過程,41,幾個常用的結(jié)果,1.殘差ei的均值為零 2.殘差ei與

12、解釋變量Xi不相關(guān)， 3.樣本回歸線經(jīng)過Y和X的樣本均值，從而可得到樣本回歸方程的離差形式,.估計(jì)的Y均值等于實(shí)測的Y均值,42,截距為的一元線性回歸模型的參數(shù)估計(jì),總體線性回歸模型為 yi = xi + ui 總體回歸估計(jì)系數(shù)的估計(jì)量的表達(dá)式為，,43,一元線性回歸模型舉例,P16-19,44,第三節(jié)最小二乘估計(jì)量的統(tǒng)計(jì)性質(zhì)：高斯馬爾可夫定理,.線性 .無偏性 .最小方差性,高斯馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無偏估計(jì)量。,45,線性性,46,47,48,49,第四節(jié) 用樣本可決系數(shù)檢驗(yàn)回歸方程的擬合優(yōu)度

13、,模型估計(jì)之后，對結(jié)果進(jìn)行經(jīng)濟(jì)意義檢驗(yàn)之后進(jìn)行統(tǒng)計(jì)檢驗(yàn)： 回歸直線對樣本解釋的程度如何擬合優(yōu)度； 所選參數(shù)的重要性（貢獻(xiàn)）如何參數(shù)的顯著性檢驗(yàn)； 方程正確性如何方程的顯著性檢驗(yàn)。,50,思路與方法,51,1、總離差平方和的分解,已知由一組樣本觀測值（Xi，Yi），i=1,2,n得到如下樣本回歸直線,前者是不能由回歸直線解釋的部分，后者是由樣 本回歸線解釋了的部分。,52,Y的總離差及其分解示意圖,顯然，殘差的絕對值越小，則觀測值越靠近樣本回歸線，從而樣本回歸線對觀測值的擬合程度越高。,53,為了綜合考慮樣本回歸線對所有樣本點(diǎn)的擬合程度，我們可以考慮Y的離差平方和的如下分解：,記,總離差平方和,

14、回歸平方和,殘差平方和,TSS=SS+SS,54,.樣本可決系數(shù),在給定樣本中，TSS不變，如果實(shí)際觀測點(diǎn)離樣本回歸線越近，則SS在TSS中占的比重越大，這說明樣本回歸線對樣本值的擬合優(yōu)度越好。,樣本可決系數(shù)（決定系數(shù)或判定系數(shù)）r2的取值范圍：0，1; r2越接近1，說明實(shí)際觀測點(diǎn)離樣本線越近，擬合優(yōu)度越高。 舉例：。,55,舉例,樣本可決系數(shù)（決定系數(shù)或判定系數(shù)）r2的取值范圍：0，1; r2越接近1，說明實(shí)際觀測點(diǎn)離樣本線越近，擬合優(yōu)度越高。 例1中回歸方程的樣本可決系數(shù)計(jì)算。,56,.樣本相關(guān)系數(shù),（）定義 樣本相關(guān)系數(shù)是兩個隨機(jī)變量和之間線性相關(guān)程度的一個度量指標(biāo)。,顯然, 樣本相關(guān)

15、系數(shù)與斜率系數(shù)的估計(jì)值符號相同，其絕對值等于樣本可決系數(shù)的正平方根。 r與r2的區(qū)別是什么？,57,（）樣本相關(guān)系數(shù)的檢驗(yàn),自由度： 當(dāng)計(jì)算某個統(tǒng)計(jì)量的數(shù)值時，樣本觀測值的取值不受限制的個數(shù)。 原假設(shè)與備擇假設(shè)、顯著性水平、第一類錯誤與第二類錯誤,舉例：,58,1.隨機(jī)誤差項(xiàng)的方差（估計(jì)值）,第五節(jié)回歸系數(shù)估計(jì)值的顯著性檢驗(yàn)與置信區(qū)間,59,2、變量的顯著性檢驗(yàn),60,類似地，可以構(gòu)造出一個t統(tǒng)計(jì)量對常數(shù)項(xiàng) 的估計(jì)值進(jìn)行顯著性檢驗(yàn)：,61,檢驗(yàn)步驟（以斜率系數(shù)估計(jì)值為例）：,（1）對總體參數(shù)提出假設(shè) H0： 1=0， H1：10,（2）以原假設(shè)H0構(gòu)造t統(tǒng)計(jì)量，并由樣本計(jì)算其值,（3）給定顯著

16、性水平，查t分布表，得臨界值t /2(n-2)？,(4) 比較，判斷,得出結(jié)論 若 |t| t /2(n-2)，則拒絕H0 ，接受H1 ； 若 |t| t /2(n-2)，則拒絕H1 ，接受H0 ；,62,對于一元線性回歸方程中的0和 ，可構(gòu)造如下t統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)（原假設(shè)為參數(shù)真值為)：,舉例：,63,顯著性檢驗(yàn)可以通過一次抽樣的結(jié)果檢驗(yàn)總體參數(shù)可能的假設(shè)值的范圍（如是否為零），但它并沒有指出在一次抽樣中樣本參數(shù)值到底離總體參數(shù)的真值有多“近”。 要判斷樣本參數(shù)的估計(jì)值在多大程度上可以“近似”地替代總體參數(shù)的真值，往往需要通過構(gòu)造一個以樣本參數(shù)的估計(jì)值為中心的“區(qū)間”，來考察它以多大的可

17、能性（概率）包含著真實(shí)的參數(shù)值。這種方法就是參數(shù)檢驗(yàn)的置信區(qū)間估計(jì)。,3.回歸系數(shù)的置信區(qū)間,64,如果存在這樣一個區(qū)間，稱之為置信區(qū)間； 1-稱為置信系數(shù)（置信度)， 稱為顯著性水平；置信區(qū)間的端點(diǎn)稱為臨界值。,65,一元線性模型中，i (i=1，2）的置信區(qū)間:,在變量的顯著性檢驗(yàn)中已經(jīng)知道：,這意味著，如果給定置信度（1-），從分布表中查得自由度為(n-2)的臨界值，那么t值處在(-t/2, t/2)的概率是(1- )。表示為：,即,亦即,66,于是得到:(1-)的置信度下, i的置信區(qū)間:,舉例:P34,由于置信區(qū)間一定程度地給出了樣本參數(shù)估計(jì)值與總 體參數(shù)真值的“接近”程度，因此置信

18、區(qū)間越小越好。？,67,（1）增大樣本容量n，因?yàn)樵谕瑯拥闹眯潘较?，n越大，t分布表中的臨界值越??；同時，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減??； (2）提高模型的擬合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型擬合優(yōu)度越高，殘差平方和應(yīng)越小。,縮小置信區(qū)間的方法,68,第六節(jié) 一元線性回歸方程的預(yù)測,一、相關(guān)概念 點(diǎn)預(yù)測 區(qū)間預(yù)測 內(nèi)插預(yù)測 外推預(yù)測 預(yù)測誤差,69,對于一元線性回歸模型,給定一個解釋變量的觀測值X0，可以得到被解釋變量的預(yù)測值0 ，可以此作為其條件均值E(Y|X=X0)或個別值Y0的一個近似估計(jì)。 ？,70,一、0是條件均值E(Y|X=X0)或個值Y0的一個無偏估計(jì),（一）對總體回歸函數(shù)E(Y|X=X0)=0+1X，X