1、一元線性回歸模型多元線性回歸模型總體回歸函數(shù)e(y|x)= A +AXE(Y即EXi,X2Xk) = 00 +B1X1 + P2X2+BkXk(Y|X) =xb總體回歸模型 （總體回歸函數(shù)的 隨機(jī)表達(dá)形式）y = E(Y|X) +r =瓦 +PiX丫用伊見八i即y=xb0=瓦 +P1X1 +P2X2 +PkXk ”樣本回歸模型 （樣本回歸函數(shù)的 隨機(jī)表達(dá)形式）Y =爵 + ?1x +e"吃+吃1 + 秋2 +RkXk+e即Y =x f?+e樣本回歸函數(shù)Y?二醫(yī) +?1xY> =聯(lián) +I?Xi + 1?2X2+f?kXk即Y?= X 田給定一組容量為 n 的樣本（Xi,Yi）,（

2、X2,Y2）,（Xi,Yi）,（Xn,Yn）則，上述式子可以寫成：(Xii,Xi2，Xik,Yi),(X 21 , X22，X 2k , Y2 ),給定一組容量為 n的樣本，(Xii,Xi2,Xik,Yi)(Xni，Xn2,Xnk，Yn)則上述式子可以寫成：總體回歸函數(shù)E(YiXi)=P0 +BiXiE(YiXi1,Xi2，. Xik) = p0 + AXi1 +02Xi2+PkXik總體回歸模型丫 =E(Y|Xi) + 出=久+3區(qū)+也Y =E(YjXii，Xi2XiQ + Ni= Po + PiXii+p2Xi2 十BkXik + 坨樣本回歸模型丫 =因 + 因Xi +eY = K + f

3、?Xii +(?2Xi2, KXik+ei樣本回歸函數(shù)小+取丫 =B。+用Xil +詠2+/Xik樣本回歸函數(shù)的離 差形式?i = Rx平=義?解釋變量的個(gè)數(shù) （包括常數(shù)項(xiàng)）2 個(gè)： C, Xk+1 個(gè)：C, Xi,X2，Xk基本假定假設(shè)1：回歸模型是正確設(shè)定 的。模型設(shè)定正確假設(shè)。假設(shè)2:確定性假設(shè)。解釋變量 X是確定性變量，不是 隨機(jī)變量，在重復(fù)抽樣確定性假設(shè)。解釋變量X1,X 2，x k是非隨機(jī)或固定的， 且中取固定值。：彳至X j之間不存在嚴(yán)格線性相關(guān)(無完全多重共線性)。假設(shè)3:樣本變異性假 設(shè)。對(duì)解釋變量X抽取的樣本 觀察值并不完 全相同。樣本方差趨于 常數(shù)假設(shè)。樣本變異性假設(shè)。各

4、解釋變量Xj在所抽取的樣本中具有變異性。樣本方差趨于常數(shù)假設(shè)。隨著樣本容量的無限增加，各解釋變量的樣本方差區(qū)域 一個(gè)非零的有限常數(shù)。假設(shè)4:隨機(jī)誤差項(xiàng)科零均值、 同方差、不序列相關(guān)假 設(shè)。隨機(jī)誤差項(xiàng)科零均值、同方差、不序列相關(guān)假設(shè)。假設(shè)5:隨機(jī)誤差項(xiàng)與解釋變 量不相關(guān)。隨機(jī)誤差項(xiàng)與解釋變量不相關(guān)。假設(shè)：6:止態(tài)性假設(shè)。隨機(jī)項(xiàng)服 從正態(tài)分布。止態(tài)性假設(shè)。隨機(jī)項(xiàng)服從正態(tài)分布。參數(shù)估計(jì)一元線性回歸模型多元線性回歸模型普通最小二乘估計(jì)(OLS)殘差平方和達(dá)到最小， 得到正規(guī)方程組，求得 參數(shù)的普通最小二乘估 計(jì)值：? _£ Xiyi，1 一 Z X；(普通 K=Y-EX最小一乘估計(jì)的離差形

5、式)隨機(jī)干擾項(xiàng)的方差的估2f022 : n - 2)(1戔差平方和達(dá)到最小，得到正規(guī)方程組，求得參數(shù)的普通最、二乘估計(jì)值 供=(XX)-1XY1=(x x)-1 x yV?。=Y”X1 KXk普通最小一乘估計(jì)的離差形式)、2 Z eie e道機(jī)干擾項(xiàng)的方差 92 =!_ = een k 1 n k 1最大似然情計(jì)(ML)矩估計(jì)(MM )數(shù)估計(jì)值估計(jì)結(jié)果與OLS方法一致，但隨機(jī) 干擾項(xiàng)的方差的估計(jì)量與 OLS 不 同2£ 02C?2 = n參數(shù)估計(jì)值估計(jì)結(jié)果與 OLS方法一致，但隨機(jī)干擾項(xiàng)的力差2 z S2的估計(jì)量02 =-2- n參數(shù)估計(jì)量的性質(zhì)線性性、無偏性、有效 性線性性、無偏性

6、、功效性參數(shù)估計(jì)量的概率 分布2? N（冉,-） 工Xy X 2。N（%匕仃2） nZ為樣本容量問題樣本容量 n必須不少于模型中解釋變量的個(gè)數(shù)（包括常數(shù)項(xiàng)），即n主k + 1才能得到參數(shù)倩計(jì)值，n-k28時(shí)t分布才比較穩(wěn)定，能夠進(jìn)行變量的顯著性檢驗(yàn)，一般認(rèn)為nA30活著至少n之3（k+1）時(shí)才能滿足模型估計(jì)要求。如果樣本量過小，則只依靠樣本信息是無法完成倩計(jì)的，需要用其他方法 去仙1。統(tǒng)計(jì)檢驗(yàn)一元線性回歸模型多元線性回歸模型擬合優(yōu)度檢驗(yàn)總周差平方和的分解TSS=ESS+RSS2ESSR ,TSSR2 w 0,1越接近于1, 擬合優(yōu)度越高?？傠x差平方和的分解TSS=ESS+RSSY ESS /

7、RSS /一、R2 = 1 ,（即總平萬和中回歸平萬和的比例 ）TSSTSSR2w b,1】對(duì)于同一個(gè)模型，R2越接近于1,擬合優(yōu)度越高。-2 / RSS（n-k-1）R =1 一（調(diào)整的思路是殘差平方和 RSS和總平方和TSSTSS/（n -1）各自除以它們的自由度） 22為什么要對(duì)R進(jìn)行調(diào)整？解釋變量個(gè)數(shù)越多，它們對(duì)Y所能解釋的部分越大（即回歸平方和部分越大），殘差平方和部分越小， R2越高，由增加解釋變量引 起的R2的增大與擬合好壞無關(guān)，因此在多元回歸模型之間比較擬合優(yōu)度，R2就不是一個(gè)合適的指標(biāo)，必須加以調(diào)整。方程總體顯著性檢 驗(yàn)?zāi)康模簩?duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總 體

8、上是否成立做出判斷。原假設(shè)，備擇假設(shè)：不全為零統(tǒng)計(jì)量的構(gòu)造：判斷步驟：計(jì)算F統(tǒng)計(jì)量的值給定顯著性水平 ，查F分布的臨界值表獲得）比較F與的值，若，拒絕原假設(shè)，認(rèn)為原方程總體線性關(guān)系在的置信水平卜顯著。若，接受原假設(shè)，不能認(rèn)為原方程總體線性關(guān)系在的置信水平卜顯著。變量的顯著性檢驗(yàn)?zāi)康模簩?duì)模型中被解釋變量對(duì)每一個(gè)解釋變量之間的線性關(guān)系是否成立作出判斷，或者說考察所選擇的解釋變量對(duì)被解釋變量是否有顯著的線性影響。針對(duì)某解釋變量 ，原假設(shè)：備擇假設(shè)：最常用的檢驗(yàn)方法：t檢驗(yàn)構(gòu)造統(tǒng)計(jì)量:判斷步驟：計(jì)算t統(tǒng)計(jì)量的值給定顯著性水平 ，查t分布的臨界值表獲得一）比較t值與_的值，若一,拒絕原假設(shè)，認(rèn)為變量在的置信水平下通過顯著性檢驗(yàn)（或者說，在 的顯著性水平卜通過檢驗(yàn)），認(rèn)為解釋變量 對(duì)被解釋變量 Y有顯著線 性影響。若接受原假設(shè)，在顯著性水平下沒有足夠證據(jù)表明對(duì)丫有顯著線性影響。參數(shù)的置信區(qū)間目的：考察一次抽樣中樣本參數(shù)的估價(jià)值與總體參數(shù)的真實(shí)值的接近程度。思路：構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值為中心的區(qū)間，考察它以多大的概率包含總體參數(shù)的真實(shí)值。方法：預(yù)先選擇一個(gè)概率（），使得區(qū)間，包含參數(shù)真值的概率為即計(jì)算其中的（一），從而求出置信賁下的置信區(qū)間：掌握概念：置信區(qū)間置信度