1、多元線性回歸：估計方法及回歸系數(shù)顯著性檢驗線性回歸模型的基本假設(shè): i = 1 , 2 , , n 在普通最小二乘法中，為保證參數(shù)估計量具有良好的性質(zhì)，通常對模型提出若干基本假設(shè)： 1解釋變量間不完全相關(guān)； 2隨機誤差項具有0均值和同方差。即: , i = 1 , 2 , , n 3不同時點的隨機誤差項互不相關(guān)（序列不相關(guān)），即 s 0, i = 1 , 2 , , n 4隨機誤差項與解釋變量之間互不相關(guān)。即 j = 1 , 2 , , k , i = 1 , 2 , , n 5隨機誤差項服從0均值、同方差的正態(tài)分布。即 i = 1 , 2 , , n 當模型滿足假設(shè)1 4時，將回歸模型稱為“

2、標準回歸模型”，當模型滿足假設(shè)1 5時，將回歸模型稱為“標準正態(tài)回歸模型”。如果實際模型滿足不了這些假設(shè)，普通最小二乘法就不再適用，而要發(fā)展其他方法來估計模型。廣義（加權(quán)）最小二乘估計（generalized least squares）當假設(shè)2和3不滿足時，即隨機擾動項存在異方差，i = 1 , 2 , , n，且隨機擾動項序列相關(guān)， i = 1 , 2 , , n，j=1 , 2 , , n ，此時OLS 估計仍然是無偏且一致的，但不是有效估計。線性回歸的矩陣表示：y = X + u （1）則上述兩個條件等價為：Var(u)= s 2 I 對于正定矩陣 W 存在矩陣M，使得 。在方程（1）

3、兩邊同時左乘M，得到轉(zhuǎn)換后的新模型：，令，即 （2）新的隨機誤差項的協(xié)方差矩陣為，顯然是同方差、無序列相關(guān)的。目標函數(shù)，即殘差平方和為：。目標函數(shù)是殘差向量的加權(quán)平方和，而權(quán)數(shù)矩陣則是u的協(xié)方差矩陣的逆矩陣（因此，廣義最小二乘估計法也稱為加權(quán)最小二乘估計法）。而新模型的OLS估計量則是原模型的GLS估計量。Var（GLS）= (X*X*)-1 =(XMMX)-1=(X W -1X)-1（ Var（OLS）= (XX)-1X WX(XX)-1 ）。由于變換后的模型(2)滿足經(jīng)典OLS 的所有假設(shè)，所以根據(jù)高斯-馬科夫定理可知， GLS估計量是BLUE （Best Linear Unbiased

4、Estimator）。雖然從理論上講，GLS比OLS有效，但由于多數(shù)情況下殘差序列的協(xié)方差矩陣未知，當我們用代替GLS 估計式中的W以獲得估計時，估計量雖然仍舊是一致的，但卻不是最好線性無偏估計。而且，也很難推導出估計量的小樣本性質(zhì)。繼而用White(1980)的異方差一致協(xié)方差估計方法（殘差序列有未知形式的異方差，但序列不相關(guān)）和Newey-West(1987) 的異方差-自相關(guān)一致協(xié)方差估計方法（有未知形式的異方差且自相關(guān)存在）得到修正的Var（OLS）是相對較好的選擇。（使用White或Newey-West異方差一致協(xié)方差估計不會改變參數(shù)的點估計，只改變參數(shù)估計的標準差。）White 協(xié)

5、方差矩陣公式為： 其中n是觀測值數(shù)，k是回歸變量數(shù)，ui是最小二乘殘差。Newey-West協(xié)方差矩陣公式為：其中， q是滯后截尾，一個用于評價OLS殘差 ui的動態(tài)的自相關(guān)數(shù)目的參數(shù)。 二階段最小二乘法 （TSLS，Two stage least squares，Sargan（1958） 當假設(shè)4不成立時，即隨機誤差項與某些解釋變量相關(guān)時，OLS和廣義LS都是有偏的和不一致的。 有幾種情況使右邊某些解釋變量與誤差項相關(guān)。如：在方程右邊有內(nèi)生決定變量，或右邊變量具有測量誤差。為簡化起見，我們稱與殘差相關(guān)的變量為內(nèi)生變量，與殘差不相關(guān)的變量為外生變量。 解決解釋變量與隨機誤差項相關(guān)的方法是使用工

6、具變量回歸。就是要找到一組變量滿足下面兩個條件：（1）與內(nèi)生變量相關(guān)；（2）與殘差不相關(guān)；這些變量稱為工具變量。用這些工具變量來消除右邊解釋變量與擾動項之間的相關(guān)性?？紤]工具變量時，應注意以下問題： ）使用TSLS估計，方程說明必需滿足識別的階條件，即工具變量的個數(shù)至少與方程的系數(shù)一樣多（Davidson & MacKinnon(1994)和Johnston & DiNardo(1997)）。 ）根據(jù)經(jīng)濟計量學理論，與擾動項不相關(guān)的解釋變量可以用作工具變量。 ）常數(shù)c是一個合適的工具變量。 在二階段最小二乘估計中有兩個獨立的階段。在第一個階段中，找到內(nèi)生變量和工具變量。這個階段包括估計模型中每

7、個內(nèi)生變量關(guān)于工具變量的最小二乘回歸。第二個階段是對原始方程的回歸，所有內(nèi)生變量用第一個階段回歸得到的擬合值來代替。這個回歸的系數(shù)就是TSLS估計。 令Z為工具變量矩陣，y和X是因變量和解釋變量矩陣。則二階段最小二乘估計的系數(shù)由下式計算出來： 系數(shù)估計的協(xié)方差矩陣為： 其中是估計殘差的協(xié)方差矩陣。 廣義矩方法（GMM，Generalized Method of Moments，Hansen(1982)） 由于傳統(tǒng)的計量經(jīng)濟模型估計方法，例如普通最小二乘法、工具變量法、極大似然法等，都有它們的局限性，其參數(shù)估計量必須在模型滿足某些假設(shè)時才具有良好的性質(zhì)，而GMM估計是一個穩(wěn)健估計量，因為它不要求

8、擾動項的準確分布信息，允許隨機誤差項存在異方差和序列相關(guān)，所得到的參數(shù)估計量比其他參數(shù)估計方法更合乎實際；而且可以證明，普通最小二乘法、工具變量法、極大似然法都是GMM的特例設(shè)模型為： 其中，zt為工具變量（1L）。令，則L個矩條件為： 對應的樣本矩條件為：等價于解方程： （3）當存在LK個工具變量時，共有L個矩方程，而只有K個未知參數(shù)。因此，根據(jù)MM方法，共有個組合，可以得到的矩估計量的個數(shù)為。這時，每個組合得到的MM估計量都不能滿足（3）式，即（3）式不會恰好為0。但可以考慮將各種不同的估計結(jié)果綜合起來，使（3）式最小化，即使得L個矩條件的平方和最小。因為不同矩的方差不同，因此更科學的方法

9、是使用加權(quán)的平方和， GMM估計量是求下式的最優(yōu)解： 與GLS相類似，GMM方法中，目標函數(shù)為各個矩的加權(quán)平方和，權(quán)數(shù)的選擇則要考慮各個矩的異方差和相關(guān)性。最優(yōu)權(quán)數(shù)即是各個矩的協(xié)方差矩陣的逆矩陣。 如果為一致估計量對應的矩，則S的一致估計量為： 因此，最優(yōu)權(quán)數(shù)矩陣為： 其是WT的一致估計。回歸系數(shù)顯著性t檢驗 H0: i=0 vs H1: i0檢驗統(tǒng)計量： t= / std()White t檢驗：t= / std(White)Newey-West t檢驗：t= / std(N-W)參考文獻：Newey, W. K., West, K.D., A simple, positive semi-de

10、dinite, heteroskedasticity and autocorrelation consistent covariance matrix. Econometrica, 55,703-708.Sargan, T.D., 1958, The estimation of economic relationships using instrumental variables. Econometrica, 26, 393-415.White, H., 1980, Heteroskedasticity-consistent covaricnce matrix estimator and a

11、direct test for heteroskedasticity. Econometrica, 48, 817-838.White, H., 1980, Instrumental variables regression on cross-section data. San Diego: University of California Press.Hansen, L. P., Hodric, R. J., 1980, Forward exchange rates as optional predictors of future spot rate: an econometric analysis. The Journal of Political Economy, 5(88), 829-853.Hodric, R. J., 1982, Dividend yields and expected stock returns: alternative procedures for inference and measurement. The Rev