分位數(shù)回歸模型在R環(huán)境下的實現(xiàn),中國人民大學(xué)統(tǒng)計學(xué)院左辰潘嵐鋒,大綱,引言分位回歸模型的基本結(jié)構(gòu)回歸系數(shù)的漸進(jìn)分布參數(shù)估計殘差形態(tài)的檢驗一個實例,一、引言,傳統(tǒng)回歸模型的缺陷：1只反映均值變化2Gauss-Markov假設(shè)條件太強(qiáng)分位回歸模型1擬合在不同分位數(shù)水平下的估計值，可以反映更多的信息2對殘差分布放松假設(shè)Rpackage：quantregbyRogerKoenker,二、模型的構(gòu)造,其中：因變量相互獨(dú)立自變量殘差項回歸系數(shù)表示分位數(shù)水平的回歸系數(shù),rq(yx,tau=,method=br),以quantreg包中的engel為例：自變量：income-年收入因變量：foodexp-食品消費(fèi)額fit1=rq(foodexpincome,data=engel)#tau值缺省為0.5，表示中位數(shù)回歸fit2=rq(foodexpincome,data=engel,tau=c(0.1,0.25,0.75,0.9)#對0.1，0.25，0.75，0.9四個分位數(shù)水平進(jìn)行回歸,中位數(shù)回歸和均值回歸的差異,均值回歸受到離群點(diǎn)影響,穩(wěn)健性的試驗,目的：比較均值回歸、中位數(shù)回歸系數(shù)的穩(wěn)定性方法：1計算原模型的預(yù)測值、殘差2從殘差中抽樣加入到預(yù)測值中，重新作均值回歸和中位數(shù)回歸3統(tǒng)計兩種回歸系數(shù)的分布,結(jié)果,三、回歸系數(shù)的漸進(jìn)分布,考慮獨(dú)立同分布的場合模型：殘差分布：雙尾指數(shù)（Laplace）隨機(jī)生成1000次，統(tǒng)計在0.1,0.2,0.9水平上的分位回歸系數(shù):rq(yx,tau=seq(0.1,0.9,length=9),此外，可以觀察回歸系數(shù)的誤差在不同分位數(shù)水平上的變化,四、參數(shù)估計,給出一個分位回歸模型fit=rq(yx)后，命令summary(fit,se=)可以查看參數(shù)估計的結(jié)果se選項用于選擇參數(shù)估計的不同方法，主要有1se=ker:核函數(shù)估計法2se=boot:Bootstrap方法3se=rank:秩檢驗,1核函數(shù)估計法,因為殘差分布未知，無法直接求出Powell給出如下估計方法：,2秩檢驗,秩檢驗是R中進(jìn)行參數(shù)估計的默認(rèn)方法。該方法繞開了對未知變量的非參數(shù)估計，Jurekova,Guttenbrunner（1992）通過對偶規(guī)劃問題的解，構(gòu)造出一組秩統(tǒng)計量，漸進(jìn)服從T分布summary(fit,se=nid)結(jié)果：Call:rq(formula=foodexpincome)tau:10.5Coefficients:ValueStd.ErrortvaluePr(|t|)(Intercept)81.4822519.250664.232700.00003income0.560180.0282819.810320.00000,秩檢驗（續(xù)）,Koenker,Machado(1994)推廣了秩檢驗的思路，構(gòu)造出非漸進(jìn)分布意義下的參數(shù)估計方法summary(fit)結(jié)果：Call:rq(formula=foodexpincome)tau:10.5Coefficients:coefficientslowerbdupperbd(Intercept)81.4822553.25915114.01156income0.560180.487020.6019注意：置信區(qū)間不是關(guān)于估計值對稱的,3Bootstrap,通過放回抽樣的Monte-Carlo試驗，得到回歸系數(shù)的均值和標(biāo)準(zhǔn)差運(yùn)用T統(tǒng)計量的方法，構(gòu)造置信區(qū)間summary(fit,se=boot,bsmethod=xy)結(jié)果：Call:rq(formula=foodexpincome)tau:10.5Coefficients:ValueStd.ErrortvaluePr(|t|)(Intercept)81.4822526.624213.060460.00247income0.560180.0339916.482630.00000,五、殘差形態(tài)的檢驗,分位數(shù)回歸模型的一個重要應(yīng)用就是對兩種殘差分布的如下兩種形態(tài)作檢驗：1位置漂移模型（locationshiftmodel）2位置-尺度漂移模型（location-scaleshiftmodel）,檢驗的思路：觀察隨的變化情況,位置漂移模型：除常數(shù)項分量之外，與分位數(shù)水平無關(guān)反映在圖上，不同分位數(shù)水平上的回歸直線相互平行,對分位數(shù)回歸過程（regressionquantileprocess）作圖,分位數(shù)回歸過程：對一簇分位數(shù)水平作回歸得到的一組模型例子rqpr=rq(yx,tau=1:99/100)plot(summary(rqpr),位置-尺度漂移模型,由表達(dá)式可以看出，向量的各分量隨變化的規(guī)律是一致的模擬實例：x1-seq(1,10,length=1000)x2=rnorm(1000,mean=0,sd=10)x3=rexp(1000,rate=0.1)u=runif(1000,min=-2,max=2)y=x1+2*x2-x3+u*(-2*x1+x2-x3)rqpr=rq(yx1+x2+x3,tau=10:90/100)plot(summary(rqpr),回歸系數(shù)的變化情況基本一致,是位置-尺度漂移模型的典型特征,檢驗方法,Khmaladze檢驗Koenker&肖志杰（2002）引入Khmaladze鞅變換技術(shù)，計算統(tǒng)計量R：KhmaladzeTest(yx1+x2+x3,nullH=location/location-scale)#nullH:零假設(shè)（nullhypothesis），默認(rèn)為location,表示位置漂移模型,六、一個例子：barro,該數(shù)據(jù)記錄了世界各國GDP的增長率和相關(guān)因子，共有161個觀測；其中前71個觀測在1965年1975年取得；后90個觀測是19851987年間取得。因子包括：:GDP年增長率lgdp2:人均GDPmse2:男性高中教育情況fse2:女性高中教育情況fhe2:女性高等教育情況mhe2:男性高等教育情況lexp2:人均期望壽命lintr2:人均資本占有g(shù)edy2:教育投入占GDP的比重Iy2:投資占GDP的比例gcony2:公共設(shè)施建設(shè)占GDP的比例lblakp2:黑市借貸傭金率pol2:政治穩(wěn)定性指數(shù)ttrad2貿(mào)易增長率。,1、中位數(shù)回歸,library(quantreg)data(barro)attach(barro62:161,)rqm=rq(lgdp2+mse2+fse2+fhe2+mhe2+lexp2+lintr2+gedy2+Iy2+gcony2+lblakp2+pol2+ttrad2)summary(rqm,se=nid),2分位數(shù)回歸過程,rqa=rq(lgdp2+mse2+fse2+fhe2+mhe2+lexp2+lintr2+gedy2+Iy2+gcony2+lblakp2+pol2+ttrad2,tau=10:90/100)rqas=summary(rqa)plot(rqas),紅色區(qū)域：最小二乘回歸的參數(shù)圖中看出各參數(shù)顯著性,3剔除自變量的影響,rrs.test(lgdp2+lexp2+lblakp2+mse2+fse2,pol2+fhe2+mhe2+lintr2+gedy2+Iy2+gcony2+ttrad2,)結(jié)果：$sn,11,4.66242$ranks10.3355367390.3265540080.2952627520.3038393480.398400879待檢驗的自變量個數(shù)為8個查表知，可見剔除這些自變量對模型無顯著影響,對剩余自變量作分位數(shù)回歸過程,rqa=rq(lgdp2+lexp2+lblakp2+mse2+fse2,tau=10:90/100)rqas=summary(rqa)plot(rqas),4殘差分布形態(tài)的檢驗,位置漂移模型：KhmaladzeTest(lgdp2+lexp2+lblakp2+mse2+fse2),位置-尺度漂移模型：KhmaladzeTest(lgdp2+lexp2+lblakp2+mse2+fse2,nullH=location-scale),查表可知，在0.1的顯著性水平下，兩種模型都不能被拒絕但從統(tǒng)計量數(shù)值看，位置尺