非參數(shù)回歸的介紹第1頁，共61頁，2023年，2月20日，星期四參數(shù)回歸與非參數(shù)回歸的優(yōu)缺點比較：參數(shù)回歸：非參數(shù)回歸：優(yōu)點：(1).模型形式簡單明確，僅由一些參數(shù)表達(2).在經(jīng)濟中，模型的參數(shù)具有一般都具有明確的經(jīng)濟含義(3).當模型參數(shù)假設(shè)成立，統(tǒng)計推斷的精度較高，能經(jīng)受實際檢驗(4).模型能夠進行外推運算(5).模型可以用于小樣本的統(tǒng)計推斷缺點：(1).回歸函數(shù)的形式預(yù)先假定(2).模型限制較多：一般要求樣本滿足某種分布要求，隨機誤差滿足

正態(tài)假設(shè)，解釋變量間獨立，解釋變量與隨機誤差不相關(guān)，等(3)需要對模型的參數(shù)進行嚴格的檢驗推斷，步驟較多(4).模型泛化能力弱，缺乏穩(wěn)健性，當模型假設(shè)不成立，擬合效果

不好，需要修正或者甚至更換模型優(yōu)點；(1)回歸函數(shù)形式自由，受約束少，對數(shù)據(jù)的分布一般不做任何要求(2)適應(yīng)能力強，穩(wěn)健性高，回歸模型完全由數(shù)據(jù)驅(qū)動(3)模型的精度高;(4)對于非線性、非齊次問題，有非常好的效果缺點：(1)不能進行外推運算,(2)估計的收斂速度慢(3)一般只有在大樣本的情況下才能得到很好的效果，

而小樣本的效果較差(4)高維詛咒,光滑參數(shù)的選取一般較復(fù)雜2第2頁，共61頁，2023年，2月20日，星期四非參數(shù)回歸方法樣條光滑正交回歸核回歸：N-W估計、P-C估計、G-M估計局部多項式回歸：線性、多項式光滑樣條：光滑樣條、B樣條近鄰回歸：k-NN、k近鄰核、對稱近鄰正交級數(shù)光滑穩(wěn)健回歸：LOWESS、L光滑、R光滑、M光滑局部回歸Fourier級數(shù)光滑wavelet光滑處理高維的非參數(shù)方法：多元局部回歸、薄片樣條、

可加模型、投影尋蹤、

回歸樹、張量積，等3第3頁，共61頁，2023年，2月20日，星期四核函數(shù)K：函數(shù)K(.)滿足:常見的核函數(shù)：Boxcar核：Gaussian核：Epanechnikov核：tricube核：為示性函數(shù)4第4頁，共61頁，2023年，2月20日，星期四回歸模型：(1)模型為隨機設(shè)計模型,樣本觀測(Xi,Yi)~iid(2)模型為固定設(shè)計模型Xi為R中n個試驗點列,i=1,2,…,nYi為固定Xi的n次獨立觀測，i=1,2,…,nm(x)為為一未知函數(shù)，用一些方法來擬合定義：線性光滑器(linearsmoother)5第5頁，共61頁，2023年，2月20日，星期四光滑參數(shù)的選取風險(均方誤差)

(meansquarederror,MSE)理想的情況是希望選擇合適的光滑參數(shù)h，使得通過樣本數(shù)據(jù)擬合的回歸曲線能夠最好的逼近真實的回歸曲線(即達到風險最小)，這里真實回歸函數(shù)m(x)一般是未知的。

可能會想到用平均殘差平方和來估計風險R(h)但是這并不是一個好的估計，會導(dǎo)致過擬合（欠光滑），原因在于兩次利用了數(shù)據(jù)，一次估計函數(shù)，一次估計風險。我們選擇的函數(shù)估計就是使得殘差平方和達到最小，因此它傾向于低估了風險。是

的估計，h是光滑參數(shù)，稱為帶寬或窗寬6第6頁，共61頁，2023年，2月20日，星期四光滑參數(shù)的選取缺一交叉驗證方法(leave-one-outcrossvalidation,CV)這里是略去第i個數(shù)據(jù)點后得到的函數(shù)估計交叉驗證的直觀意義：因此：7第7頁，共61頁，2023年，2月20日，星期四光滑參數(shù)的選取定理：若那么缺一交叉驗證得分

能夠?qū)懗桑哼@里是光滑矩陣L的第i個對角線元素廣義交叉驗證(generalizedcross-validation,GCV)其中：為有效自由度8第8頁，共61頁，2023年，2月20日，星期四光滑參數(shù)的選取其他標準(1)直接插入法(DirectPlug-In,DPI)相關(guān)文獻可以參考：

WolfgangH?rdle(1994)，AppliedNonparametricRegression，BerlinJeffreyD.Hart(1997),NonparametricSmoothingandLack-of-FitTests，SpringerSeriesinStatistics李竹渝、魯萬波、龔金國(2007)，經(jīng)濟、金融計量學(xué)中的非參數(shù)估計技術(shù)，科學(xué)出版社，北京

吳喜之譯(2008)，現(xiàn)代非參數(shù)統(tǒng)計，科學(xué)出版社，北京

(2)罰函數(shù)法(penalizingfunction)(3)單邊交叉驗證(OneSidedCrossValidation，OSCV)(4)拇指規(guī)則(RuleOfThumb)9第9頁，共61頁，2023年，2月20日，星期四1.核回歸（核光滑）N-W估計是一種簡單的加權(quán)平均估計，可以寫成線性光滑器：局部回歸由Nadaraya(1964)和Watson(1964)分別提出，（1）N-W估計形式：其中：,為核函數(shù)，為帶寬或窗寬10第10頁，共61頁，2023年，2月20日，星期四局部回歸（2）P-C-估計由Priestley

andChao(1972)提出，形式：寫成線性光滑器的形式：在隨機設(shè)計模型下，P-C估計可由x的密度估計：推導(dǎo)出來，相關(guān)文獻可參考h?rdle(1994)和李竹渝等(2007)11第11頁，共61頁，2023年，2月20日，星期四局部回歸(3)G-M估計由GasserandMüller(1979)提出，形式如下:其中寫成線性光滑器的形式:G-M估計是卷積形式的估計，P-C估計可看成G-M估計的近似:當K連續(xù)12第12頁，共61頁，2023年，2月20日，星期四局部回歸核估計存在邊界效應(yīng)，邊界點的估計偏差較大,以N-W估計為例，如下圖13第13頁，共61頁，2023年，2月20日，星期四局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取14第14頁，共61頁，2023年，2月20日，星期四局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取15第15頁，共61頁，2023年，2月20日，星期四局部回歸一般，核函數(shù)的選取并不是很重要，重要的是帶寬的選取可以看到：擬合曲線的光滑度受到光滑參數(shù)h變化的影響16第16頁，共61頁，2023年，2月20日，星期四局部回歸核估計的漸近方差核漸近偏差核估計漸近偏差漸近方差N-W估計

G-M估計

其中，h為光滑參數(shù)，f為X的密度函數(shù)，且17第17頁，共61頁，2023年，2月20日，星期四局部回歸

2.局部多項式光滑多項式的回歸模型其中可由最小二乘法估計,即局部多項式回歸：對m(x)在u處進行p階泰勒展開，略去p階高階無窮小量，得到m(x)在u處的一個p階多項式近似，即此時，x應(yīng)該靠近u，且18第18頁，共61頁，2023年，2月20日，星期四局部回歸通過最小二乘來估計系數(shù)注意：是在x的一個鄰域內(nèi)進行多項式估計，因此，最小二乘應(yīng)該與x的鄰域有關(guān)局部加權(quán)平方和：使上述問題最小化，可以得到系數(shù)的局部多項式的最小二乘估計可以很容易得到，取p=0時為局部常數(shù)估計，即N-W核估計取p=1，為局部線性估計19第19頁，共61頁，2023年，2月20日，星期四局部回歸寫成矩陣形式：使上式最小化，可以得到系數(shù)的估計其中20第20頁，共61頁，2023年，2月20日，星期四局部回歸得到加權(quán)最小二乘估計當p=1時（局部線性估計）的漸近偏差和漸近方差其中可以看到局部線性回歸的漸近方差和N-W估計相同，而漸近偏差卻比N-W回歸小，說明局部線性多項式可以減少邊界效應(yīng)，局部線性估計由于N-W估計21第21頁，共61頁，2023年，2月20日，星期四局部回歸局部多項式光滑可以很好的減少邊界效應(yīng)22第22頁，共61頁，2023年，2月20日，星期四局部回歸檢驗函數(shù)(Doppler函數(shù))23第23頁，共61頁，2023年，2月20日，星期四局部回歸使用GCV選取最優(yōu)帶寬h=0.017，權(quán)函數(shù)為tricube核函數(shù)24第24頁，共61頁，2023年，2月20日，星期四局部回歸使用GCV選取最優(yōu)帶寬h=0.017，權(quán)函數(shù)為tricube核函數(shù)25第25頁，共61頁，2023年，2月20日，星期四局部回歸3.近鄰光滑(1)k-NN回歸(k-nearestneighborregression)其中={i:xi是離x最近的k個觀測值之一}K-NN估計的漸近偏差和漸近方差：對于隨機設(shè)計模型，近鄰估計寫成線性光滑器的形式權(quán)函數(shù)：26第26頁，共61頁，2023年，2月20日，星期四局部回歸(1)k-NN回歸(k-nearestneighborregression)27第27頁，共61頁，2023年，2月20日，星期四局部回歸(1)k-NN回歸(k-nearestneighborregression)28第28頁，共61頁，2023年，2月20日，星期四局部回歸(2)k-近鄰核回歸K近鄰核估計的權(quán)重其中R為xi中離x最近的第k個距離，K為核函數(shù)漸近偏差和漸近方差：29第29頁，共61頁，2023年，2月20日，星期四局部回歸(2)k-近鄰核回歸30第30頁，共61頁，2023年，2月20日，星期四局部回歸(2)k-近鄰核回歸31第31頁，共61頁，2023年，2月20日，星期四局部回歸(3)對稱化近鄰回歸(SymmetrizedNearestNeighborEstimate)Yang(1981)，Stute(1984)研究了這種估計其中權(quán)重寫成線性光滑器這里的k(h)相當于nh,可以看出實質(zhì)上相當于nh個Yi值加權(quán)平均32第32頁，共61頁，2023年，2月20日，星期四局部回歸4.穩(wěn)健光滑(1)局部加權(quán)描點光滑(LocallyWeightedScatterplotSmoothing,LOWESS)Step1:在x的鄰域內(nèi)，用一個多項式進行擬合，求出系數(shù){βj}其中Wki(x)為k-NN權(quán)Step2:根據(jù)殘差計算尺度估計，定義穩(wěn)健權(quán)重Step3:用新的權(quán)重

重復(fù)Step1、Step2，直到第N次結(jié)束33第33頁，共61頁，2023年，2月20日，星期四(1)局部加權(quán)描點光滑(LOWESS)局部回歸34第34頁，共61頁，2023年，2月20日，星期四(1)局部加權(quán)描點光滑(LOWESS)局部回歸35第35頁，共61頁，2023年，2月20日，星期四局部回歸(2)L-

光滑條件L函數(shù)其中

為條件分位數(shù)函數(shù)特別：a)當

時b)當

時，為中位數(shù)光滑其中={i:xi是離x最近的k個觀測值之一}36第36頁，共61頁，2023年，2月20日，星期四局部回歸(2)L-

光滑對于條件L函數(shù)其中用

來估計F(y|x)得到L-估計37第37頁，共61頁，2023年，2月20日，星期四局部回歸(3)M-

光滑(局部)最小二乘方法得到的光滑估計是通過考慮損失函數(shù)為二次函數(shù)得到的，現(xiàn)在考慮損失函數(shù)c較大時，為普通的二次損失函數(shù)，c較小(≈1倍或2倍觀測誤差的標準差)可以獲得更多的穩(wěn)健性38第38頁，共61頁，2023年，2月20日，星期四局部回歸M-樣條(Cox,1983)核M-光滑(kernelM-smoother)(Hubber,1979;Silverman,1985)39第39頁，共61頁，2023年，2月20日，星期四局部回歸(3)R-光滑定義得分函數(shù)其中J是定義在(0,1)上的非減函數(shù)，滿足J(1-s)=J(s)用來估計F(y|x)，則

應(yīng)該粗略地接近0對于

，則ChengandCheng(1986)提出的R-估計：40第40頁，共61頁，2023年，2月20日，星期四樣條回歸設(shè)m(x)在[a,b]連續(xù)可微，且二階導(dǎo)數(shù)平方可積考查形式其中為粗糙懲罰1.光滑樣條41第41頁，共61頁，2023年，2月20日，星期四樣條回歸定義一組樣條基函數(shù)：注意，這里樣條基函數(shù)可以是其他樣條基

如:B樣條基(吳喜之譯(2008))樣條42第42頁，共61頁，2023年，2月20日，星期四樣條回歸將前面的優(yōu)化問題寫成矩陣形式：其中

上述問題的最優(yōu)解其中43第43頁，共61頁，2023年，2月20日，星期四樣條回歸下面的圖利用的是B樣條基函數(shù)，44第44頁，共61頁，2023年，2月20日，星期四樣條回歸下面的圖利用的是B樣條基函數(shù)，45第45頁，共61頁，2023年，2月20日，星期四樣條回歸下面的圖利用的是B樣條基函數(shù)，46第46頁，共61頁，2023年，2月20日，星期四正交光滑1.正交多項式回歸回歸函數(shù)其中是正交基函數(shù)，如Laguerre,Legendre正交多項式正交基滿足系數(shù)系數(shù)估計如47第47頁，共61頁，2023年，2月20日，星期四正交光滑回歸函數(shù)估計寫成線性光滑器：48第48頁，共61頁，2023年，2月20日，星期四Legendre正交多項式正交光滑49第49頁，共61頁，2023年，2月20日，星期四正交光滑2.Fourier級數(shù)光滑在實際中，將無窮用有限值r替換，r稱為截斷點，相當于光滑參數(shù)是正交cosine基空間系數(shù)系數(shù)的估計其中50第50頁，共61頁，2023年，2月20日，星期四正交光滑m(x)的估計將代入，得其中可以看到上面的估計與G-M估計有相同的表達形式，都為卷積形式，只是核函數(shù)不相同51第51頁，共61頁，2023年，2月20日，星期四正交光滑另外一種的Fourier估計一般要求：同樣可以寫成卷積形式：