1、a,1,多重共線性的處理,為了避免共線性的影響,目前多采用回歸系數(shù)有偏估計(jì)的方法,即為了減小偏回歸系數(shù)估計(jì)的方差而放棄對估計(jì)的無偏性要求。換言之,允許估計(jì)有不大的偏度,以換取估計(jì)方差可顯著減小的結(jié)果,并在使其總均方差為最小的原則下估計(jì)回歸系數(shù)。,a,2,解決多重共線性問題的方法,1、嶺回歸 2、主成分回歸 3、偏最小二乘回歸 4、其它：神經(jīng)網(wǎng)絡(luò)、通徑分析,a,3,1、嶺回歸：,1962年,A.E.Hoerl針對多重共線性的問題,提出了一種叫嶺回歸的回歸估計(jì)方法。對線性模型 定義偏回歸系數(shù)的嶺估計(jì)為 其中k稱為嶺參數(shù)。,a,4,嶺回歸的核心思想是當(dāng)出現(xiàn)多重共線性時(shí), , 的特征根 至少有一個(gè)非常

2、接近于0，從而使參數(shù)的最小二乘估計(jì) 很不穩(wěn)定。給 加上一個(gè)正常數(shù)矩陣kI(k0),則 等于零的可能性就比 的可能性要小得多， 的特征根 接近于0 的程度就會(huì)得到改善。,a,5,且從理論上可以證明,存在k0,使得的 均方誤差比 的均方誤差小。因此，用嶺回歸來估計(jì)偏回歸系數(shù)比用普通最小二乘法估計(jì)要穩(wěn)定得多。這樣就消除了多重共線性對參數(shù)估計(jì)的危害。,a,6,在實(shí)際應(yīng)用中,通常確定k值的方法有以下幾種: 嶺跡圖法 方差膨脹因子法 控制殘差平方和法,a,7,2、主成分回歸,1965年,W.F.Massy提出了主成分回歸(PrincipalComponent Regression,簡稱PCR)方法，首先提

3、取自變量的主成分, 由于各主成分之間相互正交，相關(guān)系數(shù)為0，此時(shí)即可用最小二乘法估計(jì)偏回歸系數(shù)，建立因變量與相互獨(dú)立的前幾個(gè)主成分的回歸模型,然后再還原為原自變量的回歸方程式。,a,8,可見，主成分回歸分析解決多重共線性問題是通過降維的處理而克服多重共線性的影響，正確表征變量間的關(guān)系。 然而,由于PCR提取X的主成分是獨(dú)立于因變量Y而進(jìn)行的,沒有考慮到X對Y的解釋作用,這就增加了所建模型的不可靠性。,a,9,3、偏最小二乘回歸,針對多重共線性干擾問題,S.Wold和C.Alban在1983年提出了偏最小二乘回歸(Partia Least Squares Regression,簡稱PLSR)方法

4、。PLSR方法吸取了主成分回歸分析從自變量中提取信息的思想,同時(shí)還考慮了自變量對因變量的解釋問題。,a,10,基本思路,首先在自變量集中提取第一潛因子t1(t1是x1,x2,xm的線性組合,且盡可能多地提取原自變量集中的變異信息);同時(shí)在因變量集中也提取第一潛因子u1,并要求t1與u1相關(guān)程度達(dá)最大。 然后建立因變量Y與t1的回歸,如果回歸方程已達(dá)到滿意的精度,則算法終止。否則繼續(xù)第二輪潛在因子的提取,直到能達(dá)到滿意的精度為止。 若最終對自變量集提取m個(gè)潛因子t1,t2,tm,偏最小二乘回歸將建立Y與t1,t2,tm的回歸式,然后再表示為Y與原自變量的回歸方程式。,a,11,小結(jié),以上介紹了三種解決多重共線性問題的方法,它們各自都有其特點(diǎn)及適用范圍:偏最小二乘法在解決多因變量與自變量方面及預(yù)測方面有著比其它兩種方法更優(yōu)越的地方,但在t的實(shí)際意義解釋方面與主成分一樣比較欠缺。,a,12,嶺回歸由于在其K值的確定上有很大的人為因素,使之缺乏一定的科學(xué)性,但也正因?yàn)槿绱耍顾軌蚝芎玫匕讯ㄐ苑治雠c定量分析兩者有機(jī)地結(jié)合起來。由于這三種方法估計(jì)出的