1、1多重共線性的處理o 為了避免共線性的影響,目前多采用回歸系數(shù)有偏估計(jì)的方法,即為了減小偏回歸系數(shù)估計(jì)的方差而放棄對(duì)估計(jì)的無偏性要求。換言之,允許估計(jì)有不大的偏度,以換取估計(jì)方差可顯著減小的結(jié)果,并在使其總均方差為最小的原則下估計(jì)回歸系數(shù)。2解決多重共線性問題的方法o1、嶺回歸嶺回歸o2、主成分回歸主成分回歸o3、偏最小二乘回歸偏最小二乘回歸o4、其它：神經(jīng)網(wǎng)絡(luò)、通徑分析其它：神經(jīng)網(wǎng)絡(luò)、通徑分析31、嶺回歸：o 1962年,A.E.Hoerl針對(duì)多重共線性的問題,提出了一種叫嶺回歸的回歸估計(jì)方法。對(duì)線性模型 定義偏回歸系數(shù)的嶺估計(jì)為 其中k稱為嶺參數(shù)。 mmXXXY22110 YXXXT1Tk

2、Ik4o 嶺回歸的核心思想是當(dāng)出現(xiàn)多重共線性時(shí), , 的特征根 至少有一個(gè)非常接近于0，從而使參數(shù)的最小二乘估計(jì) 很不穩(wěn)定。給 加上一個(gè)正常數(shù)矩陣kI(k0),則 等于零的可能性就比 的可能性要小得多， 的特征根 接近于0 的程度就會(huì)得到改善。 XXTjYXXXT1T0|XXTXXT|XX|TkIXXTkj|kI|XXT5o 且從理論上可以證明,存在k0,使得的 均方誤差比 的均方誤差小。因此，用嶺回歸來估計(jì)偏回歸系數(shù)比用普通最小二乘法估計(jì)要穩(wěn)定得多。這樣就消除了多重共線性對(duì)參數(shù)估計(jì)的危害。 k6o 在實(shí)際應(yīng)用中,通常確定k值的方法有以下幾種:n 嶺跡圖法嶺跡圖法n 方差膨脹因子法方差膨脹因子

3、法n 控制殘差平方和法控制殘差平方和法72、主成分回歸o 1965年,W.F.Massy提出了主成分回歸(PrincipalComponent Regression,簡稱PCR)方法，首先提取自變量的主成分, 由于各主成分之間相互正交，相關(guān)系數(shù)為0，此時(shí)即可用最小二乘法估計(jì)偏回歸系數(shù)，建立因變量與相互獨(dú)立的前幾個(gè)主成分的回歸模型,然后再還原為原自變量的回歸方程式。 8o 可見，主成分回歸分析解決多重共線性問題是通過降維的處理而克服多重共線性的影響，正確表征變量間的關(guān)系。o 然而,由于PCR提取X的主成分是獨(dú)立于因變量Y而進(jìn)行的,沒有考慮到X對(duì)Y的解釋作用,這就增加了所建模型的不可靠性。93、偏

4、最小二乘回歸o 針對(duì)多重共線性干擾問題,S.Wold和C.Alban在1983年提出了偏最小二乘回歸(Partia Least Squares Regression,簡稱PLSR)方法。PLSR方法吸取了主成分回歸分析從自變量中提取信息的思想,同時(shí)還考慮了自變量對(duì)因變量的解釋問題。 10基本思路o 首先在自變量集中提取第一潛因子t1(t1是x1,x2,xm的線性組合,且盡可能多地提取原自變量集中的變異信息);同時(shí)在因變量集中也提取第一潛因子u1,并要求t1與u1相關(guān)程度達(dá)最大。o 然后建立因變量Y與t1的回歸,如果回歸方程已達(dá)到滿意的精度,則算法終止。否則繼續(xù)第二輪潛在因子的提取,直到能達(dá)到滿意的精度為止。o 若最終對(duì)自變量集提取m個(gè)潛因子t1,t2,tm,偏最小二乘回歸將建立Y與t1,t2,tm的回歸式,然后再表示為Y與原自變量的回歸方程式。11小結(jié)o 以上介紹了三種解決多重共線性問題的方法,它們各自都有其特點(diǎn)及適用范圍:偏最小二乘法在解決多因變量與自變量方面及預(yù)測方面有著比其它兩種方法更優(yōu)越的地方,但在t的實(shí)際意義解釋方面與主成分一樣比較欠缺。 12o 嶺回歸由于在其K值的確定上有很大的人為因素,使之缺乏一定的科學(xué)性,但也正因?yàn)槿绱?，使它能夠很好地把定性分析與定量分析兩者有機(jī)地結(jié)合起來。由于這三種方