1、第五章 主成分分析與因子分析,5.1 因子分析模型與應(yīng)用 1. 因子分析模型 設(shè)p維可觀測(cè)的隨機(jī)向量X = (X1，.，Xp)（假定Xi為標(biāo)準(zhǔn)化變量，即E(Xi) = 0，Var(Xi) = 1，i = 1，2，p）表示為,或 X = AF + 其中F1、F2、Fm稱為公共因子，簡(jiǎn)稱因子，是不可觀測(cè)的變量；待估的系數(shù)陣A稱為因子載荷陣，aij（i = 1,2,p；j = 1,2,m）稱為第i個(gè)變量在第j個(gè)因子上的載荷（簡(jiǎn)稱為因子載荷）； 稱為特殊因子，是不能被前m個(gè)公共因子包含的部分。并且滿足：cov(F,) = 0，即F，不相關(guān)； D(F) = Im，即F1、F2、Fm互不相關(guān)，方差為1；D

2、() = diag(12,22,p2)，即1、2、p互不相關(guān)，方差不一定相等，iN(0，i2)。 因子分析的目的就是通過模型X = AF + 以F代替X，由于m p，從而達(dá)到降維的愿望。,2. 因子分析模型中的幾個(gè)統(tǒng)計(jì)特征 (1) 因子載荷aij的統(tǒng)計(jì)意義 由Xi = ai1F1 + aimFm + i，兩邊同乘以Fj E(XiFj)=ai1E(F1Fj)+aijE(FjFj)+aimE(FmFj)+E(iFj) 從而有 ij = E(XiFj) = aij 即載荷矩陣中第i行，第j列的元素aij是第i個(gè)變量與第j個(gè)公共因子的相關(guān)系數(shù)，反映了第i個(gè)變量與第j個(gè)公共因子的相關(guān)程度。在這種意義上公

3、共因子解釋了觀測(cè)變量間的相關(guān)性。,(2) 變量共同度的統(tǒng)計(jì)意義 因子載荷矩陣第i行的元素平方和： 稱為變量Xi的共同度（i = 1，2，p）。 對(duì)Xi = ai1F1 + aimFm + i兩邊求方差： 顯然，若因子方差hi2大，剩余方差i2必小。而hi2大就表明Xi對(duì)公因子的共同依賴程度大?？梢奾i2反映了變量Xi對(duì)公共因子F的依賴程度，故稱hi2為變量Xi的共同度。,(3) 公共因子Fj方差貢獻(xiàn)的統(tǒng)計(jì)意義 因子載荷矩陣A中各列元素的平方和： 稱為公共因子Fj對(duì)X的貢獻(xiàn)，是衡量Fj相對(duì)重要性的指標(biāo)，qj2越大表明Fj對(duì)X的貢獻(xiàn)越大。,3 金融時(shí)間序列中因子的類型 收益率時(shí)間序列 宏觀經(jīng)濟(jì)因子

4、：GDP , 通脹，失業(yè)率，收益率曲線的陡峭度等（或者這些變量的意外沖擊-擾動(dòng)項(xiàng)） 基本面因子：財(cái)務(wù)分析得到的變量 Fama-French方法(1992):市場(chǎng)收益率，企業(yè)規(guī)模，價(jià)值型/成長(zhǎng)型（市場(chǎng)資產(chǎn)凈值或市場(chǎng)資產(chǎn)凈值/賬面資產(chǎn)凈值） 統(tǒng)計(jì)因子：數(shù)學(xué)過程得到的變量，主成分分析(PCA), 主因子分析,1 因子載荷矩陣的估計(jì) 給定p個(gè)相關(guān)變量X1，.，Xp的觀測(cè)數(shù)據(jù)陣X，由X = AF + 易推出 = AA + D 其中 = D(X)為X的協(xié)方差陣，A = (aij)為p m的因子載荷陣，D = diag(12，22，p2)為p階對(duì)角陣。 由p個(gè)相關(guān)變量的觀測(cè)數(shù)據(jù)可得到協(xié)差陣的估計(jì)，記為S。為

5、了建立因子模型，首先要估計(jì)因子載荷aij和特殊方差i2。常用的參數(shù)估計(jì)方法有以下三種：主成分法，主因子法和極大似然法。,5.2 因子載荷矩陣的估計(jì)方法,(1) 主成分法 設(shè)樣本協(xié)方差陣S的特征值為12p0，u1,u2,up，為對(duì)應(yīng)的標(biāo)準(zhǔn)化特征向量，當(dāng)最后pm個(gè)特征值較小時(shí)，S可近似地分解為： 其中 為pm陣， ，即得因子模型的一個(gè)解。載荷陣A中的第j列和X的第j個(gè)主成分的系數(shù)相差一個(gè)倍數(shù)（j = 1,m），故這個(gè)解稱為主成分解。,（2）主因子法 主因子方法是對(duì)主成分方法的修正，設(shè)R = AA + D，則R* = R D = AA稱為約相關(guān)矩陣，若已知特殊因子方差的初始估計(jì) ，也就是已知變量共同

6、度的估計(jì)： 則R*對(duì)角線上的元素是 ，而不是1。即：,計(jì)算R*的特征值和特征向量，取前m個(gè)正特征值1*2*p* 0，相應(yīng)的特征向量為u1*,u2*,up*，則有近似分解式： R* = AA 其中 ，令 （i = 1，p）， 則A和D為因子模型的一個(gè)解，這個(gè)解稱為主因子解。,在實(shí)際中特殊因子方差(或變量共同度)是未知的。以上得到的解是近似解。為了得到近似程度更好的解，常常采用迭代主因子法。即利用上面得到的 D* = diag( ) 作為特殊因子方差的初始估計(jì)，重復(fù)上述步驟，直到解穩(wěn)定為止。 變量共同度hi2常用的初始估計(jì)有以下幾種方法： 取第i個(gè)變量與其他所有變量的多重相關(guān)系數(shù)的平方； 取第i個(gè)

7、變量與其他變量相關(guān)系數(shù)絕對(duì)值的最大值； 取1，它等價(jià)于主成分解。,(3) 極大似然法 假定公共因子F和特殊因子服從正態(tài)分布，那么可得到因子載荷陣和特殊因子方差的極大似然估計(jì)，設(shè)p維觀測(cè)向量X(1)，.，X(n)為來自正態(tài)總體Np(,)的隨機(jī)樣品，則樣品似然函數(shù)為，的函數(shù)L(,)。 設(shè)= AA + D，取 = ，則似然函數(shù)為A，D的函數(shù)：(A，D)，求A，D使達(dá)最大。為保證得到唯一解，可附加計(jì)算上方便的唯一性條件：AD-1A = 對(duì)角陣，用迭代方法可求得極大似然估計(jì)A和D。,2. 因子旋轉(zhuǎn)（正交變換） 所謂因子旋轉(zhuǎn)就是將因子載荷矩陣A右乘一個(gè)正交矩陣T后得到一個(gè)新的矩陣A*。它并不影響變量Xi的

8、共同度hi2，卻會(huì)改變因子的方差貢獻(xiàn)qj2。因子旋轉(zhuǎn)通過改變坐標(biāo)軸，能夠重新分配各個(gè)因子解釋原始變量方差的比例，使因子更易于理解。,設(shè)p維可觀測(cè)向量X滿足因子模型：X = AF +。T為正交陣，則因子模型可寫為 X = ATTF + = A*F* + 其中A* = AT，F(xiàn)* = TF。 易知， = AA + D = A*A* + D（其中A* = AT）。這說明，若A，D是一個(gè)因子解，任給正交陣T，A* = AT，D也是因子解。在這個(gè)意義下，因子解是不惟一的。 由于因子載荷陣是不惟一的，所以可對(duì)因子載荷陣進(jìn)行旋轉(zhuǎn)。目的是使因子載荷陣的結(jié)構(gòu)簡(jiǎn)化，使載荷矩陣每列或行的元素平方值向0和1兩極分化，

9、這樣的因子便于解釋和命名。,有三種主要的正交旋轉(zhuǎn)法：四次方最大法、方差最大法和等量最大法。這些旋轉(zhuǎn)方法的目標(biāo)是一致的，只是策略不同。 如果兩種旋轉(zhuǎn)模型導(dǎo)出不同的解釋，這兩種解釋不能認(rèn)為是矛盾的。倒不如說是看待相同事物的兩種不同方法，是在公因子空間中的兩個(gè)不同點(diǎn)。只取決于惟一的一種你認(rèn)為是正確旋轉(zhuǎn)的任何結(jié)論都是不成立的。 在統(tǒng)計(jì)意義上所有旋轉(zhuǎn)都是一樣的，即不能說一些旋轉(zhuǎn)比另一些旋轉(zhuǎn)好。因此，在不同的旋轉(zhuǎn)方法之間進(jìn)行的選擇必須根據(jù)非統(tǒng)計(jì)觀點(diǎn)，通常選擇最容易解釋的旋轉(zhuǎn)模型。,3. 因子得分 計(jì)算因子得分的途徑是用原有變量來描述因子，第j個(gè)因子在第i個(gè)樣本上的值可表示為： Fji = j1xi1 +

10、j2xi2 + jpxip (j = 1，2，k) 式中，xi1，xi2，xip分別是第1，2，p個(gè)原有變量在第i個(gè)樣本上的取值，j1，j2，jp分別是第j個(gè)因子和第1，2，k個(gè)原有變量間的因子值系數(shù)?？梢?，它是原有變量線性組合的結(jié)果(與因子分析的數(shù)學(xué)模型正好相反)，因子得分可看作各變量值的加權(quán)(j1，j2，jp)總和，權(quán)數(shù)的大小表示了變量對(duì)因子的重要程度。,于是有： Fj = j1X1+j2X2+jpXp (j = 1,2,k) 上式稱為因子得分函數(shù)。由于因子個(gè)數(shù)k小于原有變量個(gè)數(shù)p，故式中方程的個(gè)數(shù)少于變量的個(gè)數(shù)。因此，對(duì)因子值系數(shù)通常采用最小二乘意義下的回歸法進(jìn)行估計(jì)。可將上式看作是因子

11、變量Fj對(duì)p個(gè)原有變量的線性回歸方程(其中常數(shù)項(xiàng)為0)。可以證明，式中回歸系數(shù)的最小二乘估計(jì)滿足：Bj = AjR-1，其中 Bj = (j1,j2,jp)，Aj = (a1j,a2j,apj)為第1,2,p個(gè)變量在第j個(gè)因子上的因子載荷，R-1為原有變量的相關(guān)系數(shù)矩陣的逆矩陣。 由上式計(jì)算出因子變量Fj的因子值系數(shù)，再利用因子得分函數(shù)可算出第j個(gè)因子在各個(gè)樣本上的因子得分。,13.3 主成分分析（PCA)的概念與步驟 1. 主成分分析基本思想 主成分分析是數(shù)學(xué)上對(duì)數(shù)據(jù)降維的一種方法。其基本思想是設(shè)法將原來眾多的具有一定相關(guān)性的指標(biāo)（比如p個(gè)指標(biāo)），重新組合成一組新的互不相關(guān)的綜合指標(biāo)來代替原

12、來指標(biāo)。通常數(shù)學(xué)上的處理就是將原來p個(gè)指標(biāo)作線性組合，作為新的綜合指標(biāo)。但是這種線性組合，如果不加限制，則可以有很多，應(yīng)該如何去選取呢？,在所有的線性組合中所選取的F1應(yīng)該是方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來p個(gè)指標(biāo)的信息，再考慮選取F2即選第二個(gè)線性組合。為了有效地反映原有信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在F2中，用數(shù)學(xué)語言表達(dá)就是要求Cov(F1，F(xiàn)2)0。稱F2為第二主成分，依此類推可以構(gòu)造出第三、第四、第p個(gè)主成分。,2. 主成分分析的數(shù)學(xué)模型 設(shè)有n個(gè)樣本（多元觀測(cè)值），每個(gè)樣本觀測(cè)p項(xiàng)指標(biāo)（變量）：X1，X2，Xp，得到原始數(shù)據(jù)資料陣： 其中Xi =

13、(x1i，x2i，xni)，i = 1，2，p。,用數(shù)據(jù)矩陣X的p個(gè)列向量（即p個(gè)指標(biāo)向量）X1，X2，Xp作線性組合，得綜合指標(biāo)向量： 簡(jiǎn)寫成： Fi = a1iX1 + ai2X2 +apiXp i = 1，2，p,為了加以限制，對(duì)組合系數(shù)ai = (a1i，a2i，api)作如下要求： 即：ai為單位向量：aiai = 1，且由下列原則決定： 1) Fi與Fj（ij, i, j = 1, , p）互不相關(guān)，即Cov(Fi，F(xiàn)j) = aiai = 0，其中是X的協(xié)方差陣。 2) F1是X1，X2，Xp的一切線性組合（系數(shù)滿足上述要求）中方差最大的，即 ，其中 a= (a1，a2，ap)

14、F2是與F1不相關(guān)的X1，X2，Xp一切線性組合中方差最大的，F(xiàn)p是與F1，F(xiàn)2，F(xiàn)p-1都不相關(guān)的X1，X2，Xp的一切線性組合中方差最大的。,滿足上述要求的綜合指標(biāo)向量F1，F(xiàn)2，F(xiàn)p就是主成分，這p個(gè)主成分從原始指標(biāo)所提供的信息總量中所提取的信息量依次遞減，每一個(gè)主成分所提取的信息量用方差來度量，主成分方差的貢獻(xiàn)就等于原指標(biāo)相關(guān)系數(shù)矩陣相應(yīng)的特征值i，每一個(gè)主成分的組合系數(shù) ai = (a1i，a2i，api) 就是相應(yīng)特征值i所對(duì)應(yīng)的單位特征向量。方差的貢獻(xiàn)率為 ，i越大，說明相應(yīng)的主成分反映綜合信息的能力越強(qiáng)。,3. 主成分分析的步驟 (1) 計(jì)算協(xié)方差矩陣 計(jì)算樣品數(shù)據(jù)的協(xié)方差矩陣

15、： = (sij)pp，其中 i，j = 1，2，p (2) 求出的特征值及相應(yīng)的特征向量 求出協(xié)方差矩陣的特征值12p0及相應(yīng)的正交化單位特征向量： 則X的第i個(gè)主成分為Fi = aiX i = 1，2，p。,(3) 選擇主成分 在已確定的全部p個(gè)主成分中合理選擇m個(gè)來實(shí)現(xiàn)最終的評(píng)價(jià)分析。一般用方差貢獻(xiàn)率 解釋主成分Fi所反映的信息量的大小，m的確定以累計(jì)貢獻(xiàn)率 達(dá)到足夠大（一般在85%以上）為原則。 另外，如果主成分對(duì)應(yīng)的特征根已小于1，一般也不選用,(4) 計(jì)算主成分得分 計(jì)算n個(gè)樣本在m個(gè)主成分上的得分： i = 1，2，m (5) 標(biāo)準(zhǔn)化 實(shí)際應(yīng)用時(shí)，指標(biāo)的量綱往往不同，所以在主成分計(jì)算之前應(yīng)先消除量綱的影響。消除數(shù)據(jù)的量綱有很多方法，常用方法是將原始