1、SPSS的因子分析,1,第十章 SPSS的因子分析,SPSS的因子分析,2,因子分析的提出,為盡可能全面、完整描述一個(gè)事物，往往要收集它的許多相關(guān)指標(biāo)， 對高等學(xué)?？蒲袪顩r的評價(jià)研究，可能會收集諸如投入科研活動的人年數(shù)、立項(xiàng)課題數(shù)、項(xiàng)目經(jīng)費(fèi)、經(jīng)費(fèi)支出、結(jié)項(xiàng)課題數(shù)、發(fā)表論文數(shù)、發(fā)表專著數(shù)、獲得獎勵(lì)數(shù)等多項(xiàng)指標(biāo) 學(xué)生綜合評價(jià)研究中，可能會收集諸如基礎(chǔ)課成績、學(xué)科基礎(chǔ)課成績、專業(yè)課成績等各類課程的成績以及獲得獎學(xué)金的次數(shù)等 多指標(biāo)產(chǎn)生的問題： 計(jì)算處理麻煩，高維變量和海量數(shù)據(jù)是不容忽視的問題 變量間的相關(guān)性問題，收集到的諸多變量之間通常會存在或多或少的相關(guān)性，變量間信息的高度重疊和高度相關(guān)會給統(tǒng)計(jì)方

2、法的應(yīng)用帶來許多問題。如多重共線性 指標(biāo)過少產(chǎn)生的問題： 造成信息丟失和信息不全面等問題,SPSS的因子分析,3,因子分析是解決上述問題的一種非常有效的方法。它以最少的信息丟失，將原始眾多變量綜合成較少的幾個(gè)綜合指標(biāo)（因子），能夠起到有效降維的目的 因子分析的基本出發(fā)點(diǎn) 將原始指標(biāo)綜合成較少的綜合指標(biāo)，名為因子。這些指標(biāo)能夠反映原始指標(biāo)的絕大部分信息（方差） 這些綜合指標(biāo)之間沒有相關(guān)性 因子變量的特點(diǎn) 因子變量個(gè)數(shù)遠(yuǎn)遠(yuǎn)少于原變量個(gè)數(shù)，是原變量的重造 因子變量可反映原變量的絕大部分信息 因子變量間不相關(guān)性。解決共線性問題 因子可命名解釋性。有助于對因子分析結(jié)果的解釋評價(jià),SPSS的因子分析,4,

3、因子分析的數(shù)學(xué)模型,因子分析的核心是用較少的互相獨(dú)立的因子反映原有變量的絕大部分信息。 數(shù)學(xué)模型（xi為標(biāo)準(zhǔn)化的原始變量，fi為因子變量；kp） 也可以矩陣的形式表示為：X=AF+ aij是第i個(gè)原有變量在第j個(gè)因子上的負(fù)荷。如果把變量xi看成k維因子空間中的一個(gè)向量，則aij表示xi在坐標(biāo)軸j上的投影，相當(dāng)于多元線性回歸模型中的標(biāo)準(zhǔn)化回歸系數(shù)。,f：因子變量 A：因子載荷陣 aij: 因子載荷 : 特殊因子,SPSS的因子分析,5,因子分析的相關(guān)概念,因子載荷 在因子變量不相關(guān)的條件下，aij就是第i個(gè)原始變量與第j個(gè)因子變量的相關(guān)系數(shù)，反映了變量xi與因子fj的相關(guān)程度。aij絕對值越大，

4、則xi與fi的相關(guān)性越強(qiáng)。同時(shí)因子載荷aij也反映了因子fj對解釋變量xij的重要作用和程度。 變量共同度(Communality) 也稱變量方差。xi的變量共同度為因子載荷矩陣A中第i行元素的平方和 在變量xi標(biāo)準(zhǔn)化時(shí)，由于變量xi的方差可以表示成 ，因此原有變量xi的方差可分解釋為變量共同度和特殊因子的平方,SPSS的因子分析,6,因子分析的相關(guān)概念,第一部分為變量共同度 反應(yīng)了全部因子變量對原有變量xi總方差解釋說明的比例，體現(xiàn)了因子全體對原有變量xi的解釋貢獻(xiàn)程度。可見， 越接近1，說明因子全體己經(jīng)解釋說明了原有變量xi的幾乎全部信息; 第二部分是特殊因子: 它反應(yīng)了原有變量方差中無法

5、被因子全體刻畫的比例 可見：xi的共同度反映了全部因子變量對xi總方差的解釋的程度，是評價(jià)變量xi信息丟失程度的重要指標(biāo)。如果大部分變量的共同度都高于0.8,則說明提取出的公共因子已經(jīng)基本反映了各原始變量80%以上的信息，僅有較少的信息丟失，因子分析效果較好。,SPSS的因子分析,7,因子分析的相關(guān)概念,因子fj的方差貢獻(xiàn) 因子變量fj的方差貢獻(xiàn)為因子載荷矩陣A中第j列各元素的平方和 因子變量fj的方差貢獻(xiàn)體現(xiàn)了同一因子fj對原始所有變量總方差的解釋能力 ,該值越高，說明相應(yīng)因子的重要性越高。因此，因子的方差貢獻(xiàn)和方差貢獻(xiàn)率是衡量因子重要性的關(guān)鍵指標(biāo)。 表示了第j個(gè)因子解釋原所有變量總方差的比

6、例,初始變量經(jīng)標(biāo)準(zhǔn)化，方差為1，總方差為p,SPSS的因子分析,8,因子分析的基本步驟,因子分析的前提條件，通過各種方法分析原有變量是否存在相關(guān)關(guān)系，確認(rèn)待分析的原始變量是否適合作因子分析。 提取因子變量，研究如何在樣本數(shù)據(jù)的基礎(chǔ)上提取和綜合成少數(shù)幾個(gè)因子。 使因子具有命名解釋性，利用旋轉(zhuǎn)方法使因子變量實(shí)際含義清晰，使因子具有命名解釋性。 計(jì)算每個(gè)樣本的因子變量得分，通過各種方法計(jì)算各樣本在各因子上的得分，以便在進(jìn)一步的分析中用較少的因子代替原有變量參與數(shù)據(jù)建模。,SPSS的因子分析,9,因子分析的前提條件,因子分析的目的，是從原有眾多的變量中綜合出少量具有代表意義的因子變量，這必定有一個(gè)潛在

7、的前提要求，即原有變量之間應(yīng)具有較強(qiáng)的相關(guān)關(guān)系。 如果原有變量之間不存在較強(qiáng)的相關(guān)關(guān)系，那么根本無法從中綜合出能夠反映某些變量共同特性的幾個(gè)較少的公共因子變量來。因此，一般在因子分析時(shí)，需要對原有變量進(jìn)行相關(guān)分析。 方法 相關(guān)系數(shù)檢驗(yàn) 反映像相關(guān)矩陣檢驗(yàn) 巴特利特球度檢驗(yàn) KMO檢驗(yàn),SPSS的因子分析,10,相關(guān)系數(shù)檢驗(yàn),計(jì)算原有變量之間的相關(guān)系數(shù)矩陣并進(jìn)行統(tǒng)計(jì)檢驗(yàn) 觀察變量的相關(guān)系數(shù)矩陣，如果相關(guān)系數(shù)矩陣中的大部分相關(guān)系數(shù)都小于0.3且未通過統(tǒng)計(jì)檢驗(yàn)，那么，這些變量就不適合作因子分析,SPSS的因子分析,11,反映像相關(guān)矩陣(Anti-image Correlation Matrix),反

8、映像相關(guān)矩陣的對角線上的元素為某變量的MSA (Measure of Sample Adequacy)統(tǒng)計(jì)量，其數(shù)學(xué)定義為: 式中，rij是變量xi和其他變量xj間的簡單相關(guān)系數(shù);pij是變量xi和其他變量xj在控制了剩余變量下的偏相關(guān)系數(shù)。由式可知:某變量xi的MSAi統(tǒng)計(jì)量的取值在0-1之間。,SPSS的因子分析,12,反映像相關(guān)矩陣,偏相關(guān)系數(shù)是在控制了其他變量對兩變量影響的條件下計(jì)算出來的凈相關(guān)系數(shù)。如果原有變量之間確實(shí)存在較強(qiáng)的相互重疊以及傳遞影響，也就是說，如果原有變量中確實(shí)能夠提取出公共因子，那么在控制了這些影響后的偏相關(guān)系數(shù)必然很小。 當(dāng)它與其他所有變量間的簡單相關(guān)系數(shù)平方和遠(yuǎn)

9、大于偏相關(guān)系數(shù)平方和時(shí)，MSAi值接近1 . MSAi值越接近1，意味著變量xi與其他變量間的相關(guān)性越強(qiáng)。 當(dāng)它與其他所有變量間的簡單相關(guān)系數(shù)平方和接近0時(shí)，MSAi值接近0。MSAi越接近0，意味著變量xi與其他變量間的相關(guān)性越弱。 觀察反映像相關(guān)矩陣，如果反映像相關(guān)矩陣中除主對角線元素外，其他大多數(shù)元素的絕對值均較小，對角線上元素的值較接近1，則說明這些變量的相關(guān)性較強(qiáng)，適合進(jìn)行因子分析。,SPSS的因子分析,13,巴特利特球度檢驗(yàn),巴特利特球度檢驗(yàn)(Bartlett Test of Sphericity)以原有變量的相關(guān)系數(shù)矩陣為出發(fā)點(diǎn)，其原假設(shè)是:相關(guān)系數(shù)矩陣是單位陣，即相關(guān)系數(shù)矩陣為

10、對角陣(對角元素不為0，非對角元素均為0)且主對角元素均為1。即：變量間不相關(guān)。 巴特利特球度檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量根據(jù)相關(guān)系數(shù)矩陣的行列式計(jì)算得到，且近似服從卡方分布。 如果該統(tǒng)計(jì)量的觀測值比較大，且對應(yīng)的概率P值小于給定的顯著性水平a，則應(yīng)拒絕原假設(shè)，認(rèn)為相關(guān)系數(shù)矩陣不太可能是單位陣，原有變量適合作因子分析; 反之，如果檢驗(yàn)統(tǒng)計(jì)量的觀測值比較小，且對應(yīng)的概率P-值大于給定的顯著性水平a，則不能拒絕原假設(shè)，可以認(rèn)為相關(guān)系數(shù)矩陣與單位陣無顯著差異，原有變量不適合作因子分析。,SPSS的因子分析,14,KMO檢驗(yàn),KMO檢驗(yàn)(Kaiser-Meyer-Olkin)統(tǒng)計(jì)量是用于比較變量間簡單相關(guān)系數(shù)和偏

11、相關(guān)系數(shù)的指標(biāo)，數(shù)學(xué)定義為: 式中rij 和pij同前，KMO將相關(guān)系數(shù)矩陣中的所有元素都加人到平方和的計(jì)算中。由公式可知:KMO統(tǒng)計(jì)量的取值在0-1之間。當(dāng)所有變量間的簡單相關(guān)系數(shù)平方和遠(yuǎn)大于偏相關(guān)系數(shù)平方和時(shí)，KMO值接近1. KMO值越接近1，意味著變量間的相關(guān)性越強(qiáng)，原有變量越適合作因子分析。 Kaiser給出了常用的KMO度量標(biāo)準(zhǔn): 0. 9以上表示非常適合;0. 8表示適合;0. 7表示一般;0. 6表示不太適合; 0. 5以下表示極不適合。,SPSS的因子分析,15,因子提取和因子載荷矩陣的求解,因子分析的關(guān)鍵是根據(jù)樣本數(shù)據(jù)求解因子載荷矩陣。因子載荷矩陣的求解方法 基于主成分模型

12、的主成分分析法 基于因子分析模型的主軸因子法 極大似然法 最小二乘法 a因子提取法 映像分析法 主成分分析法能夠?yàn)橐蜃臃治鎏峁┏跏冀?，因子分析是對主成分分析結(jié)果的延伸和拓展。,SPSS的因子分析,16,確定因子變量-主成份分析,主成份分析法的數(shù)學(xué)模型 該方程組要求：,主成分分析法通過坐標(biāo)變換的手段，將原有的p個(gè)相關(guān)變量xi標(biāo)準(zhǔn)化后進(jìn)行線性變換轉(zhuǎn)成另一組不相關(guān)的變量yi,SPSS的因子分析,17,確定因子變量-主成分分析,系數(shù)uij依照兩個(gè)原則來確定 yi與yj (ij,i,j=1,2,3,p)互不相關(guān)； y1是x1,x2,x3,xp的一切線性組合（系數(shù)滿足上述方程組）中方差最大的；y2是與y1

13、不相關(guān)的x1,x2,x3,xp的一切線性組合中方差次大的；yP是與y1, y2, y3,yp都不相關(guān)的x1,x2,x3,xp的一切線性組合中方差最小的； 根據(jù)上述原則確定的變量 y1, y2, y3,yp次稱為原有變量x1,x2,x3,xp的第1, 2, 3,p個(gè)主成分。 其中, y1在總方差中所占比例最大，它綜合原有變量的能力最強(qiáng)，其余變量在總方差中所占比例依次遞減，即：其余變量綜合原有變量的能力依次減弱。,SPSS的因子分析,18,主成分分析,在主成分分析的實(shí)際應(yīng)用中，一般只選取前面幾個(gè)方差較大的主成分。這樣既減少了變量的數(shù)目，又能夠用較少的主成分反映原有變量的絕大部分信息。 主成分分析法

14、的核心是通過原有變量的線性組合以及各個(gè)主成分的求解來實(shí)現(xiàn)變量降維的?？蓮膸缀我饬x的角度理解這個(gè)核心原理。 以二維空間為例。設(shè)有兩個(gè)變量x1 x2，n個(gè)樣本，可將這n個(gè)樣本看成是由x1和x2構(gòu)成的二維空間中的n個(gè)點(diǎn)，如下圖所示。,SPSS的因子分析,19,確定因子變量-主成分分析,SPSS的因子分析,20,確定因子變量-主成份分析,主成分分析中關(guān)鍵的步驟就是如何求出上述方程組中的系數(shù)uij 。通過公式的計(jì)算推導(dǎo)可以發(fā)現(xiàn)，每個(gè)方程中的系數(shù)向量uij (u1j, u2j, , upj)恰好是原有變量相關(guān)系數(shù)矩陣R的特征值對應(yīng)的特征向量。 主成份分析數(shù)學(xué)模型的系數(shù)求解基本步驟： 將原始數(shù)據(jù)標(biāo)準(zhǔn)化 計(jì)算

15、變量間簡單相關(guān)系數(shù)矩陣R 求R的特征值123p0及對應(yīng)的單位特征向量1, 2, 3,p 通過上述步驟，計(jì)算得到：yi=u1ix1+u2ix2+upixp便得到各個(gè)主成分 其中的p個(gè)特征值和對應(yīng)的特征向量便是因子分析的初始解。,SPSS的因子分析,21,確定因子變量計(jì)算因子載荷,利用上述P個(gè)特征值和對應(yīng)的特征向量，并在此基礎(chǔ)之上計(jì)算因子載荷矩陣:,選取前k個(gè)特征值和對應(yīng)的特征向量，得到式包含k個(gè)因子的因子載荷矩陣:,SPSS的因子分析,22,確定因子變量個(gè)數(shù)k,根據(jù)特征值i確定：取特征值大于1的特征根 根據(jù)累計(jì)貢獻(xiàn)率：一般累計(jì)貢獻(xiàn)率應(yīng)在70%以上。 第一個(gè)因子的累計(jì)方差貢獻(xiàn)率定義為: 第二個(gè)因子

16、的累計(jì)方差貢獻(xiàn)率定義為: 于是，前k個(gè)因子的累計(jì)方差貢獻(xiàn)率定義為:,第一個(gè)因子的方差貢獻(xiàn)率是它的方差貢獻(xiàn)除以總方差。由于原有的p個(gè) 變量已經(jīng)進(jìn)行了標(biāo)準(zhǔn)化處理(均值為0，方差為1)，因此總方差為p。,根據(jù)上式計(jì)算因子的累計(jì)方差貢獻(xiàn)率。通常選取累計(jì)方差貢獻(xiàn)率大于0. 85時(shí)的特征值個(gè)數(shù)為因子個(gè)數(shù)k。,SPSS的因子分析,23,通過觀察碎石圖的方式確定因子變量的個(gè)數(shù)。,確定因子變量個(gè)數(shù)k,SPSS的因子分析,24,因子變量的命名解釋,aij的絕對值在某一行的許多列上都有較大的取值 某個(gè)原有變量xi可能同時(shí)與幾個(gè)因子都有比較大的相關(guān)關(guān)系，也就是說，某個(gè)原有變量xi的信息需要由若干個(gè)因子變量來共同解釋

17、aij的絕對值在某一列的許多行上都有較大的取值 雖然一個(gè)因子變量可能能夠解釋許多變量的信息，但它卻只能解釋某個(gè)變量的一少部分信息，不是任何一個(gè)變量的典型代表 結(jié)論：因子變量的實(shí)際含義不清楚,SPSS的因子分析,25,因子變量的命名解釋,在實(shí)際分析工作中，人們卻希望對因子變量的含義有比較清楚的認(rèn)識。為解決這個(gè)問題，可通過某種手段使每個(gè)變量在盡可能少的因子上又有比較高的載荷，即:在理想狀態(tài)下，讓某個(gè)變量在某個(gè)因子上的載荷趨于1，而在其他因子上的載荷趨于0。這樣，一個(gè)因子變量就能夠成為某個(gè)變量代表，那么它的實(shí)際含義也就清楚了。 實(shí)現(xiàn)方法:對因子載荷矩陣進(jìn)行旋轉(zhuǎn)。,SPSS的因子分析,26,載荷散點(diǎn)圖

18、: 以因子變量為坐標(biāo)軸繪制原有變量的散點(diǎn)圖。 經(jīng)過坐標(biāo)旋轉(zhuǎn)后，原有變量點(diǎn)應(yīng)出現(xiàn)在靠近軸的端點(diǎn)和圓點(diǎn)附近 在軸的端點(diǎn)上變量是只在那個(gè)因子上有較高載荷的變量 靠近圖的圓點(diǎn)的變量對兩個(gè)因子都具有小的載荷。 不靠近軸的變量是被兩個(gè)因子共同解釋，旋轉(zhuǎn)后應(yīng)盡可能少地出現(xiàn)這種情況,SPSS的因子分析,27,因子旋轉(zhuǎn),所謂因子旋轉(zhuǎn)就是將因子載荷矩陣A右乘一個(gè)正交矩陣后得到一個(gè)新的矩陣B。它并不影響變量xi的共同度 ，卻會改變因子的方差貢獻(xiàn)率 。因子旋轉(zhuǎn)通過改變坐標(biāo)軸，能夠重新分配各個(gè)因子解釋原始變量方差的比例，使因子更易于理解， 因此，坐標(biāo)旋轉(zhuǎn)后應(yīng)盡可能使原有變量點(diǎn)出現(xiàn)在某個(gè)坐標(biāo)軸的附近，同時(shí)遠(yuǎn)離其他坐標(biāo)軸。

19、在某個(gè)坐標(biāo)軸附近的變量只在該因子上有較高載荷，而在其他因子上只有很低的載荷。,SPSS的因子分析,28,因子旋轉(zhuǎn)方式,正交旋轉(zhuǎn)：坐標(biāo)軸始終保持垂直90度角旋轉(zhuǎn)，于是新生成的因子仍可保持不相關(guān)性 斜交旋轉(zhuǎn)：坐標(biāo)軸中的夾角可以是任意度數(shù)，因此新生成的因子之間不能保證不相關(guān)性。 在使因子具有命名解釋性方面，斜交旋轉(zhuǎn)通常會優(yōu)于正交旋轉(zhuǎn)，但卻以不能保持因子的不相關(guān)性為代價(jià)。因此應(yīng)用中一般會選用正交旋轉(zhuǎn)方式。 正交旋轉(zhuǎn)方式 四次方最大法(Quartimax ) 方差極大法(Varimax) 等量最大法(Equamax),SPSS的因子分析,29,計(jì)算因子得分,因子得分是因子變量構(gòu)造的最終體現(xiàn)。在因子變量確

20、定以后，對每個(gè)樣本數(shù)據(jù)，就計(jì)算它們在不同因子上的具體數(shù)據(jù)值，這些數(shù)值稱為因子得分，形成的變量稱為因子變量。 在以后的分析中就可以因子變量代替原有變量進(jìn)行數(shù)據(jù)建模，或利用因子變量對樣本進(jìn)行分類或評價(jià)等研究，進(jìn)而實(shí)現(xiàn)降維和簡化問題的目的。 基本思想： 將因子變量表示為原有變量的線性組合（與因子分析的數(shù)學(xué)模型正好相反），即：通過因子得分函數(shù)計(jì)算因子得分，因子得分可看作各變量值的權(quán)數(shù)總和，權(quán)數(shù)的大小表示了變量對因子的重要程度,SPSS的因子分析,30,因子分析的基本操作,選擇菜單AnalyzeData ReductionFactor，出現(xiàn)主窗口,SPSS的因子分析,31,2、把參與因子分析的變量選到V

21、ariables框中。 3、選擇參與因子分析的樣本。把作為條件變量的變量指定到Selection Variable框中并單擊Value按鈕輸入變量值，只有滿足條件的樣本數(shù)據(jù)才參與因子分析。 4、Descriptives按鈕指定輸出結(jié)果 5、Extraction按鈕指定提取因子的方法 6、Rotation按鈕選擇因子旋轉(zhuǎn)方法 7、Scores按鈕選擇計(jì)算因子得分的方法 8、Options按鈕指定缺失值的處理方法和因子載荷矩陣的輸出方法,SPSS的因子分析,32,Statistics框中指定輸出哪些基本統(tǒng)計(jì)量， Univariate descriptives表示輸出各個(gè)變量的基本描述統(tǒng)計(jì)量 Ini

22、tial solution表示輸出因子分析的初始解 Correlation Matrix框中指定考察因子分析條件的方法及輸出結(jié)果 Coefficients表示輸出相關(guān)系數(shù)矩陣 Significance levels表示輸出相關(guān)系數(shù)檢驗(yàn)的概率p值 Determinant表示輸出變量相關(guān)系數(shù)矩陣的行列式值 Inverse表示輸出相關(guān)系數(shù)矩陣的逆矩陣 Anti-image表示輸出反映象相關(guān)矩陣 KMO and Bartletts test of sphericity表示進(jìn)行巴特利特球度檢驗(yàn)和KMO檢驗(yàn),SPSS的因子分析,33,在Method框中提供了多種提取因子的方法 Principal comp

23、onents是主成分分析法，是SPSS默認(rèn)的方法 在Analyze框中指定提取因子的依據(jù) Correlation matrix為相關(guān)系數(shù)矩陣，當(dāng)原有變量存在數(shù)量級的差異時(shí)，通常選擇該選項(xiàng) Covariance matrix為協(xié)方差陣 在Extract框中選擇如何確定因子數(shù)目 在Eigenvaluse over后輸入一個(gè)特征根值（默認(rèn)值為1），SPSS將提取大于該值的特征根 在Number of factors框后輸入提取因子的個(gè)數(shù) 在Display框中選擇輸出哪些與因子提取有關(guān)的信息 Unrotated factor solution表示輸出未旋轉(zhuǎn)的因子載荷矩陣 Scree plot表示輸出因子的碎石圖,SPSS的因子分析,34,在Method框中選擇因子旋轉(zhuǎn)方法 None表示不旋轉(zhuǎn)（