1、精選文檔我的數(shù)據(jù)分析心得 來源 以下是我在近三年做各類計量和統(tǒng)計分析過程中感受最深的東西，或能對大家有所幫助。當然，它不是ABC的教程，也不是細致的數(shù)據(jù)分析方法介紹，它只是“總結”和“體會”。由于我所學所做均甚雜，我也不是學統(tǒng)計、數(shù)學出身的，故本文沒有主線，只有碎片，且文中內容僅為個人觀點，許多論斷沒有數(shù)學證明，望統(tǒng)計、計量大牛輕拍。關于軟件。于我個人而言，所用的數(shù)據(jù)分析軟件包括EXCEL、SPSS、STATA、EVIEWS。在分析前期可以使用EXCEL進行數(shù)據(jù)清洗、數(shù)據(jù)結構調整、復雜的新變量計算（包括邏輯計算）；在后期呈現(xiàn)美觀的圖表時，它的制圖制表功能更是無可取代的利器；但需要說明的是，EX

2、CEL畢竟只是辦公軟件，它的作用大多局限在對數(shù)據(jù)本身進行的操作，而非復雜的統(tǒng)計和計量分析，而且，當樣本量達到“萬”以上級別時，EXCEL的運行速度有時會讓人抓狂。SPSS是擅長于處理截面數(shù)據(jù)的傻瓜統(tǒng)計軟件。首先，它是專業(yè)的統(tǒng)計軟件，對“萬”甚至“十萬”樣本量級別的數(shù)據(jù)集都能應付自如；其次，它是統(tǒng)計軟件而非專業(yè)的計量軟件，因此它的強項在于數(shù)據(jù)清洗、描述統(tǒng)計、假設檢驗（T、F、卡方、方差齊性、正態(tài)性、信效度等檢驗）、多元統(tǒng)計分析（因子、聚類、判別、偏相關等）和一些常用的計量分析（初、中級計量教科書里提到的計量分析基本都能實現(xiàn)），對于復雜的、前沿的計量分析無能為力；第三，SPSS主要用于分析截面數(shù)據(jù)

3、，在時序和面板數(shù)據(jù)處理方面功能了了；最后，SPSS兼容菜單化和編程化操作，是名副其實的傻瓜軟件。STATA與EVIEWS都是我偏好的計量軟件。前者完全編程化操作，后者兼容菜單化和編程化操作；雖然兩款軟件都能做簡單的描述統(tǒng)計，但是較之SPSS差了許多；STATA與EVIEWS都是計量軟件，高級的計量分析能夠在這兩個軟件里得到實現(xiàn)；STATA的擴展性較好，我們可以上網找自己需要的命令文件（.ado文件），不斷擴展其應用，但EVIEWS就只能等著軟件升級了；另外，對于時序數(shù)據(jù)的處理，EVIEWS較強。綜上，各款軟件有自己的強項和弱項，用什么軟件取決于數(shù)據(jù)本身的屬性及分析方法。EXCEL適用于處理小樣

4、本數(shù)據(jù)，SPSS、STATA、EVIEWS可以處理較大的樣本；EXCEL、SPSS適合做數(shù)據(jù)清洗、新變量計算等分析前準備性工作，而STATA、EVIEWS在這方面較差；制圖制表用EXCEL；對截面數(shù)據(jù)進行統(tǒng)計分析用SPSS，簡單的計量分析SPSS、STATA、EVIEWS可以實現(xiàn)，高級的計量分析用STATA、EVIEWS，時序分析用EVIEWS。關于因果性。做統(tǒng)計或計量，我認為最難也最頭疼的就是進行因果性判斷。假如你有A、B兩個變量的數(shù)據(jù)，你怎么知道哪個變量是因（自變量），哪個變量是果（因變量）？早期，人們通過觀察原因和結果之間的表面聯(lián)系進行因果推論，比如恒常會合、時間順序。但是，人們漸漸認識

5、到多次的共同出現(xiàn)和共同缺失可能是因果關系，也可能是由共同的原因或其他因素造成的。從歸納法的角度來說，如果在有A的情形下出現(xiàn)B，沒有A的情形下就沒有B，那么A很可能是B的原因，但也可能是其他未能預料到的因素在起作用，所以，在進行因果判斷時應對大量的事例進行比較，以便提高判斷的可靠性。有兩種解決因果問題的方案：統(tǒng)計的解決方案和科學的解決方案。統(tǒng)計的解決方案主要指運用統(tǒng)計和計量回歸的方法對微觀數(shù)據(jù)進行分析，比較受干預樣本與未接受干預樣本在效果指標（因變量）上的差異。需要強調的是，利用截面數(shù)據(jù)進行統(tǒng)計分析，不論是進行均值比較、頻數(shù)分析，還是方差分析、相關分析，其結果只是干預與影響效果之間因果關系成立的

6、必要條件而非充分條件。類似的，利用截面數(shù)據(jù)進行計量回歸，所能得到的最多也只是變量間的數(shù)量關系；計量模型中哪個變量為因變量哪個變量為自變量，完全出于分析者根據(jù)其他考慮進行的預設，與計量分析結果沒有關系?？傊貧w并不意味著因果關系的成立，因果關系的判定或推斷必須依據(jù)經過實踐檢驗的相關理論。雖然利用截面數(shù)據(jù)進行因果判斷顯得勉強，但如果研究者掌握了時間序列數(shù)據(jù)，因果判斷仍有可為，其中最經典的方法就是進行“格蘭杰因果關系檢驗”。但格蘭杰因果關系檢驗的結論也只是統(tǒng)計意義上的因果性，而不一定是真正的因果關系，況且格蘭杰因果關系檢驗對數(shù)據(jù)的要求較高（多期時序數(shù)據(jù)），因此該方法對截面數(shù)據(jù)無能為力。綜上所述，統(tǒng)

7、計、計量分析的結果可以作為真正的因果關系的一種支持，但不能作為肯定或否定因果關系的最終根據(jù)?？茖W的解決方案主要指實驗法，包括隨機分組實驗和準實驗。以實驗的方法對干預的效果進行評估，可以對除干預外的其他影響因素加以控制，從而將干預實施后的效果歸因為干預本身，這就解決了因果性的確認問題。關于實驗。在隨機實驗中，樣本被隨機分成兩組，一組經歷處理條件（進入干預組），另一組接受控制條件（進入對照組），然后比較兩組樣本的效果指標均值是否有差異。隨機分組使得兩組樣本“同質”，即“分組”、“干預”與樣本的所有自身屬性相互獨立，從而可以通過干預結束時兩個群體在效果指標上的差異來考察實驗處理的凈效應。隨機實驗設計

8、方法能夠在最大程度上保證干預組與對照組的相似性，得出的研究結論更具可靠性，更具說服力。但是這種方法也是備受爭議的，一是因為它實施難度較大、成本較高；二是因為在干預的影響評估中，接受干預與否通常并不是隨機發(fā)生的；第三，在社會科學研究領域，完全隨機分配實驗對象的做法會涉及到研究倫理和道德問題。鑒于上述原因，利用非隨機數(shù)據(jù)進行的準實驗設計是一個可供選擇的替代方法。準實驗與隨機實驗區(qū)分的標準是前者沒有隨機分配樣本。通過準實驗對干預的影響效果進行評估，由于樣本接受干預與否并不是隨機發(fā)生的，而是人為選擇的，因此對于非隨機數(shù)據(jù)，不能簡單的認為效果指標的差異來源于干預。在剔除干預因素后，干預組和對照組的本身還

9、可能存在著一些影響效果指標的因素，這些因素對效果指標的作用有可能同干預對效果指標的作用相混淆。為了解決這個問題，可以運用統(tǒng)計或計量的方法對除干預因素外的其他可能的影響因素進行控制，或運用匹配的方法調整樣本屬性的不平衡性在對照組中尋找一個除了干預因素不同之外，其他因素與干預組樣本相同的對照樣本與之配對這可以保證這些影響因素和分組安排獨立。隨機實驗需要至少兩期的面板數(shù)據(jù)，并且要求樣本在干預組和對照組隨機分布，分析方法就是DID（倍差法，或曰雙重差分法）；準實驗分析用截面數(shù)據(jù)就能做，不要求樣本在干預組和對照組隨機分布，分析方法包括DID（需兩期的面板數(shù)據(jù)）、PSM（傾向性得分匹配法，需一期的截面數(shù)據(jù)

10、）和PSM-DID（需兩期的面板數(shù)據(jù)）。從準確度角度來說，隨機實驗的準確度高于準實驗和非實驗分析。關于分析工具的選擇。如果根據(jù)理論或邏輯已經預設了變量間的因果關系，那么就無需使用實驗方法。我對非實驗數(shù)據(jù)分析工具的選擇原則如下。因變量為連續(xù)變量，自變量至少有一個連續(xù)變量，進行多元線性回歸；因變量為連續(xù)變量，自變量全部為分類變量，進行方差分析；因變量為分類變量，自變量至少有一個連續(xù)變量，使用Logit模型或Probit模型；因變量為分類變量，自變量全部為分類變量，進行交叉表分析和卡方檢驗；因變量在某個閉區(qū)間內分布，并且有較多樣本落在閉區(qū)間的邊界上，使用Tobit模型；因變量不唯一，如多產出問題，進

11、行數(shù)據(jù)包絡分析（DEA）；因變量為整數(shù)、數(shù)值小、取零個數(shù)較多，使用計數(shù)（Count）模型；數(shù)據(jù)具有層次結構（嵌套結構），使用多層線性模型（HLM）。隨著統(tǒng)計和計量經濟學的發(fā)展，各種前沿分析工具層出不窮，但我認為最靠譜的分析工具不外乎以下四種：DID（針對隨機實驗），多元線性回歸，固定效應變截距模型（FE，針對面板數(shù)據(jù)），Logit模型或Probit模型（針對分類因變量數(shù)據(jù)）。其他方法或適用條件苛刻，或分析過程折騰，或方法本身不可靠（尤其是聚類分析、判別分析，超級不靠譜），因此能用以上四種方法分析問題時，不必為“炫方法”而瞎折騰。關于擬合優(yōu)度、變量選擇原則及估計值絕對大小的意義。在人人的“數(shù)據(jù)分

12、析”小站中，某同學提出這樣一個問題：“多元回歸分析中，怎么選擇自變量和因變量，可以使R方達到80%以上？”很顯然，問這個問題的同學要么沒學好計量，要么就是犯了功利主義的錯誤，或者二者皆有。擬合優(yōu)度的大小很大程度上取決于數(shù)據(jù)本身的性質。如果數(shù)據(jù)是時序數(shù)據(jù)，只要拿有點相關關系的變量進行回歸就能使擬合優(yōu)度達到80%以上，但這樣的高R方根本說明不了什么，很可能使分析者陷入偽回歸的陷阱，嚴謹?shù)淖龇ó斎皇亲銎椒€(wěn)性檢驗和協(xié)整檢驗；如果是截面數(shù)據(jù)，根本沒必要追求R方到80%的程度，一般來說，有個20%、30%就非常大了。如果一定要增大R方，那么最應該做的的確是對納入模型的變量進行選擇。選擇納入模型的原則我認為

13、有三條。第一，從理論和邏輯出發(fā)，將可能影響因變量的變量作為自變量納入模型，即理論上或邏輯上能影響因變量的自變量必須納入模型，即使該自變量的回歸系數(shù)不顯著。第二，奧姆剃刀原則如無必要，勿增實體，即理論上或邏輯上不能影響因變量的自變量不能納入模型，即使該自變量的回歸系數(shù)顯著。第三，防止納入具有多重共線性的自變量。前面說了，對截面數(shù)據(jù)進行計量分析，R方能達到20%、30%是非常了不起的事情。但是，如果擬合優(yōu)度（或類似擬合優(yōu)度的指標）在20%、30%或更低時，回歸系數(shù)只具有定性或定序上的意義，強調其絕對數(shù)值的大小沒什么意義。譬如lnY=alnA+blnB+.+zlnZ+c回歸的R方為20%，a為0.3

14、75，b為0.224，且二者的T檢驗顯著，那么我們可以說，A、B對Y有影響，也可以說一百分點的A變化對Y的影響大于一百分點的B變化對Y的影響（控制其他因素的情況下），但說一百分點的A變化對Y的影響較一百分點的B變化對Y的影響大0.151%，就沒什么意義了。其他一些建議或忠告。用心思考變量間的因果關系：是A影響了B還是B影響了A？A、B之間是否真的有因果關系？是否存在C，使C既影響A又影響B(tài)，而A、B本身無直接關系？仔細選擇自變量，不要遺漏重要變量，否則會造成內生性問題。如果遇上了內生性問題，先不要忙著尋找工具變量或使用2SLS，尋找被遺漏的變量才是最重要的事情。如果被遺漏的變量即使找到卻囿于各

15、種困難無法納入分析，而你又忽然想到了一個絕佳的工具變量，那么恭喜你，你可以在核心期刊發(fā)文章了！一定要控制其他可能對因變量產生影響的因素，并認識到對回歸系數(shù)和偏相關分析結果的解釋都是建立在“其他條件不變”的情況之下?？吹絉方很大時不要忙著高興，如果F檢驗顯著而T檢驗不顯著，很可能存在多重共線性?？吹絫值很大時，也不要忙著高興，因為這很可能是偽回歸的產物；如果此時DW值很小（小于0.5），那么偽回歸的可能性進一步變大。均值比較雖然簡單卻考驗分析者的嚴謹性。兩個看似不同的平均數(shù)、中位數(shù)或比率是否意味著高下有別？樣本取自獨立總體還是相關總體？方差“齊”或“不齊”？比較的是平均數(shù)、中位數(shù)還是比率差異？樣本量限制了所能做的分析，小樣本時請珍惜自由度；不要用小于30個樣本的數(shù)據(jù)進行計量分析（尤其是時序分析）和復雜的統(tǒng)計分析；不要以為能從小于或等于5期的數(shù)據(jù)中看出什么“發(fā)展趨勢”；不要沒有依據(jù)的使用復雜的模型和分析方法；不要將一目了然的簡單問題故意復雜化。最重要的，不要造假！不對數(shù)據(jù)本身造假，也不對分析結果造假！數(shù)據(jù)分析前可以進行一定的清洗，將奇異值去掉，也可以嘗試對未預料到的分析結果進行探討和解釋，但如果去改數(shù)據(jù)改分析結果，那還有什么必要進行數(shù)據(jù)分析呢？直接編文章編報告不就得了？某些“詭異的”、不合常理的數(shù)據(jù)分析結果，很可能