版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
統(tǒng)計(jì)學(xué)中數(shù)據(jù)分析方法匯總!
Parti描述統(tǒng)計(jì)
描述統(tǒng)計(jì)是通過圖表或數(shù)學(xué)方法,對數(shù)據(jù)資料進(jìn)行整理、分析,并對數(shù)據(jù)的
分布狀態(tài)、數(shù)字特征和隨機(jī)變量之間關(guān)系進(jìn)行估計(jì)和描述的方法。描述統(tǒng)計(jì)
分為集中趨勢分析和離中趨勢分析和相關(guān)分析三大部分。
集中趨勢分析:集中趨勢分析主要靠平均數(shù)、中數(shù)、眾數(shù)等統(tǒng)計(jì)指標(biāo)來表示
數(shù)據(jù)的集中趨勢。例如被試的平均成績多少?是正偏分布還是負(fù)偏分布?
離中趨勢分析:離中趨勢分析主要靠全距、四分差、平均差、方差(協(xié)方
差:用來度量兩個(gè)隨機(jī)變量關(guān)系的統(tǒng)計(jì)量)、標(biāo)準(zhǔn)差等統(tǒng)計(jì)指標(biāo)來研究數(shù)據(jù)
的離中趨勢。例如,我們想知道兩個(gè)教學(xué)班的語文成績中,哪個(gè)班級內(nèi)的成
績分布更分散,就可以用兩個(gè)班級的四分差或百分點(diǎn)來比較。
相關(guān)分析:相關(guān)分析探討數(shù)據(jù)之間是否具有統(tǒng)計(jì)學(xué)上的關(guān)聯(lián)性。這種關(guān)系既
包括兩個(gè)數(shù)據(jù)之間的單一相關(guān)關(guān)系一如年齡與個(gè)人領(lǐng)域空間之間的關(guān)系,
也包括多個(gè)數(shù)據(jù)之間的多重相關(guān)關(guān)系——如年齡、抑郁癥發(fā)生率、個(gè)人領(lǐng)域
空間之間的關(guān)系;既包括A大B就大(?。?,A小B就小(大)的直線相關(guān)關(guān)
系,也可以是復(fù)雜相關(guān)關(guān)系(A=Y-B*X);既可以是A、B變量同時(shí)增大這
種正相關(guān)關(guān)系,也可以是A變量增大時(shí)B變量減小這種負(fù)相關(guān),還包括兩變
量共同變化的緊密程度——即相關(guān)系數(shù)。實(shí)際上,相關(guān)關(guān)系唯一不研究的數(shù)
據(jù)關(guān)系,就是數(shù)據(jù)協(xié)同變化的內(nèi)在根據(jù)——即因果關(guān)系。獲得相關(guān)系數(shù)有什
么用呢?簡而言之,有了相關(guān)系數(shù),就可以根據(jù)回歸方程,進(jìn)行A變量到B
變量的估算,這就是所謂的回歸分析,因此,相關(guān)分析是一種完整的統(tǒng)計(jì)研
究方法,它貫穿于提出假設(shè),數(shù)據(jù)研究,數(shù)據(jù)分析,數(shù)據(jù)研究的始終。
例如,我們想知道對監(jiān)獄情景進(jìn)行什么改造,可以降低囚徒的暴力傾向。我
們就需要將不同的囚舍顏色基調(diào)、囚舍綠化程度、囚室人口密度、放風(fēng)時(shí)
間、探視時(shí)間進(jìn)行排列組合,然后讓每個(gè)囚室一種實(shí)驗(yàn)處理,然后用因素分
析法找出與囚徒暴力傾向的相關(guān)系數(shù)最高的因素。假定這一因素為囚室人口
密度,我們又要將被試隨機(jī)分入不同人口密度的十幾個(gè)囚室中生活,繼而得
到人口密度和暴力傾向兩組變量(即我們討論過的A、B兩列變量)。然
后,我們將人口密度排入X軸,將暴力傾向分排入Y軸,獲得了一個(gè)很有價(jià)
值的圖表,當(dāng)某典獄長想知道,某囚舍擴(kuò)建到N人/間囚室,暴力傾向能降低
多少。我們可以當(dāng)前人口密度和改建后人口密度帶入相應(yīng)的回歸方程,算出
擴(kuò)建前的預(yù)期暴力傾向和擴(kuò)建后的預(yù)期暴力傾向,兩數(shù)據(jù)之差即典獄長想知
道的結(jié)果。
Part2推論統(tǒng)計(jì)
推論統(tǒng)計(jì)是統(tǒng)計(jì)學(xué)乃至于心理統(tǒng)計(jì)學(xué)中較為年輕的一部分內(nèi)容。它以統(tǒng)計(jì)結(jié)
果為依據(jù),來證明或推翻某個(gè)命題。具體來說,就是通過分析樣本與樣本分
布的差異,來估算樣本與總體、同一樣本的前后測成績差異,樣本與樣本的
成績差距、總體與總體的成績差距是否具有顯著性差異。例如,我們想研究
教育背景是否會影響人的智力測驗(yàn)成績??梢哉?00名24歲大學(xué)畢業(yè)生和
100名24歲初中畢業(yè)生。采集他們的一些智力測驗(yàn)成績。用推論統(tǒng)計(jì)方法進(jìn)
行數(shù)據(jù)處理,最后會得出類似這樣兒的結(jié)論:”研究發(fā)現(xiàn),大學(xué)畢業(yè)生組的成
績顯著高于初中畢業(yè)生組的成績,二者在0.01水平上具有顯著性差異,說明
大學(xué)畢業(yè)生的一些智力測驗(yàn)成績優(yōu)于中學(xué)畢業(yè)生組?!?/p>
其中,如果用EXCEL來求描述統(tǒng)計(jì)。其方法是:工具■加載宏-勾選”分析工
具庫”,然后關(guān)閉Excel然后重新打開,工具菜單就會出現(xiàn)“數(shù)據(jù)分析”。描述
統(tǒng)計(jì)是“數(shù)據(jù)分析”內(nèi)一個(gè)子菜單,在做的時(shí)候,記得要把方格輸入正確。最
好直接點(diǎn)選。
Part3正態(tài)性檢驗(yàn)
很多統(tǒng)計(jì)方法都要求數(shù)值服從或近似服從正態(tài)分布,所以之前需要進(jìn)行正態(tài)
性檢驗(yàn)。常用方法:非參數(shù)檢驗(yàn)的K-量檢驗(yàn)、P-P圖、Q-Q圖、W檢驗(yàn)、動
差法。
Part4假設(shè)檢驗(yàn)
參數(shù)檢驗(yàn)
參數(shù)檢驗(yàn)是在已知總體分布的條件下(一股要求總體服從正態(tài)分布)對一些
主要的參數(shù)(如均值、百分?jǐn)?shù)、方差、相關(guān)系數(shù)等)進(jìn)行的檢驗(yàn)。
1.U檢驗(yàn):使用條件:當(dāng)樣本含量n較大時(shí)?,樣本值符合正態(tài)分布
2.T檢驗(yàn):使用條件:當(dāng)樣本含量n較小時(shí),樣本值符合正態(tài)分布
?單樣本I檢驗(yàn):推斷該樣本來自的總體均數(shù)N與已知的某一總體均數(shù)叩(常為
理論值或標(biāo)準(zhǔn)值)有無差別;
?配對樣本t檢驗(yàn):當(dāng)總體均數(shù)未知時(shí).,且兩個(gè)樣本可以配對,同對中的兩者在
可能會影響處理效果的各種條件方面報(bào)為相似;
?兩獨(dú)立樣本t檢驗(yàn):無法找到在各方面極為相似的兩樣本作配對比較時(shí)使用。
非參數(shù)檢驗(yàn)
非參數(shù)檢驗(yàn)則不考慮總體分布是否已知,常常也不是針對總體參數(shù),而是針
對總體的某些一股性假設(shè)(如總體分布的位置是否相同,總體分布是否正
態(tài))進(jìn)行檢驗(yàn)。
適用情況:順序類型的數(shù)據(jù)資料,這類數(shù)據(jù)的分布形態(tài)一般是未知的。
?雖然是連續(xù)數(shù)據(jù),但總體分布形態(tài)未知或者非正態(tài);
?體分布雖然正態(tài),數(shù)據(jù)也是連續(xù)類型,但樣本容量極小,如10以下;
主要方法包括:卡方檢驗(yàn)、秩和檢驗(yàn)、二項(xiàng)檢驗(yàn)、游程檢驗(yàn)、K-量檢驗(yàn)等。
Parts信度分析
信度(Reliability)即可靠性,它是指采用同樣的方法對同一對象重復(fù)測量時(shí)
所得結(jié)果的一致性程度。信度指標(biāo)多以相關(guān)系數(shù)表示,大致可分為三類:穩(wěn)
定系數(shù)(跨時(shí)間的一致性),等值系數(shù)(跨形式的一致性)和內(nèi)在一致性系
數(shù)(跨項(xiàng)目的一致性)。信度分析的方法主要有以下四種:重測信度法、復(fù)
本信度法、折半信度法、a信度系數(shù)法。
方法
1.重測信度法:這一方法是用同樣的問卷對同一組被調(diào)查者間隔一定時(shí)間重復(fù)
施測,計(jì)算兩次施測結(jié)果的相關(guān)系數(shù)。顯然,重測信度屬于穩(wěn)定系數(shù)。重測
信度法特別適用于事實(shí)式問卷,如性別、出生年月等在兩次施測中不應(yīng)有任
何差異,大多數(shù)被調(diào)查者的興趣、愛好、習(xí)慣等在短時(shí)間內(nèi)也不會有十分明
顯的變化。如果沒有突發(fā)事件導(dǎo)致被調(diào)查者的態(tài)度、意見突變,這種方法也
適用于態(tài)度、意見式問卷。由于重測信度法需要對同一樣本試測兩次,被調(diào)
查者容易受到各種事件、活動和他人的影響,而且間隔時(shí)間長短也有一定限
制,因此在實(shí)施中有一定困難。
2.復(fù)本信度法:讓同一組被調(diào)查者一次填答兩份問卷復(fù)本,計(jì)算兩個(gè)復(fù)本的相
關(guān)系數(shù)。復(fù)本信度屬于等值系數(shù)。復(fù)本信度法要求兩個(gè)復(fù)本除表述方式不同
外,在內(nèi)容、格式、難度和對應(yīng)題項(xiàng)的提問方向等方面要完全一致,而在實(shí)
際調(diào)查中,很難使調(diào)查問卷達(dá)到這種要求,因此采用這種方法者較少。
3.折半信度法:折半信度法是將調(diào)查項(xiàng)目分為兩半,計(jì)算兩半得分的相關(guān)系
數(shù),進(jìn)而估計(jì)整個(gè)量表的信度。折半信度屬于內(nèi)在一致性系數(shù),測量的是兩
半題項(xiàng)得分間的一致性。這種方法一般不適用于事實(shí)式問卷(如年齡與性別
無法相比),常用于態(tài)度、意見式問卷的信度分析。在問卷調(diào)查中,態(tài)度測
量最常見的形式是5級李克特(Likert)量表(季克特量表(Likenscale)是屬
評分加總式量表最常用的一種,屬同一構(gòu)念的這些項(xiàng)目是用加總方式來計(jì)
分,單獨(dú)或個(gè)別項(xiàng)目是無意義的。它是由美國社會心理學(xué)家李克特于1932年
在原有的總加量表基礎(chǔ)上改進(jìn)而成的。該量表由一組陳述組成,每一陳述有”
非常同意“、“同意“、“不一定“、”不同意“、”非常不同意”五種回答,分別記
為5、4、3、2、1,每個(gè)被調(diào)查者的態(tài)度總分就是他對各道題的回答所得分
數(shù)的加總,這一總分可說明他的態(tài)度強(qiáng)弱或他在這一量表上的不同狀
態(tài)。)。進(jìn)行折半信度分析時(shí),如果量表中含有反意題項(xiàng),應(yīng)先將反意題項(xiàng)
的得分作逆向處理,以保證各題項(xiàng)得分方向的一致性,然后將全部題項(xiàng)按奇
偶或前后分為盡可能相等的兩半,計(jì)算二者的相關(guān)系數(shù)(rhh,即半個(gè)量表的
信度系數(shù)),最后用斯皮爾曼-布朗(Spearman-Brown)公式:求出整個(gè)量表
的信度系數(shù)(ru)。
4.a信度系數(shù)法:Cronbach
a信度系數(shù)是目前最常用的信度系數(shù),其公式為:
a=(k/(k-l))*(1-(ISiA2)/STA2)
其中,K為量表中題項(xiàng)的總數(shù),S22為第i題得分的題內(nèi)方差,ST9為全部
題項(xiàng)總得分的方差。從公式中可以看出,a系數(shù)評價(jià)的是量表中各題項(xiàng)得分問
的一致性,屬于內(nèi)在一致性系數(shù)。這種方法適用于態(tài)度、意見式問卷(量
表)的信度分析。
總量表的信度系數(shù)最好在0.8以上,0.7-0.8之間可以接受;分量表的信度系
數(shù)最好在0.7以上,0.6-0.7還可以接受。Cronbach、alpha系數(shù)如果在0.6以
下就要考慮重新編問卷。
檢查測量的可信度,例如調(diào)查問卷的真實(shí)性。
分類
1.外在信度:不同時(shí)間測量時(shí)量表的一致性程度,常用方法重測信度。
2.內(nèi)在信度:每個(gè)量表是否測量到單一的概念,同時(shí)組成兩表的內(nèi)在體項(xiàng)一致
性如何,常用方法分半信度。
Part6列聯(lián)表分析
列聯(lián)表是觀測數(shù)據(jù)按兩個(gè)或更多屬性(定性變量)分類時(shí)所列出的頻數(shù)表。
簡介
一般,若總體中的個(gè)體可按兩個(gè)屬性A、B分類,A有r個(gè)等級A1,A2,
Ar,B有c個(gè)等級…,Be,從總體中抽取大小為n的樣本,設(shè)其中有
nij個(gè)個(gè)體的屬性屬于等級Ai和Bj,nij稱為頻數(shù),將rxc個(gè)nij排列為一個(gè)r
行c列的二維列聯(lián)表,簡稱rxc表。若所考慮的屬性多于兩個(gè),也可按類似的
方式作出列聯(lián)表,稱為多維列聯(lián)表。
列聯(lián)表又稱交互分類表,所謂交互分類,是指同時(shí)依據(jù)兩個(gè)變量的值,將所
研究的個(gè)案分類。交互分類的目的是將兩變量分組,然后比較各組的分布狀
況,以尋找變量間的關(guān)系。
用于分析離散變量或定型變量之間是否存在相關(guān)。
列聯(lián)表分析的基本問題是,判明所考察的各屬性之間有無關(guān)聯(lián),即是否獨(dú)
立。如在前例中,問題是;一個(gè)人是否色盲與其性別是否有關(guān)?在r*c表
中,若以pi、pj和pij分別表示總體中的個(gè)體屬于等級Ai,屬于等級Bj和同
時(shí)屬于Ai、Bj的概率(pi,pj稱邊緣概率,pij稱格概率)JA、B兩屬性無
關(guān)聯(lián)”的假設(shè)可以表述為HO:pij=pipj,(i=l,2,…,r;j=l,2,…,c),未知
參數(shù)pij、pi、pj的最大似然估計(jì)(見點(diǎn)估計(jì))分別為行和及列和(統(tǒng)稱邊緣
和)。
n為樣本大小。根據(jù)K.皮爾森(1904)的擬合優(yōu)度檢驗(yàn)或似然比檢驗(yàn)(見假設(shè)檢
驗(yàn)),當(dāng)hO成立,且一切pi>0和pj>0時(shí),統(tǒng)訂量的漸近分布是自由度為“一
1)9一1)的X分布,式中Eij=(ni.nj)/n稱為期望頻數(shù)。當(dāng)n足夠大,且表中各
格的Eij都不太小時(shí),可以據(jù)此對hO作檢驗(yàn):若X值足夠大,就拒絕假設(shè)
hO,即認(rèn)為A與B有關(guān)聯(lián)。在前面的色覺問題中,曾按此檢驗(yàn),判定出性別
與色覺之間存在某種關(guān)聯(lián)。
需要注意
若樣本大小n不是很大,則上述基于漸近分布的方法就不適用。對此,在四格
表情形,R.A.費(fèi)希爾[1935)提出了一種適用于所有n的精確檢驗(yàn)法。其思想是
在固定各邊緣和的條件下,根據(jù)超幾何分布(見概率分布),可以計(jì)算觀測
頻數(shù)出現(xiàn)任意一種特定排列的條件概率。把實(shí)際出現(xiàn)的觀測頻數(shù)排列,以及
比它呈現(xiàn)更多關(guān)聯(lián)跡象的所有可能排列的條件概率都算出來并相加,若所得
結(jié)果小于給定的顯著性水平,則判定所考慮的兩個(gè)屬性存在關(guān)聯(lián),從而拒絕
hOo
對于二維表,可進(jìn)行卡方檢驗(yàn),對于三維表,可作Mentel-Hanszel分層分
析。
列聯(lián)表分析還包括配對計(jì)數(shù)資料的卡方檢臉、行列均為順序變量的相關(guān)檢
驗(yàn)。
Part7相關(guān)分析
研究現(xiàn)象之間是否存在某種依存關(guān)系,對具體有依存關(guān)系的現(xiàn)象探討相關(guān)方
向及相關(guān)程度。
1.單相關(guān):兩個(gè)因素之間的相關(guān)關(guān)系叫單相關(guān),即研究時(shí)只涉及一個(gè)自變量和
一個(gè)因變量;
2.復(fù)相關(guān):三個(gè)或三個(gè)以上因素的相關(guān)關(guān)系叫復(fù)相關(guān),即研究時(shí)涉及兩個(gè)或兩
個(gè)以上的自變量和因變量相關(guān);
3.偏相關(guān):在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合,當(dāng)假定其他變量不變時(shí),其中
兩個(gè)變量之間的相關(guān)關(guān)系稱為偏相關(guān)。
Part8方差分析
使用條件;各樣本須是相互獨(dú)立的隨機(jī)樣本;各樣本來自正態(tài)分布總體;各
總體方差相等。
分類
1.單因素方差分析:一項(xiàng)試驗(yàn)只有一個(gè)影響因素,或者存在多個(gè)影響因素時(shí),
只分析一個(gè)因素與響應(yīng)變量的關(guān)系
2.多因素有交互方差分析:一頊實(shí)驗(yàn)有多個(gè)影響因素,分析多個(gè)影響因素與響
應(yīng)變量的關(guān)系,同時(shí)考慮多個(gè)影響因素之間的關(guān)系
3.多因素?zé)o交互方差分析:分析多個(gè)影響因素與響應(yīng)變量的關(guān)系,但是影響因
素之間沒有影響關(guān)系或忽略影響關(guān)系
4.協(xié)方差分祈:傳統(tǒng)的方差分析存在明顯的弊端,無法控制分析中存在的某些
隨機(jī)因素,使之影響了分析結(jié)果的準(zhǔn)確度。協(xié)方差分析主要是在排除了協(xié)變
量的影響后再對修正后的主效應(yīng)進(jìn)行方差分析,是將線性回歸與方差分析結(jié)
合起來的一種分析方法。
Part9回歸分析
分類
1.一元線性回歸分析:只有一個(gè)自變量X與因變量Y有關(guān),X與Y都必須是連
續(xù)型變量,因變量y或其殘差必須服從正態(tài)分布。
2.多元線性回歸分析
使用條件:分析多個(gè)自變量與因變量Y的關(guān)系,X與Y都必須是連續(xù)型變
量,因變量y或其殘差必須服從正態(tài)分布。
?殘差檢驗(yàn):觀測值與估計(jì)值的差值要艱從正態(tài)分布
?強(qiáng)影響點(diǎn)判斷:尋找方式一般分為標(biāo)準(zhǔn)誤差法、Mahalanobis距離法
?共線性診斷
?診斷方式:容忍度、方差擴(kuò)大因子法(又稱膨脹系數(shù)VIF)、特征根判定法、條
件指針CI、方差比例
?處理方法:增加樣本容量或選取另外的回歸如主成分回歸、嶺回歸等
?變呈篩選方式:選擇最優(yōu)回歸方程的變里篩選法包括全橫型法(CP法)、逐
步回歸法,向前引入法和向后剔除法
?橫型診斷方法
3.Logistic回歸分析
線性回歸模型要求因變量是連續(xù)的正態(tài)分布變里,旦自變量和因變量呈線性
關(guān)系,而Logislic回歸模型對因變量的分布沒有要求,般用丁因變量是離
散時(shí)的情況
分類:Logistic回歸模型有條件與非條件之分,條件Logistic回歸模型和非條
件Logistic回歸模型的區(qū)別在于參數(shù)的估計(jì)是否用到了條件概率。
4.其他回歸方法
非線性回歸、有序回歸、Probit回歸、加權(quán)回歸等
PartlO聚類分析
聚類與分類的不同在于,聚類所要求劃分的類是未知的。
聚類是將數(shù)據(jù)分類到不同的類或者簇這樣的一個(gè)過程,所以同一個(gè)簇中的對
象有很大的相似性,而不同簇間的對象有很大的相異性。
從統(tǒng)計(jì)學(xué)的觀點(diǎn)看,聚類分析是通過數(shù)據(jù)建模簡化數(shù)據(jù)的一種方法。傳統(tǒng)的
統(tǒng)計(jì)聚類分析方法包括系統(tǒng)聚類法、分解法、加入法、動態(tài)聚類法、有序樣
品聚類、有重疊聚類和模糊聚類等。采用k-均值、k-中心點(diǎn)等算法的聚類分
析工具已被加入到許多著名的統(tǒng)計(jì)分析軟件包中,如SPSS、SAS等。
從機(jī)器學(xué)習(xí)的角度講,簇相當(dāng)于隱藏模式。聚類是搜索簇的無監(jiān)督學(xué)習(xí)過
程。與分類不同,無監(jiān)督學(xué)習(xí)不依賴預(yù)先定義的類或帶類標(biāo)記的訓(xùn)練實(shí)例,
需要由聚類學(xué)習(xí)算法自動確定標(biāo)記,而分類學(xué)習(xí)的實(shí)例或數(shù)據(jù)對象有類別標(biāo)
記。聚類是觀察式學(xué)習(xí),而不是示例式的學(xué)習(xí)。
聚類分析是一種探索性的分析,在分類的過程中,人們不必事先給出一個(gè)分
類的標(biāo)準(zhǔn),聚類分析能夠從樣本數(shù)據(jù)出發(fā),自動進(jìn)行分類。聚類分析所使用
方法的不同,常常會得到不同的結(jié)論。不同研究者對于同一組數(shù)據(jù)進(jìn)行聚類
分析,所得到的聚類數(shù)未必一致。
從實(shí)際應(yīng)用的角度看,聚類分析是數(shù)據(jù)挖掘的主要任務(wù)之一。而且聚類能夠
作為一個(gè)獨(dú)立的工具獲得數(shù)據(jù)的分布狀況,觀察每一簇?cái)?shù)據(jù)的特征,集中對
特定的聚簇集合作進(jìn)一步地分析。聚類分析還可以作為其他算法(如分類和
定性歸納算法)的預(yù)處理步驟。
定義
依據(jù)研究對象(樣品或指標(biāo))的特征,對其進(jìn)行分類的方法,減少研究對象
的數(shù)目。
各類事物缺乏可靠的歷史資料,無法確定共有多少類別,目的是將性質(zhì)相近
事物歸入一類。
各指標(biāo)之間具有一定的相關(guān)關(guān)系。
聚類分析(clusteranalysis)是一組將研究對象分為相對同質(zhì)的群組(clusters)的
統(tǒng)計(jì)分析技術(shù)。聚類分析區(qū)別于分類分析(classificationanalysis),后者是有
監(jiān)督的學(xué)習(xí)。
變量類型:定類變量、定量(離散和連續(xù))變量
樣本個(gè)體或指標(biāo)變量按其具有的特性進(jìn)行分類,尋找合理的度量事物相似性
的統(tǒng)計(jì)量。
1.性質(zhì)分類
Q型聚類分析:對樣本進(jìn)行分類處理,又稱樣本聚類分祈使用距離系數(shù)作為
統(tǒng)計(jì)量衡量相似度,如歐式距離、極端距離、絕對距離等
R型聚類分析:對指標(biāo)進(jìn)行分類處理,又稱指標(biāo)聚類分析使用相似系數(shù)作為
統(tǒng)計(jì)量衡量相似度,相關(guān)系數(shù)、列聯(lián)系數(shù)等
2.方法分類
?系統(tǒng)聚類法:適用于小樣本的樣本聚類或指標(biāo)聚類,一般用系統(tǒng)聚類法來聚
類指標(biāo),又稱分層聚類
?逐步聚類法:適用于大樣本的樣本聚類
?其他聚類法:兩步聚類、K均值聚類等
Parti1判別分析
判別分析:根據(jù)已掌握的一批分類明確的樣品建立判別函數(shù),使產(chǎn)生錯判的
事例最少,進(jìn)而對給定的一個(gè)新樣品,判斷它來自哪個(gè)總體。
與聚類分析區(qū)別
1.聚類分析可以對樣本進(jìn)行分類,也可以對指標(biāo)進(jìn)行分類;而判別分析只能對
樣本
2.聚類分析事先不知道事物的類別,也不知道分幾類;而判別分析必須事先知
道事物的類別,也知道分兒類
3.聚類分析不需要分類的歷史資料,而直接對樣本進(jìn)行分類;而判別分析需要
分類歷史資料去建立判別函數(shù),然后才能對樣本進(jìn)行分類
分類
1.Fisher判別分析法
以距離為判別準(zhǔn)則來分類,即樣本與哪個(gè)類的距離最短就分到哪一類,適用
于兩類判別;
以概率為判別準(zhǔn)則來分類,即樣本屬于哪一類的概率最大就分到哪一類,適
用于多類判別。
2.BAYES判別分析法
BAYES判別分析法匕FISHER判別分析法更加完善和先進(jìn),它不僅能解決多
類判別分析,而且分析時(shí)考慮了數(shù)據(jù)的分布狀態(tài),所以一般較多使用;
Part12主成分分析
主成分分析(PrincipalComponentAnalysis,PCA),是一種統(tǒng)計(jì)方法。通
過正交變換將一組可能存在相關(guān)性的變量轉(zhuǎn)換為一組線性不相關(guān)的變量,轉(zhuǎn)
換后的這組變量叫主成分。
在實(shí)際課題中,為了全面分析問題,往往提出很多與此有關(guān)的變量(或因
素),因?yàn)槊總€(gè)變量都在不同程度上反映這個(gè)課題的某些信息。
主成分分析首先是由K.皮爾森(KarlPearson)對非隨機(jī)變量引入的,爾后H.
霍特林將此方法推廣到隨機(jī)向量的情形。信息的大小通常用離差平方和或方
差來衡量。
將彼此相關(guān)的一組指標(biāo)變適轉(zhuǎn)化為彼此獨(dú)立的一組新的指標(biāo)變量,并用其中
較少的幾個(gè)新指標(biāo)變量就能綜合反應(yīng)原多個(gè)指標(biāo)變量中所包含的主要信息。
原理
在用統(tǒng)計(jì)分析方法研究多變量的課題時(shí),變量個(gè)數(shù)太多就會增加課題的復(fù)雜
性。人們自然希望變量個(gè)數(shù)較少而得到的信息較多。在很多情形,變量之間
是有一定的相關(guān)關(guān)系的,當(dāng)兩個(gè)變量之間有一定相關(guān)關(guān)系時(shí),可以解釋為這
兩個(gè)變量反映此課題的信息有一定的重疊。主成分分析是對于原先提出的所
有變量,將重復(fù)的變量(關(guān)系緊密的變量)刪去多余,建立盡可能少的新變
量,使得這些新變量是兩兩不相關(guān)的,而且這些新變量在反映課題的信息方
面盡可能保持原有的信息。
設(shè)法將原來變量重新組合成一組新的互相無關(guān)的幾個(gè)綜合變量,同時(shí)根據(jù)實(shí)
際需要從中可以取出幾個(gè)較少的綜合變量盡可能多地反映原來變量的信息的
統(tǒng)計(jì)方法叫做主成分分析或稱主分量分析,也是數(shù)學(xué)上用來降維的一種方
法。
缺點(diǎn)
1.在主成分分析中,我們首先應(yīng)保證所提取的前幾個(gè)主成分的累計(jì)貢獻(xiàn)率達(dá)到
一個(gè)較高的水平(即變量降維后的信息量須保持在一個(gè)較高水平上),其次
對這些被提取的主成分必須都能夠給出符合實(shí)際背景和意義的解釋(否則主
成分將空有信息量而無實(shí)際含義)。
2.主成分的解釋其含義一般多少帶有點(diǎn)模糊性,不像原始變量的含義那么清
楚、確切,這是變量降維過程中不得不付出的代價(jià)。因此,提取的主成分個(gè)
數(shù)m通常應(yīng)明顯小于原始變量個(gè)數(shù)p(除非p本身較?。駝t維數(shù)降低的
"利'’可能抵不過主成分含義不如原始變量清楚的?'弊
Partl3因子分析
一種旨在尋找隱藏在多變量數(shù)據(jù)中、無法直接觀察到卻影響或支配可測變量
的潛在因子、并估計(jì)潛在因子對可測變量的影響程度以及潛在因子之間的相
關(guān)性的一種多元統(tǒng)計(jì)分析方法。
與主成分分析比較
?相同:都能夠起到治理多個(gè)原始變量內(nèi)在結(jié)構(gòu)關(guān)系的作用
?不同:主成分分析重在綜合原始變適的信息.而因子分析重在解釋原始變量間
的關(guān)系,是比主成分分析更深入的一種多元統(tǒng)計(jì)方法
用途
?減少分析變量個(gè)數(shù)
?通過對變量間相關(guān)關(guān)系探測,將原始變量進(jìn)行分類
Partl4時(shí)間序列分析
動態(tài)數(shù)據(jù)處理的統(tǒng)計(jì)方法,研究隨機(jī)數(shù)據(jù)序列所遵從的統(tǒng)計(jì)規(guī)律,以用于解
決實(shí)際問題;時(shí)間序列通常由4種要素組成:趨勢、季節(jié)變動、循環(huán)波動和
不規(guī)則波動。
主要方法
移動平均濾波與指數(shù)平滑法、ARIMA橫型、量ARIMA橫型、ARIMAX模
型、向呈自回歸橫型、ARCH族模型。
時(shí)間序列是指同一變量按事件發(fā)生的先后順序排列起來的一組觀察值或記錄
值。構(gòu)成時(shí)間序列的要素有兩個(gè):其一是時(shí)間,其二是與時(shí)間相對應(yīng)的變量
水平。實(shí)際數(shù)據(jù)的時(shí)間序列能夠展示研究對象在一定時(shí)期內(nèi)的發(fā)展變化趨勢
與規(guī)律,因而可以從時(shí)間序列中找出變量變化的特征、趨勢以及發(fā)展規(guī)律,
從而對變量的未來變化進(jìn)行有效地預(yù)測。
時(shí)間序列的變動形態(tài)一般分為四種:長期趨勢變動,季節(jié)變動,循環(huán)變動,
不規(guī)則變動。
時(shí)間序列預(yù)測法的應(yīng)用
1.系統(tǒng)描述:根據(jù)對系統(tǒng)進(jìn)行觀測得到的時(shí)間序列數(shù)據(jù),用曲線擬合方法對系
統(tǒng)進(jìn)行客觀的描述;
2.系統(tǒng)分析:當(dāng)觀測值取自兩個(gè)以上變量時(shí),可用一個(gè)時(shí)間序列中的變化去說
明另一個(gè)時(shí)間序列中的變化,從而深入了解給定時(shí)間序列產(chǎn)生的機(jī)理;
3.預(yù)測未來:一般用ARMA模型擬合時(shí)間序列,預(yù)測該時(shí)間序列未來值;
4.決策和控制:根據(jù)時(shí)間序列模型可調(diào)整輸入變量使系統(tǒng)發(fā)展過程保持在目標(biāo)
值上,即預(yù)測到過程要偏離目標(biāo)時(shí)便可進(jìn)行必要的控制。
特點(diǎn)
假定事物的過去趨勢會延伸到未來;預(yù)測所依據(jù)的數(shù)據(jù)具有不規(guī)則性;撇開
了市場發(fā)展之間的因果關(guān)系。
1.時(shí)間序列分析預(yù)測法是根據(jù)市場過去的變化趨勢預(yù)測未來的發(fā)展,它的前提
是假定事物的過去會同樣延續(xù)到未來。事物的現(xiàn)實(shí)是歷史發(fā)展的結(jié)果,而事
物的未來又是現(xiàn)實(shí)的延伸,事物的過去和未來是有聯(lián)系的。市場預(yù)測的時(shí)間
序列分析法,正是根據(jù)客觀事物發(fā)展的這種連續(xù)規(guī)律性,運(yùn)用過去的歷史數(shù)
據(jù)?,通過統(tǒng)計(jì)分析,進(jìn)一步推測市場未來的發(fā)展趨勢。市場預(yù)測中,事物的
過去會同樣延續(xù)到未來,其意思是說,市場未來不會發(fā)生突然跳躍式變化,
而是漸進(jìn)變化的。
時(shí)間序列分析預(yù)測法的哲學(xué)依據(jù),是唯物辯證法中的基本觀點(diǎn),即認(rèn)為一切
事物都是發(fā)展變化的,事物的發(fā)展變化在時(shí)間上具有連續(xù)性,市場現(xiàn)象也是
這樣。市場現(xiàn)象過去和現(xiàn)在的發(fā)展變化規(guī)律和發(fā)展水平,會影響到市場現(xiàn)象
未來的發(fā)展變化規(guī)律和規(guī)模水平;市場現(xiàn)象未來的變化規(guī)律和水平,是市場
現(xiàn)象過去和現(xiàn)在變化規(guī)律和發(fā)展水平的結(jié)果。
需要指出,由于事物的發(fā)展不僅有連續(xù)性的特點(diǎn),而且又是復(fù)雜多樣的。因
此,在應(yīng)用時(shí)間序列分析法進(jìn)行市場預(yù)測時(shí)應(yīng)注意市場現(xiàn)象未來發(fā)展變化規(guī)
律和發(fā)展水平,不一定與其歷史和現(xiàn)在的發(fā)展變化規(guī)律完全一致。隨著市場
現(xiàn)象的發(fā)展,它還會出現(xiàn)一些新的特點(diǎn)。因此,在時(shí)間序列分析預(yù)測中,決
不能機(jī)械地按市場現(xiàn)象過去和現(xiàn)在的規(guī)律向外延伸。必須要研究分析市場現(xiàn)
象變化的新特點(diǎn),新表現(xiàn),并且將這些新特點(diǎn)和新表現(xiàn)充分考慮在預(yù)測值
內(nèi)。這樣才能對市場現(xiàn)象做出既延續(xù)其歷史變化規(guī)律,又符合其現(xiàn)實(shí)表現(xiàn)的
可靠的預(yù)測結(jié)果。
2.時(shí)間序列分析預(yù)測法突出了時(shí)間因素在預(yù)測中的作用,暫不考慮外界具體因
素的影響。時(shí)間序列在時(shí)間序列分析預(yù)測法處于核心位置,沒有時(shí)間序列,
就沒有這一方法的存在。雖然,預(yù)測對象的發(fā)展變化是受很多因素影響的。
但是,運(yùn)用時(shí)間療列分析進(jìn)行量的預(yù)測,實(shí)際上將所有的影響因素歸結(jié)到時(shí)
間這一因素上,只承認(rèn)所有影響因素的綜合作用,并在未來對預(yù)測對象仍然
起作用,并未去分析探討預(yù)測對象和影響因素之間的因果關(guān)系。因此,為了
求得能反映市場未來發(fā)展變化的精確預(yù)測值,在運(yùn)用時(shí)間序列分析法進(jìn)行預(yù)
測時(shí),必須將量的分析方法和質(zhì)的分析方法結(jié)合起來,從質(zhì)的方面充分研究
各種因素與市場的關(guān)系,在充分分析研究影響市場變化的各種因素的基礎(chǔ)上
確定預(yù)測值。
需要指出的是,時(shí)間序列預(yù)測法因突出時(shí)間序列暫不考慮外界因素影響,因
而存在著預(yù)測誤差的缺陷,當(dāng)遇到外界發(fā)生較大變化,往往會有較大偏差,
時(shí)間序列預(yù)測法對于中短期預(yù)測的效果要比長期預(yù)測的效果好。因?yàn)榭陀^事
物,尤其是經(jīng)濟(jì)現(xiàn)象,在一個(gè)較長時(shí)間內(nèi)發(fā)生外界因素變化的可能性加大,
它們對市場經(jīng)濟(jì)現(xiàn)象必定要產(chǎn)生重大影響。如果出現(xiàn)這種情況,進(jìn)行預(yù)測
時(shí),只考慮時(shí)間因素不考慮外界因素對預(yù)測對象的影響,其預(yù)測結(jié)果就會與
實(shí)際狀況嚴(yán)重不符。
PartlS生存分析
用來研究生存時(shí)間的分布規(guī)律以及生存時(shí)間和相關(guān)因索之間關(guān)系的一種統(tǒng)計(jì)
分析方法
包含內(nèi)容
1.描述生存過程,即研究生存時(shí)間的分布規(guī)律
2.比較生存過程,即研究兩組或多組生存時(shí)間的分布規(guī)律,并進(jìn)行比較
3.分析危險(xiǎn)因素,即研究危險(xiǎn)因素對生存過程的影響
4.建立數(shù)學(xué)模型,即將生存時(shí)間與相關(guān)危險(xiǎn)因素的依存關(guān)系用一個(gè)數(shù)學(xué)式子表
示出來。
方法
1.統(tǒng)計(jì)描述:包括求生存時(shí)間的分位數(shù)、中數(shù)生存期、平均數(shù)、生存函數(shù)的估
計(jì)、判斷生存時(shí)間的圖示法,不對所分析的數(shù)據(jù)作出任何統(tǒng)計(jì)推斷結(jié)論
2.非參數(shù)檢驗(yàn):檢驗(yàn)分組變量各水平所對應(yīng)的生存曲線是否一致,對生存時(shí)間
的分布沒有要求,并且檢驗(yàn)危險(xiǎn)因素對生存時(shí)間的影響。
?乘積極限法(PL法)
?壽命表法(LT法)
?半?yún)?shù)橫型回歸分析:在特定的假設(shè)之下,建立生存時(shí)間隨多個(gè)危險(xiǎn)因素變
化的回歸方程,這種方法的代表是Cox比例風(fēng)險(xiǎn)回歸分析法
?參數(shù)模型回歸分析:已知生存時(shí)間服從特定的參數(shù)橫型時(shí),擬合相應(yīng)的參數(shù)
模型,更準(zhǔn)確地分析確定變量之間的變化規(guī)律
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年高唐縣招教考試備考題庫附答案解析
- 2025年府谷縣招教考試備考題庫帶答案解析
- 2026國網(wǎng)英大國際控股集團(tuán)有限公司高校畢業(yè)生招聘2人筆試試題附答案解析
- 2025年定興縣幼兒園教師招教考試備考題庫附答案解析(奪冠)
- 2025年昌寧縣幼兒園教師招教考試備考題庫含答案解析(必刷)
- 少代會課件教學(xué)課件
- 小黃人臉課件
- 2025遼寧沈陽盛京資產(chǎn)管理集團(tuán)有限公司招聘1人參考考試試題及答案解析
- 心肌標(biāo)志物檢查課件
- 墻體家具結(jié)構(gòu)設(shè)計(jì)
- 如何開展護(hù)理科研
- 深圳市坪山區(qū)高標(biāo)準(zhǔn)農(nóng)田建設(shè)規(guī)劃(2021-2030年)(草案以及編輯說明)
- 勞動仲裁授課課件
- 口腔門診護(hù)士溝通技巧
- 新工廠工作匯報(bào)
- 生產(chǎn)插單管理辦法
- DB64T 2146-2025 工礦企業(yè)全員安全生產(chǎn)責(zé)任制建設(shè)指南
- 山東動物殯葬管理辦法
- 汽車電子工程師崗位面試問題及答案
- 工程竣工移交單(移交甲方、物業(yè))
- 服裝生產(chǎn)車間流水線流程
評論
0/150
提交評論