1、1,2020/8/28,研究方法,信度與效度分析,2020/8/28,2,信度的涵義,什么是信度（reliability） 即是指測量工具本身的可靠程度。信度分析亦稱為可靠性分析。 兩個方面：測量結(jié)果的穩(wěn)定性和一致性 穩(wěn)定性高的測量工具則是指一群人在不同時空下接受同樣的衡量工具時，結(jié)果的差異很小。 反例：一把尺子在上午和下午測量同一個人的身高，相差5厘米。 一致性高的測量工具是指同一群人接受性質(zhì)相同，題型相同，目的相同的不同問卷測量后，在各衡量結(jié)果間顯示出強烈的正相關(guān)。 反例：測量血壓的不同工具得出的結(jié)果相差很大,2020/8/28,3,信度的類型,不同的測量方式導(dǎo)致不同類型的信度 再測信度(

2、test-retest reliability) 復(fù)本信度（alternative-form reliability） 內(nèi)部一致性信度（internal consistency reliability）,2020/8/28,4,再測信度,再測信度 同一個測量工具在不同的時間對同一受試者重復(fù)測量兩次，兩次測量結(jié)果的相關(guān)系數(shù)即為再測信度。這一指標反映測量工具的穩(wěn)定性，亦稱為穩(wěn)定系數(shù)(coefficient of stability) 缺點： 受試者具有學(xué)習(xí)功能，測試結(jié)果易受記憶及經(jīng)驗的影響，從而導(dǎo)致假性高相關(guān) 兩次測試難時有相同的測試情境 兩次測試的間隔時間并沒有統(tǒng)一標準，較難把握,2020/8/

3、28,5,復(fù)本信度,復(fù)本信度 是以兩個測驗復(fù)本（在內(nèi)容、型式、題數(shù)、難度、指導(dǎo)說明、時間限制與例題等方面，必須類似或相等 ）來測量同一群體，然后求得應(yīng)試者在這兩個測驗上得分的相關(guān)系數(shù)。復(fù)本信度的高低反映了這兩個測量復(fù)本在內(nèi)容上的等值性程度，亦稱等值性系數(shù)(coefficient of equivalence) 。 實施方法： 同時實施：測量一致性，獲得等值性系數(shù) 間隔實施：測量穩(wěn)定性和一致性，獲得穩(wěn)定與等值系數(shù) (coefficient of stability and equivalence),2020/8/28,6,復(fù)本信度,缺點： 復(fù)本測驗的編制不易，不但費時，且成本較高 易受練習(xí)影響的

4、測量行為，即使采用復(fù)本方法，影響只能減少，但無法完全避免 計算再測信度與復(fù)本信度的共同問題是： 需要進行兩次測量。受試者的合作、動機、疲勞和厭煩等都可能影響測驗的實施。因此，尋求只根據(jù)一次測驗結(jié)果就可以估計信度的方法,2020/8/28,7,折半信度,折半信度(split-half reliability) 指使用測量工具先對一組受試者施測，然后把題目分成兩半計分，依兩半所得的分數(shù)算出相關(guān)系數(shù) 。在無副本且不準備重測的情況下，我們就用折半信度來計算信度系數(shù)，類似于復(fù)本信度。 計算折半信度的模型有：Spearman-Brown公式, Guttman公式,Rulon公式。 使用SPSS計算折半信度

5、,2020/8/28,8,內(nèi)部一致性信度,涵義： 折半信度高表明內(nèi)部項目的相關(guān)性高，這實際上反映的是測量工具內(nèi)部各項目之間的一致性問題，因此衍生出內(nèi)部一致性信度。 內(nèi)部一致性信度是指量表內(nèi)容與題目之間的關(guān)系，考察的是量表的各個題目是否測量了相同的內(nèi)容或特質(zhì)。例如：市場導(dǎo)向的測量量表 計算內(nèi)部一致性信度的常用方法： Cronbachs 系數(shù),2020/8/28,9,Cronbachs 系數(shù),LeeJCronbach，伊利諾伊大學(xué)教授，心理測量學(xué)家。1951年將庫德-理查德20(適合與0，1記分的信度計算公式)進一步推廣，提出著名的多重記分項目的信度計算公式，即著名的一致性系數(shù),2020/8/28

6、,10,Cronbachs 系數(shù),2020/8/28,11,信度的檢驗標準,信度 .30不可信 .30 信度 .40初步的研究，勉強可信 .40 信度 .50稍微可信 .50 信度 .70可信(最常見的信度范圍) .70 信度 .90很可信(次常見的信度范圍) .90 信度十分可信 使用SPSS計算Cronbachs a 系數(shù),2020/8/28,12,效度分析 （validity analysis）,2020/8/28,13,效度的涵義,效度的涵義： 簡言之，就是測量結(jié)果的有效性。 或某項測量活動能夠測量到測量者所希望了解的特性的程度。 效度與測量目的相關(guān)，同一種測量工具在某些測量中具有高效

7、度，但在另一些測量中卻效度不高。 例如：一把信度很高的尺子在測量身高時具有很好的效度，但在測量血壓時效度顯然不佳。 因此有人將效度定義為： 測驗?zāi)軌蜻_到某種目的的程度(Mehens & Lehmann, 1978, p.109),2020/8/28,14,效度的類型,由于效度是相對于研究目的和研究側(cè)面而言的，具有多層面的特征，因此效度具有多種類型。主要有： 內(nèi)容效度(content validity) 效標關(guān)聯(lián)效度(criterion-related validity) 構(gòu)念效度(construct validity),2020/8/28,15,內(nèi)容效度,涵義： 內(nèi)容效度是指測量工具的內(nèi)容是否

8、能夠代表所欲測量的行為領(lǐng)域，即量表內(nèi)容是否具有代表性。 例如：一位教師給學(xué)生做一個數(shù)學(xué)測驗，該測驗的題目如果涵蓋了教學(xué)所欲達成的目標，及教材的重要內(nèi)容，我們說該測驗有內(nèi)容效度。 測量方法： 尚沒有一種數(shù)量的測量方法，它的確定主要是采用邏輯的分析方法，仔細判斷每一項目是否符合及涵蓋所要測量的研究領(lǐng)域,2020/8/28,16,效標關(guān)聯(lián)效度,效標關(guān)聯(lián)效度是以經(jīng)驗性的方法，研究測驗分數(shù)與一些外在效標間的關(guān)系，故又可稱為經(jīng)驗效度或統(tǒng)計效度(empirical or statistical validity)，(Thorndike & Hagen, 1977, p.60)。 根據(jù)選擇效標的時間不同，可分

9、為：同時效度和預(yù)測效度 同時效度(concurrent validity) ：是指測驗分數(shù)與實施測驗同一個時間所取得的效標之間的相關(guān)，旨在使用測驗分數(shù)估計個人在效標方面的目前實際表現(xiàn)。 例如測量學(xué)生智力時，將學(xué)生當(dāng)時的成績作為效標。 預(yù)測效度： (predictive validity)是指測驗分數(shù)與實施測驗后一段時間所取得的效標之間的相關(guān)，旨在使用測驗分數(shù)預(yù)測個人在效標方面的未來表現(xiàn)。 例如測量學(xué)生智力時，將測量之后一段時間的學(xué)生成績作為效標。,2020/8/28,17,構(gòu)念效度,構(gòu)念效度，就是指測驗?zāi)軌驕y量到理論上的構(gòu)念或特質(zhì)的程度(Anastasi, 1982, p.144)。 分為聚合

10、效度（convergent validity）和辨別效度（discriminant validity）兩類。 聚合效度：如果某一測量工具的測量分值與測量相同構(gòu)念或特質(zhì)的其它測量工具的分值有高的相關(guān)度時，則可以說明聚合效度高； 辨別效度：如果某一測量工具的測量分值與測量不同構(gòu)念的其它其它測量工具的分值有低的相關(guān)程度時，即辨別效度高。,2020/8/28,18,構(gòu)念效度的測量方法MTMM,確定構(gòu)念效度，首先一個測驗的分數(shù)不僅要和測量相同構(gòu)念或特質(zhì)的其它測驗分數(shù)有高的相關(guān)，即輻合效度高；而且要和測量不同構(gòu)念的其它測驗的分數(shù)有低的相關(guān)，即辨別效度高 方法：多元特質(zhì)多重方法矩陣(multitrait-m

11、ultimethod matrix) 使用條件： 兩個以上的構(gòu)念以及能夠測量這些構(gòu)念的兩種以上的量表 例如，使用人格量表（方法1）和教師評定（方法2）兩種測量方法，測量學(xué)生的三種特質(zhì)：成就性(A)、社會性(B)、獨立性(C),2020/8/28,19,相同方法測量相同特質(zhì)(信度系數(shù))：.77, .81, .92,.71, .78, .83 相同方法測量不同特質(zhì)(辨別效度)：.40, .31, .29, .37, .18, .25 不同方法測量相同特質(zhì)(聚合效度)：.59, .63, .68 不同方法測量不同特質(zhì)(辨別效度)：.29, .18, .27, .09, .11, .12 此例就是最理想的構(gòu)念效度，就是1, 3所得相關(guān)比2, 4所得相關(guān)為高 。案例介紹,2020/8/28,20,CFA法,聚合效度：AVE超過0.5(Fornell & Larcker 1981), 所有因子載荷均大于0.5(Bagozzi & Yi 1988)。 辨別效度：AVE大于所有因子相關(guān)系數(shù)的平方0.5(Fornell & Larcker 1981)。雙變量的CFA模型中，固定協(xié)方差模型的卡方值顯著地大于自由估計協(xié)方差模型的卡方值，以兩倍標準誤構(gòu)筑的協(xié)方差的置信區(qū)間不