1、第五章效 度,學(xué)習(xí)目標(biāo) 1、掌握效度的概念及其與信度的關(guān)系 2、了解效度的種類(lèi)，掌握各種效度的估計(jì)方法 3、了解提高測(cè)量效度的方法,效度的概述 效度的定義 信度和效度的關(guān)系 界定效度的方式 內(nèi)容效度 構(gòu)想效度 效標(biāo)關(guān)聯(lián)效度 影響效度的因素,一、效度的概述,（一）效度的定義 效度是指測(cè)量結(jié)果的有效程度，也就是一個(gè)測(cè)驗(yàn)對(duì)它所要測(cè)量的特質(zhì)測(cè)量到了什么程度。 效度系數(shù)是指描述某種測(cè)量結(jié)果有效性程度的數(shù)量指標(biāo)，以相關(guān)系數(shù)rxy2或Val來(lái)表示。 效度的兩個(gè)基本問(wèn)題是: 測(cè)驗(yàn)測(cè)量到了它要測(cè)量的東西嗎？（測(cè)量效度） 測(cè)驗(yàn)對(duì)它所測(cè)量的東西測(cè)量到了什么程度，它是否可以用于制定精確的決策？（用于決策的效度） 測(cè)量

2、效度和決策效度之間的差異 測(cè)量效度對(duì)于保證決策效度并不總是必要或充分的,效度是一個(gè)相對(duì)概念，這種相對(duì)性表現(xiàn)在以下兩個(gè)方面： 效度是相對(duì)于一定的測(cè)量目的而言的 效度只有程度上的差異，而不是“全”或“無(wú)”的差異,（二）用方差術(shù)語(yǔ)談效度,在測(cè)量理論中，效度被定義為在測(cè)量中與測(cè)量目的無(wú)關(guān)的真實(shí)變異與總變異的比率。 rXy=Sv2/SX2,（三）效度與信度的關(guān)系,高信度是高效度的必要而非充分條件 高信度 高效度 高信度 低效度 低信度 低效度,Sv2,SI2,SE2,Sv2,SI2,SE2,Sv2,SI2,SE2,2、測(cè)驗(yàn)的效度受它的信度制約 效度的最大值不會(huì)超過(guò)信度的平方根 效度不可能超越信度值,界定

3、效度的方式,美國(guó)心理協(xié)會(huì)，心理測(cè)驗(yàn)和診斷技術(shù)的專(zhuān)業(yè)建議，1954 內(nèi)容效度、構(gòu)想效度、預(yù)測(cè)效度、同時(shí)效度 French、Michbel 內(nèi)容效度、構(gòu)想效度、效標(biāo)效度,二、內(nèi)容效度,（一）內(nèi)容效度及基本保證條件 1、定義 內(nèi)容效度(content validity)是指測(cè)驗(yàn)項(xiàng)目所涉及的內(nèi)容對(duì)欲測(cè)內(nèi)容范圍的代表性程度。或者說(shuō)所測(cè)內(nèi)容對(duì)要測(cè)內(nèi)容范圍行為取樣的代表性，又稱(chēng)推理效度、邏輯效度。 2、內(nèi)容效度的基本保證條件 要獲得較高的內(nèi)容效度，必須具備兩個(gè)基本條件： 1）欲測(cè)的內(nèi)容范圍必須定義清楚，界限分明。,內(nèi)容范圍/領(lǐng)域（content domain） 一個(gè)內(nèi)容范圍代表了總的系列行為，這些行為可以用

4、于測(cè)量將要被 測(cè)個(gè)體的一個(gè)具體屬性或特征（Guion, 1977）。 一個(gè)內(nèi)容范圍是有界限的， 在這些界限內(nèi)的大量可能的測(cè)驗(yàn)項(xiàng)目可以有效地用于測(cè)量一個(gè)人在內(nèi)容領(lǐng)域中所處的位置。對(duì)要測(cè)量的內(nèi)容領(lǐng)域的詳細(xì)描述，使得每個(gè)人可以判定每個(gè)測(cè)驗(yàn)項(xiàng)目是否存在于范圍界限中。,2）測(cè)驗(yàn)項(xiàng)目應(yīng)是所界定內(nèi)容范圍的代表性取樣。 選出的項(xiàng)目能包含所測(cè)的內(nèi)容范圍的主要方面，并使各部分項(xiàng)目所占比例適當(dāng)。,（二）內(nèi)容效度的評(píng)估方法,1、專(zhuān)家判斷法 由專(zhuān)家對(duì)測(cè)驗(yàn)項(xiàng)目與所欲測(cè)驗(yàn)的內(nèi)容范圍的吻合程度進(jìn)行系統(tǒng)的比較判斷，具體步驟如下： 1）定義好內(nèi)容總體，并描繪出有關(guān)知識(shí)與技能的輪廓； 2）劃分細(xì)綱目，并根據(jù)重要性規(guī)劃好各個(gè)綱目的加

5、權(quán)比例，作出盡可能詳細(xì)的描述； 3）確定沒(méi)道題所測(cè)的知識(shí)與技能，將自己的分類(lèi)與測(cè)驗(yàn)編制者的綱目作比較； 3）制定評(píng)定量表以評(píng)定測(cè)驗(yàn)的整個(gè)效度及其他特點(diǎn)。,2、經(jīng)驗(yàn)法 如果總分和題目的通過(guò)率隨著年級(jí)而增高，則說(shuō)明測(cè)驗(yàn)對(duì)于教學(xué)有內(nèi)容效度。,3、再測(cè)法 學(xué)習(xí)前施測(cè) 學(xué)習(xí)后再測(cè) 如果后測(cè)成績(jī)顯著優(yōu)于前測(cè)成績(jī)，則說(shuō)明次測(cè)驗(yàn)對(duì)于這部分知識(shí)學(xué)習(xí)而言具有高的內(nèi)容效度。,學(xué)習(xí)知識(shí),4、復(fù)本法 從同一個(gè)教學(xué)內(nèi)容總體中抽取兩套獨(dú)立的平行測(cè)驗(yàn)，用這兩個(gè)測(cè)驗(yàn)來(lái)測(cè)同一組被試，計(jì)算出他們的相關(guān)，把這個(gè)相關(guān)作為內(nèi)容效度的數(shù)量估計(jì)。,（三）內(nèi)容效度的應(yīng)用 最適合于成就測(cè)驗(yàn)，知識(shí)和技能的掌握程度 也適合于某些選拔和分類(lèi)的人事測(cè)驗(yàn)

6、,（四）表面效度(surface validity) 表面效度指被試或其他未受過(guò)專(zhuān)門(mén)訓(xùn)練的人員對(duì)測(cè)量有效性程度的估計(jì) 表面效度不能算是一種效度，它不反映測(cè)驗(yàn)實(shí)際測(cè)量的內(nèi)容，但可取得被試的合作。 成就測(cè)驗(yàn)需較高的表面效度，而人格測(cè)驗(yàn)則需較低的表面效度。,（五）內(nèi)容效度的優(yōu)缺點(diǎn) 優(yōu)點(diǎn)：對(duì)測(cè)驗(yàn)內(nèi)容的詳細(xì)描述是編制任何測(cè)驗(yàn)都應(yīng)借鑒的 缺點(diǎn)： 1）缺乏可靠的數(shù)量指標(biāo)，不便于測(cè)驗(yàn)間的比較； 2）大多數(shù)心理學(xué)家認(rèn)為，內(nèi)容效度只是在決定測(cè)量效度上是有用的，而不是決定以測(cè)驗(yàn)分?jǐn)?shù)為基礎(chǔ)的決策效度。,三、構(gòu)想效度(construct validity),（一）定義、應(yīng)用 1、定義 構(gòu)想或結(jié)構(gòu)是指心理學(xué)理論所涉及的抽

7、象而屬假設(shè)性的概念或特質(zhì)。 構(gòu)想的兩個(gè)基本屬性： 1）它們本質(zhì)上是對(duì)某些規(guī)律性進(jìn)行的抽象概括 2）它們與具體的可觀察的實(shí)體或事件存在相關(guān),構(gòu)想效度是指測(cè)驗(yàn)對(duì)理論構(gòu)想或特質(zhì)的測(cè)量程度，又稱(chēng)結(jié)構(gòu)效度、構(gòu)念效度。 “是否測(cè)到要測(cè)的東西” 2、應(yīng)用：智力、人格測(cè)驗(yàn)等,（二）確定結(jié)構(gòu)效度的步驟,1、界定理論構(gòu)想（建立關(guān)于某一構(gòu)想的理論框架） 2、依據(jù)理論框架推導(dǎo)出各種關(guān)于構(gòu)想的各種假設(shè) 3、用實(shí)證和邏輯分析的方法來(lái)驗(yàn)證假設(shè),智力是一個(gè)人去理解和應(yīng)付他周?chē)澜绲目偟牟拍?提出關(guān)于智力的若干方面，編制多項(xiàng)分測(cè)驗(yàn) 利用因素分析法驗(yàn)證此測(cè)驗(yàn)測(cè)量了言語(yǔ)理解、知覺(jué)組織和記憶，注意集中三類(lèi)因素,（三）搜集結(jié)構(gòu)效度資料

8、的方法,1、測(cè)驗(yàn)內(nèi)法 這種方法主要是通過(guò)研究測(cè)驗(yàn)內(nèi)部構(gòu)造來(lái)分析測(cè)驗(yàn)的構(gòu)想效度 1）確定測(cè)驗(yàn)的內(nèi)容效度 如語(yǔ)文能力測(cè)驗(yàn) 2）分析被試答題時(shí)的反應(yīng)過(guò)程 如數(shù)學(xué)推理測(cè)驗(yàn) 3）考查測(cè)驗(yàn)的同質(zhì)性,（三）搜集結(jié)構(gòu)效度資料的方法,2、測(cè)驗(yàn)間法 這種方法主要通過(guò)同時(shí)考察幾個(gè)測(cè)驗(yàn)間的相互關(guān)聯(lián)，看這些測(cè)驗(yàn)是否在測(cè)量同一構(gòu)想。 1）相容效度（congruent validity） 考察新編測(cè)驗(yàn)與某個(gè)已知的效度較高的同類(lèi)測(cè)驗(yàn)間的相關(guān)，若二者相關(guān)較高，則說(shuō)明測(cè)驗(yàn)有較高的效度，這種方法就叫相容效度法。,（三）搜集結(jié)構(gòu)效度資料的方法,2）會(huì)聚(congvergent)效度和區(qū)分(discriminant)效度 會(huì)聚效度：如

9、果兩個(gè)測(cè)驗(yàn)是測(cè)量同一特質(zhì)的，即使使用不同的方法進(jìn)行測(cè)量，它們之間的相關(guān)也應(yīng)該是高的，又稱(chēng)求同效度、收斂效度。 區(qū)分效度：如果兩測(cè)驗(yàn)測(cè)量的是不同的特質(zhì)，即使使用不同的方法進(jìn)行測(cè)量，它們之間的相關(guān)也應(yīng)該是低的，又稱(chēng)求異效度、判別效度。,（三）搜集結(jié)構(gòu)效度資料的方法,3、效標(biāo)關(guān)聯(lián)法 測(cè)驗(yàn)分?jǐn)?shù)是否能把不同團(tuán)體的人區(qū)分開(kāi)來(lái) 根據(jù)效標(biāo)把被試分為兩類(lèi)，考察其測(cè)驗(yàn)得分的差異 根據(jù)測(cè)驗(yàn)得分把人分成高分組和低分組，考察這兩組人在所測(cè)特質(zhì)方面是否有差異,（三）搜集結(jié)構(gòu)效度資料的方法,4、實(shí)驗(yàn)操作法 適用于易受某些條件影響的測(cè)驗(yàn)，如焦慮 施測(cè) 再測(cè) 比較實(shí)驗(yàn)處理前后測(cè)驗(yàn)得分的差異,實(shí)驗(yàn)處理,比較差異,（三）搜集結(jié)構(gòu)效

10、度資料的方法,5、因素分析法 從一組變量或測(cè)驗(yàn)的數(shù)據(jù)中，找出其中潛含著的起決定作用的共同因素，每個(gè)測(cè)驗(yàn)在共同因素上的負(fù)荷量（即測(cè)驗(yàn)與個(gè)因素的相關(guān)）就是測(cè)驗(yàn)的因素效度，測(cè)驗(yàn)分?jǐn)?shù)總變異中來(lái)自有關(guān)因素的比例就是該測(cè)驗(yàn)的結(jié)構(gòu)效度的指標(biāo),（四）構(gòu)想效度的優(yōu)缺點(diǎn) 優(yōu)點(diǎn)：使研究者把測(cè)驗(yàn)的目標(biāo)放在提出假設(shè)、驗(yàn)證假設(shè)上，重視其理論研究工具的作用，而不僅僅是輔助決策的作用，從而為測(cè)驗(yàn)提供了更廣闊的發(fā)展前景。 缺點(diǎn)：有些構(gòu)想概念模糊，沒(méi)有獲得一致的定義，無(wú)法明確其操作步驟和唯一、客觀的指標(biāo)來(lái)確定效度。,內(nèi)容效度和構(gòu)想效度的區(qū)別和聯(lián)系,區(qū)別： 1、內(nèi)容效度通常是通過(guò)考察測(cè)驗(yàn)的取樣計(jì)劃和觀察這個(gè)創(chuàng)意是否提供了內(nèi)容范圍的

11、一個(gè)有代表性的樣本來(lái)決定；構(gòu)想效度通過(guò)顯示測(cè)驗(yàn)分?jǐn)?shù)與其他可觀察測(cè)量間的關(guān)系，和構(gòu)想本身與那些可觀察測(cè)量間的相似來(lái)證實(shí)。 例如：設(shè)計(jì)用于測(cè)量“學(xué)校兒童攻擊性”的測(cè)驗(yàn)的構(gòu)想效度 1）鑒別出與攻擊性有關(guān)的行為構(gòu)想 2）鑒別出其他構(gòu)想，并判定他們是否與攻擊性存在相關(guān)。 3）鑒別出每個(gè)構(gòu)想相聯(lián)系的行為，而且判定它們與被測(cè)構(gòu)想之間的關(guān)系。,2、內(nèi)容效度通常是由那些對(duì)非常具體的領(lǐng)域的測(cè)驗(yàn)決定的，如：課堂測(cè)驗(yàn)、學(xué)績(jī)測(cè)驗(yàn)。 構(gòu)想效度一般是由設(shè)計(jì)用于測(cè)量抽象屬性的測(cè)驗(yàn)決定的。如：攻擊、誠(chéng)實(shí)。,聯(lián)系： 1、兩者都代表了判定測(cè)量效度的方法判定一個(gè)測(cè)驗(yàn)是否測(cè)量了它聲稱(chēng)要測(cè)量的東西。 2、一個(gè)內(nèi)容范圍代表了一組相似測(cè)驗(yàn)項(xiàng)

12、目，從理論上可能抽取所有項(xiàng)目，但實(shí)踐上，也是內(nèi)容范圍上所處的位置或分?jǐn)?shù)的抽象物，與構(gòu)想的概念非常相似。,四、效標(biāo)關(guān)聯(lián)效度,（一）定義、種類(lèi)、運(yùn)用 1、定義 是指測(cè)驗(yàn)對(duì)個(gè)體的效標(biāo)行為表現(xiàn)進(jìn)行估計(jì)的有效程度。 又稱(chēng)實(shí)證效度、經(jīng)驗(yàn)效度、準(zhǔn)則關(guān)聯(lián)效度 2、分類(lèi)（收集效標(biāo)的時(shí)間） 同時(shí)效度：效標(biāo)資料與測(cè)驗(yàn)資料同時(shí)獲得，如機(jī)械能力傾向測(cè)驗(yàn)。 預(yù)測(cè)效度：效標(biāo)資料后于測(cè)驗(yàn)資料獲得，如MBA考試。 3、應(yīng)用（二者本質(zhì)區(qū)別） 同時(shí)效度：診斷現(xiàn)狀（其系數(shù)通常是在預(yù)先選擇的樣本上獲得） 預(yù)測(cè)效度：預(yù)測(cè)未來(lái)結(jié)果（其系數(shù)是在必須制定為其決策的人群的隨機(jī)樣本上獲得）,同時(shí)效度比預(yù)測(cè)效度更具有實(shí)踐性，更容易獲得，但理論上預(yù)測(cè)

13、方法比同時(shí)效度法更受歡迎。 同時(shí)效度也能預(yù)測(cè)（或估計(jì)個(gè)體行為） 在被測(cè)群體的選擇上比一般的隨機(jī)樣本更有顯著選擇性，這對(duì)測(cè)驗(yàn)分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)之間的相關(guān)有潛在的影響。,決策和預(yù)測(cè),假定你是一個(gè)人事經(jīng)理，正在試圖從下表所顯示的五個(gè)申請(qǐng)工作的機(jī)械工中挑選最好的三個(gè)，你會(huì)怎樣選擇？ 五個(gè)申請(qǐng)者的機(jī)械理解分?jǐn)?shù),（二）效標(biāo)與效標(biāo)測(cè)量 1、效標(biāo) 是衡量測(cè)驗(yàn)有效性的參照標(biāo)準(zhǔn)，它是獨(dú)立于測(cè)驗(yàn)之外，體現(xiàn)測(cè)驗(yàn)?zāi)康牡男袨樽兞?。通常指我們所要預(yù)測(cè)的行為。 常見(jiàn)的效標(biāo)：學(xué)業(yè)成績(jī)、等級(jí)評(píng)定、臨床診斷、實(shí)際工作表現(xiàn)等 2、觀念效標(biāo)和效標(biāo)測(cè)量 觀念效標(biāo)：效標(biāo)的實(shí)質(zhì)概念內(nèi)容，如學(xué)習(xí)或工作成功、技術(shù)水平。 效標(biāo)測(cè)量：效標(biāo)的具體化，可操

14、作的測(cè)量指標(biāo)。 同一觀念效標(biāo)可有多個(gè)效標(biāo)測(cè)量指標(biāo),3、選擇效標(biāo)測(cè)量必須滿足以下要求： 1）有效性（關(guān)聯(lián)性） 2）可靠性 3）客觀性（抗偏性）：產(chǎn)生效標(biāo)測(cè)量中偏差的主要原因在于效標(biāo)污染 4）實(shí)用性（可得性）,效標(biāo)污染(criterion contamination) 是指評(píng)定者知道被試測(cè)驗(yàn)的分?jǐn)?shù)，而使其效標(biāo)分?jǐn)?shù)受到影響的情況。如入學(xué)考試分?jǐn)?shù)與教師主觀評(píng)定。,當(dāng)效標(biāo)測(cè)量是評(píng)定等級(jí)時(shí)，如何防止效標(biāo)污染？ 評(píng)定者應(yīng)綜合評(píng)定，而不只是依據(jù)某個(gè)測(cè)驗(yàn)，評(píng)定細(xì)節(jié)或規(guī)則細(xì)化，才能盡可能客觀。 盡量不讓評(píng)定者知道以前的測(cè)驗(yàn)結(jié)果，防止評(píng)定時(shí)產(chǎn)生主觀傾向。,4、常用的效標(biāo) 學(xué)業(yè)成就：學(xué)習(xí)成績(jī)、學(xué)歷、獎(jiǎng)勵(lì) 工作成就：實(shí)

15、際工作表現(xiàn) 等級(jí)評(píng)定：以效標(biāo)行為的主觀評(píng)定作為效標(biāo)測(cè)量 團(tuán)體對(duì)照：選擇效標(biāo)行為表現(xiàn)有差異的團(tuán)體 先前有效的測(cè)驗(yàn),（三）效標(biāo)關(guān)聯(lián)效度的基本步驟,確定效標(biāo)關(guān)聯(lián)效度的基本步驟： （1）明確觀念效標(biāo) （2）確定效標(biāo)測(cè)量 （3）考查測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)測(cè)量之間的關(guān)系,常用方法： 1、相關(guān)法 測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)之間的相關(guān)系數(shù) （1） （2） （3） 選擇團(tuán)體 獲得測(cè)驗(yàn)分?jǐn)?shù) 獲得效標(biāo)分?jǐn)?shù) 根據(jù)分?jǐn)?shù)性質(zhì)不同采用不同相關(guān)計(jì)算法 （1）積差相關(guān)系數(shù) （2）二列相關(guān)系數(shù) （3）四分相關(guān)系數(shù) （4）相關(guān)系數(shù) （5）列聯(lián)相關(guān)系數(shù),（4）求相關(guān)系數(shù),（1）積差相關(guān)系數(shù) 適用條件：測(cè)驗(yàn)分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)是連續(xù)變量 （2）二列相關(guān)系數(shù)

16、 適用條件：測(cè)驗(yàn)分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)都是連續(xù)變量，其中一個(gè)變量被人為分為兩類(lèi) （3）四分相關(guān)系數(shù) 適用條件：當(dāng)測(cè)驗(yàn)分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)都是連續(xù)變量，且每一個(gè)變量的變化都被人為地分為兩類(lèi) （4）相關(guān)系數(shù) 適用條件：當(dāng)測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是真正的二分變量 （5）列聯(lián)相關(guān)系數(shù) 適用條件：當(dāng)測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)其中一個(gè)變量不止分為兩類(lèi)時(shí),2、組的分類(lèi) 根據(jù)被試的效標(biāo)行為表現(xiàn)，將他們分為不同的組別（團(tuán)體），如果這些組在測(cè)驗(yàn)分?jǐn)?shù)上有顯著性差異，則說(shuō)明該測(cè)驗(yàn)的效度高。,3、預(yù)期表 預(yù)期表法是將預(yù)測(cè)源分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)制成雙維圖表，并將每個(gè)變量按水平分成若干檔次，這個(gè)經(jīng)驗(yàn)型的預(yù)期表可以不用計(jì)算相關(guān)系數(shù)或其他統(tǒng)計(jì)數(shù)據(jù)，而只要有頻

17、數(shù)和百分比。,例：下表是由若干個(gè)工作候選人在職業(yè)選擇測(cè)驗(yàn)中得分的聯(lián)合頻數(shù)分布構(gòu)成，表中還呈現(xiàn)了其工作領(lǐng)導(dǎo)在雇員他們6個(gè)月之后給這些候選人的等級(jí)評(píng)定。,預(yù)期表,4、命中率 決策 結(jié)果 決策過(guò)程,關(guān)于個(gè)體 的信息,策略,接受,拒絕,將會(huì)成功,將會(huì)失敗,可能成功,可能失敗,成功,失敗,真正的表現(xiàn)水平,拒絕 （預(yù)測(cè)失?。?接受 （預(yù)測(cè)成功）,命中 （正確的消極）,命中 （正確的積極）,失誤 （錯(cuò)誤的消極）,失誤 （錯(cuò)誤的積極）,總命中率（基率，base rate ） 表示被認(rèn)為潛在成功的人的百分比 命中/（命中+失誤）*100% 正命中率（選擇比率，selection ratio） 表示決策制定者在其決策中的選擇程度 正確的積極/預(yù)測(cè)成功人數(shù)*100% 當(dāng)測(cè)驗(yàn)用于提高工作或?qū)W習(xí)效率時(shí)，應(yīng)重視正命中率；當(dāng)強(qiáng)調(diào)維護(hù)社會(huì)公平時(shí)，則應(yīng)重視總命中率。,5、功利率 對(duì)使用測(cè)驗(yàn)的投入和產(chǎn)出進(jìn)行比較，這種效度指標(biāo)叫功利率。 U=B(Ns)-C(Na)-S U:效度 B:錄用一個(gè)合格的人所產(chǎn)生的平均利潤(rùn) C:錄用一個(gè)不合格的人所造成的損失 Ns,Na：錄用合格和不合格的人數(shù) S：整個(gè)選拔過(guò)程的費(fèi)用,小結(jié)： 三種效度都是圍繞效度的基本問(wèn)題展開(kāi)的 結(jié)構(gòu)效度幫助我們運(yùn)用測(cè)驗(yàn)分?jǐn)?shù)解釋人的心理特質(zhì)，可由結(jié)構(gòu)效度研究的資料來(lái)回答測(cè)驗(yàn)所測(cè)量的東西。 效標(biāo)關(guān)聯(lián)效