第十章目標(biāo)參照測驗第一節(jié)目標(biāo)參照測驗概述第二節(jié)目標(biāo)參照測驗的項目分析第三節(jié)目標(biāo)參照測驗的信度與效度第四節(jié)測驗分數(shù)的解釋——分數(shù)分界點的確定第一節(jié)目標(biāo)參照測驗概述一、目標(biāo)參照測驗的產(chǎn)生（一）常模參照測驗(Norm-referencedTest)的發(fā)展及其局限

20世紀初，“相對能力”的測量此后，心理與教育測量的一個基本出發(fā)點就是度量與比較個體間的差異，以被試在團體中的相對位置來評價和解釋測驗結(jié)果。在這一基礎(chǔ)上逐漸發(fā)展出了常模參照測驗這一測驗?zāi)Ｊ健?/p>

并非所有測驗都只關(guān)心個體間的差異。有些測驗?zāi)康脑谟诹私夂徒缍▊€體在測驗內(nèi)容上掌握的絕對水平。如評價教學(xué)活動的測驗（二）目標(biāo)參照測驗的興起

1962年戈萊賽和克勞斯首先提出目標(biāo)參照測驗的概念二、目標(biāo)參照測驗(Criterion-referencedTest)的定義

主要目的：了解個體在所規(guī)定的測量內(nèi)容上的行為水平。

出發(fā)點：個體本身的絕對水平

定義：所謂目標(biāo)參照測驗，是根據(jù)某一明確界定的內(nèi)容范圍而縝密編制的測驗，并且，被試在測驗中所得結(jié)果，也是根據(jù)某一明確界定的行為標(biāo)準(zhǔn)直接進行解釋的。——戈萊賽（1971）第二節(jié)目標(biāo)參照測驗的項目分析一、內(nèi)容范圍的確定內(nèi)容范圍的共同特點：1。具有邊界2。具有結(jié)構(gòu)。每一內(nèi)容范圍均可分為幾類，每一類中又可以分為更小的類。一、教學(xué)目標(biāo)(以橫軸表示)

以Bloom所提的認知領(lǐng)域六個教學(xué)目標(biāo)為依據(jù)：知識、理解、應(yīng)用、分析、綜合、評價。

(此次編制成就測驗的歷程，可將分析、綜合、評價，統(tǒng)合成「高層次思考」)二、教材內(nèi)容(以縱軸表示)

以出題的范圍，表示出包含幾個不同的單元。知識理解應(yīng)用分析綜合評鑑總和唐詩88442228文言文64642224新詩86442226散文64622222總和2822201488100二、測驗項目的內(nèi)容效度分析

專家評定法（教材表10-2，10-3）

結(jié)合以前學(xué)過的常模參照測驗的內(nèi)容效度分析來進行對比學(xué)習(xí)三、測驗項目的難度和區(qū)分度分析1。測驗的預(yù)測（1）前測-后測方法（一組被試）（2）已接受教學(xué)組-未接受教學(xué)組方法（兩組被試）（3）對照組方法（兩組被試）2。測驗項目的難度分析目標(biāo)參照測驗的項目難度計算與常模參照測驗相同，一般以通過率來表示。往往并不必要。

回憶常模參照測驗的難度分析（注重適中值）目標(biāo)參照測驗項目難度的計算，大多情況下只是作為項目區(qū)分度分析的基礎(chǔ)。3。測驗項目的區(qū)分度分析

注意與常模參照測驗的對比（1）難度差值①掌握組——未掌握組鑒別指數(shù)（D）

D=PA-PBD的大小，可以直接反映出該項目在多大程度上對未掌握者和掌握者作出了區(qū)分。D值從-1.00到+1.00之間變化，越接近于+1.00，題目區(qū)分度越高，說明題目越有效。回憶一下常模參照測驗的項目鑒別指數(shù)計算方法②個人獲得指數(shù)（DIG）（2）相關(guān)系數(shù)

可直接參照常模參照測驗的區(qū)分度部分內(nèi)容前后測的項目得分表被試項目12345前測后測前測后測前測后測前測后測前測后測101101111112011011011130110011111401100011115011010011160110000011701101011118011011001190110010111100110100111第三節(jié)目標(biāo)參照測驗的信度與效度一、信度及其估計常模參照測驗的信度評估中，通常是以相關(guān)系數(shù)作為信度指標(biāo)。

目標(biāo)參照測驗如果用相關(guān)系數(shù)作為信度指標(biāo)是否行得通呢？1。分類一致性信度考察被試在同一測驗的兩次施測中或兩個復(fù)本的施測中是否被分在同一類。

p0=(a+d)/N，式中，N=a+b+c+d

與常模參照測驗的區(qū)別在于統(tǒng)計方法和所用指標(biāo)的不同

兩次測驗結(jié)果分類表測驗A及格不及格測驗B及格ab不及格cd分類一致性的優(yōu)點在于計算簡單，意義直觀易懂。缺點：再測法和復(fù)本法的缺點同樣存在。受測驗長度、被試分數(shù)分布、分數(shù)分界點的影響。（《經(jīng)典和現(xiàn)代測驗理論導(dǎo)論》P222克羅克、阿爾吉納著，華東師范大學(xué)出版社）2。方差分析方法——荷伊特信度按照荷伊特的觀點：一組測驗分數(shù)的總變異數(shù)可劃分為三個來源：人與人之間的差別，題目之間的差別以及人與題目之間的交互作用的差別。rxx=1-MS人×題

/MS人二、效度及其估計1。內(nèi)容效度評價任一測驗的內(nèi)容效度，都依賴兩個條件：（1）測驗有明確界定的內(nèi)容范圍

（2）對測驗每一題目的內(nèi)容效度的分析2。效標(biāo)關(guān)聯(lián)效度

與常模參照測驗的區(qū)別在于統(tǒng)計指標(biāo)上目標(biāo)參照測驗的結(jié)構(gòu)效度目前尚未得到較大關(guān)注100名學(xué)生在9個不同學(xué)科間的相關(guān)系數(shù)第四節(jié)測驗分數(shù)的解釋——分數(shù)分界點的確定目標(biāo)參照測驗結(jié)果的解釋是參照分數(shù)分界點進行的。就目標(biāo)參照測驗本身而言，分數(shù)分界點并非必需。從理論上說，并不存在可以清晰辨別的掌握者和非掌握者。在目標(biāo)參照測驗的實際應(yīng)用中，分數(shù)分界點的確定卻是無法逃避的問題。一、專家判定法（以測驗為中心的設(shè)定方法）什么是臨界水平的被試？1。Nedelsky方法（多重選擇題）基本假設(shè)：臨界水平被試作答時，總是先盡可能排除他認為是錯誤的選項，然后在剩下的選項中，再隨機選擇作答。缺點：基本假設(shè)難以成立，命題者編制的迷惑選項常有很強的似真性，這樣被試很少會隨機地去作答。2。Angoff方法

λ=ΣFiPi二、效標(biāo)組預(yù)測法（以被試為中心的設(shè)定方法）1。臨界組法利文斯頓1982測驗→臨界水平的被試（專家選擇）→平均成績2。對照組法利文斯頓回顧常模參照測驗的分數(shù)解釋返回第11章以上方法都可看出，標(biāo)準(zhǔn)參照測驗中確定合格分數(shù)都十分重視利用專家經(jīng)驗。效標(biāo)組預(yù)測法雖然利用了實證數(shù)據(jù)，但臨界組和對照組的構(gòu)建仍需專家判別選擇。建議閱讀：對一份目標(biāo)參照性考試試卷的質(zhì)量分析，中學(xué)教與學(xué)，1995，08語文“目標(biāo)參照考試”改革的新思考，山東教育科研，1999，11回顧心理與教育測量的原理與技術(shù)心理與教育測量的定義順序量表編制一個測驗應(yīng)具備的4個條件經(jīng)典測驗理論的基本假設(shè)項目分析概述項目分析就是對組成測驗的每個測題進行分析。項目分析包括定性分析和定量分析。定性分析包括考慮內(nèi)容效度、題目編寫的恰當(dāng)性和有效性等；定量分析主要指采用統(tǒng)計方法來分析試題的品質(zhì)，一般是指題目難度和區(qū)分度的測量。對項目進行篩選和修訂，可以幫助進行測題選擇和編制，從而可以提高測驗的信度和效度。1、邏輯分析法專家按測題和假設(shè)內(nèi)容范圍作出的符合度判斷2、統(tǒng)計分析法復(fù)本信度3、再測法教材P62、63二、難度的計算1.二分法記分項目的難度（1）通過率

P=R/N

通過人數(shù)參測人數(shù)也稱容易度，這里的P值與我們通常所理解的難度意義正好相反。含義以高低分組（27%）平均通過率表示的難度（2）極端分組法步驟高、低分組通過率平均通過率2.非二分法記分項目的難度某題的平均得分該題的滿分值2.相關(guān)法（項目-總分相關(guān)）（1）點二列相關(guān)

Xp-Xq

rpb=√pqSt

適用項目是0、1記分（或二分變量），而效標(biāo)或測驗總分是連續(xù)變量的數(shù)量資料。

（2）二列相關(guān)

Xp

-Xq

pq

Xp

-Xtp

rb=?或rb=?StySty適用于連續(xù)的測量變量。但其中一個變量被人為二分。（3）φ相關(guān)

ad-bcrφ=√(a+b)(c+d)(a+c)(b+d)

適用于φ相關(guān)的統(tǒng)計方法適用于兩個變量都是點分配的資料，即兩個變量都是二分名義變量。在有些情況下，一些連續(xù)變量也可以用此方法計算相關(guān)程度。φ相關(guān)不要求變量呈正態(tài)分布。在用φ系數(shù)作為區(qū)分度指標(biāo)時，要求題目反應(yīng)和效標(biāo)變量都是二分狀態(tài)，一般是根據(jù)效標(biāo)成績(或溯驗總分)的高分組和低分組通過和未通過某一題的人數(shù)列成的四格表來計算。（4）積差相關(guān)（論文式題目）項目得分與效標(biāo)分數(shù)求積差相關(guān)系數(shù)以得到項目的區(qū)分度返回第十章三、實證效度（效標(biāo)關(guān)聯(lián)效度）1。相關(guān)法最常用來建立實證效度的方法是求測驗分數(shù)與效標(biāo)測量間的相關(guān)2。區(qū)分法3。命中率4。功利率（1）積差相關(guān)系數(shù)當(dāng)預(yù)測分和效標(biāo)分都是連續(xù)變量時，可采用積差相關(guān)系數(shù)的計算方法來求得測驗的效度系數(shù)。

例：假設(shè)有10名男性經(jīng)職業(yè)興趣測驗而被選定作為推銷員，其測驗分數(shù)下表第一行，而第二行是經(jīng)過若干年后他們某段時間內(nèi)銷售金額總量(以萬元為單位)?，F(xiàn)問該測驗的預(yù)測效度如何?（2）二列相關(guān)系數(shù)當(dāng)X與y兩個常態(tài)連續(xù)變量中有一個變量由于某些理由被人為地分為兩個類別，如，考試成績的通過與失敗，學(xué)校分為重點和非重點等，而另一變量為連續(xù)變量時，計算出的相關(guān)系數(shù)就叫二列相關(guān)系數(shù)。在效度系數(shù)的計算中，通常是把效標(biāo)變量分為兩類，而預(yù)測變量仍為連續(xù)變量。當(dāng)測驗與效標(biāo)均為二分變量時，可用四分相關(guān)。

2、區(qū)分法——t檢驗比較高低分組的差異例：某工廠通過測驗錄用了一批工人，過一段時間后，根據(jù)工作成績（如產(chǎn)品的數(shù)量、質(zhì)量）將他們分成成功的和失敗的兩組，然后回過頭來檢查他們的測驗分數(shù)。運用t檢驗看看兩組在測驗上的平均分數(shù)是否有顯著性差異。假如：成功組的平均數(shù)為6.05，標(biāo)準(zhǔn)差為2.02；失敗組的平均數(shù)為4.25，標(biāo)準(zhǔn)差為1.3。試問兩組的平均數(shù)有無顯著差異？已知成功組、失敗組的均數(shù)、標(biāo)準(zhǔn)差、樣本規(guī)模，獨立樣組的t檢驗公式是：

所以，兩組分數(shù)有極其顯著性差異，即該測驗確實可以預(yù)測工作上的成敗。3．命中率法含義：正確決策的比例用途人才選拔方法正確決策的結(jié)果正確接受正確拒絕

業(yè)績Y012345678910能力傾向測驗分（X）1234567891011215223146921135241