教育測量的質(zhì)量指標(biāo)信度第1頁，共47頁，2023年，2月20日，星期五主要內(nèi)容教育測量與評價的信度教育測量與評價的效度教育測量與評價中題目（項目）的難度教育測量與評價中題目（項目）的區(qū)分度第2頁，共47頁，2023年，2月20日，星期五第一節(jié)信度一、信度的意義二、信度的統(tǒng)計定義三、信度系數(shù)的類型與估計方法四、提高信度的方法第3頁，共47頁，2023年，2月20日，星期五一、信度的意義信度（reliability）測量結(jié)果的穩(wěn)定性和可靠的程度是對測驗工具及其操作的整體質(zhì)量的一中量度，是測驗性能的重要質(zhì)量指標(biāo)。記為rxx第4頁，共47頁，2023年，2月20日，星期五一、信度的意義1.信度是任何一種測量的必要條件。因為教育測量的對象主要是精神現(xiàn)象，所測量的特性不易把握，為了能真實地反應(yīng)測驗對象的某種特點，需要更加注意測量的信度，從而正確地判斷測量結(jié)果的價值。2.信度高的教育測量，能給教師和教育工作的領(lǐng)導(dǎo)者提供可靠的信息，為他們的教育預(yù)測和決策提供依據(jù)。3.信度高的教育測量，能使教師對學(xué)生的評價變得客觀和可靠，也使學(xué)生對自己的認(rèn)識更符合實際情況，從而有助于改進(jìn)教與學(xué)的方法。4.信度高的教育測量，有助于提高教師的工作效率。第5頁，共47頁，2023年，2月20日，星期五一、信度的統(tǒng)計定義x＝T＋E（公式1-1）（X：觀察分?jǐn)?shù)，T：真分?jǐn)?shù)(未知的，可將多次測量的實測值的平均值作為真值的近似值)，E：誤差）1、試比較以下兩次測量結(jié)果（只進(jìn)行一次）的信度：用尺子量100cm高的一個兒童，得到1cm的絕對誤差；量185cm高的一位運動員，也得得到1cm的絕對誤差。第6頁，共47頁，2023年，2月20日，星期五1、試比較以下兩次測量結(jié)果（只進(jìn)行一次）的信度：用尺子量100cm高的一個兒童，得到1cm的絕對誤差；量185cm高的一位運動員，也得得到1cm的絕對誤差。要比較兩種測量結(jié)果的信度，一定要看誤差分?jǐn)?shù)（E）對于真分?jǐn)?shù)（T）所占的百分?jǐn)?shù)是多少。

相對誤差＝E/T×100%公式（1-3最大絕對誤差＝E/x×100%公式（1-4）第7頁，共47頁，2023年，2月20日，星期五

相對誤差（甲）＝1/100×100%＝1%相對誤差（乙）＝1/185×100%＝0.54%

據(jù)此，度量乙的信度要比度量甲的信度高。

第8頁，共47頁，2023年，2月20日，星期五怎樣估計對一組人或一個人測量多次的實測值與真值（真分?jǐn)?shù)）的差異程度呢？判別兩組數(shù)據(jù)誰好誰差,不能只靠對平均數(shù)的統(tǒng)計和比較，關(guān)鍵是確定這兩組數(shù)據(jù)偏離各自的平均數(shù)的大小。為了消除數(shù)據(jù)容量的影響，我們借鑒研究加權(quán)平均數(shù)的方法，選用各個偏差的平方的平均數(shù)，來描述一組數(shù)據(jù)偏離其平均數(shù)的大小，這就是方差。根據(jù)假設(shè)，觀察分?jǐn)?shù)的方差應(yīng)等于真分?jǐn)?shù)的方差加上測量誤差的方差。即：

公式（1-4）第9頁，共47頁，2023年，2月20日，星期五根據(jù)公式（1-4）可以給出信度的統(tǒng)計定義：第一，信度是一個被測團(tuán)體的真分?jǐn)?shù)方差與觀察分?jǐn)?shù)方差之比，即：

公式（1-5）公式（1-6）可見，測驗的信度一般在[0，1]，越接近1，考試的信度越高。第10頁，共47頁，2023年，2月20日，星期五例：對5個人的某種智力因素的測驗結(jié)果如表1-1，試估計測量的信度。表1-1測量5個學(xué)生的某種分?jǐn)?shù)學(xué)生真分?jǐn)?shù)誤差分?jǐn)?shù)實得分?jǐn)?shù)A18-216B9+110C15+217D21+122E12-210第11頁，共47頁，2023年，2月20日，星期五

學(xué)生真分?jǐn)?shù)誤差分?jǐn)?shù)實得分?jǐn)?shù)

A

18－2

16

B

9＋1

10

C

15＋2

17

D

21＋1

22

E

12－2

10

平均數(shù)15

0

15

方差18

2.8

20.8

第12頁，共47頁，2023年，2月20日，星期五第13頁，共47頁，2023年，2月20日，星期五第二，信度是一個被試團(tuán)體的真分?jǐn)?shù)與觀察分?jǐn)?shù)的相關(guān)系數(shù)的平方。第三，信度是一個被試團(tuán)體在測試X（A卷）上的觀察分?jǐn)?shù)與在測驗X的任意一個“平行測驗”X`（B卷）上的觀察分?jǐn)?shù)的相關(guān)系數(shù)。第14頁，共47頁，2023年，2月20日，星期五三、信度系數(shù)的類型與估計方法（一）穩(wěn)定性系數(shù)（二）等值性系數(shù)（三）內(nèi)部一致性系數(shù)（四）論文式測驗的信度系數(shù)（五）評分者信度第15頁，共47頁，2023年，2月20日，星期五（一）穩(wěn)定性系數(shù)（coefficientofstability）又稱重測信度，是指用同一量表對相同被試者（一組人）在不同時間測驗兩次的實得分?jǐn)?shù)的相關(guān)系數(shù)。估計穩(wěn)定性系數(shù)的基本程序：

測驗A1

適當(dāng)時距測驗A2第16頁，共47頁，2023年，2月20日，星期五（一）穩(wěn)定性系數(shù)相關(guān)系數(shù)可以用不同方法計算，這取決于數(shù)據(jù)的性質(zhì)。最為普遍的是皮爾遜積差相關(guān)系數(shù)：

X為第一次測驗的實得分?jǐn)?shù);Y為第一次測驗的實得分?jǐn)?shù);N為應(yīng)試者數(shù).第17頁，共47頁，2023年，2月20日，星期五（一）穩(wěn)定性系數(shù)用一個算術(shù)四則的速度測驗12個小學(xué)生，得分記為X，為了考察測量結(jié)果的可靠性，于3個月后再測一次，得分記為Y，問測驗結(jié)果是否可靠？序號123456789101112X202021222323232425262627Y202121202323252526262729第18頁，共47頁，2023年，2月20日，星期五

A1A2X2Y2XYXY010203040506070809101112202021222323232425262627202121202323252526262729400400441484529529529576625676676729

400441441400529529625625676676729841

400420441440529529625625650676702783

ΣX＝280ΣY＝286ΣX2＝6594ΣY2＝6912ΣXY＝6420第19頁，共47頁，2023年，2月20日，星期五解:(1)把資料列表于后,計算出公式(1-10)所需的各種統(tǒng)計量:ΣX＝280ΣY＝286ΣX2＝6594ΣY2＝6912ΣXY＝6420(2)把所計算的統(tǒng)計量代入公式(1-10):第20頁，共47頁，2023年，2月20日，星期五采用重測法計算穩(wěn)定系數(shù)時，要注意的問題：1、兩次測驗之間的時間間隔要適宜，盡可能在較短的時距內(nèi)進(jìn)行。2、兩次測驗試卷要等值，即在內(nèi)容范圍、題型、題數(shù)、難度、區(qū)分度等方面要基本相同。3、確定兩測驗是否等值，還要考察兩次測繪結(jié)果的平均數(shù)與標(biāo)準(zhǔn)差。4、重測法適用于導(dǎo)質(zhì)性測驗，適用于速度測驗而不適用于難度測驗。5、測試應(yīng)注意提高被試者的積極性。第21頁，共47頁，2023年，2月20日，星期五（二）等值性系數(shù)（coefficientofequivalence

）又名復(fù)本信度（alternate-formsreliability）：是以兩個等值（題型題數(shù)、難度、區(qū)分度相等）但具體內(nèi)容不同的量表，在最短時距內(nèi)，對相同應(yīng)試者先后施測兩次所獲得的兩組對應(yīng)分?jǐn)?shù)的相關(guān)系數(shù)。其模式是：第22頁，共47頁，2023年，2月20日，星期五（二）等值性系數(shù)（coefficientofequivalence

）以A、B兩型英語復(fù)本測驗對初中三年級10個學(xué)生施測，為避免由測驗施測順序所造成的誤差，其中5個學(xué)生先做A型測驗，休息15分鐘后，再做B型測驗；而另5個學(xué)生先做B型測驗，休息15分鐘后，再做A型測驗。10個學(xué)生A型測驗結(jié)果記為X，B型測驗結(jié)果記為Y，其測驗的復(fù)本信度如何？學(xué)生序號12345678910X19191817161515141312Y20171818171513151212第23頁，共47頁，2023年，2月20日，星期五（二）等值性系數(shù)（coefficientofequivalence

）優(yōu)點：1、測驗的兩個復(fù)本，如果在不同的時間使用，其信度既可以反映在不同時間的穩(wěn)定性，又可以反映對于不同測題的一致性；2、兩個復(fù)本在同時使用時，可以避免再測信息的一些缺點，如首測時再測在記憶、練習(xí)、效果的影響，間隔期間獲得新知識的影響，兩次施測的環(huán)境不同和被試主觀狀態(tài)不同的影響，以及為了應(yīng)付測驗所作訓(xùn)練的影響等。第24頁，共47頁，2023年，2月20日，星期五（二）等值性系數(shù)（coefficientofequivalence

）缺點：1、編制兩個完全相等的測驗是很困難的，如果兩個復(fù)本過分相似，則變成再測形式，而過分不相似，又使等值的條件不存在；2、兩個復(fù)本測驗有可能在某種程度上測量了不同的性質(zhì)，這就會低估測驗的信度；3、被試同時接受性質(zhì)相似的兩個測驗，可能減少完成測驗的積極性；4、雖然兩個復(fù)本測驗的題目材料不同，但被試一旦掌握了解題的某一模式，就能觸類旁通，有可能失去復(fù)本的意義。第25頁，共47頁，2023年，2月20日，星期五（三）內(nèi)部一致性系數(shù)（internalconstancy）又叫同質(zhì)性信度（homogeneityreliability）。是同一測驗量表的兩個部分（例如分為奇數(shù)題和偶數(shù)題，或者量表的前一半和后一半）得分的相關(guān)系數(shù)。估計方法有兩種：1、分半法（Split-halfmethod）：是將一次測驗分成兩個假定相等而獨立的兩部分來記分。通常是以題目的奇數(shù)為一組，偶數(shù)為一組，計算兩級的相關(guān)系數(shù)，最后用斯皮爾曼－布朗公式校正，求得整個測驗的信度系數(shù)。斯皮爾曼－布朗公式為：

rxy為兩組測驗分?jǐn)?shù)的相關(guān)系數(shù)，rtt表示整個測驗的信度系數(shù)。第26頁，共47頁，2023年，2月20日，星期五問題：為什么不直接用奇數(shù)題總分與偶數(shù)題的部分計算出的相關(guān)系數(shù)作為整個測驗的信度系數(shù)而要加以校正？這是因為測驗的長度（指量表中所包含的題目數(shù)）對信度的大小有一定的影響，測驗越長，信度越高。而用分半法，實際上等于把整個測驗長度減小了一半，所以按分成兩半的資料求出的信度必然低于整個測驗的信度。第27頁，共47頁，2023年，2月20日，星期五例：有一個由100題構(gòu)成的量表施行于10個高三學(xué)生（分?jǐn)?shù)見下表）。測驗一次后，應(yīng)試者即畢業(yè)離?！，F(xiàn)在怎樣評價測驗結(jié)果的信度？得分被試奇數(shù)題總分偶數(shù)題總分XY010203040506070809103837384140363839403537373639393438393936方法：分半法第28頁，共47頁，2023年，2月20日，星期五得分被試奇數(shù)題總分偶數(shù)題總分X2Y2XYXY010203040506070809103837384140363839403537373639393438393936144413691444168116001296144415211600122513691269129615211521115614441521152112961406136913681599156012241444152115601260ΣX＝382ΣY＝374ΣX2＝14624ΣY2＝14014ΣXY＝14311第29頁，共47頁，2023年，2月20日，星期五解：把有關(guān)統(tǒng)計量代入公式（1-10），求相關(guān)系數(shù)用斯皮爾曼－布朗公式校正，經(jīng)校正后的信度系數(shù)很大（0.91），說明整個測驗的信度高。第30頁，共47頁，2023年，2月20日，星期五2、庫德爾－理查森公式法

（KuderRichardsonreliability）用此法只需測驗一次，然后以各個問題的正確反應(yīng)數(shù)為基礎(chǔ)（此可視為各題難度的信息），或根據(jù)各人總分的平均數(shù)和標(biāo)準(zhǔn)差，計算信度系數(shù)。此公式有幾個，其中常用的有rKR20和rKR21

。（1）rKR20的用法：這個公式以每題能正確回答的人數(shù)占總?cè)藬?shù)的百分?jǐn)?shù)為基礎(chǔ)計算（每題只有通過或未通過兩種分?jǐn)?shù)）。第31頁，共47頁，2023年，2月20日，星期五例：有一種包含6個問題的測驗，10個應(yīng)試者得分如下表（答對得1分，答錯得0分），試估計應(yīng)試者反應(yīng)的一致性程度。第32頁，共47頁，2023年，2月20日，星期五題得目被試分

1

2

3

4

5

6

ΣZ

001

002

003

004

005

006

007

008

009

010

1

0

0

0

0

0

1

1

0

0

1

0

0

2

0

0

0

0

1

1

2

1

1

1

0

0

0

3

0

1

0

0

1

1

3

1

1

1

0

0

0

3

1

1

1

1

0

0

4

1

1

1

1

0

0

4

1

1

0

1

1

1

5

1

1

0

1

1

1

5

ΣX

pqpq87

5

5

4

4

0.80.7

0.5

0.5

0.4

0.40.20.3

0.5

0.5

0.6

0.60.160.21

0.25

0.25

0.24

0.24Σpq=1.35第33頁，共47頁，2023年，2月20日，星期五解：1）列出得分矩陣，計算有關(guān)統(tǒng)計量：

這個測驗的信度系數(shù)較低，說明內(nèi)容一致性差，量表中的題目并非都可以測量相同的特性，即題目的同質(zhì)性差或難度懸殊較大。第34頁，共47頁，2023年，2月20日，星期五（2）rKR21的用法：這個公式以各應(yīng)試者總分的平均數(shù)和方差為基礎(chǔ)，無需各題的難度信息。公式如下：第35頁，共47頁，2023年，2月20日，星期五（四）論文式測驗的信度系數(shù)論文式測驗的評分沒有嚴(yán)格的評分標(biāo)準(zhǔn)，以致同樣一個題目，不同的應(yīng)試者的回答和得分都不一樣，所以無法用前面的公式，而要用克龍巴赫（Cronbach,1951）所創(chuàng)的α系數(shù)公式：第36頁，共47頁，2023年，2月20日，星期五被題號試ABCDEΣSi2171181111483.04269789391.363610689392.564811683366.96571181111483.04671181111483.04Σ4062415452例：有一種包含6個論文式題目的測驗，對5個應(yīng)試者施行，得分列入下表，試求該測驗的信度。第37頁，共47頁，2023年，2月20日，星期五解：1）求每題各應(yīng)試者得分的方差Si2(見表列)

2）求每題各應(yīng)試者得分的方差之和ΣSi2

ΣSi2＝3.04＋1.36＋……＋3.04＝18.65

3）求所有應(yīng)試者各自的總分的方差ΣST2（表格最下一行各數(shù)據(jù)的方差）

ST2＝68.96

4）代入公式（1-14）得信度系數(shù)

第38頁，共47頁，2023年，2月20日，星期五（五）評分者信度要計算評分者評分的一致性系數(shù)，需區(qū)分評分者的人次數(shù)。若為2人評N份試卷，可用斯皮爾曼等級相關(guān)的公式計算；若三個人以上的評分者評N份試卷，則需計算肯德爾和諧系數(shù)（以W表示）1、斯皮爾曼等級相關(guān)公式：第39頁，共47頁，2023年，2月20日，星期五例：甲乙兩位教師評閱10份試卷，他們對每份試卷各自所評的分?jǐn)?shù)和等級列入下表，問這二位教師評分的一致性如何？試卷得分名次等級之差DD2甲評分乙評分甲名次乙名次ABCDEFGHIJ9490868672706866646193929270827665766860123.53.5567891012.52.5745.595.58100-0.51-3.510.5-22.51000.25112.2510.2546.2510第40頁，共47頁，2023年，2月20日，星期五解：1）計算所需統(tǒng)計量：D和D2（見表）；N＝10；

ΣD2＝0＋0.25＋1＋12.25＋……＋1＋0＝26

2）將統(tǒng)計量N和ΣD2代入公式（1-15）答：甲乙兩位教師閱卷的一致性系數(shù)較高，評分比較可靠。第41頁，共47頁，2023年，2月20日，星期五2、肯德爾和諧系數(shù)（W）例：10個評委對7位參賽選手所評等級如下表所示，問這10位評委的評分是否具有一致性？第42頁，共47頁，2023年，2月20日，星期五選手N＝7

評價者K＝7RiRi21

2

3

4

5

6

7

8

9

10010203040506073

5

2

3

4

4

3

2

4

366767577