1、IRT在量表(測(cè)驗(yàn))編製上的應(yīng)用,陳柏熹 臺(tái)灣師大心輔系,大綱,IRT的概念與發(fā)展 IRT在測(cè)驗(yàn)編製上的應(yīng)用 IRT在電腦化適性測(cè)驗(yàn)上的應(yīng)用 MIRT在多向度測(cè)驗(yàn)上的應(yīng)用,一、IRT的概念與發(fā)展,j 為考生 j 的能力， bi 是試題 i 的難度， Pij是受測(cè)者答對(duì)某個(gè)題目的機(jī)率,試題反應(yīng)理論(item response theory; IRT)的基本概念,試題反應(yīng)理論(IRT)與古典測(cè)驗(yàn)理論(CTT)比較,試題反應(yīng)理論(IRT)與古典測(cè)驗(yàn)理論(CTT)比較(續(xù)),二元計(jì)分模式 Rasch模式,常見的IRT模式,二元計(jì)分模式 二參數(shù)模式,二元計(jì)分模式 三參數(shù)模式,多元計(jì)分模式 部份給分模式,

2、多元計(jì)分模式 評(píng)定量尺模式,單向度 測(cè)驗(yàn)中的所有題目主要都是測(cè)量相同的某一項(xiàng)特質(zhì)，或是受試者在測(cè)驗(yàn)題目上的答題反應(yīng)主要是受到單一項(xiàng)特質(zhì)所影響 。 局部獨(dú)立性 相同能力水準(zhǔn)的受試者，在各個(gè)題目上的答對(duì)機(jī)率是互相獨(dú)立的。,IRT的基本假設(shè),評(píng)量系統(tǒng)公司assess,當(dāng)代IRT的發(fā)展,編製測(cè)驗(yàn)(量表) 測(cè)驗(yàn)等化 建立題庫(kù) 組合測(cè)驗(yàn) 電腦化適性測(cè)驗(yàn),IRT的應(yīng)用,二、IRT在測(cè)驗(yàn)編製上的應(yīng)用,測(cè)驗(yàn)(量表)設(shè)計(jì)原理 優(yōu)良測(cè)驗(yàn)設(shè)計(jì)(Best Test Design)(Wright ML) 貝氏最大後驗(yàn)法(maximum a posteriori, MAP) 貝氏期望後驗(yàn)法(expected a poste

3、riori, EAP),尋找概似函數(shù)最佳解的方法： 1.最大概似法(Maximum Likelihood; ML) 找出能使受試者的反應(yīng)概似函數(shù)最佳化的能力值，為了 加速找到最佳解，通常使用牛頓-約佛森(Newton-Raphson)法進(jìn)行疊代： 2.貝氏最大後驗(yàn)法(maximum a posteriori, MAP) 以受試者的事前能力分布作為加權(quán)值，形成事後機(jī)率密度函數(shù)，並找出能使此事後機(jī)率密度函數(shù)最大化的能力值。 3.貝氏期望後驗(yàn)法(expected a posteriori, EAP) 與2.類似，但所尋找的能力值是事後機(jī)率密度函數(shù)的期望值(相當(dāng)於平均數(shù))，而不是最大值(相當(dāng)於眾數(shù))

4、。,試題分析 反應(yīng)概似函數(shù)（likelihood function） 常見的試題參數(shù)估計(jì)法 聯(lián)合最大概似法(joint maximum likelihood; JML) 先假設(shè)試題參數(shù)已知 (設(shè)定所有題目的難度為0)，估計(jì)受試者的暫時(shí)程度值；再把題目難度設(shè)定為未知，利用暫時(shí)的能力估計(jì)值來(lái)估計(jì)題目參數(shù) 邊際最大概似法(marginal maximum likelihood; MML) 估計(jì)題目參數(shù)時(shí)，考慮受試者背後常模的分布型態(tài) 條件最大概似法(conditional maximum likelihood; CML) 用答對(duì)題數(shù)來(lái)估計(jì)受試者能力值，接著再用受試者能力值來(lái)估計(jì)試題參數(shù),測(cè)驗(yàn)訊息量與

5、測(cè)量誤差 題目訊息量(item information)： 測(cè)驗(yàn)訊息量為題目訊息量總和。 測(cè)量誤差：,檢視資料的符合性 一、基本假設(shè)的檢定 單向度：1.受試者反應(yīng)型態(tài)的合理性 2.計(jì)算內(nèi)部一致性信度 3.進(jìn)行主成分分析 4.使用線性或非線性的因素分析 5.殘差值分析 局部獨(dú)立性：依能力高低分成若干組別，分別在每個(gè)組別中算出各題得分的相關(guān)矩陣，看各題目得分是否有顯著相關(guān) 二、模式符合度的檢驗(yàn) 題目符合度：ICC曲線、Bock(1972)的2值、多模式的概率比 受試者符合度：能力估計(jì)誤差、受試者符合度指標(biāo),以IRT編製測(cè)驗(yàn)的範(fàn)例 (1),、能力測(cè)驗(yàn)的編製 九十四年第一次國(guó)中基測(cè)驗(yàn)數(shù)學(xué)科，共有33題

6、。資料來(lái)源為作者向國(guó)中基本學(xué)力測(cè)驗(yàn)推動(dòng)工作委員會(huì)申請(qǐng)，該單位僅提供5000筆供研究用。此處僅使用其中500筆。,ConQuest程式寫法： datafile math941a.prn; format response 1-33; codes A B C D ; key DDABCBCBBACDBBADCDBACDCCAABCADBAB !1; set constraints=cases; model item; estimate ! converge=0.01; itanal math941.itn; show math941.shw; show cases ! estimates=mle m

7、ath941.mle; show cases ! estimates=eap math941.eap; reset;,以IRT編製測(cè)驗(yàn)的範(fàn)例(2),二、人格與態(tài)度量表的編製 作者自行發(fā)展的生活品質(zhì)量表(陳柏熹，2019)。該量表主要測(cè)量受試者在身體、心理、獨(dú)立性、社交、環(huán)境、心靈等層面的生活品質(zhì)感受，以及整體生活品質(zhì)感受。每個(gè)題目都是以非常像我、大致像我、不太像我、非常不像我等四點(diǎn)計(jì)分。本節(jié)僅使用身體層面的生活品質(zhì)感受題目為例進(jìn)行分析。,ConQuest程式寫法： datafile whodata.dat; format id 1-11 response 12-23; score (1,2,3,4)(0,1,2,3);