1、試卷分析指標(biāo)及其解讀,醫(yī)學(xué)教育研究室 楊現(xiàn)洲,1,一、 考試與試卷分析 二、 試卷分析方法 三、 定量分析的主要指標(biāo) 四、 定量分析結(jié)果的解讀 五、 提高試卷質(zhì)量的措施 六、 綜合分析規(guī)范,2,一 考試與試卷分析,3,（1）常模參照性考試： 考試的目的主要是在于考查被試者的個(gè)體差異，一般用于衡量被試者的相對(duì)水平。只有將被試者的得分放到考試所在的團(tuán)體中，從而直接或間接地以被試者在該團(tuán)體中的相對(duì)等級(jí)或相對(duì)位置來評(píng)估被試者的能力水平。,1.1考試的分類,4,（2）目標(biāo)參照性考試：也叫標(biāo)準(zhǔn)參照考試，強(qiáng)調(diào)的是被試者對(duì)考試目標(biāo)和內(nèi)容的掌握程度。因而能反映出被試者的絕對(duì)水平及在知識(shí)掌握上的強(qiáng)點(diǎn)和弱點(diǎn)，并能對(duì)

2、被試者在參照標(biāo)準(zhǔn)上的表現(xiàn)做出解釋。,5,1.2 課程考試,課程考試是高校評(píng)估學(xué)生學(xué)習(xí)成績，檢驗(yàn)教師教學(xué)和學(xué)生學(xué)習(xí)效果的主要形式，是高校教學(xué)過程中不可或缺的環(huán)節(jié)。 課程考試目的：對(duì)學(xué)生學(xué)習(xí)狀況和相關(guān)知識(shí)掌握程度，教師教學(xué)計(jì)劃的完成程度及效果進(jìn)行檢查 ；對(duì)學(xué)生的學(xué)業(yè)水平、能力做出判斷、區(qū)分和解釋。,6,1.3 試卷分析,試卷分析：是指對(duì)學(xué)生考試成績、試卷信度、效度，試題的難度、區(qū)分度，考試命題、試卷編制、閱卷評(píng)分等內(nèi)容進(jìn)行定量和定性分析，以評(píng)價(jià)考試質(zhì)量、反思教與學(xué)效果的活動(dòng)。 試卷分析是教師教學(xué)活動(dòng)的重要環(huán)節(jié)，也是教研室的基本工作之一。,7,1.4 試卷分析的目的,評(píng)價(jià)考試質(zhì)量，檢驗(yàn)考試的可靠性、

3、有效性。通過對(duì)考試的信度、效度、試題的難度、區(qū)分度等方面作分析，可以判斷此次考試的質(zhì)量。只有有效的、可靠的考試，才能作為評(píng)價(jià)教學(xué)質(zhì)量或衡量學(xué)生學(xué)習(xí)情況的依據(jù)。,8,改進(jìn)考試工作，提高試題和試卷編制質(zhì)量。通過對(duì)試卷一系列指數(shù)的分析，能為我們進(jìn)一步修改試題、編制試卷提供依據(jù)，提高編制試卷的技能、技巧，使測驗(yàn)更趨科學(xué)； 獲取教與學(xué)效果的反饋信息。對(duì)試卷的深入分析，能反饋大量的信息，及時(shí)發(fā)現(xiàn)教與學(xué)中存在的問題，便于采取有針對(duì)性的措施或建議，改進(jìn)教學(xué)。,9,二 試卷分析方法,10,2.1 定量分析方法,是指通過對(duì)試卷和考試成績的數(shù)理統(tǒng)計(jì)分析，得出有關(guān)試卷的成績分布、平均分、標(biāo)準(zhǔn)差、試題難度、試題區(qū)分度、

4、考試信度、考試效度等數(shù)據(jù)特征，用以說明試卷命題質(zhì)量、教師教學(xué)和學(xué)生學(xué)習(xí)效果的分析方法。,11,綜合分析是指在定量分析數(shù)據(jù)結(jié)果的基礎(chǔ)上，結(jié)合考試的具體情況，進(jìn)行歸納、分析、綜合、概括，從而得出具有普遍意義的結(jié)論的分析方法。 如結(jié)合定量分析數(shù)據(jù)結(jié)果對(duì)不同專業(yè)考生具體差異，考生在學(xué)習(xí)中普遍存在的問題，教學(xué)中的薄弱環(huán)節(jié)等進(jìn)行分析。 另外，對(duì)試卷命題質(zhì)量中比如題目表述是否科學(xué)、文字表述是否正確以及閱卷情況等直接進(jìn)行定性分析。,2.2 定性分析（綜合分析）,12,2.3 完整的試卷分析應(yīng)是定量分析和綜合分析相結(jié)合 從教育測量學(xué)理論角度看，定量分析的數(shù)據(jù)是不完全客觀的數(shù)據(jù)，由此產(chǎn)生的定量分析的結(jié)果需要通過綜

5、合分析來加以判斷和解釋。 綜合分析是試卷分析的主體，定量分析只能為綜合分析提供輔助的參考依據(jù)。脫離定量分析過程的綜合分析是片面的，沒有綜合分析的定量分析是教條的。,13,三 定量分析的主要指標(biāo),14,（1）成績頻數(shù)分布統(tǒng)計(jì)表 ：以5或10分為一個(gè)分?jǐn)?shù)段，統(tǒng)計(jì)每個(gè)分?jǐn)?shù)段包含的學(xué)生數(shù)，組成成績的頻數(shù)分布統(tǒng)計(jì)表。,3.1 成績分布統(tǒng)計(jì),15,（2）成績頻數(shù)分布圖：將該統(tǒng)計(jì)表各分?jǐn)?shù)段的中值和該組學(xué)生數(shù)對(duì)應(yīng)點(diǎn)依次制成條形圖，形成中間高兩邊低的成績頻數(shù)分布圖。,16,（3）成績分布曲線圖：,17,（1）正態(tài)分布：以平均值為中心，左右兩側(cè)頻數(shù)分布基本對(duì)稱，靠近均數(shù)兩側(cè)的頻數(shù)較多，而距均數(shù)兩側(cè)較遠(yuǎn)時(shí)，頻數(shù)逐漸

6、減少。,3.2 成績分布曲線圖分類,高分或低分考生數(shù)量較少，中間部分?jǐn)?shù)量較多 ,且其分檔情況在成績解釋上比較合理。說明測試結(jié)果與學(xué)生的實(shí)際情況一致，各種難度的題目比例合理。,18,（2）正偏態(tài)分布 ： 說明試題難度偏高，難度較大的題目比例偏大，或是教與學(xué)效果較差。 呈這種分布的試題有利于將成績優(yōu)秀的學(xué)生和中等程度的學(xué)生區(qū)別開，但不利于將中等程度的學(xué)生和成績較差的學(xué)生區(qū)別開。,19,（3）負(fù)偏態(tài)分布： 說明試題難度偏低，難度較低的題目比例偏大，或者教與學(xué)的效果較好。 呈這種分布的試題有利于將成績較差的學(xué)生和中等程度的學(xué)生區(qū)別開，但不利于將中等程度的學(xué)生和成績優(yōu)秀的學(xué)生區(qū)別開。,20,一套質(zhì)量較高

7、的試題，理想的考試成績分布曲線圖應(yīng)該是呈正態(tài)分布。 課程考試作為一種目標(biāo)參照性考試，學(xué)生成績呈正態(tài)或近似正態(tài)分布，都是正常、合理的。,21,3.3 標(biāo)準(zhǔn)差和極值,標(biāo)準(zhǔn)差： 描述一組分?jǐn)?shù)離散情況的最常用、最可靠的統(tǒng)計(jì)量。考試成績的標(biāo)準(zhǔn)差用來判斷考試分?jǐn)?shù)的集中程度。標(biāo)準(zhǔn)差理想控制范圍在7-10； 極值： 指考試出現(xiàn)的最高分?jǐn)?shù)和最低分?jǐn)?shù), 極值既是數(shù)據(jù)完整性的體現(xiàn),又是數(shù)據(jù)的關(guān)鍵觀察點(diǎn)；課程考試不應(yīng)出現(xiàn)0或滿分的成績, 0分屬于異常數(shù)據(jù), 出現(xiàn)多個(gè)滿分則提示較難考題數(shù)量嚴(yán)重不足。,22,3.4 試題難度（P）,試題難度（P）是指能夠正確回答試題的人數(shù)和參加考試的總?cè)藬?shù)之比，即指某題的通過率和正答率。

8、試題難度系數(shù)與試題實(shí)際難易程度正好相反。 一般認(rèn)為，難度指數(shù)P在0.30.7之間為合適，低于0.3太難，高于0.7太易，0.5左右最好。,23,3.5 試題區(qū)分度（D）,區(qū)分度（D）是指試題區(qū)分考生能力的程度，它基于一個(gè)假設(shè)：即高能考生比低能考生更有可能正確回答試題。 區(qū)分度的取值在-1.01.0之間，D值越大，試題的區(qū)分能力越強(qiáng)。 D0時(shí)，為積極區(qū)分； D0時(shí)，為消極區(qū)分； D=0時(shí)，無區(qū)分能力。,24,效度是指試卷的有效性和準(zhǔn)確性程度，它反映的是考試測量到的與所要測量的二者之間的符合程度。 課程考試主要考慮內(nèi)容效度。即指選取的具有代表性的樣本組成的考試內(nèi)容是否能夠恰當(dāng)?shù)卮斫虒W(xué)內(nèi)容(教學(xué)目

9、標(biāo))總體。,3.6 試卷的效度,25,對(duì)課程考試而言，試卷效度是決定考試質(zhì)量的重要因素。但目前還沒有一種切實(shí)可行的統(tǒng)計(jì)方法可以用來合理地計(jì)算試題取樣的恰當(dāng)程度。 目前對(duì)效度的評(píng)價(jià)，大多是由專家或經(jīng)驗(yàn)豐富的教師依據(jù)考試大綱與考試命題的雙向細(xì)目表對(duì)每道試題進(jìn)行比較分析來作出估計(jì)。,26,3.7 試卷的信度,信度是指試卷的穩(wěn)定性和可靠性程度。將同一份試卷，對(duì)同一組參加考試者進(jìn)行反復(fù)測驗(yàn)，所得結(jié)果一致，那么這份試卷就具有很高的信度。 信度系數(shù)的計(jì)算方法有多種，如穩(wěn)定性信度系數(shù)、等值性信度系數(shù)、內(nèi)部一致性信度系數(shù)。學(xué)校試卷分析軟件采用的是克倫巴赫（Cronbach）系數(shù)法 。 教育測量學(xué)理論認(rèn)為，對(duì)于測

10、驗(yàn)專業(yè)理論與能力的試卷，其信度應(yīng)在0.90以上，信度在0.70以下的試卷不宜采用。,27,四 定量分析結(jié)果的解讀,28,4.1 成績分布,偏離正態(tài)分布有兩種情況，一是試題難度普遍較大，考生得分普遍較低，使得低分端出現(xiàn)高峰，呈正偏態(tài)分布；二是試題難度普遍較小，考生得分普遍較高，使高分端出現(xiàn)高峰，呈負(fù)偏態(tài)分布。 當(dāng)考試分?jǐn)?shù)分布呈明顯偏態(tài)時(shí)，可通過改變?cè)囶}難度的比例加以調(diào)整，使之大體上呈正態(tài)分布。,29,4.2 試題難度,非正常影響因素 試題質(zhì)量：超綱，偏題，怪題，有錯(cuò)誤，選項(xiàng)迷惑性太差或太強(qiáng)； 教學(xué)有遺漏，或者對(duì)重點(diǎn)強(qiáng)調(diào)不夠； 學(xué)生不努力，或者對(duì)知識(shí)點(diǎn)掌握不夠； 學(xué)生作弊,30,4.3 試題區(qū)分度

11、,研究證明，難度系數(shù)P越接近0.5，區(qū)分度越好；當(dāng)難度系數(shù)P介于0.40.6或0.30.7之問時(shí)，區(qū)分度較為理想；而當(dāng)難度系數(shù)p0.7時(shí)，區(qū)分度較差。 要把學(xué)生的能力、水平進(jìn)行最大程度的區(qū)分，試題難度值的分布也應(yīng)以正態(tài)為好。試卷中試題難（P0.3）: 中等(0.3P0.7): 易(0.7P)的比例為10：70：20較合適；,31,4.4 試題區(qū)分度低的幾種原因 試題本身質(zhì)量差，命題不妥，用詞不當(dāng)，不符合命題技術(shù)；（45.5） 試題本身很好，教師在教學(xué)中存在漏洞，影響學(xué)生答題；（20.3） 試題本身很好，教師教學(xué)方面也沒有問題，而是學(xué)生自身的原因，如學(xué)習(xí)不努力，沒有掌握好教學(xué)內(nèi)容等原因。（34.

12、2） 資料來源：孫寶志等高等醫(yī)學(xué)教育現(xiàn)代考試方法,32,試題實(shí)例,33,4.5 考試信度偏低的幾種原因,題量偏少，試卷覆蓋面小，考試不足以反映學(xué)生對(duì)知識(shí)的掌握情況； 試題太難或者太容易，導(dǎo)致優(yōu)生和差生都不能或者都能正確回答； 試題區(qū)分度太差，不足以區(qū)分不同水平的學(xué)生； 學(xué)生作弊、考試評(píng)卷給分尺度不一。,34,試卷信度實(shí)例分析,35,五 提高試卷質(zhì)量的措施,36,5.1 制定命題雙向細(xì)目表。命題雙向細(xì)目表是一門課程教學(xué)內(nèi)容和掌握層次兩個(gè)維度下的一種考試命題抽樣方案，它命題人員著手命題、審題、制卷和作效度驗(yàn)證的一個(gè)根本依據(jù)。,37,試題中教學(xué)大綱要求的比例關(guān)系： 熟悉 ：掌握 ：了解 50 ： 3

13、0 ： 20,試題與認(rèn)知分級(jí)的比例關(guān)系： 年 級(jí) 回憶 ：解釋 ：問題解決 12年級(jí) 60 ： 30 ： 10 23年級(jí) 50 ： 30 ： 20 45年級(jí) 40 ： 30 ： 30 資料來源：孫寶志等高等醫(yī)學(xué)教育現(xiàn)代考試方法,38,5.2 考試前對(duì)試卷質(zhì)量的檢驗(yàn)和審查，降低考試試卷的誤差。考試前組織專家和經(jīng)驗(yàn)豐富的教師，對(duì)試卷質(zhì)量進(jìn)行分析、評(píng)價(jià)。,考前試卷質(zhì)量評(píng)價(jià)表,評(píng)價(jià)結(jié)果可以分為三個(gè)層次評(píng)價(jià)：2025分為優(yōu)；1519分為合格；15分以下為不合格。,39,5.3 重視考試結(jié)束后的試卷分析及其反饋信息的利用。對(duì)教師教學(xué)中存在的問題，及時(shí)采取措施改進(jìn)，盡量避免下一輪教學(xué)出現(xiàn)同樣的問題。 5.4

14、 建立和完善試題庫或套題。及時(shí)將試卷分析后的試題定量分析指標(biāo)數(shù)據(jù)輸入試題庫，淘汰不符合要求的試題。逐步采用計(jì)算機(jī)輔助生成試卷，并對(duì)試卷質(zhì)量在考前進(jìn)行定量預(yù)測和篩選。,40,六 試卷綜合分析,41,6.1 命題質(zhì)量分析,（1）試卷內(nèi)容是否覆蓋教學(xué)大綱主要知識(shí)點(diǎn)；各試題考核的知識(shí)點(diǎn)是否與教學(xué)目標(biāo)相一致；試題考核的內(nèi)容是否是本學(xué)科的重點(diǎn)內(nèi)容； （2）試卷的題型、題量是否合適，是否有考核學(xué)生綜合運(yùn)用知識(shí)能力的綜合性題目； （3）試卷語言表述是否準(zhǔn)確，題意是否明確，有無錯(cuò)誤或容易產(chǎn)生誤解和爭議的內(nèi)容； （4）試卷設(shè)計(jì)是否科學(xué)、規(guī)范。名詞術(shù)語、 計(jì)量單位、圖表格式是否規(guī)范。,42,6.2 學(xué)生掌握情況分析

15、,（1）從學(xué)生成績和定量分析結(jié)果看，學(xué)生對(duì)本課程知識(shí)如基本概念、基本原理、基本技能掌握情況以及綜合應(yīng)用所學(xué)知識(shí)分析 、解決問題的能力如何？ （2）分析學(xué)生失分較多和較少的題目，找出原因；,43,6.3 總結(jié)與建議,（1）根據(jù)上述分析總結(jié)考試命題、教師教學(xué)和學(xué)生學(xué)習(xí)中存在的問題與不足，分析其原因； （2）對(duì)今后改進(jìn)課程教學(xué)和考試命題提出改進(jìn)措施，對(duì)學(xué)生學(xué)習(xí)提出建議；,44,6.4.近兩年試卷抽檢發(fā)現(xiàn)的問題,（1）試卷設(shè)計(jì)和印制。部分課程試卷未注明學(xué)年和學(xué)期，沒有標(biāo)準(zhǔn)頁碼；大多數(shù)試卷沒有設(shè)計(jì)各類大題的得分和評(píng)閱人簽名表格；個(gè)別課程試卷的選擇題沒有注明是“單選”還是“多選”； （2）命題質(zhì)量。部分試卷在題型安排上不合理；綜合性題目數(shù)量較少；簡答或論述題的分值平均分配，沒有根據(jù)試題難度賦分；部分試卷的試題存在表述層次不清或文字表述不當(dāng)，題意不夠明確；,45,（3）閱卷情況。評(píng)分標(biāo)準(zhǔn)和參考答案卷不規(guī)范；大多數(shù)試卷均無閱卷教師的簽名；有些課程評(píng)分尺度不統(tǒng)一；個(gè)別試卷有判卷錯(cuò)誤和統(tǒng)分錯(cuò)誤； （4）定量分析。多數(shù)試卷試題難度分布不夠合理，導(dǎo)致試卷總體難度偏易，區(qū)分度較小，部分課程考試成績分布為