1、第十章 素質(zhì)測評的質(zhì)量管理一、信度分析二、效度分析三、工程分析.第一節(jié) 信度分析一、信度的概念 信度就是指測評結(jié)果反映所測素質(zhì)的一致性，也就是說測評結(jié)果的穩(wěn)定性、可靠性程度，即在類似情境下，用同一測評工具對一樣個體反復(fù)施測，所得結(jié)果的一致性程度。.1、信度丈量的實際定義1 傳統(tǒng)的信度實際以為：一個人的檢驗分數(shù)X是由真實分數(shù)T和誤差E兩部分構(gòu)成的，公式是X = T + E。2 因此信度就被定義為：一組丈量分數(shù)的真實方差與實得方差的比，或者是指真實方差占總方差的百分比。公式為：rxx=.3 根據(jù)統(tǒng)計學(xué)實際，真實方差與實得方差的比是一個相關(guān)系數(shù)的平方，所以我們把這種相關(guān)系數(shù)的平方叫做信度系數(shù)。4計算

2、公式為：rxx= .該定義有兩點要留意：1信度指的是一組檢驗分數(shù)或一列丈量的特性，而不是個人分數(shù)的特性。2真分數(shù)的變異數(shù)是不能直接丈量的，因此信度是一個實際上想象的概念，只能根據(jù)一組實得分數(shù)作出估計。信度設(shè)計所處理的主要問題是對檢驗分數(shù)的意義的概化才干，即從一次丈量來推論總體真實分數(shù)能到達何種正確程度。.2、信度系數(shù)r大部分的信度目的都是用相關(guān)系數(shù)來表示，即用同一被試樣本所得的兩組資料的相關(guān)作為丈量一致性的目的，稱做信度系數(shù)。確定檢驗好壞的一個目的。普通的原那么是：當rxx 0.70時，檢驗不能用于對個人作出評價或預(yù)測，而且不能做團體間比較。當0.70rxx0.85時，可用于團體比較。當rxx

3、 0.85時，才可以用來鑒別或預(yù)測個人成果或作用。.信度的范圍：0.001.00幾種心思檢驗的信度系數(shù) 信度檢驗類型 低 中 高成套成就檢驗 0.66 0.92 0.98學(xué)術(shù)才干檢驗 0.56 0.90 0.97成套傾向性檢驗 0.26 0.88 0.96客觀人格檢驗 0.46 0.85 0.97興趣問卷 0.42 0.84 0.93態(tài)度量表 0.47 0.79 0.98.信度系數(shù)需求留意：1在不同情況下，對不同樣本，采用不同方法會得到不同的信度系數(shù)，因此一個檢驗?zāi)軌驎恢褂幸粋€信度系數(shù)2信度系數(shù)只是對丈量分數(shù)不一致性程度的估計，并沒有指出不一致的緣由3獲得較高的信度系數(shù)并不是丈量追求的最終目

4、的，它只是邁向目的的一個步驟，是使檢驗有效的一個必要條件.二、信度的類型和估計方法一重測信度重測信度又稱為穩(wěn)定性系數(shù)，它的計量方法是采用重測法：用同一檢驗，在不同時間對同一群體施測兩次，這兩次檢驗分數(shù)的相關(guān)系數(shù)即為重測系數(shù)。. 重測信度的計算方法是積差相關(guān)法，因此rxx就是皮爾遜的積差相關(guān)系數(shù)。 r=Nxy-xy/ 重測信度的優(yōu)點是：首測和再測中運用同一套測評試題，較之編制兩套等值測評標題要省時、省力；同一套試題無論施測多少次，所測評的屬性是完全一樣的；可作為預(yù)測被試者未來行為表現(xiàn)的根據(jù)，由于該方法提供了有關(guān)測評結(jié)果能否隨著時間而發(fā)生變化的資料。.重測信度的缺陷是：假設(shè)前后兩次施測間隔的時間選

5、擇不當，那么測評易受練習(xí)和記憶的影響；同一組被試者對同一測試先后兩次作答相互之間是不獨立的；兩次施測的環(huán)境不同不會產(chǎn)生測評誤差。.重測信度的假設(shè)：1、所丈量的特性必需是穩(wěn)定的2、遺忘與練習(xí)的效果一樣3、在兩次施測期間被試者的學(xué)習(xí)效果沒有差別由于以上幾條假設(shè)難以做到，所以有些檢驗是不宜用重測法估計信度的。普通在沒有復(fù)本可用，而現(xiàn)實條件又允許反復(fù)施測的情況下才采用此方法.二復(fù)本信度復(fù)本信度又稱為等值系數(shù)，是指在測評性質(zhì)、內(nèi)容、題型、題量、難度等方面均一致的兩個丈量。其方法是，先精心編制兩個相互平行的檢驗復(fù)本，然后用它們丈量同一群體，那么被試者在這兩個檢驗上的分數(shù)的相關(guān)系數(shù)即為等值性系數(shù)。.同重測信

6、度相比，復(fù)本信度控制了兩次施測間的相互影響，因此既適用于難度測試，也適用于速度測試。但完全等值的復(fù)本只在實際上存在，實踐運用中抽樣誤差在所難免，而且編制復(fù)本也需求很大精神。.三內(nèi)部一致性信度內(nèi)部一致性信度主要反映的是檢驗內(nèi)部標題之間的關(guān)系，調(diào)查檢驗的各個標題能否丈量了一樣的內(nèi)容或特質(zhì)。內(nèi)部一致性又分為分半信度和同質(zhì)性信度。 .1、分半信度分半信度系數(shù)是經(jīng)過將檢驗分成兩半，計算這兩半檢驗之間的相關(guān)性而獲得的信度系數(shù)。.2、同質(zhì)性信度homogeneity reliability就是指檢驗內(nèi)部的各標題在多大程度上調(diào)查了同一內(nèi)容。同質(zhì)性是指檢驗的一切標題間性質(zhì)的一致性，即測的是同一種心思特質(zhì)或行為。

7、.同質(zhì)性是丈量單一特質(zhì)的必要條件。這里講的同質(zhì)性是指檢驗標題得分反映的心思特質(zhì)一致同質(zhì)性的判別規(guī)范是：標題間呈高正相關(guān)，假設(shè)相關(guān)很低或是呈負相關(guān)，那么標題為異質(zhì)。.3、克隆巴赫 系數(shù)法 .四評分者信度評分者信度raters reliability是指不同評分者對同樣對象進展評定時的一致性。最簡單的估計方法就是隨機抽取假設(shè)干份答卷，由兩個獨立的評分者打分，再求每份答卷兩個評判分數(shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計算可以用積差相關(guān)方法，也可以采用斯皮爾曼等級相關(guān)方法。假設(shè)評分者再三人以上，而且又采用等級計分時，就需求用肯德爾調(diào)和系數(shù)來求評分者信度。.三、影響信度的要素1、樣本團體的性質(zhì)1任何相關(guān)系數(shù)都要

8、遭到團體中分數(shù)分布的影響，當分布范圍增大時，其信度估計就較高；當差別減小時，相關(guān)系數(shù)隨之下降，信度值那么下降。2信度系數(shù)也遭到樣本團體異質(zhì)性的影響3檢驗的信度不僅受取樣團體中個別差別范圍的影響，也會由于不同團體間平均才干程度的不同而有所不同.2、檢驗的長度普通而言，檢驗越長，信度值越高。1檢驗越長，那么試題取樣或內(nèi)容取樣越恰當2較長的檢驗也不易遭到猜測的影響.3、檢驗的難度檢驗難度與信度沒有簡單的對應(yīng)關(guān)系。但是，當檢驗分數(shù)分布范圍減少時，檢驗的信度降低。因此，假設(shè)一個檢驗對某團體而言太容易，會使所得分數(shù)都集中在高分端，當標題太困難時，得分會集中在低分端。這兩種情況會使檢驗分數(shù)分布范圍減少而使結(jié)

9、果變得不夠可靠.第二節(jié) 效度分析一、效度的概念所謂效度，是指測評結(jié)果對所測素質(zhì)反映的真實程度。效度思索的問題主要有兩個：一是測評丈量什么；二是丈量對測評目的的丈量準確性和真實性有多大.對效度測評的了解：1、效度是針對測評結(jié)果的2、效度是針對某種特定的測評目的的3、效度只需程度上的差別.二、效度的種類和估計方法一內(nèi)容效度 內(nèi)容效度content validity是檢查檢驗內(nèi)容能否是所欲丈量的行為領(lǐng)域的代表性取樣的目的。 內(nèi)容效度留意的問題：1、針對性；2、全面性；3、代表性.好的內(nèi)容效度須滿足的條件：1、要確定好的內(nèi)容范圍，并使檢驗的全部工程均在此范圍內(nèi)。2、檢驗工程應(yīng)是已界定的內(nèi)容范圍的代表性

10、樣本。.確定內(nèi)容效度的方法1、專家判別2、復(fù)本法3、閱歷法.二構(gòu)造效度1、概念構(gòu)造效度指的是檢驗可以丈量到實際上的構(gòu)造或特質(zhì)的程度，或者說用某種心思構(gòu)造或特質(zhì)來闡明檢驗分數(shù)的恰當程度。.2、構(gòu)造效度確實定方法一、建立實際框架，以解釋被試者在測評上的表現(xiàn)二、根據(jù)實際框架，推上演各種有關(guān)測評成果的假設(shè)三、以邏輯和實證的方法來檢驗假設(shè)，假設(shè)不能作出恰當?shù)慕忉?，那么?yīng)該修正上述實際假設(shè)，直到能作出恰當?shù)慕忉尀橹?三效標關(guān)聯(lián)效度也稱效標效度criterion validity，它反映的是檢驗分數(shù)與外在規(guī)范的相關(guān)程度，即檢驗分數(shù)對個體的效標行為表現(xiàn)進展預(yù)測的有效性程度。.效標丈量的本卷須知：1、效標要在實

11、際上表達檢驗有效性的主要方面，即跟所研討的問題有本質(zhì)性的相關(guān)2、效標丈量必需是客觀的，要防止偏見的影響3、在搜集效標資料時，必需留意防止所抽取的代表性樣本中個體的流失 4、效標丈量必需穩(wěn)定可靠，即有高的信度.效標污染criterion contamination，即由于評定者知道檢驗分數(shù)而影響個人的效標成果的情形。 .四外表效度外表效度是指受測者、檢驗結(jié)果的運用者及普通群眾對于某檢驗的試題和方式等所作的客觀判別，判別該檢驗?zāi)芊竦竭_其所聲稱的目的。.外表效度的改良方法：1、根據(jù)特定的檢驗?zāi)康?，修正檢驗稱號、重新安排試題的用詞用字，使它顯得更切題、更合理2、改良版面設(shè)計、印刷、裝訂、紙質(zhì)，使得整個

12、檢驗看上去是經(jīng)過精心設(shè)計的，進而博得運用者的注重.三、影響檢驗效度的要素一就內(nèi)容效度而言：1、缺乏學(xué)科專家或資深教師參與擬題2、雙向細目表設(shè)計不良3、預(yù)試的題數(shù)不多且質(zhì)量不良，經(jīng)試題分析淘汰部分試題后難以到達雙向細目表上的要求.二就建構(gòu)效度來說：1、該檢驗的心思學(xué)實際建構(gòu)尚不完備，有待加強或修正2、標題設(shè)計不良，與原實際脫節(jié)3、所提出待考驗的假設(shè)不當.三外表效度方面1、版面設(shè)計與印刷的質(zhì)量不良2、遣詞用字不能配合受測者的程度與背景3、指點手冊或技術(shù)手冊內(nèi)容不夠完備，未能作充分的溝通.四效標關(guān)聯(lián)效度1、樣本的性質(zhì)2、事先挑選與樣本同質(zhì)性 .第三節(jié) 工程分析工程分析是指根據(jù)被試者的反響堆組成測評的

13、各個標題進展分析，從而評價其適用的程序和方法。工程分析既能協(xié)助測評運用者評價現(xiàn)有的各種測評，還非常適宜特殊的和非正式的測評的編制.工程分析包括定性分析和定量分析。定性分析包括思索內(nèi)容效度、標題編寫的恰當性和有效性等定量分析主要是指標題難度和區(qū)分度的丈量.一、工程難度難度是指標題的難易程度在才干檢驗中通常需求一個反映難度程度的目的，在非才干測評中，類似的目的是“通俗性，即取自一樣總體的樣本中，能在答案范圍內(nèi)回答該題的人數(shù)。.一難度的估計方法1、二值計分標題的難度1經(jīng)過率法假設(shè)忽略應(yīng)試者作答時的猜測成分，二值計分的檢驗標題難度普通用經(jīng)過率表示，即答對或經(jīng)過該標題的人數(shù)占總?cè)藬?shù)的比.2高低分組法當應(yīng)

14、試者人數(shù)較多時，計算難度的一個簡便方法是，先將應(yīng)試者按照檢驗總分的高低次序陳列，然后分出人數(shù)相等的高分組和低分組，再分別求出此兩組在每一標題上的經(jīng)過率，以兩組經(jīng)過率的平均值作為每一標題的難度。.2、非二值計分的標題難度計算很多檢驗標題是按多級方式計分的，如論述題，有從零分到總分值之間的多種能夠結(jié)果。對于這類非二值計分的標題，通常用平均得分率表示難度.二難度確實定1、試題難度確實定要看測評的目的是什么，測評的性質(zhì)以及標題方式有什么特點當p等于0.5時區(qū)別力最高，為了使測評具有盡能夠大的區(qū)別力，應(yīng)該選擇難度在0.5左右的試題。.假設(shè)我們編制的一個測評是為了選拔或進展診斷，應(yīng)該比較多地選擇難度值接近

15、錄取率的標題。編制的測評是要診斷或挑選出少量交叉的被試者，假設(shè)公司中的末位被淘汰，那么標題p值應(yīng)該高，使得大部分的人都可以順利經(jīng)過，而只需那些差的被試者不能經(jīng)過.2、測評難度確實定人的心思特征根本上是呈正態(tài)分布的，因此大多數(shù)測評結(jié)果應(yīng)該符合正態(tài)分布的模型。假設(shè)我們選擇的被試者具有代表性，那么測評總分應(yīng)該接近正態(tài)分布在某個測評分數(shù)出現(xiàn)了正偏態(tài)或負偏態(tài)時，并非都是需求修正的，由于有些效標參照的測評，出現(xiàn)偏態(tài)分布是允許的。.二、工程區(qū)分度工程區(qū)分度，也叫工程鑒別度，是指測評的標題對于所研討的人的特性的區(qū)分程度或鑒別才干。每個標題都可以看做一個獨立的測評.三、工程反響實際一工程反響實際的概念工程反響實際又叫潛特質(zhì)實際，它不是直接對被試者標題的反響進展統(tǒng)計分析的，而是找到被試者才干與標題反響概論之間的函數(shù)關(guān)系，經(jīng)過這個函數(shù)來估計出被試者的才干.二工程反響實際的假設(shè)1、潛在特質(zhì)空間的單維性假設(shè)，在工程反響實際中，假定測評中的一切測題都是丈量同一種才干潛在特質(zhì)或者同一種才干的不同方面2、標題間的空間獨立性假設(shè)3、工程特征曲線假設(shè)4、非速度實驗假設(shè).三工程反響實際的優(yōu)勢1、經(jīng)典測評實際根據(jù)其工程分析法所得到的工程統(tǒng)計量受樣本的抽樣變動大2、經(jīng)典測評實際中，被試者的測評分數(shù)依賴于工程難度的高低，參與不同檢驗的被試者無法直接比較3、經(jīng)典測評實