第四章人員測評系統(tǒng)的構(gòu)建與效度信度檢驗第四章人員測評系統(tǒng)的構(gòu)建與效度信度檢驗1本章內(nèi)容人員測評系統(tǒng)的構(gòu)建與效度信度檢驗1、測評系統(tǒng)的構(gòu)成2、測評的效度3、測評的信度4、信度與效度的關(guān)系及提升策略本章內(nèi)容人員測評系統(tǒng)的構(gòu)建與1、測評系統(tǒng)的構(gòu)成2一、測評系統(tǒng)的構(gòu)成人員測評過程：測評考官根據(jù)崗位需要，運用測評工具對被測人員施以刺激，被測人員對此刺激做出反應(yīng)，測評考官對被測人員的反應(yīng)情況進行度量與評價。測評考官測評工具被測人員一、測評系統(tǒng)的構(gòu)成人員測評過程：測評考官根據(jù)崗位需要，運用測3測評考官測評體系的主體，是決定人員測評能否成功的關(guān)鍵要素。在我國，測評考官分三類：具有人員測評專門知識的專門人士（咨詢師、高校教師、研究人員）從事人力資源管理實務(wù)的專業(yè)人士（）人員使用部門的資深人士（主管或骨干）測評考官測評體系的主體，是決定人員測評能否成功的關(guān)鍵要素。4測評考官應(yīng)具備的基本素質(zhì)：良好的個人品格和道德修養(yǎng)測評組織方面的知識（程序公平）和與測評內(nèi)容相關(guān)的知識（評分公平）測評技巧（無領(lǐng)導(dǎo)小組討論中的座位擺放，面試中隨機場景的設(shè)置等）工作經(jīng)驗和社會經(jīng)驗（經(jīng)驗直覺判斷）人員測評系統(tǒng)的構(gòu)建與效度信度檢驗課件5測評工具與方法能力測驗（一般能力、特殊能力）成就測驗（知識測驗、工作樣本測試）人格量表（自陳式量表）面試（結(jié)構(gòu)化、非結(jié)構(gòu)化）評價中心（針對管理者）書面信息分析（申請表、履歷表、人事檔案、推薦信）測評工具與方法能力測驗（一般能力、特殊能力）6測評客體——被測人員測評焦慮測評前訓(xùn)練：針對測評的項目做大量的強化練習(xí)適應(yīng)性訓(xùn)練認(rèn)識技能訓(xùn)練要實現(xiàn)人-職匹配，就要對其全過程進行監(jiān)控，監(jiān)控的依據(jù)和標(biāo)準(zhǔn)主要是測評的效度和信度測評客體——被測人員測評焦慮7二、測量的信度一、信度()（一）信度的概念：是測量結(jié)果的一致性()或者穩(wěn)定性(-)程度，也就是研究者對相同或者相似的測量對象進行不同形式或不同時間的測量所得結(jié)果的一致性程度。二、測量的信度一、信度()8在測量理論中，信度是指一組測驗分?jǐn)?shù)的真變異數(shù)與總變異數(shù)的比率。在實際應(yīng)用中，它通常以同一樣本所得的兩組資料的相關(guān)作為測量一致性的指標(biāo)。信度能夠回答測量工具是否穩(wěn)定;測量結(jié)果是否可以推論，也就是概化能力，即從一次測量來推論總體的正確程度。在測量理論中，信度是指一組測驗分?jǐn)?shù)的真變異數(shù)與總變異數(shù)的比率9我們可以舉例說明信度的問題：如果想知道某人的體重，我們可以叫兩個人來估計，一個人的估計為150鎊，另一個人的估計為300鎊，那么我們就可以認(rèn)為，叫別人來估計體重是非常不可信的方法。如果用磅秤，連續(xù)測量兩次的結(jié)果都是相同的，因而我們可以說，在測量體重方面，用磅秤的方法要比叫人來估計更可信。我們可以舉例說明信度的問題：如果想知道10例:如果想知道一個人的智商，首先我們請對這個人熟悉的兩個老師來估計，一個人的估計為110，另一個人的估計為150，顯然，這種巨大的差距說明叫人來估計智商是非常不可信的方法。但是，用智力測量量表，連續(xù)測量兩次的結(jié)果差別卻很小。因而我們可以說，在測量智商方面，用智力測量量表的方法要比叫人來估計具有更高的信度。在人員測評的過程中，應(yīng)該選擇具有較高信度的測量工具，這樣才能保證測量結(jié)果的可靠性。信度就是對隨機誤差的一種測量，隨機誤差決定了信度的高低。例:如果想知道一個人的智商，首先我們請對這個人熟悉的兩個老師11（二）信度的種類由于誤差來源的不同，對信度的測量也有不同的方法。具體有以下三種不同的信度類型和相應(yīng)的評估方法。1.再測信度()（與時間有關(guān)）又稱為穩(wěn)定性系數(shù)，它是指對同樣的一個測驗在不同的時間對相同的群體測量兩次，這兩次測量的分?jǐn)?shù)的相關(guān)系數(shù)就是再測信度。我們通過再測信度的相關(guān)系數(shù)可以了解測量結(jié)果在經(jīng)過一段時間后的穩(wěn)定程度。（二）信度的種類由于誤差來源的不同，對信度的測量也有不同的12再測信度的兩次測評使用的是同一個測評工具，同一種測評方式，但較難把握的是兩次測評間隔的時間長短。時間間隔過長，被測者特征將隨時間的增加而發(fā)展變化，由此計算的穩(wěn)定系數(shù)將失去意義；若時間間隔過短，又可能產(chǎn)生記憶與練習(xí)效應(yīng)，這也將影響穩(wěn)定系數(shù)。再測信度的兩次測評使用的是同一個測評工具，同一種測評方式，但132.與測評內(nèi)容有關(guān)的信度單個項目的信度組成信度內(nèi)部一致性信度（主要關(guān)注的是測驗內(nèi)部題目之間的關(guān)系。它所考慮的問題是一個測量工具所有的維度測量的均一性）折半信度（將一份測驗按照一定的方法分成盡可能平行的兩個半份測驗(例如按照奇偶分半)，然后計算兩半之間的相關(guān)，得到的相關(guān)系數(shù)即為折半信度系數(shù)）復(fù)本信度

2.與測評內(nèi)容有關(guān)的信度143.與評分者有關(guān)的評分者信度相關(guān)系數(shù)法（隨機抽取若干份答卷，有兩個以上獨立的評分者打分，再求每份答卷兩個評判分?jǐn)?shù)的相關(guān)系數(shù)）概化系數(shù)和可靠性系數(shù)（相對誤差-概化系數(shù)-常模參照測評，絕對誤差-可靠性系數(shù)-標(biāo)準(zhǔn)參照測評）3.與評分者有關(guān)的評分者信度15（三）影響信度的因素1.被試者的特征被試者的特征對信度的影響主要表現(xiàn)在被試者在測量屬性方面的個體差異上。如果一種測量工具對某種屬性的測量得分的差別幅度越大，那么該測量工具能區(qū)別開被測量的個體，因而我們說該測量工具有較好的信度;個體之間被測量的特征或者屬性差別差異很小，那么很難進行可靠的測量，測驗信度可能會很低。（三）影響信度的因素1.被試者的特征162.測驗的長度和難度一般來說，測量分?jǐn)?shù)分布越廣，信度系數(shù)就相對越高。這就好比讓你來速記一組數(shù)字，隨著讓你觀察這組數(shù)字的時間的延長，你會發(fā)現(xiàn)你能夠描述的數(shù)字的準(zhǔn)確性和詳細程度也在不斷提高。一個給定的測驗，當(dāng)增加測驗的長度并且相應(yīng)地延長測驗的時間的時候，也會發(fā)生上述類似的效果。2.測驗的長度和難度一般來說，測量分?jǐn)?shù)分布越廣，信度系數(shù)就相173.不同信度測驗方法的選擇前面我們可以看到，不同的信度測量方法處理測量誤差的方式都不同，這樣在我們估計信度的過程中對不同方法的選擇就會產(chǎn)生不同的估計值。有些方法傾向于對信度范圍做上限估計，有些傾向于做下限估計，這樣針對不同特點的測驗我們要學(xué)會選擇估計方法。3.不同信度測驗方法的選擇184.測驗過程中的誤差測試現(xiàn)場因為照明、背景音樂、溫度、噪聲、通風(fēng)、桌椅和空間不符合人體工程學(xué)等原因?qū)е卤辉嚲窈蜕眢w狀況的不適，或者被試由于不熟悉答題的樣式，答題經(jīng)驗的不足或者生病等突發(fā)狀況的發(fā)生，都會導(dǎo)致測量的誤差。4.測驗過程中的誤差19三、測量的效度（一）效度的含義和特性效度（）即有效性，它是指測量工具或手段能夠準(zhǔn)確測出所需測量的某素質(zhì)特征的程度。效度是指所測量到的結(jié)果反映所想要考察內(nèi)容的程度，測量結(jié)果與要考察的內(nèi)容越吻合，則效度越高；反之，則效度越低?；蛘吆唵蔚卣f是指一個測驗的準(zhǔn)確性、有用性。三、測量的效度（一）效度的含義和特性20人員測評系統(tǒng)的構(gòu)建與效度信度檢驗課件21如果我們用體重秤來測身高，顯然這種測量工具的選擇是不正確的，所以說這個測量工具沒有效度。測評過程：測評工具的研制、計分和指導(dǎo)語的標(biāo)準(zhǔn)化、被試作答反應(yīng)、主試或評分者、測驗的實施、數(shù)據(jù)整理、統(tǒng)計分析、結(jié)果的解釋。每一步都要保證其科學(xué)性和準(zhǔn)確性，這樣才能保證測量的結(jié)果和結(jié)論是有效而正確的。如果我們用體重秤來測身高，顯然這種測量工具的選擇是不正確的，22效度的性質(zhì)1.效度具有相對性任何測驗的效度是對一定的目標(biāo)來說的，或者說測驗只有用于與測驗?zāi)繕?biāo)一致的目的和場合才會有效。所以，在評價測驗的效度時，必須考慮效度測驗的目的與功能。2.效度具有連續(xù)性測驗效度通常用相關(guān)系數(shù)表示，它只有程度上的不同，而沒有“全有”或“全無”的區(qū)別。效度是針對測驗結(jié)果的。效度的性質(zhì)23效標(biāo)和效標(biāo)測量效標(biāo)，即衡量測驗有效性的參照標(biāo)準(zhǔn)，指的是可以直接而且獨立測量的我們感興趣的行為。我們感興趣的行為，就是要預(yù)測的行為，這是一個總的觀念，故必須以可操作的測量來確定才有實際意義。因此有必要把效標(biāo)細分為兩個層次，其一是理論水平的“觀念效標(biāo)”，其二是操作定義水平的“效標(biāo)測量”。效標(biāo)和效標(biāo)測量效標(biāo)，即衡量測驗有效性的參照標(biāo)準(zhǔn)，指的是可24常用的效標(biāo)有：1、學(xué)業(yè)成就：如在校成績、學(xué)歷、有關(guān)的獎勵和榮譽、教師對學(xué)生智力的評定等，常作為智力測驗的效標(biāo)，也可作為某些多重能力傾向測驗和人格測驗的效標(biāo)。2、實際工作表現(xiàn)：是最滿意的效標(biāo)測量，為一般智力測驗、人格測驗和一些能力傾向測驗的效標(biāo)；3、特殊訓(xùn)練成績；4、精神病診斷；5、等級評定：是觀察者根據(jù)測驗欲測量的心理特質(zhì)在被試身上的表現(xiàn)而作出的一種個人判斷；6、效標(biāo)團體的比較：即找出兩個在效標(biāo)表現(xiàn)上有差別的團體，比較他們在測驗分?jǐn)?shù)上的差別；7、先前有效的測驗：一個新測驗與先前有效的測驗的相關(guān)也經(jīng)常作為效度檢驗的證據(jù)。常用的效標(biāo)有：25（二）效度的類型根據(jù)效度評估方法不同，效度可以從六個角度來劃分：內(nèi)容、反應(yīng)過程、內(nèi)部結(jié)構(gòu)、與其他變量的關(guān)系、測驗結(jié)果。1.內(nèi)容效度()內(nèi)容效度就是檢驗測驗的內(nèi)容對所要考核范圍的代表性程度。例如面試的時候?qū)σ粋€技術(shù)人員所掌握的技術(shù)水平的測驗可以通過選取不同水平的具有代表性的技術(shù)問題來測量，這樣就能大致推斷技術(shù)人員的技術(shù)水平。（二）效度的類型根據(jù)效度評估方法不同，效度可以從六個角度來26內(nèi)容效度指的是測驗題目對有關(guān)內(nèi)容或行為取樣的適用性，從而確定測驗是否是所欲測量的行為領(lǐng)域的代表性取樣。目的→“構(gòu)念”→“構(gòu)念”具體化→確定測評內(nèi)容內(nèi)容效度指的是測驗題目對有關(guān)內(nèi)容或行為取樣的適用性，從而確定27不同于其他幾種效度，內(nèi)容效度首先重點是強調(diào)新測量工具的建構(gòu)而不是己有測量工具的效度。設(shè)計并采用這種方法的目的是幫助確保測量工具的建構(gòu)是針對所要測量的內(nèi)容。這種方法主要是依靠專家根據(jù)經(jīng)驗來判斷一個測量工具的效度，而不是依靠相關(guān)系數(shù)。因此，內(nèi)容效度被稱作一種"描述性"效度。不同于其他幾種效度，內(nèi)容效度首先重點是強調(diào)新測量工具的建構(gòu)而28為了確保內(nèi)容效度的客觀，可以通過以下的流程來保證:1.對所測量的內(nèi)容進行全面的分析，盡可能地搜索到最齊全的資料。2.挑選參與內(nèi)容效度研究的專家，這些專家應(yīng)該能夠承擔(dān)相關(guān)測量范圍的職責(zé)并且具有這些職責(zé)所具備的知識、技術(shù)和能力。3.瓢選測量內(nèi)容。4.評估顫選測量工具與被測量內(nèi)容的相關(guān)性。為了確保內(nèi)容效度的客觀，可以通過以下的流程來保證:292.基于反應(yīng)過程的效度

3.基于內(nèi)部結(jié)構(gòu)的效度——建構(gòu)效度建構(gòu)效度：指測驗?zāi)軌驕y量到理論上的構(gòu)想或特質(zhì)的程度，即測驗的結(jié)果是否能證實或解釋某一理論的假設(shè)、術(shù)語或構(gòu)想，解釋的程度如何。例如我捫根據(jù)理論的假設(shè)結(jié)構(gòu)來編制一份心理測量量表或者測驗，如果實際測量結(jié)果所測得的實際分?jǐn)?shù)經(jīng)過統(tǒng)計檢驗?zāi)軌蛴行У亟忉屖茉囌叩男睦硖刭|(zhì)，那么我們說這個量表或者測驗具有良好的建構(gòu)效度。2.基于反應(yīng)過程的效度

3.基于內(nèi)部結(jié)構(gòu)的效度——建構(gòu)效度303.基于與其他變量的關(guān)系的效度—效標(biāo)關(guān)聯(lián)效度

()（1）效標(biāo)與效標(biāo)測量效標(biāo)是衡量一個測驗有效性的參照標(biāo)準(zhǔn)。效標(biāo)測量就是將效標(biāo)轉(zhuǎn)化為某種可以操作的測量指標(biāo)。效標(biāo)具有四個特性:多樣性、復(fù)雜性、特殊性、時間性。（2）效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度是指測驗與外在效標(biāo)間關(guān)聯(lián)的程度。即一個測驗對處于特定情境中的個體行為進行預(yù)測時的有效性(準(zhǔn)確性)。效標(biāo)效度主要考慮的是測驗分?jǐn)?shù)與效標(biāo)之間的關(guān)系。3.基于與其他變量的關(guān)系的效度—效標(biāo)關(guān)聯(lián)效度

()（131效標(biāo)關(guān)聯(lián)效度根據(jù)使用時間間隔的長短又分為同時效度與預(yù)測效度。同時效度()是指收集效標(biāo)材料與測驗分?jǐn)?shù)差不多同時進行，多用于對現(xiàn)有員工的測評。例如，有兩個智力測驗A和B，A實施起來很費時間，而B測驗時間短。如果B的成績與A的成績有很高的相關(guān)，則B可以作為A的替代測驗。效標(biāo)關(guān)聯(lián)效度根據(jù)使用時間間隔的長短又分為同時效度與預(yù)測效度。32預(yù)測效度()是指收集效標(biāo)材料在實際測量結(jié)束后隔一段時間再獲得，多用于人員選拔和配置等工作。區(qū)分同時效度與預(yù)測效度的標(biāo)準(zhǔn)不是時間，而是測驗的目的。前者主要用于測量現(xiàn)在的狀態(tài)，后者主要用于預(yù)測未來的情況。例如，入學(xué)考試成績?nèi)裟軌蚝芎玫仡A(yù)測入學(xué)后的學(xué)習(xí)成績的話，這個入學(xué)考試的預(yù)測效度就高。預(yù)測效度()是指收集效標(biāo)材料在實際測量結(jié)束后隔一段時間再獲33（3）確定效標(biāo)關(guān)聯(lián)效度的方法A.相關(guān)法相關(guān)法是指計算測驗結(jié)果分?jǐn)?shù)與效標(biāo)之間的相關(guān)，得到的結(jié)果為效度系數(shù)。計算效度系數(shù)常用的相關(guān)方法是積差相關(guān)又叫皮爾森()相關(guān)。要使用積差相關(guān)必須同時具備如下兩個條件:①兩個變量都是由測量獲得的連續(xù)性數(shù)據(jù)，即等距或等比數(shù)據(jù)。②兩個變量的總體都呈正態(tài)分布，或接近正態(tài)分布。一般來說，相關(guān)系數(shù)必須達到統(tǒng)計上的顯著水平。如果其他情況己定，那么效度系數(shù)越高越好。（3）確定效標(biāo)關(guān)聯(lián)效度的方法34B.區(qū)分度區(qū)分度是指預(yù)測源分?jǐn)?shù)是否能區(qū)分由效標(biāo)測量所定義的群體。操作方法是選取兩種效標(biāo)A和B，先根據(jù)A將群體區(qū)分開來，再用B將群體區(qū)分開來，根據(jù)兩種效標(biāo)區(qū)分的結(jié)果來判斷，如果A和B區(qū)分的結(jié)果一致，那么說明效度較高。B.區(qū)分度35C.命中率命中率是根據(jù)測驗所做的正確決定的比率。它主要用作取舍決策。某種測量工具的效度高不高，主要是看做的決定是否與實際一致，這就是命中率的高低。命中率包括有：總命中率、正命中率、負命中率。C.命中率36人員測評系統(tǒng)的構(gòu)建與效度信度檢驗課件37人員測評系統(tǒng)的構(gòu)建與效度信度檢驗課件38對于測驗的效果，從圖2-2中可以更直觀地理解。在左下角的正確拒絕區(qū)域中，我們可以看出，這部分的被試是屬于工作成績和測驗分?jǐn)?shù)都很低的被試群體，所以拒絕這些被試是正確的;左上角的區(qū)域是工作成績高但是測驗分?jǐn)?shù)卻相對較低的被試群體，這里如果拒絕了，顯然是錯誤的;右下角的區(qū)域是屬于工作成績低但是測驗分?jǐn)?shù)卻相對較高的被試群體，如果錄取了他們，顯然是錯誤的;右上角的區(qū)域是工作成績高而且測驗分?jǐn)?shù)也高的被試群體，錄取他們顯然是正確的。對于測驗的效果，從圖2-2中可以更直觀地理解。395.基于測評結(jié)果的效度統(tǒng)計結(jié)論效度（衡量對測評數(shù)據(jù)進行分析時所用程序與方法的有效性的指標(biāo)）重點是測評本身的質(zhì)量和統(tǒng)計方法的恰當(dāng)性內(nèi)部效度（目的：找出導(dǎo)致績效的原因）外部效度（測評結(jié)果能一般化和普遍適用于樣本所在的總體以及其他同類總體）內(nèi)部效度是外部效度的必要條件，但不是充分條件5.基于測評結(jié)果的效度統(tǒng)計結(jié)論效度（衡量對測評數(shù)據(jù)進行分析時40(三)影晌效度的因素效度的大小主要受以下幾方面因素影響:1.測量工具本身因素如果一個測量工具本身存在誤差，那么就是不可靠的。這些誤差越多，不可靠性就越大，效度也隨之降低。具體表現(xiàn)在測量內(nèi)容的難度不適當(dāng)、區(qū)分度不高、試題題目描述內(nèi)容或選項設(shè)置存在迷惑性問題、題目太多、測量內(nèi)容的范圍太廣等。這些測量工具本身的因素對效度的影響是很大的，如果不注意控制，那么就無法保證測量的較高效度。(三)影晌效度的因素效度的大小主要受以下幾方面因素影響:412.樣本的因素人是復(fù)雜的，參加測試的人會受到各方面因素的影響，有可能一頓油膩的早飯就能讓一個參加測試的人臨場發(fā)揮表現(xiàn)不佳。被試者的情緒、動機、興趣、身體健康、態(tài)度等方面的因素都會影響測試的效度。在其他條件相同的情況下，被測者異質(zhì)性越高，效度越高，因為效度受到被試團體分?jǐn)?shù)分布的影響2.樣本的因素人是復(fù)雜的，參加測試的人會受到各方面因素的影423.效標(biāo)污染效標(biāo)污染()是指效標(biāo)受到預(yù)測變量以外的變量的影響，偏見結(jié)果導(dǎo)致效度下降。例如當(dāng)我們想考核一個員工的工作績效的時候，如果評價者帶有個人的種族、性別偏見或者個人恩怨來考核下屬的時候，那么效標(biāo)就被污染了。顯然，這樣的考核結(jié)果肯定與實際情況相差甚遠，效度也隨之下降。而且上述行為對效度的影響程度也是無法預(yù)知的。3.效標(biāo)污染效標(biāo)污染()是指效標(biāo)受到預(yù)測變量以外的變量43研究者可以通過以下的方法來控制效標(biāo)污染:一是改變效度研究本身的設(shè)計;二是采用部分相關(guān)的統(tǒng)計方法。只有盡可能地控制效標(biāo)污染，才能更準(zhǔn)確地了解測量工具和效標(biāo)間的真實關(guān)系。研究者可以通過以下的方法來控制效標(biāo)污染:44四、信度和效度之間的關(guān)系根據(jù)前面所論述的信度和效度的定義和作用可以看出，信度和效度所解決的是不同類型的誤差問題。信度——一致性、穩(wěn)定性效度——有效性四、信度和效度之間的關(guān)系根據(jù)前面所論述45人員測評系統(tǒng)的構(gòu)建與效度信度檢驗課件46信度是一致性的函數(shù)，不管它是否射在靶心上，只要是一種密集點狀態(tài)就可以。效度是準(zhǔn)確性的函數(shù)，在這里就是射中靶心周圍點的函數(shù)。失敗的信度可以看作是一種隨機誤差，失敗的效度可以看作是一種系統(tǒng)誤差。缺乏信度或者效度的測量都是沒有用的。信度是一致性的函數(shù)，不管它是否射在靶心上，只要是一種密集點狀47可見，效度是測量的首要條件，信度是效度的必要條件而非充分條件。如果信度很低，那么效度也不可能高，因為如果測量的數(shù)據(jù)不準(zhǔn)確，就不能有效地說明所研究的對象。即使信度很高，效度也未必高?？梢?，效度是測量的首要條件，信度是效度的必要條件而非充分條件48例如，如果我們想測量一個人的數(shù)學(xué)能力，但是測驗是用文言文出題，而這個人的文言文能力很差，那么測量出來的結(jié)果是零分。因為測量的方法不得當(dāng)，所以我們不能說這個人的數(shù)學(xué)能力很差。這說明信度很高，但是測量選擇的方法是錯誤的，所以效度不高。例如，如果我們想測量一個人的數(shù)學(xué)能力，但是測驗是用文言文出題49信度與效度的提升策略測評考官測評工具被測者施測場景信度與效度的提升策略測評考官50人員測評系統(tǒng)的構(gòu)建與效度信度檢驗課件51謝謝1月-2300:10:3500:1000:101月-231月-2300:1000:1000:10:351月-231月-2300:10:352023/1/40:10:35謝謝12月-2212:43:0912:4312:4312第四章人員測評系統(tǒng)的構(gòu)建與效度信度檢驗第四章人員測評系統(tǒng)的構(gòu)建與效度信度檢驗53本章內(nèi)容人員測評系統(tǒng)的構(gòu)建與效度信度檢驗1、測評系統(tǒng)的構(gòu)成2、測評的效度3、測評的信度4、信度與效度的關(guān)系及提升策略本章內(nèi)容人員測評系統(tǒng)的構(gòu)建與1、測評系統(tǒng)的構(gòu)成54一、測評系統(tǒng)的構(gòu)成人員測評過程：測評考官根據(jù)崗位需要，運用測評工具對被測人員施以刺激，被測人員對此刺激做出反應(yīng)，測評考官對被測人員的反應(yīng)情況進行度量與評價。測評考官測評工具被測人員一、測評系統(tǒng)的構(gòu)成人員測評過程：測評考官根據(jù)崗位需要，運用測55測評考官測評體系的主體，是決定人員測評能否成功的關(guān)鍵要素。在我國，測評考官分三類：具有人員測評專門知識的專門人士（咨詢師、高校教師、研究人員）從事人力資源管理實務(wù)的專業(yè)人士（）人員使用部門的資深人士（主管或骨干）測評考官測評體系的主體，是決定人員測評能否成功的關(guān)鍵要素。56測評考官應(yīng)具備的基本素質(zhì)：良好的個人品格和道德修養(yǎng)測評組織方面的知識（程序公平）和與測評內(nèi)容相關(guān)的知識（評分公平）測評技巧（無領(lǐng)導(dǎo)小組討論中的座位擺放，面試中隨機場景的設(shè)置等）工作經(jīng)驗和社會經(jīng)驗（經(jīng)驗直覺判斷）人員測評系統(tǒng)的構(gòu)建與效度信度檢驗課件57測評工具與方法能力測驗（一般能力、特殊能力）成就測驗（知識測驗、工作樣本測試）人格量表（自陳式量表）面試（結(jié)構(gòu)化、非結(jié)構(gòu)化）評價中心（針對管理者）書面信息分析（申請表、履歷表、人事檔案、推薦信）測評工具與方法能力測驗（一般能力、特殊能力）58測評客體——被測人員測評焦慮測評前訓(xùn)練：針對測評的項目做大量的強化練習(xí)適應(yīng)性訓(xùn)練認(rèn)識技能訓(xùn)練要實現(xiàn)人-職匹配，就要對其全過程進行監(jiān)控，監(jiān)控的依據(jù)和標(biāo)準(zhǔn)主要是測評的效度和信度測評客體——被測人員測評焦慮59二、測量的信度一、信度()（一）信度的概念：是測量結(jié)果的一致性()或者穩(wěn)定性(-)程度，也就是研究者對相同或者相似的測量對象進行不同形式或不同時間的測量所得結(jié)果的一致性程度。二、測量的信度一、信度()60在測量理論中，信度是指一組測驗分?jǐn)?shù)的真變異數(shù)與總變異數(shù)的比率。在實際應(yīng)用中，它通常以同一樣本所得的兩組資料的相關(guān)作為測量一致性的指標(biāo)。信度能夠回答測量工具是否穩(wěn)定;測量結(jié)果是否可以推論，也就是概化能力，即從一次測量來推論總體的正確程度。在測量理論中，信度是指一組測驗分?jǐn)?shù)的真變異數(shù)與總變異數(shù)的比率61我們可以舉例說明信度的問題：如果想知道某人的體重，我們可以叫兩個人來估計，一個人的估計為150鎊，另一個人的估計為300鎊，那么我們就可以認(rèn)為，叫別人來估計體重是非常不可信的方法。如果用磅秤，連續(xù)測量兩次的結(jié)果都是相同的，因而我們可以說，在測量體重方面，用磅秤的方法要比叫人來估計更可信。我們可以舉例說明信度的問題：如果想知道62例:如果想知道一個人的智商，首先我們請對這個人熟悉的兩個老師來估計，一個人的估計為110，另一個人的估計為150，顯然，這種巨大的差距說明叫人來估計智商是非常不可信的方法。但是，用智力測量量表，連續(xù)測量兩次的結(jié)果差別卻很小。因而我們可以說，在測量智商方面，用智力測量量表的方法要比叫人來估計具有更高的信度。在人員測評的過程中，應(yīng)該選擇具有較高信度的測量工具，這樣才能保證測量結(jié)果的可靠性。信度就是對隨機誤差的一種測量，隨機誤差決定了信度的高低。例:如果想知道一個人的智商，首先我們請對這個人熟悉的兩個老師63（二）信度的種類由于誤差來源的不同，對信度的測量也有不同的方法。具體有以下三種不同的信度類型和相應(yīng)的評估方法。1.再測信度()（與時間有關(guān)）又稱為穩(wěn)定性系數(shù)，它是指對同樣的一個測驗在不同的時間對相同的群體測量兩次，這兩次測量的分?jǐn)?shù)的相關(guān)系數(shù)就是再測信度。我們通過再測信度的相關(guān)系數(shù)可以了解測量結(jié)果在經(jīng)過一段時間后的穩(wěn)定程度。（二）信度的種類由于誤差來源的不同，對信度的測量也有不同的64再測信度的兩次測評使用的是同一個測評工具，同一種測評方式，但較難把握的是兩次測評間隔的時間長短。時間間隔過長，被測者特征將隨時間的增加而發(fā)展變化，由此計算的穩(wěn)定系數(shù)將失去意義；若時間間隔過短，又可能產(chǎn)生記憶與練習(xí)效應(yīng)，這也將影響穩(wěn)定系數(shù)。再測信度的兩次測評使用的是同一個測評工具，同一種測評方式，但652.與測評內(nèi)容有關(guān)的信度單個項目的信度組成信度內(nèi)部一致性信度（主要關(guān)注的是測驗內(nèi)部題目之間的關(guān)系。它所考慮的問題是一個測量工具所有的維度測量的均一性）折半信度（將一份測驗按照一定的方法分成盡可能平行的兩個半份測驗(例如按照奇偶分半)，然后計算兩半之間的相關(guān)，得到的相關(guān)系數(shù)即為折半信度系數(shù)）復(fù)本信度

2.與測評內(nèi)容有關(guān)的信度663.與評分者有關(guān)的評分者信度相關(guān)系數(shù)法（隨機抽取若干份答卷，有兩個以上獨立的評分者打分，再求每份答卷兩個評判分?jǐn)?shù)的相關(guān)系數(shù)）概化系數(shù)和可靠性系數(shù)（相對誤差-概化系數(shù)-常模參照測評，絕對誤差-可靠性系數(shù)-標(biāo)準(zhǔn)參照測評）3.與評分者有關(guān)的評分者信度67（三）影響信度的因素1.被試者的特征被試者的特征對信度的影響主要表現(xiàn)在被試者在測量屬性方面的個體差異上。如果一種測量工具對某種屬性的測量得分的差別幅度越大，那么該測量工具能區(qū)別開被測量的個體，因而我們說該測量工具有較好的信度;個體之間被測量的特征或者屬性差別差異很小，那么很難進行可靠的測量，測驗信度可能會很低。（三）影響信度的因素1.被試者的特征682.測驗的長度和難度一般來說，測量分?jǐn)?shù)分布越廣，信度系數(shù)就相對越高。這就好比讓你來速記一組數(shù)字，隨著讓你觀察這組數(shù)字的時間的延長，你會發(fā)現(xiàn)你能夠描述的數(shù)字的準(zhǔn)確性和詳細程度也在不斷提高。一個給定的測驗，當(dāng)增加測驗的長度并且相應(yīng)地延長測驗的時間的時候，也會發(fā)生上述類似的效果。2.測驗的長度和難度一般來說，測量分?jǐn)?shù)分布越廣，信度系數(shù)就相693.不同信度測驗方法的選擇前面我們可以看到，不同的信度測量方法處理測量誤差的方式都不同，這樣在我們估計信度的過程中對不同方法的選擇就會產(chǎn)生不同的估計值。有些方法傾向于對信度范圍做上限估計，有些傾向于做下限估計，這樣針對不同特點的測驗我們要學(xué)會選擇估計方法。3.不同信度測驗方法的選擇704.測驗過程中的誤差測試現(xiàn)場因為照明、背景音樂、溫度、噪聲、通風(fēng)、桌椅和空間不符合人體工程學(xué)等原因?qū)е卤辉嚲窈蜕眢w狀況的不適，或者被試由于不熟悉答題的樣式，答題經(jīng)驗的不足或者生病等突發(fā)狀況的發(fā)生，都會導(dǎo)致測量的誤差。4.測驗過程中的誤差71三、測量的效度（一）效度的含義和特性效度（）即有效性，它是指測量工具或手段能夠準(zhǔn)確測出所需測量的某素質(zhì)特征的程度。效度是指所測量到的結(jié)果反映所想要考察內(nèi)容的程度，測量結(jié)果與要考察的內(nèi)容越吻合，則效度越高；反之，則效度越低?；蛘吆唵蔚卣f是指一個測驗的準(zhǔn)確性、有用性。三、測量的效度（一）效度的含義和特性72人員測評系統(tǒng)的構(gòu)建與效度信度檢驗課件73如果我們用體重秤來測身高，顯然這種測量工具的選擇是不正確的，所以說這個測量工具沒有效度。測評過程：測評工具的研制、計分和指導(dǎo)語的標(biāo)準(zhǔn)化、被試作答反應(yīng)、主試或評分者、測驗的實施、數(shù)據(jù)整理、統(tǒng)計分析、結(jié)果的解釋。每一步都要保證其科學(xué)性和準(zhǔn)確性，這樣才能保證測量的結(jié)果和結(jié)論是有效而正確的。如果我們用體重秤來測身高，顯然這種測量工具的選擇是不正確的，74效度的性質(zhì)1.效度具有相對性任何測驗的效度是對一定的目標(biāo)來說的，或者說測驗只有用于與測驗?zāi)繕?biāo)一致的目的和場合才會有效。所以，在評價測驗的效度時，必須考慮效度測驗的目的與功能。2.效度具有連續(xù)性測驗效度通常用相關(guān)系數(shù)表示，它只有程度上的不同，而沒有“全有”或“全無”的區(qū)別。效度是針對測驗結(jié)果的。效度的性質(zhì)75效標(biāo)和效標(biāo)測量效標(biāo)，即衡量測驗有效性的參照標(biāo)準(zhǔn)，指的是可以直接而且獨立測量的我們感興趣的行為。我們感興趣的行為，就是要預(yù)測的行為，這是一個總的觀念，故必須以可操作的測量來確定才有實際意義。因此有必要把效標(biāo)細分為兩個層次，其一是理論水平的“觀念效標(biāo)”，其二是操作定義水平的“效標(biāo)測量”。效標(biāo)和效標(biāo)測量效標(biāo)，即衡量測驗有效性的參照標(biāo)準(zhǔn)，指的是可76常用的效標(biāo)有：1、學(xué)業(yè)成就：如在校成績、學(xué)歷、有關(guān)的獎勵和榮譽、教師對學(xué)生智力的評定等，常作為智力測驗的效標(biāo)，也可作為某些多重能力傾向測驗和人格測驗的效標(biāo)。2、實際工作表現(xiàn)：是最滿意的效標(biāo)測量，為一般智力測驗、人格測驗和一些能力傾向測驗的效標(biāo)；3、特殊訓(xùn)練成績；4、精神病診斷；5、等級評定：是觀察者根據(jù)測驗欲測量的心理特質(zhì)在被試身上的表現(xiàn)而作出的一種個人判斷；6、效標(biāo)團體的比較：即找出兩個在效標(biāo)表現(xiàn)上有差別的團體，比較他們在測驗分?jǐn)?shù)上的差別；7、先前有效的測驗：一個新測驗與先前有效的測驗的相關(guān)也經(jīng)常作為效度檢驗的證據(jù)。常用的效標(biāo)有：77（二）效度的類型根據(jù)效度評估方法不同，效度可以從六個角度來劃分：內(nèi)容、反應(yīng)過程、內(nèi)部結(jié)構(gòu)、與其他變量的關(guān)系、測驗結(jié)果。1.內(nèi)容效度()內(nèi)容效度就是檢驗測驗的內(nèi)容對所要考核范圍的代表性程度。例如面試的時候?qū)σ粋€技術(shù)人員所掌握的技術(shù)水平的測驗可以通過選取不同水平的具有代表性的技術(shù)問題來測量，這樣就能大致推斷技術(shù)人員的技術(shù)水平。（二）效度的類型根據(jù)效度評估方法不同，效度可以從六個角度來78內(nèi)容效度指的是測驗題目對有關(guān)內(nèi)容或行為取樣的適用性，從而確定測驗是否是所欲測量的行為領(lǐng)域的代表性取樣。目的→“構(gòu)念”→“構(gòu)念”具體化→確定測評內(nèi)容內(nèi)容效度指的是測驗題目對有關(guān)內(nèi)容或行為取樣的適用性，從而確定79不同于其他幾種效度，內(nèi)容效度首先重點是強調(diào)新測量工具的建構(gòu)而不是己有測量工具的效度。設(shè)計并采用這種方法的目的是幫助確保測量工具的建構(gòu)是針對所要測量的內(nèi)容。這種方法主要是依靠專家根據(jù)經(jīng)驗來判斷一個測量工具的效度，而不是依靠相關(guān)系數(shù)。因此，內(nèi)容效度被稱作一種"描述性"效度。不同于其他幾種效度，內(nèi)容效度首先重點是強調(diào)新測量工具的建構(gòu)而80為了確保內(nèi)容效度的客觀，可以通過以下的流程來保證:1.對所測量的內(nèi)容進行全面的分析，盡可能地搜索到最齊全的資料。2.挑選參與內(nèi)容效度研究的專家，這些專家應(yīng)該能夠承擔(dān)相關(guān)測量范圍的職責(zé)并且具有這些職責(zé)所具備的知識、技術(shù)和能力。3.瓢選測量內(nèi)容。4.評估顫選測量工具與被測量內(nèi)容的相關(guān)性。為了確保內(nèi)容效度的客觀，可以通過以下的流程來保證:812.基于反應(yīng)過程的效度

3.基于內(nèi)部結(jié)構(gòu)的效度——建構(gòu)效度建構(gòu)效度：指測驗?zāi)軌驕y量到理論上的構(gòu)想或特質(zhì)的程度，即測驗的結(jié)果是否能證實或解釋某一理論的假設(shè)、術(shù)語或構(gòu)想，解釋的程度如何。例如我捫根據(jù)理論的假設(shè)結(jié)構(gòu)來編制一份心理測量量表或者測驗，如果實際測量結(jié)果所測得的實際分?jǐn)?shù)經(jīng)過統(tǒng)計檢驗?zāi)軌蛴行У亟忉屖茉囌叩男睦硖刭|(zhì)，那么我們說這個量表或者測驗具有良好的建構(gòu)效度。2.基于反應(yīng)過程的效度

3.基于內(nèi)部結(jié)構(gòu)的效度——建構(gòu)效度823.基于與其他變量的關(guān)系的效度—效標(biāo)關(guān)聯(lián)效度

()（1）效標(biāo)與效標(biāo)測量效標(biāo)是衡量一個測驗有效性的參照標(biāo)準(zhǔn)。效標(biāo)測量就是將效標(biāo)轉(zhuǎn)化為某種可以操作的測量指標(biāo)。效標(biāo)具有四個特性:多樣性、復(fù)雜性、特殊性、時間性。（2）效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度是指測驗與外在效標(biāo)間關(guān)聯(lián)的程度。即一個測驗對處于特定情境中的個體行為進行預(yù)測時的有效性(準(zhǔn)確性)。效標(biāo)效度主要考慮的是測驗分?jǐn)?shù)與效標(biāo)之間的關(guān)系。3.基于與其他變量的關(guān)系的效度—效標(biāo)關(guān)聯(lián)效度

()（183效標(biāo)關(guān)聯(lián)效度根據(jù)使用時間間隔的長短又分為同時效度與預(yù)測效度。同時效度()是指收集效標(biāo)材料與測驗分?jǐn)?shù)差不多同時進行，多用于對現(xiàn)有員工的測評。例如，有兩個智力測驗A和B，A實施起來很費時間，而B測驗時間短。如果B的成績與A的成績有很高的相關(guān)，則B可以作為A的替代測驗。效標(biāo)關(guān)聯(lián)效度根據(jù)使用時間間隔的長短又分為同時效度與預(yù)測效度。84預(yù)測效度()是指收集效標(biāo)材料在實際測量結(jié)束后隔一段時間再獲得，多用于人員選拔和配置等工作。區(qū)分同時效度與預(yù)測效度的標(biāo)準(zhǔn)不是時間，而是測驗的目的。前者主要用于測量現(xiàn)在的狀態(tài)，后者主要用于預(yù)測未來的情況。例如，入學(xué)考試成績?nèi)裟軌蚝芎玫仡A(yù)測入學(xué)后的學(xué)習(xí)成績的話，這個入學(xué)考試的預(yù)測效度就高。預(yù)測效度()是指收集效標(biāo)材料在實際測量結(jié)束后隔一段時間再獲85（3）確定效標(biāo)關(guān)聯(lián)效度的方法A.相關(guān)法相關(guān)法是指計算測驗結(jié)果分?jǐn)?shù)與效標(biāo)之間的相關(guān)，得到的結(jié)果為效度系數(shù)。計算效度系數(shù)常用的相關(guān)方法是積差相關(guān)又叫皮爾森()相關(guān)。要使用積差相關(guān)必須同時具備如下兩個條件:①兩個變量都是由測量獲得的連續(xù)性數(shù)據(jù)，即等距或等比數(shù)據(jù)。②兩個變量的總體都呈正態(tài)分布，或接近正態(tài)分布。一般來說，相關(guān)系數(shù)必須達到統(tǒng)計上的顯著水平。如果其他情況己定，那么效度系數(shù)越高越好。（3）確定效標(biāo)關(guān)聯(lián)效度的方法86B.區(qū)分度區(qū)分度是指預(yù)測源分?jǐn)?shù)是否能區(qū)分由效標(biāo)測量所定義的群體。操作方法是選取兩種效標(biāo)A和B，先根據(jù)A將群體區(qū)分開來，再用B將群體區(qū)分開來，根據(jù)兩種效標(biāo)區(qū)分的結(jié)果來判斷，如果A和B區(qū)分的結(jié)果一致，那么說明效度較高。B.區(qū)分度87C.命中率命中率是根據(jù)測驗所做的正確決定的比率。它主要用作取舍決策。某種測量工具的效度高不高，主要是看做的決定是否與實際一致，這就是命中率的高低。命中率包括有：總命中率、正命中率、負命中率。C.命中率88人員測評系統(tǒng)的構(gòu)建與效度信度檢驗課件89人員測評系統(tǒng)的構(gòu)建與效度信度檢驗課件90對于測驗的效果，從圖2-2中可以更直觀地理解。在左下角的正確拒絕區(qū)域中，我們可以看出，這部分的被試是屬于工作成績和測驗分?jǐn)?shù)都很低的被試群體，所以拒絕這些被試是正確的;左上角的區(qū)域是工作成績高但是測驗分?jǐn)?shù)卻相對較低的被試群體，這里如果拒絕了，顯然是錯誤的;右下角的區(qū)域是屬于工作成績低但是測驗分?jǐn)?shù)卻相對較高的被試群體，如果錄取了他們，顯然是錯誤的;右上角的區(qū)域是工作成績高而且測驗分?jǐn)?shù)也高的被試群體，錄取他們顯然是正確的。對于測驗的效果，從圖2-2中可以更直觀地理解。915.基于測評結(jié)果的效度統(tǒng)計結(jié)論效度（衡量對測評數(shù)據(jù)進行分析時所用程序與方法的有效性的指標(biāo)）重點是測評本身的質(zhì)量和統(tǒng)計方法的恰當(dāng)性內(nèi)部效度（目的：找出導(dǎo)致績效的原因）外部效度（測評結(jié)果能一般化和普遍適用于樣本所在的總體以及其他同類總體）內(nèi)部效度是外部效度的必要條件，但不是充分條