第九章培訓(xùn)有效性評估 第一節(jié)培訓(xùn)有效性的概述 一 培訓(xùn)有效性的主要概念和主要內(nèi)容培訓(xùn)有效性是指公司和員工個人從培訓(xùn)中獲得的收益 對員工個人來說 收益意味著新的知識和技能 對于公司來說包括銷售的增加 顧客滿意度的增加等 培訓(xùn)有效性的定義為 系統(tǒng)的收集必要的描述性和判斷性信息 以幫助作出決策 使用和修改培訓(xùn)項目的決策 二 培訓(xùn)有效性的目的 體現(xiàn)人力資源管理的效益性 通過有效性評估 反映培訓(xùn)對組織的貢獻 并以此體現(xiàn)人力資源部門或培訓(xùn)部門在組織中的重要作用 主要是從 成本中心 到 利潤中心 的轉(zhuǎn)變 決定繼續(xù)進行或停止某個培訓(xùn)項目 獲得如何改進某個培訓(xùn)項目的信息 對參加者的知識 技能 態(tài)度的接受與更新能力 綜合素質(zhì)與潛在發(fā)展能力的評價 三 培訓(xùn)有效性評估的戰(zhàn)略點1 培訓(xùn)有效性評估的側(cè)重點 2 培訓(xùn)有效性評估的兩種形式 過程評估 為了改進培訓(xùn)過程所作的評估 它的主要目的一是確保培訓(xùn)組織良好并順利進行 而是保證學(xué)員能從培訓(xùn)項目中有所收獲并對項目滿意 綜合評估 結(jié)果評估 評估的是學(xué)員在培訓(xùn)后的變化程度 結(jié)合所學(xué)的績效考核的知識思考一下培訓(xùn)有效性評估中的過程評估和綜合評估各自起到了什么作用 適合在哪種情景下使用 四 培訓(xùn)有效性評估的過程 第二節(jié)培訓(xùn)有效性評估模型 一 五種評估模型簡介1 柯克帕特里克的四層次評估模型 1959年 柯氏模型是迄今為止國內(nèi)外最著名 運用最廣泛的模型 柯克帕特里克從評估的深度和難度將培訓(xùn)效果分為四個遞進的層次 反應(yīng) reaction 學(xué)習(xí) learning 行為 behavior 結(jié)果 results 2 CIRO模型 1970年 該模型由沃爾 伯德 雷克漢姆三位專家提出 它描述了四種基本的評估級別 即背景評估 Contextevaluation 投入評估 Inputevaluation 反應(yīng)評估 Reactionevaluation 產(chǎn)出評估 Outputevaluation 3 Lawshe的滿意效用比 CVRContentValidityRatio 模型 1975年 滿意效用比評估是先有一定的培訓(xùn)人員和老師以及剛完成培訓(xùn)的學(xué)員根據(jù)KSAO 知識 技術(shù) 能力和其他人員特征 運用頭腦風(fēng)暴法進行指標體系的建立 然后運用專家打分法對KSAO指標體系進行評估 根據(jù)統(tǒng)計得到的數(shù)據(jù) 運用CVR方法進行計算 CVR 認為選定的KSAO指標重要的專家數(shù) 認為選定的KSAO指標不重要的專家數(shù) 參加評估的專家總?cè)藬?shù) 4 舍貝克和科恩提出的培訓(xùn)績效評估的效用公式模型 1985年 培訓(xùn)效用 YD NT PD V NT CYD 培訓(xùn)對工作產(chǎn)生影響的年數(shù) PD 接受培訓(xùn)者和未接受培訓(xùn)者在工作上的差異 NT 接受培訓(xùn)的人數(shù) V 價值 對工作成績的貨幣計算 C 為每一位成員培訓(xùn)所支出的費用 舍貝克和科恩的效用公式將培訓(xùn)績效評估用一個公式計算定量的表示出來 但效用公式中的YD PD和V都是一些難以確定的模糊變量 在企業(yè)的實際操作中仍難以把握 并且測算出來的數(shù)據(jù)都是企業(yè)整體的效益指標 評估結(jié)果難以對個人或團隊有較大的促進作用 5 菲力普斯的五級投資回報率 Five LevelR0I 模型 1996年 該模型分為以下五級 評估反應(yīng)和既定的活動 評估學(xué)習(xí) 評估在工作中的應(yīng)用 評估業(yè)務(wù)結(jié)果 投資回報率 菲力普斯在柯克帕特里克的四級評估模型基礎(chǔ)上 增加了一個第五級評估 形成了一個五級投資回報率模型 該模型是對柯氏四級評估模型的一種增補 繼承了柯氏模型層層遞進的優(yōu)點 同時 又從投資回報率的角度對培訓(xùn)項目進行評估 將培訓(xùn)結(jié)果的貨幣價值以及培訓(xùn)項目的成本用百分比的形式表示 使評估結(jié)果量化性更強 更具說服力 但是 大多數(shù)培訓(xùn)對企業(yè)凈收益產(chǎn)生影響都需要一定的時間 其作用不可能是立竿見影的 因此 若用這種方法得出的投資回報率的結(jié)果不理想 還要進行進一步的分析 投資回報率不高可能是培訓(xùn)的組織過程需要改進 更可能是外界環(huán)境發(fā)生了影響培訓(xùn)結(jié)果的變化 以及員工或企業(yè)的培訓(xùn)需求發(fā)生了變化 二 柯氏評估模型簡介 1 柯氏評估模型的4個層次 反應(yīng) 參與者對培訓(xùn)項目的評價 原因在于受訓(xùn)者的反映是培訓(xùn)設(shè)計需要考慮的重要因素 學(xué)習(xí)評估是測量原理 事實 技術(shù)和技能的獲取程度 行為改變是測量在培訓(xùn)項目中所學(xué)習(xí)的技能和知識的轉(zhuǎn)化程度 結(jié)果評估是在組織層面上的評估 2 培訓(xùn)結(jié)果指標 認知結(jié)果技能結(jié)果情感結(jié)果結(jié)果投資回報明確培訓(xùn)結(jié)果指標與柯氏模型中各層次的對應(yīng)關(guān)系 三 反應(yīng)評估 需要注意學(xué)員的反應(yīng) 因為無論教師怎樣認真細致地備課 只要學(xué)員對某些課題不感興趣 他們就不會認真地進行學(xué)習(xí) 反應(yīng)層評估是指受訓(xùn)人員對培訓(xùn)項目的看法 包括對材料 老師 設(shè)施 方法和內(nèi)容等等的看法 反應(yīng)層評估的主要方法是問卷調(diào)查 問卷調(diào)查是在培訓(xùn)項目結(jié)束時 收集受訓(xùn)人員對于培訓(xùn)項目的效果和有用性的反應(yīng) 問題主要包括 對講師培訓(xùn)技巧的反應(yīng)對課程內(nèi)容的設(shè)計的反應(yīng)對教材挑選及內(nèi)容 質(zhì)量的反應(yīng)對課程組織的反應(yīng)是否在將來的工作中 能夠用到所培訓(xùn)的知識和技能 反應(yīng)評估的作用 提供改進培訓(xùn)的建議和評價 區(qū)分是讓學(xué)員感到培訓(xùn)講師和組織者對他們意見的尊重提供對培訓(xùn)看法的定量的信息 可以把這些信息反饋給管理層所反饋的消息作為培訓(xùn)教師以后培訓(xùn)的績效標準提供參考這一階段的評估還未涉及培訓(xùn)的效果 學(xué)員是否能將學(xué)到的知識技能應(yīng)用到工作中去還不能確定 但這一階段的評估是必要的 培訓(xùn)參加者的興趣 受到的激勵 對培訓(xùn)的關(guān)注對任何培訓(xùn)項目都是重要的 同時 在對培訓(xùn)進行積極的回顧與評價時 學(xué)員能夠更好地總結(jié)他們所學(xué)習(xí)的內(nèi)容 四 學(xué)習(xí)評估 學(xué)習(xí)層評估是目前最常見 也是最常用到的一種評價方式 實際上要回答一個問題 參加者學(xué)到東西了嗎 也就是說學(xué)習(xí)評估需要檢查學(xué)員所學(xué)的東西 包括知識 技能 態(tài)度等方面 是測量受訓(xùn)人員對原理 事實 技術(shù)和技能的掌握程度 這種檢查可能以考卷形式進行 也可能是實際操作 通過筆試 技能操練和工作模擬等來了解受訓(xùn)人員在培訓(xùn)前后 知識以及技能的掌握方面有多大程度的提高 筆試是了解知識掌握程度的最直接的方法 而對一些技術(shù)工作 例如工廠里面的車工 鉗工等 則可以通過績效考核來掌握他們技術(shù)的提高 強調(diào)對學(xué)習(xí)效果的評價 也有利于增強受訓(xùn)人員的學(xué)習(xí)動機 這一評估的結(jié)果也可體現(xiàn)出講師的工作是否是有效的 但此時 仍無法確定參加培訓(xùn)的人員是否能將他們學(xué)到的知識與技能應(yīng)用到工作中去 五 行為評估 行為評估試圖衡量學(xué)員行為改變或是工作表現(xiàn)的變化 實際上是評估知識 技能 態(tài)度的遷移水平 要回答一個問題 人們在工作中使用了他們所學(xué)到的知識 技能和態(tài)度了嗎 行為評估的特點主要表現(xiàn)在1 學(xué)員行為改變是有一定條件的 2 很難以及何時會產(chǎn)生變化 3 行為的改變往往受到外部的影響 如果學(xué)員在培訓(xùn)之后沒有學(xué)以致用 那么就說明培訓(xùn)對每個參加的人而言都是一種浪費 行為層的評估往往發(fā)生在培訓(xùn)結(jié)束后的一段時間 由上級 同事或客戶觀察受訓(xùn)人員的行為在培訓(xùn)前后是否有差別 他們是否在工作中運用了培訓(xùn)中學(xué)到的知識 這個層次的評估可以包括受訓(xùn)人員的主觀感覺 下屬和同事對其培訓(xùn)前后行為變化的對比 以及受訓(xùn)人員本人的自評 這種評價方法要求人力資源部門建立與職能部門的良好關(guān)系 以便不斷獲得員工的行為信息 培訓(xùn)的目的 就是要改變員工工作中的不正確操作或提高他們的工作效果 因此 如果培訓(xùn)的結(jié)果是員工的行為并沒有發(fā)生太大的變化 這也說明過去的培訓(xùn)是無效的 行為評估的意義從公司的角度說從管理層的角度說從員工的角度說 六 結(jié)果評估 這一階段的評估要考察的不在是受訓(xùn)者的情況 而是從部門和組織的大范圍內(nèi) 了解因培訓(xùn)而帶來的組織上的改變效果 既要回答 培訓(xùn)為企業(yè)帶來了什么影響 可能是經(jīng)濟上的 也可能是精神上的 如產(chǎn)品質(zhì)量得到了改變 生產(chǎn)效率得到了提高 客戶的投訴減少了等等 這一階段評估的費用和時間 難度都是最大的 但對企業(yè)的意義也是最重要的 結(jié)果評估的實施主要的阻力有兩個方面 來自于培訓(xùn)師的阻力信息收集的困難 表Kirkpatrick培訓(xùn)四級評估模型 準確的評估培訓(xùn)的效果是一項很困難的工作 美國人力資源管理專家洛絲特對評估培訓(xùn)結(jié)果提供了一些簡單而適用的建議 可以給我們一些有益的啟示 1 請學(xué)習(xí)者在培訓(xùn)課程結(jié)束時填寫評估表 2 培訓(xùn)開始讓學(xué)習(xí)者談?wù)勊麄兿Ｍ麑W(xué)到什么 培訓(xùn)結(jié)束時 讓他們回顧自己提出的學(xué)習(xí)目標 并討論究竟學(xué)到了什么 3 不斷提出問題 讓學(xué)習(xí)者闡述他們是如何理解概念的 并如何在工作中運用這些概念 4 每講完一個新技能或新概念就進行小測驗 確保每個學(xué)習(xí)者都掌握了這部分內(nèi)容 5 回顧學(xué)習(xí)結(jié)果 讓學(xué)習(xí)者證明自己取得的學(xué)習(xí)成果 6 培訓(xùn)結(jié)束后 讓學(xué)習(xí)者花5 10分鐘時間寫一寫他們?nèi)绾芜\用學(xué)習(xí)成果以及什么時候用 7 觀察員工的工作情況以及對新技能或新知識的使用情況 8 比較培訓(xùn)前后員工的表現(xiàn) 9 讓學(xué)習(xí)者寫下培訓(xùn)中哪些內(nèi)容對他們的工作最有用 哪些內(nèi)容最沒用 10 交給學(xué)習(xí)者一項工作任務(wù) 要求他們使用學(xué)到的新知識和新技能 完成任務(wù)后 與每位學(xué)習(xí)者交談他們的工作 指出他們的不足 并加強學(xué)習(xí) 第三節(jié)培訓(xùn)有效性評估的方案設(shè)計 一 影響培訓(xùn)有效性評估效度的因素1 培訓(xùn)有效性評估效度的含義2 培訓(xùn)有效性評估的影響因素內(nèi)部效度 公司歷史因素 結(jié)果測量的可靠性 學(xué)員自身的因素 外部效度 學(xué)員樣本 學(xué)員對培訓(xùn)前的測驗的態(tài)度 二 培訓(xùn)有效性評估的方案設(shè)計種類 培訓(xùn)有效性評估的設(shè)計種類從是否有對照組 是否進行培訓(xùn)前評估和培訓(xùn)后評估兩個方面來考慮主要有以下一些方法 1 僅有后測 無對照組的設(shè)計 僅在學(xué)員參加培訓(xùn)后對其進行測量 很難說學(xué)員所學(xué)到的東西是培訓(xùn)的效應(yīng) 2 前測 后測的設(shè)計 可以進行差異性檢驗 通過統(tǒng)計分析說明培訓(xùn)的效果 但是沒有對照組 分析出來的差異可能不是由培訓(xùn)造成的 3 后測對照組的設(shè)計 在設(shè)計中增加了對照組 但是對培訓(xùn)組和對照組都不進行培訓(xùn)前的測量 兩組指標上的差異被認為是培訓(xùn)的效果 可以排除培訓(xùn)以外因素的干擾 對于學(xué)員以往的水平?jīng)]有測量 無法判斷培訓(xùn)組和對照組是否同質(zhì) 4 前測后測 對照組的設(shè)計 采用對照組和培訓(xùn)組比較 對兩組均進行前測和后測 兩組指標上的差異被認為是培訓(xùn)的效果 可以排除培訓(xùn)以外因素的干擾 在研究設(shè)計中應(yīng)用較多 不僅用于評估單一培訓(xùn)的效果 也可以用來衡量不同培訓(xùn)方式的效果 5 所羅門四組設(shè)計 這一設(shè)計實際上是上述等組前后測設(shè)計和等組后測設(shè)計的綜合 是由所羅門 Solomon 1949 首創(chuàng) 故稱為所羅門四組設(shè)計 Solomonfourgroupdesigns 它將前幾種設(shè)計結(jié)合起來 可以把干擾培訓(xùn)效果的其他因素的影響減少的最低 其設(shè)計模式是 這種設(shè)計包含有兩個培訓(xùn)組和兩個對照組 四組受試者均由隨機方法選擇而來 其中 有兩個組接受前測 兩個組則無 實驗處理后 四組均接受后測 實驗效果的測定 可用相關(guān)樣本或獨立樣本的Z檢驗或t檢驗 N 30用Z檢驗 N 30用t檢驗 的方法 檢驗下列四種平均數(shù)的差異顯著性 第一組前測和后測平均數(shù)的差異 O2 O1 第一組和第二組后測平均數(shù)的差異 O2 O4 第三組 第四組后測平均數(shù)的差異 O5 O6 第一組 第二組前測平均數(shù)和第三組后測平均數(shù)的分別差異 O5 O1或O5 O3 如果上述四個差異的檢驗都獲得一致性的效果 研究者將更有信心確定是實驗處理產(chǎn)生了效果 因為這等于重復(fù)做了四次實驗 若以有前測和無前測比較 則等于重復(fù)做了二次實驗 有關(guān)前測經(jīng)驗的單獨效果之檢驗 可比較第二組和第四組后測平均數(shù)的差異 O4 O6 這種設(shè)計對影響內(nèi)在效度的八個因素均可控制 而且 可以控制和測量前測的主要效果 可以控制和測量前測與實驗處理間的交互作用效果 通過第一組和第三組的比較 可以測量 成熟 和 歷史 的綜合影響效果 根據(jù)第四組的后測平均數(shù)O6和第一 二組的個別前測平均數(shù)O1 O3的比較 這種設(shè)計是最嚴謹控制的實驗設(shè)計之一 但是 由于有四個組 需要大量的樣本 研究者須付出很大的代價 缺乏實用性 因此 在一般的應(yīng)用研究中 這種設(shè)計的應(yīng)用并不廣泛 6 時間序列設(shè)計 時間序列設(shè)計是由庫克和坎貝爾在他們著名的 準實驗設(shè)計 中提出來的 基本上是借助多次重復(fù)測量的一種前測后測設(shè)計 這種設(shè)計的實質(zhì)是對某個被試組或被試個體進行周期性的測量 比較被試接受實驗處理前后的反應(yīng)模型 以評估自變量作用的設(shè)計 根據(jù)被試組的設(shè)置情況 可分為簡單中斷時間序列設(shè)計和復(fù)合中斷時間序列設(shè)計 簡單中斷時間序列設(shè)計 是最基本的時間序列設(shè)計 基本上是一種單組前測后測設(shè)計 與其他種類前測后測設(shè)計的主要區(qū)別是沒有比較組 并且不是僅有一次前測和后測 而是對一個實驗組或一個被試進行周期性的一系列前測和后測 英國工業(yè)疲勞研究組 關(guān)于工作日由10小時改為8小時對提高生產(chǎn)效率影響的研究 時間1919年8月一直到1920年8月 得出結(jié)論 工作時間從10小時降到8小時 提高了每小時的產(chǎn)量 雖得出以上結(jié)論還存在以下問題 可能不管工作時間是否縮短都會出現(xiàn)生產(chǎn)率提高的現(xiàn)象 除了每天工作時間長短的變化外 可能還有其他變量影響到每小時的平均生產(chǎn)量 數(shù)據(jù)的效度有限 很可能產(chǎn)生 霍桑效應(yīng) 復(fù)合中斷時間序列設(shè)計基本上是簡單中斷時間序列設(shè)計的延伸 它是在研究設(shè)計的過程中 增加一個沒有接受過實驗處理的比較組 以提高中斷時間序列設(shè)計的功能 增加一個控制組可以為結(jié)果的解釋提供參考信息 在用時間序列設(shè)計對培訓(xùn)有效性進行評估時簡單中斷時間序列設(shè)計就是指沒有對照組的狀態(tài)下采用該方法 復(fù)合中斷時間序列設(shè)計就是指有對照組的狀態(tài)下采用該方法 也就是多重時間序列設(shè)計 時間序列設(shè)計比較適合學(xué)員人數(shù)少 難以進行統(tǒng)一分析的情況 在較長時間內(nèi)對員工進行考察 容易受到員工個人發(fā)展因素影響 所以研究時一般引入對照組 多重時間序列設(shè)計用于評價那些比較容易觀察到的培訓(xùn)結(jié)果指標 時間序列設(shè)計作用體現(xiàn)在可以幫助了解以下信息 水平變化和趨勢變化效果的持久性效果顯示的滯后性