公益項目評估指導手冊-公益行業(yè)評估支持平臺_第1頁
公益項目評估指導手冊-公益行業(yè)評估支持平臺_第2頁
公益項目評估指導手冊-公益行業(yè)評估支持平臺_第3頁
公益項目評估指導手冊-公益行業(yè)評估支持平臺_第4頁
公益項目評估指導手冊-公益行業(yè)評估支持平臺_第5頁
已閱讀5頁,還剩50頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

目錄

第一章手冊介紹..................................................................1

一、研發(fā)背景................................................................1

二、使用對象................................................................1

三、內容簡介與使用建議......................................................1

第二章發(fā)展性評估介紹...........................................................3

第一節(jié)公益項目評估的價值..................................................3

第二節(jié)發(fā)展性評述.......................................................5

第三節(jié)發(fā)展性評估原則.......................................................7

第四節(jié)發(fā)展性評估流程.......................................................9

第三章兩古準備.................................................................13

第一節(jié)建立評估共識........................................................14

第二節(jié)明確兩古內容........................................................18

第三節(jié)交付兩古彳弗書......................................................22

第四章兩古設計.................................................................24

第一節(jié)擬定評估建議書......................................................25

第二節(jié)簽訂評估協(xié)議........................................................31

第三節(jié)制定評估執(zhí)行計劃....................................................34

第五章由古實施.................................................................39

第一節(jié)評估信息收集........................................................39

第二節(jié)評估信息分析.43

第三節(jié)評估結果呈現(xiàn),46

第六章評估應用,49

第一節(jié)評估結果傳播....…50

第二節(jié)項目管理響應51

第三節(jié)元評估52

第一章手冊介紹

一、研發(fā)背景

近些年來,我國公益行業(yè)發(fā)展迅速,對公益項目評估的需求也越來越高,

但目前,評估專業(yè)人才匱乏,缺乏系統(tǒng)的培養(yǎng)體系以及專業(yè)標準指引;評估機

構水平參差不齊,缺乏準入門檻把關與質量控制措施。同時,第三方評估成本

高,除調研涉及的人力成本外,最大的一部分是溝通成本,評估相關方需要對

評估有共同的基本認知。

因此,整個公益行業(yè)亟需要一套公益項目評估指導手冊,以指導評估人員

提升評估工作的專業(yè)性與規(guī)范性,指導評估的利益相關方對評估有共同的基礎

認知,降低溝通成本的同時,對評估工作也可有客觀的評價依據(jù)。提升評估專

業(yè)性的同時,也降低評估中存在的風險,保證項目評估過程的專業(yè)、規(guī)范與透

明,結論的真實可信。

二、使用對象

首要目標受眾為第三方評估從業(yè)者,同時可為組織內部的評估者、項目資

助者及對項目評估感興趣的讀者提供參考。

三、內容簡介與使用建議

手冊首先對"發(fā)展性評估”進行整體介紹,之后將按照工作流程的時間

順序,將評估分為“評估準備"、"評估設計"、〃評估實施"與"評估應

用〃四個階段,一介紹其中的核心工作、常見挑戰(zhàn)與應對方法。

本手冊根據(jù)公益行業(yè)評估支持平臺使命精神,由明德團隊結合明德近幾年

對公益項目評估的實踐、思考與探索,以及國際相關實踐經驗與研究成果,從

1

明德公益研究中心

第三方評估機構的視角進行的撰寫,對于第三方評估從業(yè)者,可直接參照本手

冊開展評估工作;而對于公益項目管理方、資助方,則可熟悉整個評估流程,

了解如何更好地借助第三方為自己服務。

為便于各方有效使用本手冊,特做以下說明:本手冊所呈現(xiàn)的公益項目評

估過程中的各項工作雖源于實踐但又高于實踐,有些內容依然是目前現(xiàn)實情況

下的理想或完美主義,旨在推動各方包括明德自身以更高的標準要求自己做的

更好,因而建議各方在閱讀本手冊相關內容時應結合文中對其實現(xiàn)所需的條件

進行理解,再結合自身工作所處的實際情況進行思考、學習與應用。

2

明德公益研究中心

第二章發(fā)展性評估介紹

第一節(jié)公益項目評估的價值

評估是每個人日常生活中都有的經歷。比如,周日下午的朋友聚餐與讀書

會時間撞車,要選擇哪個活動?iPhone、華為和小米,到底該買哪吾好機?不

同的人面對同樣的情景可能有不同的選擇,這背后隱含著每個人的價值追求及

其對事物價值的判斷標準。舉個例子,同樣是購買服裝,追求身份的人看品

牌;追求舒適的人看面料;追求美觀的人看剪裁與顏色……各種價值追求是通

過不同判斷標準來實現(xiàn)的。每個人的時間、金錢、精力等資源都是有限的,如

何高效分配這些資源以實現(xiàn)個人價值追求,就需要制定判斷事物價值的標準。

對于個人而言,分配資源的標準可以是潛在的、模糊的,甚至是不設限

的。但對于一群人、T組織或一個國家而言,分配集體或公共資源的標準必

須是明確的。它是集體決策的基礎,是集體中的個體或小團體優(yōu)化資源配置的

依據(jù),是追求經濟與效率的前提。以公益項目為例,基于對"好項目〃的界定

及其評價標準所得出的結論,對外能夠幫助資助者進行資助選擇,對內能夠幫

助執(zhí)行者調整行動。這也正是公益項目評估的價值所在。

從以資助者為代表的外部視角看,最低的要求可能是資助的一個合規(guī)的項

目,這時的"好項目〃至少應該能夠如約使用資助款、完成既定項目活動、并

提交既定產出;更高的要求可能是資助一個安心的項目,這時的〃好項目〃除

合規(guī)要求外,可能還應管理規(guī)范、有據(jù)可循、過程與產出質量令人滿意;最高

的要求可能是資助一個幫助自己實現(xiàn)〃夢想”的項目,這時的〃好項目"還應

3

明德公益研究中心

能夠提供成果的有效性(即項目目標對象的積極變化可歸功于項目干預)、項

目的經濟性(即該項目比解決同一社會問題的其他項目性價比更高)。

而從以執(zhí)行者為代表的內部視角看,最低的要求可能是完成一個項目,這

時的"好項目"至少應該是工作對象清晰、產出明確、活動可行、投入匹配;

更高的要求可能是呈現(xiàn)服務對象的積極變化,這時的〃好項目"還應有具體的

干預策略、可預測的發(fā)展過程、可衡量的工作任務與結果;最高的要求可能是

生成解決某類社會問題的知識,這時的〃好項目〃還應確立項目干預體系、明

確為服務對象帶來變化的作用機制。

顯然,不同視角下的決策者,基于不同的目的,對“好項目”的界定及:M

評價標準是不同的。因此,為其提供的評估內容與過程也不盡相同。早在1967

年,MichaelScriven就以評估主要目的是幫助內部改進項目還是幫助外部做

決策為依據(jù),將評估分為形成性評估(FormativeEvaluation)與總結性評估

(SummativeEvaluation)兩類。1

然而從現(xiàn)實操作的角度,一方面,第三方評估者所面臨的評估目的往往是

兩者兼?zhèn)涞?。評估委托者通常希望評估不僅要為資助者提供決策依據(jù),也要為

執(zhí)行者提供改進依據(jù)。另一方面,公益項目從立項之初,所涉及到的資源就是

內外部雙方面的,”項目應該做到什么樣"(即"好項目”的界定)也就包括

雙方的理解。在此基礎上所進行的評估,天然會回應雙方的要求。因此,在真

實的評估服務中,難以完全從資助者或執(zhí)行者的角度去開展評估。

若想同時回應內外部的需求,首先要解決兩個問題。一是內外部對于“好

項目"的理解差異,二是內外部想了解的具體評怙問題較多而單次評估資源有

1Scirven,M.(1967).Themethodologyofevaluation.

4

明德公益研究中心

限之間的矛盾。針對第一個問題,對某個具體項目在特定時間內應在達到什么

程度,我們以項目核心利益相關方的共識為準。第二個問題,則是通過對公益

項目所處的發(fā)展階段遂行分類來解決的。分類后,每一發(fā)展階段的項目所要解

決的核心問題相對明確,與此相關的具體評估問題有限。

這種評估從真實的項目發(fā)展狀態(tài)出發(fā),以推動項目向下一個階段發(fā)展為方

向,擬定與之相適應的評估目標,并與內外部評代結果使用者一起明確具體的

評估問題與成功標準,幫助其增強對項目干預過程與結果的理解,輔助其遂行

管理決策。我們稱之為發(fā)展性評估。

第二節(jié)發(fā)展性評估概述

作為提供第三方評估服務的一家公益組織,我們希望自己的工作能夠助力

被評估的公益項目本身有所發(fā)展。為實現(xiàn)這一目的,首先要了解項目過程本身

是如何實現(xiàn)的。一個項目的實現(xiàn)過程,從功能上講,可分為生產或服務運作過

程、項目管理過程與內外部的支持過程二個維度。它們分別回應如何實現(xiàn)項目

目標,如何促進活動銜接、監(jiān)測過程質量與保障產出品質,以及如何部署內部

支持條件、創(chuàng)造外部支持環(huán)境。三者之間以運作過程為基礎,管理過程與支持

過程為運作過程的實現(xiàn)服務。因此,了解公益項目的運作過程是推動其發(fā)展的

卷。

我們認為公益項目是這樣一類項目,它通過組織各種活動干預某種社會問

題的發(fā)展過程,推動某類人群、生物或環(huán)境的積極變化,達到促進社會問題解

決,維護公共利益的目的。從這一角度來講,公益項目運作的核心在于如何推

動服務對象的積極變化。公益項目的發(fā)展過程即為不斷明確有效的干預策略及

5

明德公益研究中心

其所帶來積極變化的過程。據(jù)此,我們將公益項目的發(fā)展分為探索期、成長期

與成熟期三個階段。

對于一個新發(fā)起的公益項目而言,首先需要一段時間去豐富與驗證自身對

所要解決的社會問題或所面臨的環(huán)境條件的認識,確定項目干預的有效性與作

用機制。即通過實踐去探索有效的干預策略并創(chuàng)造干預活動所需的前提條件。

這一時期我們稱之為探索期。經過一段時期的探索,有效干預策略相對清晰,

干預活動的前提條件也已具備,項目成果更具可預測性,干預的潛在邏輯越來

越清晰。我們稱之為發(fā)展期。隨著干預成效的不斷顯現(xiàn),有效經驗的不斷積

累,項目干預活動體系得以確立,相關方對"什么在發(fā)揮作用”的確定性增

加,對自身的影響、價值或意義有充分的準確的認識。我們稱之為成熟期。

每一發(fā)展階段的項目均有其所要面臨的核心問題。對處于探索期的項目而

言,這一問題是:項目要促使什么發(fā)生?對處于成長期的項目而言,這一問題

是:項目是如何發(fā)揮作用的?而對處于成熟期,則是:項目帶來了哪些變化?

不同發(fā)展階段的項目能夠為管理決策所提供的信息量存在明顯的差異。成

熟度越高的項目所能提供的信息越多,能夠支持的評估內容也就越豐富。因

此,成長期的評估內容可用于成熟期,探索期的評估內容也可用于成長期,反

之則不然。比如:對探索期項目的可持續(xù)性做評怙,或者對成長期項目的效果

做評估,都會因缺乏相關數(shù)據(jù)而無法得出有效結論。

采用這一發(fā)展性評估框架,我們能夠在滿足內部管理者與外部支持者決策

需求的同時,為項目發(fā)展提供基于現(xiàn)實的改進建議。該框架并未包含具體可測

量的〃成功〃標準,相關標準將由項目的核心利益相關方來界定,隨項目與相

關方的不同而不同。因此,發(fā)展性評估具備較強的應用性與參與性,其所能發(fā)

6

明德公益研究中心

揮的價值很大程度上取決于相關方的投入。

從我們的經驗來看,最終幫助內部管理者改進項目與外部支持者有效決策

的評估,往往具備兩個前提條件。一是具備相對明確、基于現(xiàn)實挑戰(zhàn)的具體發(fā)

展問題。它可能基于內部管理者視角,比如:是否能夠將項目復制到另一個地

方?也可能基于外部支持者視角,比如:停止資助對項目成效有哪些影響?二

是在項目設計階段納入評估。發(fā)展性評估是面向成果、基于過程的評估,為保

障對整個過程觀測的質量,從一開始就介入是最佳選擇。從在項目執(zhí)行中或結

束后才介入的評估,往往因缺乏介入前的觀測數(shù)據(jù),或因相關方回憶的模糊性

而無法回應某些問題。比如:對未建立基線與對照組的項目,評估在項目執(zhí)行

中或結束后介入,無法對其作用程度進行有效評價。

第三節(jié)發(fā)展性評估原則

基于發(fā)展性評估功能、目的、框架與前提條件,我們總結出五條實踐該評

估的基本原則:

1.成果導向

發(fā)展性評估的目的是為了促進項目發(fā)展,這里的發(fā)展即為推動其所干預的

社會問題的解決。為實現(xiàn)這一長遠目標,公益項目必須不斷促進服務對象或環(huán)

境的積極變化,這一變化過程中的階段性里程碑,即為公益項目的階段性成

果。它們是項目實現(xiàn)其價值、獲得持續(xù)成功的標志。因此,發(fā)展性評估以項目

成果為導向,幫助項目明確其階段性成果,澄清S員務對象或環(huán)境從當前狀態(tài)到

目標狀態(tài)的變化路徑,推動其關注自身與環(huán)境的相互作用及其所帶來的影響,

并以此為基礎建立相應的管理與支持系統(tǒng)。

7

明德公益研究中心

2.聚焦過程

發(fā)展性評估采用過程的方法。一方面,將被評估項目視為一個目標實現(xiàn)過

程去分析。這一過程從功能上分為運作過程(成果實現(xiàn)過程)、管理過程與支

持過程。我們以運作過程為基礎,將其從初始狀態(tài)發(fā)展到目標狀態(tài)的變化過程

分解為投入、活動、產出、成果與影響五部分,管理過程與支持過程為輔助其

實現(xiàn)而建立。另一方面,將評估本身也視為一個完整的循環(huán)過程。它包括設計

(Design)、監(jiān)測(Monitoring)、評價(Assessment)、改進

(Improvement)四部分,形成TDMAI循私,參與整個項目管理過程。

聚焦過程有助于項目團隊理解項目結果是如何產生的,便于項目團隊預測結

果、優(yōu)化管理與提升績效,并為項目成員及其與相關方之間的溝通提供依據(jù),

能夠促進項目成員相關能力的發(fā)展。

3.基于證據(jù)

公益項目涉及某類人群、生物或環(huán)境的變化,過程復雜影響因素不確定性

高,相關方較多視角與理解各異,加之學科技術發(fā)展水平有限,測量、評價與

解釋環(huán)節(jié)極易受人質疑。為保障評估分析與結論的可靠性,增強評估對后續(xù)決

策的可用性,發(fā)展性評估必須特別強調分析與判斷的依據(jù)。一方面,在〃投入-

活動-產出-成果-影響”這一項目過程鏈條上,為各環(huán)節(jié)設置觀測點,從不同利

益相關方處收集客觀事實,交叉驗證信息的同時提高信息的全面性;另一方

面,對信息收集的流程與質量采取相應的管理措施,以保障所收集的信息真實

4.相關方參與

發(fā)展性評估以成果為導向,關注服務對象或環(huán)境的變化過程,這一過程涉

8

明德公益研究中心

及的相關方眾多。識別相關方是理解項目內外部環(huán)境、認識成果實現(xiàn)過程的基

礎。這些相關方基于不同的視角與訴求,往往對項目目標與過程有不同的認

知。發(fā)展性評估需要促進相關方的參與,了解相關方對項目的認知與影響。一

方面,是為了促進核心利益相關方對項目“成功”的評價標準達成共識。另一

方面,是為了降低因認知差異而造成的行為反應的不確定性,增強項目按照預

期發(fā)展的可能。

5.管理者重視

發(fā)展性評估始于項目面臨的現(xiàn)實挑戰(zhàn),其結果直接貢獻于項目的管理決

策。因此,項目執(zhí)行方的最高管理者必須認同評估的價值并支持全員參與。相

關管理者要具備統(tǒng)一的理念,調動有關人員的積極性,保障組織使命、項目長

遠目標、項目階段性成果、項目執(zhí)行過程與配備資源的協(xié)調一致。在實現(xiàn)項目

成果的基礎上,不斷增強目標的有效性、提升組織及其成員的能力、優(yōu)化執(zhí)行

與管理過程、提高項目效率與效益。

第四節(jié)發(fā)展性評估流程

我們倡導的發(fā)展性評估致力于通過評估促進項目發(fā)展。評估結果除為內部

管理與外部決策提供判斷依據(jù)外,通常也會附上改進建議并推動應用。這種評

估屬于廣義上的咨詢服務,即以專業(yè)知識、信息、技術、經驗為資源,向客戶

提供問題解決方案或決策建議。因此,它具有咨詢服務流程相對明確、內容高

度定制的一般特點。類似于咨詢的委托、設計、實施與交付流程,我們將發(fā)展

性評估劃分為準備、設計、實施與應用四個階段。

然而,受公益項目自身社會性的影響,發(fā)展性評估又具有一定的特殊性。

9

明德公益研究中心

一方面,公益項目所追求的公共利益,較商業(yè)利益而言更難衡量,需要在評估

過程中與相關方就"成功標準"達成共識;另一方面,公益項目所能取得的成

效,較商業(yè)項目而言更依賴相關方,需要最大限度了解各方對項目的認知,并

促進各方對其目標與實現(xiàn)過程達成共識。因此,發(fā)展性評估比一般咨詢服務更

注重相關方的參與。

我們先對發(fā)展性評估的四個階段進行簡介,并在此基礎上列表呈現(xiàn)出各階

段相關方的參與情況,以便各位查閱。

1.評估準備

評估準備階段是整個評估過程的基礎。在該階段中,評估委托方向服務方

說明評估背景、需求與目的,評估服務方則向委托方說明評估所能提供的價

值、一般流程與要求。在此基礎上,雙方進一步明確本次評估的目標、問題、

方法、范圍、任務、權責及預算等,形成評估任務書(TermofReference,

簡稱ToR)。評估準備工作使得雙方對整個評估過程與結果有一致的預期,其

核心產出評估任務書是整個評估工作的質量指引。

2.評估設計

評估設計階段是對準確階段雙方形成的共識進行具體的操作設計。在該階

段中,評估服務方組建團隊,基于委托方提供的項目基礎資料與評估任務書,

確定評估框架、主要活動與產出、時間、資金與人力投入,擬定評估建議書,

雙方協(xié)商一致后簽訂評估協(xié)議。評估項目正式啟動,評估服務方組織包括委托

方在內的項目相關方遂行項目梳理,明確評估指標、成功標準,并結合各方資

源條件制定詳細的評估執(zhí)行與溝通方案。評估設計工作能夠提高評估方與相關

方的工作效率與合作效果,其核心產出評估方案是整個評估工作的過程指引。

10

明德公益研究中心

公益行業(yè)評估支持平臺

3.評估實施

評估實施階段是對評估執(zhí)行與溝通方案的落實。在此過程中,評估方按既

定方案推進評估實施,開發(fā)測量工具;在相關方的配合與支持下,完成工具的

預測試與優(yōu)化、調研對象的抽樣及信息的收集;整理與分析信息,并就分析結

果聽取相關方的反饋,結合有關理論與外部環(huán)境狀況形成合理的解釋,最終完

成評估報告。評估實施階段的工作為評估結果提供依據(jù),是決定評估質量與效

果的關鍵,其核心產出評估報告是整個評估最重要的交付物。

4.評估應用

我們所謂的評估應用不僅指最終評估報告定稿后推動建議的落地,還包括

評估活動過程中對項目相關方的積極影響及評估過程本身的改進。它事實上是

一個貫穿整個評估的過程,而非單指評估的收尾階段。在準備階段,幫助委托

方認識發(fā)展性評估,識別利益相關方,收集其需求并確定其在評估中的權責;

在設計階段,聽取各方對項目的認知,討論確定評估指標與成功標準;在實施

階段,與委托方保持持續(xù)溝通,聽取各方對項目的體驗、意見與建議,對環(huán)境

變化的觀察等;在完成評估報告后,傾聽相關方對評估發(fā)現(xiàn)的理解與評估工作

的建議,促進相關方對評估結果的使用。評估應用工作能夠促進各方成長,實

現(xiàn)評估價值的最大化,是整個評估過程中最能體現(xiàn)發(fā)展性評估特性的內容。

表2.1評估各階段中相關方的參與

評估階段開展時間主要內容相關方的任務

1.評估準備從接到評估-澄清評估背景、需求與目的-了解項目核心相關方的需求,

委托到評估-介紹評估的價值、流程與要求確定雨古背景、需求與目的

任務書確定-明確本次評估的目標、問題、-了解項目核心相關方的可用資

方法、范圍、任務、權責及預算源,結合評估的價值、流程與要

等求,與評估方協(xié)商確定評估的目

7烷兩古?書標、問題、方法、范圍、任務、

權責及預算等

11

明德公益研究中心

公益行業(yè)評估支持平臺

2.兩古削從評估任務-組建評估團隊-明確麗古參與者及其角色、整

書確定后到-確定評估1踝、活動與產出、理項目當前及歷史資料

信息收集之時間、資金與人力投入-確認評估方對項目的認識與據(jù)

前-擬定兩古建議書此所擬定的評估框架、活動與產

-簽訂評估協(xié)議出、時間、資金與人力(含項目

-開展項目相關方)投入

-明確評估J萌與成功標準-簽訂評估協(xié)議

-制定評估執(zhí)行與溝通方案■?協(xié)調評估相關方參與項目梳理

-參與討論確定評估指標、成功

標準與評估方案

3.評估實施從開始信息-開發(fā)測量工具-協(xié)調參與工具預測試的對象

收集到完成-工具的預測試與優(yōu)化?協(xié)助調研抽樣與信息收集

評估報告-調研對象的抽樣-反饋對分析結果的理解

-信息收集、整理與分析-提供對報告呈現(xiàn)的建議

-結果解釋與建議

-完成評估報告

4.評估應用貫穿整個評-識別與確定核心利益相關方-明確評估目的與評估結果使用

估過程-幫助相關方認識評估并確定彼者

此的權責-建立正確的評估預期,了解自

-推動相關方參與、記錄與表達身在評估過程中的角色與權責

-傾聽相關方對評估發(fā)現(xiàn)的理解-記錄自身的觀察與體驗,表達

與評估工作的建議對項目的認知與需求

-促進相關方對評估結果的使用-分享對評估結果的理解

-提出對評估工作的建議

-制定管理響應計劃

需要特別指出的是,相關方是指其認知、態(tài)度與行為將對項目持續(xù)發(fā)展產

生重大影響的各類人群。在發(fā)展性評估中,包含兩個層面的相關方,一是對被

評估項目有影響的相關方,二是對評估結果應用有影響的相關方。兩者有交叉

亦有不同。

前者通常是項目參與方,包括資助方、設計方、管理方、執(zhí)行方、合作

方、服務對象等,以及間接受影響的其他人群,比如服務對象的親友、在項目

地開展同類活動的組織。他們是全面了解項目所處環(huán)境、與各方的交互關系及

實際作用的信息來源。一般而言,評估會在內外部條件的限制下,盡可能觸及

各類項目相關方。

而后者,即評估應用相關方,除包括參與配合評估的項目相關方外,還包

12

明德公益研究中心

公益行業(yè)評估支持平臺

括可能未參與項目的評估結果使用者。比如若希望通過評估開展知識生產的工

作,向行業(yè)或社會推廣、甚至以此為基礎開展政策倡導,那么業(yè)內實踐專家、

領域內的研究者、相關媒體、乃至政策制定者們都是評估的相關方。這些使用

者由委托方的評估目的而定,也會被納入評估過程,聽取意見與建議。

第三章評估準備

作為一項定制化服務,發(fā)展性評估的過程是否順利、結果是否有效,很大

程度上取決于評估準備工作的質量。高質量的評伯準備能夠讓評估方與委托方

對彼此的需求與供給形成清晰的認知,基于有限的資源協(xié)商確定合理的評估任

務,并對整個評估過程與結果產生一致的預期。這一結果的實現(xiàn)建立在評估方

與委托方互相了解的基礎之上。相比承接過眾多委托的評估方,委托方對評估

的了解相對更少。因此,委托方的狀態(tài)往往決定了整個過程的內容與節(jié)奏。委

托方對發(fā)展性評估越了解、對自身需求越明確、相關評估資源越豐富,雙方所

需溝通的內容越少、時間越短,評估準備工作的效率與質量就越高。

為了最大限度發(fā)揮評估的價值,我們推薦在被評估項目的設計期開展評估

準備工作。這里的設計期,不僅包括新項目的設計期,也包括已有項目新一輪

執(zhí)行之前的啟動期。如果委托方在執(zhí)行期才開始考慮評估工作,則需要特別針

對因部分信息缺失或采用回溯信息而對評估產生的限制與影響進行說明。

本章將為您介紹評估準備階段的主要工作內容:

1.建立評估共識

2.明確評估內容

13

明德公益研究中心

公益行業(yè)評估支持平臺

3.交付評估任務書

第一節(jié)建立評估共識

委托方提出評估委托自然有其原因,這里包含著作為解決方案的評估所要

回應的問題或所要滿足的需求,也包含著評估所應采用的方法、涉及的范圍與

納入的相關方。然而,并非所有的委托方都會清晰的表達其需要評估的原因,

更常見的情況可能是將其所認為評估能做到的一切事情,均作為需求告訴評估

方。因此,充分了解委托評估的背景,引導委托方澄清自己的需求,考慮雙方

既有資源的限制,判斷自己能在多大程度上回應其需求,是評估方首先要完成

的工作。

Step1.1了解委托任務

初次進行評估委托,委托方所提供的信息相對有限。通常,委托方會對計

劃評估的項目進行簡介,并說明預期的完成時間,可能還會提到預算。但極少

會詳細說明委托背景、目的、預期及相關經驗與資源。而這些內容正是評估方

判斷委托方的真正需求及評估能在多大程度上予以回應的關鍵。因此,評估方

需要對此進行補充了解,并說明目的。同時,向委托方介紹評估服務所提供的

價值及其流程。

表3.1了解委托任務的內容

主題___________________內容______________________目的

1.預評估項目-發(fā)展歷史、現(xiàn)狀與未來規(guī)劃預估評估范圍、所需

-服務對象與目標能力與資源

■服務內容與合作伙伴

-服務范圍與時間周期

2.評估需求-計劃評估的原因確定適宜的兩古方法

■對本次兩古的要求與期待及相關方

二評估結果的使用者及用途

3.評估資源R歷史監(jiān)測雨古管理狀況了解可用資源,預估

14

明德公益研究中心

公益行業(yè)評估支持平臺

-評估人員配置與預算評估管理與溝通投入

-相關方的評估經歷

-管理層對評估的態(tài)度

Step1.2溝通委托需求

在真實的評估工作中,除長期合作伙伴外,我們極少僅通過初次溝通就能

夠達成合作。一方面,委托方往往難以全面回應評估方的問題。另一方面,我

們也難以在較短的時間內讓委托方全面理解發(fā)展性評估意味著什么。因此,在

初次溝通后,一般我們需要基于溝通記錄列出需要委托方提供的參考資料與進

一步回應的問題,并提供對于發(fā)展性評估的進一步介紹,幫助委托方認識發(fā)展

性評估、了解彼此在服務過程中的權責。

參考資料用于進一步了解預評估項目,通常包括機構年報、工作規(guī)劃、項

目申請書、項目設計方案、監(jiān)測評估報告、會議記錄、工作總結等。而需要進

一步回應的問題則用于明確評估需求與評估資源。對此類問題,除向管理層確

認外,我們建議委托方基于自身的評估目的識別相關方,向其說明情況并聽取

意見再確定答復。

表3.2識別評估相關方及其評估應用角色

可應用評估發(fā)現(xiàn)的個人、群體推動政進行項目提供評調整行基于興趣

與機構策制定執(zhí)行決策估支持動的關心

項目設計者

項目資助者

識別項目地需求的個人與機構

支持項目的在地機構

其他場地、物資與人力等資源

提供者

項目執(zhí)行方最高管理層

項目管理者

項目執(zhí)行者

評估資助者

項目服務對象

項目間接受益人

潛在的項目推廣對象

15

明德公益研究中心

公益行業(yè)評估支持平臺

服務同類對象的其他機構

未被服務的目標人群

對項目或評估持消極態(tài)度的群

項目對其利益有影響的人群

社區(qū)成員/公眾

管理相關社會問題的政府部門

參與政策制定的人群

相關社會問題研究者

媒體

Step1.3評估承接決策

在評估需求進一步明確、雙方對評估的價值與功能形成共識的基礎上,評

估方需要對委托方當前的項目發(fā)展狀態(tài)、評估需求、可用資源與評估能力進行

分析,以確定其評估準備狀態(tài),并結合自身業(yè)務范圍、能力、資源、時限與業(yè)

務量,綜合判斷是否要承接該項服務。若無法承接,需要向委托方說明原因。

對評估準備狀態(tài)的評價工作稱之為可評估性評價(Evaluability

Assessment)。即便明確了評估需求并得到管理層與相關方的支持,要開展

評估工作仍面臨許多現(xiàn)實問題需要考慮。比如滿足評估需求的相關信息是否可

可及?獲取新信息的成本如何?是否有足夠的時間、預算、人力投入?評估結

果是否來得及影響相關決策?評估收益是否大于評估成本?可評估性評價正是

為回應這些問題而產生的,通過分析評估的可行性、適宜性、經濟性與應用

性,實現(xiàn)降低評估成本、增強評估收益、提高評估應用價值,并改善評估設計

的效果。

表3.3可評估性評價參考框架

主題____________________________內容作用

1.項目設計-項目所要解決的社會問題及目標對象的確定-判斷項目發(fā)展

項目達成其預期結性階段

果的邏輯是否合一項目目標與所要解決的社會問題之間的邏輯■確定可行的評

理、可行性與現(xiàn)實性估范圍與目標

?項目目標、活犯產出與投入的確定性—3^二預估項目梳理

16

明德公益研究中心

公益行業(yè)評估支持平臺

性、邏輯性與可測量性的工作量

-項目干預對象從當前狀態(tài)到目標狀態(tài)變化路

徑的清晰程度與實現(xiàn)的可能性

-項目與政策的一致性

-與同類項目之間的關系

2.信息可及性-項目設計中對工作績效標準的確定性與-預估評估框架

相關信息是否可發(fā)SMART?水平與指標制定的工

取及是否足以回應-項目設計、過程與管理資料的可獲取程度作量

評估問題-立持者與阻礙者、政策與法律等環(huán)境條件監(jiān)-判斷可行的評

測信息的可獲取程度估方法

-基線數(shù)據(jù)、對照組數(shù)據(jù)、既往監(jiān)測評估數(shù)據(jù)的-預估信息收集

可狀取程度與分析的工作量

-項目結果(包含預期與未預期)數(shù)據(jù)的RJ狀

取程度

-項目執(zhí)行方及其合作伙伴的監(jiān)測管理信息提

供能力

-利益相關方最關心哪些信息

-新的數(shù)據(jù)收集與分析的可彳亍性與成本(資金

和時間)

3.評估背景-會見參與項目的核心人員的可能性-預估兩古過程

操作環(huán)境是否有助-完成評估的資源(資金、人員、時間、技中的風險與挑戰(zhàn)

于開展評估能……)匹配性-預估兩古

-相關方對評估的態(tài)度、參與意愿及可能性的工作量

-雨古可能遇到的倫理問題及具可管埋性

-社會文化、自然環(huán)境或其他因素的限制與挑

戰(zhàn)及可控性

4.評估應用-相關方對于在評估過程中學習與應用評估結-預估評估問題

評估過程與結果是果的認同程度及其優(yōu)先級

否有助于項目改進-評估主要使用者/影響對象對評估的期待-預估兩古應用

及相關決策-評估主要使用者/影響對象參與評估的程度過程中的風險與

-評估主要使用者/影響對象的需求被回應的程挑戰(zhàn)

度-預估兩古溝通

■評估時機與項目周期匹配性協(xié)調與促進應用

-評估結果呈現(xiàn)時間足以支持相關決策的工作量

如果可評估性評價表明項目已做好評估準備,評價結果將被用于完善后續(xù)

的評估工作描述與評估設計。若評價結果顯示項目尚未做好評估準備,則應考

慮調整評估預期與方式或根據(jù)評價結果的建議調整當前的準備狀態(tài)。比如,評

價表明要看到項目有顯著的量化成果數(shù)據(jù)為時過早,不建議評估聚焦于最終成

2SMART原貝I](S=Specific、M=Measurable.A=Attainable.R=Relevant.T=Time-bound)

17

明德公益研究中心

公益行業(yè)評估支持平臺

果的達成,但可以通過定性與定量的方法去評估階段性結果。又或者,結果可

能顯示評估無法測量所有你期望的成果,但可以聚焦在相關方最感興趣的小部

分內容。

一般而言,促進項目評估準備的建議主要包括:

頡完善項目設計:修正項目邏輯以建立T清晰、可測量、有共識且真實

的變化理論

頜改進項目執(zhí)行:調驗頁目活動以增力噠成既S目標的可能

④改善項目管理:采用正確的管理措施以落實項目設計、確保運行流場

頡提升測量水平:開發(fā)或完善項目監(jiān)測數(shù)據(jù)系統(tǒng)

④增強評估認同:在^益相關方間建立起對評估目的與應用的共識

第二節(jié)明確評估內容

在確定承接評估委托后,評估方需要在可評估性評價的基礎上將其了解評

估需求、評估回應需求的方式方法及所用資源等轉化為明確的工作任務。這份

任務清單通常包括評估問題、方法、范圍、團隊及其權責、相關方及其權責、

時間與預算等內容。這一工作在面對評估專業(yè)化程度相對較低、無內部評估人

員的委托方時,由評估方主導,委托方及其他評怙相關方反饋。而在面對評估

專業(yè)化程度較高、擁有內部評估人員的委托方時,評估方一般只需要適當?shù)某?/p>

清、補充或調整。因為這類委托方在尋求外部評估方時,往往會提供一份針對

評估工作的說明,其內容涵蓋大部分前述評估工作任務。

Step2.1確定核心評估問題

評估工作的起點與核心是評估需求,而評估需求必須轉化為關鍵評估問題

18

明德公益研究中心

公益行業(yè)評估支持平臺

(KeyEvaluationQuestions,簡稱KEQs)才能明確評估工作、開展評估設

計。這里的評估問題是指整個評估工作所要回應的問題,并非在具體的調研工

作中所使用的問題。這類評估問題的產生主要依據(jù)兩個方面的信息:一是評估

方及其他評估參與方或評估結果使用方所提出的問題、信息需求或表達的關注

點;二是與項目所處發(fā)展階段相匹配的評估內容框架,及項目所解決的社會問

題與所服務對象的相關研究。后者主要由評估方提供,更多發(fā)揮參考、指引與

優(yōu)化的作用。

經過〃建立評估共識”的一系列工作,評估方可能收集到大量評估問題。

這些評估問題可評估性參差不齊,需要進一步優(yōu)化。首先,在分類的基礎上對

評估問題進行整合與提煉。TS而言,可分為指向項目操作與管理的過程性問

題、指向項目產出、成果與影響的結果性問題以及指向內外部環(huán)境的支持性問

題三類。其次,從可行性與應用價值兩個維度對優(yōu)化后的評估問題進行評分,

并依據(jù)得分結果進行優(yōu)先級排序。整個優(yōu)化過程需要評估方與委托方共同完

成,協(xié)商一致。為保障評估工作的質量,通常最終保留不超過7個核心評估問

題是匕啜合理的數(shù)量。

表3.4核心評估問題評分表

評價依據(jù)評估問題1評估問題2

可行14是否有匹配的資金與人力投入?

是否能滿足其所需時間?

是否有相應的方法與技術?

應用價值主要評1古使用者是否關心?

是否能產生確定的結果?

結果是否對項目決策有影響?

所得到的信息是否有長期價值?

注:答案為"是"計1分,"否"計。分,按各評估問題的總分進行優(yōu)先級排序

Step2.2評估工作內容分析

19

明德公益研究中心

公益行業(yè)評估支持平臺

核心評估問題決定信息收集對象與范圍、信息分析方式及評估所需投入,

這些內容正是評估工作的主體。基于"建立評估共識”階段所獲取的信息,評

估方需要針對每個評估問題進行工作分析,確定回答該問題所需要收集的信

息、信息來源、信息收集方式、信息分析方式、信息收集與分析所需時間與人

力投入。

其中,所需要的信息一般基于對核心評估問題的拆解,比如對項目目標是

否達成這一核心評估問題,其所需要收集的信息可能涉及項目目標在質與量兩

個維度上的多項內容?;诮徊骝炞C的考慮,獲取所需信息的來源需要多樣

化。一方面除委托方外,可以從合作伙伴、服務對象等項目相關方直接獲取信

息;另一方面,也可以從項目外的相關文獻、專家顧問獲取信息。

常用的信息收集方式包括桌面研究、問卷、訪談、觀察等,由此獲得的信

息可分為定量與定性兩大類。定量信息能夠直接描述事物的狀態(tài),明確直觀,

便于交流比較,但某些情況下因缺乏工具、技術或條件很難收集;而定性信息

則能夠反應事物之間的關系,豐富細節(jié),便于推測因果,但往往不易確定其代

表性與可推廣程度。因此,一般而言,評估信息收集工作需要兩者兼顧,互為

補充。與信息類型相對應,信息分析也可分為定性分析與定量分析兩大類。

表3.5核心評估問題工作分析表

評估問題所需信息信息來源收集方式分析方式所需時間所需人力

問題1

問題2

問題3

問題4

問題5

??????

Step2.3確立參與者權責

20

明德公益研究中心

公益行業(yè)南古支持平臺

在對每個核心評估問題進行分析的基礎上,評估方能夠統(tǒng)籌評估工作整體

所需的時間與預算,并列明評估過程中所需的參與方及其參與內容。為做好評

估過程管理,保障工作效率與質量,評估方需要根據(jù)"達成評估共識〃階段所

識別的相關方及其角色,以及"評估工作內容分析"所得到的具體參與內容,

明確各類相關方的參與人員及其權責。所有評估參與者,按照其在評估中所扮

演的角色,大致可劃分為四類。一般而言,發(fā)展性評估中應包括所有這四類參

與者,具體情況還需要與相關方協(xié)商確定。

第一類為管理決策類,主要以評估方、委托方及資助方的相關負責人等對

評估有決策權的人員為主。這類參與者直接參與評估準備、設計與管理工作,

對重要事項進行討論與決策,并在評估應用階段,執(zhí)行相應的管理決策。他們

能夠獲取評估過程與結果的所有信息,對評估工作有決策權。

第二類為參與應用類,主要為評估方團隊成員,委托方、資助方、合作伙

伴中的項目設計、管理與執(zhí)行者等直接參與項目、對項目過程有直接影響的人

員,以及未直接參與項目但在〃達成評估共識”階段被識別為核心評估結果使

用者的人員。這類參與者主要參與評估準備、設計與結果解釋的重要工作討

論,貢獻其觀點、提出意見與建議;在評估實施過程中協(xié)調相應的資源,保障

與支持具體工作的順利開展;并在評估應用階段,推動具體工作的改進。他們

是評估團隊的核心人員,能夠了解評估邏輯、影響評估設計、參與評估實施、

深入理解評估結果,并提升自身工作效率與質量。

第三類為協(xié)助支持類,主要包括已得到或尚未得到服務的項目目標對象、

目標對象家庭與所在七區(qū)成員、為目標對象提供類似服務的其他組織相關負責

人或相關內容研究者等受項目直接與間接影響、能夠反應項目成果與影響的人

21

明德公益研究中心

公益行業(yè)評估支持平臺

員。這類參與者主要參與評估實施過程,提供對項目的反饋、對環(huán)境的觀察、

以及對真實變化的理解,也能夠在評估設計中發(fā)揮積極作用,提供基于成果與

影響端的視角。他們能夠了解項目邏輯,推動項目設計、執(zhí)行與管理的改進,

從而獲得更好的收益。

第四類為傳播影響類,以"達成評估共識”階段所識別的其他可能使用評

估結果或影響項目發(fā)展環(huán)境的人員為主,比如:未參與項目的大額資助者、政

策制定者、媒體報道者、監(jiān)管機構相關負責人等。這類參與者相對被動,其參

與自主權更大,在整個評估過程中更可能是"被告知〃的角色。通常在評估應

用階段被邀請了解評估結果,共商應用計劃C

表3.6評估參與者及其權責清單

參與者類別具體人員主要參與內容責任權利

管理決策類

參與應用類

協(xié)助支持類

傳播影響類

第三節(jié)交付評估任務書

經過“明確評估任務”階段的工作,評估方與以委托方為主的相關方就評

估問題、方法、范圍、參與方及其權責、評估時間與預算等內容達成共識。這

一系列共識需要形成書面記錄,作為整個評估工作的內容與質量管理的指引,

為進一步的評估設計與評估協(xié)議簽訂等后續(xù)工作的開展奠定基礎。這份說明在

不同國家與地區(qū)或不同背景的組織中,可能有不同的稱謂。它可能被稱為評估

任務書(TermofReference,簡稱TOR)或評[古工作描述(Statementsof

Work,簡稱SOW),也可能被稱為項目評估文件(ProjectAppraisal

Document,簡稱PAD),還可能是提案建議書(RequestforProposal,簡

22

明德公益研究中心

公益行業(yè)南古支持平臺

稱RFP)或招標邀請書(InvitationforBid,簡稱IFB)0在我們的工作中,

將其統(tǒng)一稱之為評估任務書。

評估任務書的內容主要來自可評估性評價和與委托方溝通的結果,一般包

括為什么要做評估、評估什么、如何進行評估、如何管理評估及如何應用評估

幾方面內容。

〃為什么要做評估”主要提供被評估項目自身的基本信息,如發(fā)起的背

景、目的、核心利益相關方及其在項目中的角色與職責、歷史變化、項目目

標、產出、成果與影響等,以及委托評估的背景信息,如評估的發(fā)起者、原

因、目的、已開展或計劃中的相關活動等C

“評估什么”主要提供評估的具體目標與評估問題,以及評估范圍,如具

體對象、所覆蓋的項目時間周期與地域范圍等信息。為了保障評估結果的質

量,評估目標一般不應超過3~5個,每個目標都應有與之對應的評估問題。評

估問題應根據(jù)評估范圍具體化,如將〃項目是否達成目標〃具體化為〃項目是

否降低了高三年級學生的輟學率〃。評估目的、評估目標與評估問題之間應有

明確的邏輯遞進關系。

〃如何進行評估〃主要是對評估設計,如真實驗、準實驗、歷史研究等;

信息來源,如項目服務對象、項目執(zhí)行團隊、社區(qū)、互聯(lián)網(wǎng)等;信息獲取方

法,如觀察、詢問(問卷、訪談)、測量、桌面研究等;信息分析方法,如描

述統(tǒng)計、相關分析、差異檢驗;以及信息解釋方法,如對標歷史、其他地區(qū)或

相似項目的翔居,組織相關方討論等進行說明。

"如何管理評估〃主要說明評估的交付物與日程、評估參與方的職責、溝

通與決策機制、預算、以及評估所遵循的倫理原則,如數(shù)據(jù)的保密性、信息收

23

明德公益研究中心

公益行業(yè)評估支持平臺

集的匿名性、結果的真實性等。

〃如何應用評估”主要說明評估結果的主要使用者、可能會影響的決策、

結果傳播策略,如結果分享對象、分享方式與渠道等。

表3.7評估任務書參考模板

一、評估背景

1.項目歷史與現(xiàn)狀

2.一評估原因與目的

二、評估范圍

1.評估目標與問題

2.評估對象

3.

三、評估方法

1.i錨?削

2.信息來源與收集方法

3.信息分析與解釋

四、評估管理

1.評估交付物與日程

2.評估參與方及其職責

3.

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論