TA4581:DevelopingaNationalResult-Based

M&ESystemForKeyProjects

建設(shè)國家重大項目以結(jié)果為導(dǎo)向的

監(jiān)測與評估系統(tǒng)

Evaluation

評估March20072007年3月項目建成3－5年后領(lǐng)導(dǎo)們想知道：項目建設(shè)的正確嗎？項目是否實現(xiàn)預(yù)期的運營結(jié)果？在運營階段是否有需改進(jìn)的方面以優(yōu)化結(jié)果？項目產(chǎn)生的結(jié)果是否在項目提交物運行的全生命周期內(nèi)有持續(xù)性？項目是否已經(jīng)實現(xiàn)了預(yù)期的長期影響？我們將來是否應(yīng)該再實施類似的項目？我們從此項目中學(xué)到什么經(jīng)驗教訓(xùn)，這些經(jīng)驗教訓(xùn)如何應(yīng)用到未來的項目中？Evaluation評估系統(tǒng)地、客觀地對項目、大型計劃和戰(zhàn)略進(jìn)行評估－我們的討論將限制在項目的范圍內(nèi)；評估包括對可行性研究、設(shè)計、實施和結(jié)果的評估；

評估可在項目實施前，實施中及實施后進(jìn)行，但我們最常關(guān)注的是后評價；僅對選擇的主要項目進(jìn)行深入徹底的評估。直接結(jié)果和長期影響如果缺乏正式的評估，項目完成后其直接結(jié)果和長期影響通常不能進(jìn)行測量。直接結(jié)果評估研究的是項目投入運行后馬上可以產(chǎn)生的結(jié)果：如財務(wù)方面的，使用情況，及其他直觀的結(jié)果

。長期影響評估研究項目所帶來的更廣泛的經(jīng)濟、社會和環(huán)境效果。項目評估的目的評估項目的相關(guān)性、設(shè)計和實施；

決定項目所帶來的直接結(jié)果和長期影響：在財務(wù)、經(jīng)濟、社會和環(huán)境指標(biāo)上的影響；包括預(yù)期和未預(yù)期的影響評估項目結(jié)果的持續(xù)性：項目所產(chǎn)生的結(jié)果是否可持續(xù)到將來？服務(wù)于將來的項目：其它選擇的可能性經(jīng)驗教訓(xùn)

什么時候進(jìn)行評估評估的時間取決于想從評估中獲得什么：在項目實施之前和實施中的評估更關(guān)注項目對需解決問題的相關(guān)性，及項目方案及設(shè)計能否滿足解決原設(shè)定問題的初衷。項目在完成后一年內(nèi)進(jìn)行評估主要關(guān)注的是項目的提交物情況及項目投入運行初期產(chǎn)生的直接結(jié)果。

在項目建設(shè)完成1至3年間的評估主要關(guān)注項目所帶來的直接結(jié)果，同時也可以看作早期的長期影響。

項目建設(shè)完成3至5年后，評估更關(guān)注長期影響。評估基本內(nèi)容相關(guān)性項目長期影響和直接結(jié)果與國家發(fā)展戰(zhàn)略的一致性

項目方案和設(shè)計滿足需求效果實現(xiàn)直接結(jié)果的程度效率相關(guān)資源轉(zhuǎn)化為結(jié)果的經(jīng)濟性及效率可持續(xù)性項目資源（人力、組織、制度，財務(wù)）是否可以滿足項目在其經(jīng)濟周期內(nèi)持續(xù)帶來影響產(chǎn)生結(jié)果。后評估“后”評估目的是為了評價項目所帶來的結(jié)果

評估的四個準(zhǔn)則：相關(guān)性效果效率

可持續(xù)性長期影響指標(biāo)通過項目提交物的運營持續(xù)直接產(chǎn)生相應(yīng)的結(jié)果，這些結(jié)果的積累帶來更廣泛更長期的影響；長期影響指標(biāo)用于評估。Impactindicators–examples

長期效應(yīng)—舉例數(shù)量歸于該項目原因的凈增就業(yè)量質(zhì)量特殊疾病死亡率的減少量傳染病死亡率（例如工程區(qū)域嬰兒死亡率，與項目建設(shè)前相比每個地區(qū)至少了xx％）

財務(wù)由項目帶來的經(jīng)濟收益－例如：因為高速公路項目沿線地區(qū)國民生產(chǎn)總值(GDP)的增加。效果分析要求分析反應(yīng)項目的”真實“效果對照“之前”和“之后”“實現(xiàn)的”和“目標(biāo)設(shè)置的”“有項目”和“沒有項目”.兩種類型：定量定性之前/之后時間實施項目運營期變化結(jié)果其他因素的影響時間實施提交物周期因為項目原因產(chǎn)生的變化因為其他因素發(fā)生的變化結(jié)果定量分析－使用“反事實”法將項目受益群體或地區(qū)與非項目受益群體或地區(qū)的直接結(jié)果指標(biāo)進(jìn)行比較;要求謹(jǐn)慎設(shè)置研究方法；使用實驗的、“準(zhǔn)實驗的”或者“非實驗的”設(shè)計。使用反事實法時間實施提交物運營周期因為項目原因產(chǎn)生的差別因為其他因素產(chǎn)生的差別“項目”組“非項目”組結(jié)果對比組可能從不同的基線開始時間實施提交物運行周期“項目”組“非項目”組D2D1因為項目原因產(chǎn)生的差別=D2–D1結(jié)果定量方法隨機實驗設(shè)計準(zhǔn)實驗設(shè)計非實驗設(shè)計隨機實驗設(shè)計類似醫(yī)學(xué)研究－對控制組（非項目）組與實驗組（受項目影響）進(jìn)行比較。實際應(yīng)用有局限性隨機實驗設(shè)計隨機將個人或團體分入從項目中受益的“處理”組或不在項目中受益的“控制”組；盡可能從開始就如此分組；兩組應(yīng)該經(jīng)歷相同的項目之外的事件；對各組的直接結(jié)果進(jìn)行測量；兩組直接結(jié)果之間的差異是因為項目的原因產(chǎn)生的，而其他客觀原因?qū)山M差別的影響應(yīng)該微乎其微。項目/非項目比較的“準(zhǔn)實驗”設(shè)計

與實驗設(shè)計的原理相同，但是：沒有隨機分為控制組和處理組；使用與自然情況相對應(yīng)的方法分組比較，而非隨機分組；要求更多的數(shù)據(jù)排除二義性的解釋。包括：非等價比較設(shè)計；時間中斷設(shè)計；關(guān)聯(lián)設(shè)計非實驗方法…使用統(tǒng)計學(xué)方式進(jìn)行模擬包括：propensityscorematching，

(D2-D1),regressiondiscontinuitydesign，

instrumentalvariables。

需要謹(jǐn)慎避免評價偏見選擇定量方法需考慮平衡：對結(jié)果精準(zhǔn)度要求成本實用性定性分析一些重要的長期影響可能不易進(jìn)行定量監(jiān)測，或更好采用定性評估。有些定性的信息會加深對定量數(shù)據(jù)的理解。包括：觀察有組織的面談?wù){(diào)查

（定性的問題）目標(biāo)群體日志和自我報告專家判斷長期影響定性評估不使用反事實分析；通過使用定性方法，如過程評審、面談、調(diào)查、二手?jǐn)?shù)據(jù)分析，得出推論；雖然沒有像定量方法那樣嚴(yán)格，但是通常也可提供有用的信息；通過使用深入的定性評估，引進(jìn)一些復(fù)雜情景條件，以增進(jìn)對定量結(jié)果的認(rèn)識。定量Vs定性分析定量分析更權(quán)威但是需要投入更多的努力也更嚴(yán)格。雖然有定量數(shù)據(jù)，但是定性評估仍可對定量的評估起到補充和加強的作用。評估設(shè)計在項目識別和準(zhǔn)備期間決定是否要執(zhí)行評估明晰評估的目標(biāo)調(diào)查數(shù)據(jù)實用性選擇評估方法組成評估組如果需要收集數(shù)據(jù)，那么設(shè)計和取樣形成問卷召集現(xiàn)場工作人員并進(jìn)行培訓(xùn)預(yù)備調(diào)查在項目實施期間和之后引入基線和反復(fù)調(diào)查分析數(shù)據(jù)匯報結(jié)果，與利益相關(guān)方進(jìn)行討論將評估結(jié)果融入將來的項目策劃中評估資源分配基于評估方法的選擇；非常詳細(xì)的評估研究可能需花費多至100萬元人民幣;如果從項目啟動時就設(shè)置好監(jiān)測系統(tǒng)來收集關(guān)于項目結(jié)果的數(shù)據(jù)，則花費要少得多。實際考慮對于規(guī)模巨大的基建項目長期影響的測量會很困難，因為項目影響到的人群是很大的；有些項目需要更長時間才能產(chǎn)生長期影響。例如：如果投資在交通、水電的商業(yè)項目，它們的使用還需重新建立相應(yīng)的通道或準(zhǔn)入，則項目所帶來的對經(jīng)濟增長的影響可能會比項目滯后多年。案例－河北公路

評估組設(shè)計&監(jiān)測框架現(xiàn)場數(shù)據(jù)收集報告總結(jié)評估組組成評估官員交通經(jīng)濟學(xué)家－國際人員

交通專家－中國國內(nèi)人員社會經(jīng)濟/移民專家－中國國內(nèi)人員設(shè)計&監(jiān)測框架設(shè)計總結(jié)指標(biāo)和目標(biāo)數(shù)據(jù)/匯報機制長期影響增長經(jīng)濟，減少河北省貧困受影響市縣在2000年至2010年的經(jīng)濟增長要達(dá)到政府經(jīng)濟增長目標(biāo)。到2005年在9個貧困縣的每戶收入要高于貧困線（人民幣1，100元）由業(yè)務(wù)評估團(OEM)調(diào)查，數(shù)據(jù)取自河北省交通廳(HPCD).直接結(jié)果1.通過提高供應(yīng)能力，改善道路設(shè)施，為客、貨運輸提供更為有效、安全的環(huán)境。2.改善進(jìn)入貧困縣村的道路

3.建立corporatize和高速公路單位的能力交通高峰主路的平均速度從每小時40公里提高到每小時60公里到2005年每10,000vehicle-km死亡率降低至少10%。減少現(xiàn)有道路（230公里）交通擁堵，到2005年現(xiàn)有道路年平均日交通流量(AADT)增長了30%。到2003年項目所在地區(qū)農(nóng)業(yè)運輸時間減少了至少15%。國際道路粗糙指數(shù)(IRI)減少至<3米/公里。到2003年，道路收費增長了至少5％。

2000年，河北省交通廳改組，高速公路運營實現(xiàn)計算機管理。業(yè)務(wù)評估團使用GPS設(shè)備調(diào)查速度交警統(tǒng)計數(shù)據(jù)

交通數(shù)據(jù)來自河北省交通廳和業(yè)務(wù)評估團的交通調(diào)查。平均點到點的交通時間來自交通調(diào)查和河北省交通廳的數(shù)據(jù)。由業(yè)務(wù)評估團ridesurvey評估－視察&乘車質(zhì)量。河北省交通廳預(yù)算數(shù)據(jù)。河北省交通廳文檔評審亞行項目文件；項目可行性研究（1997,河北省交通工程設(shè)計院）項目后評價研究（2004,中國道路建設(shè)咨詢管理公司）京滬高速公里社會經(jīng)濟評估（2005年3月,河北社會研究院）滄州貧困改善監(jiān)測報告（2004年4月,河北社會研究院）京滬高速公路移民安置報告（2003年11月,河北社會研究院）項目收入表、現(xiàn)金流、資產(chǎn)負(fù)債表（從1998-2013,京滬高速公路管理辦公室）組織結(jié)構(gòu)（2006,京滬高速公路管理辦公室）收費站的年交通量（高速公路管理辦公室）河北年鑒（2005,河北統(tǒng)計局）現(xiàn)場數(shù)據(jù)收集計算5條連接縣級道路的車流；60份問卷－基于與9個村利益相關(guān)方關(guān)于縣級連接道路影響的面談；通過高速公路和原104國道，測量道路粗糙度和檢查道路；與項目可行性研究報告作者面談；與項目運營者面談（辦公室領(lǐng)導(dǎo)，財務(wù)、維護、法規(guī)部門領(lǐng)導(dǎo)，一個收費站領(lǐng)導(dǎo)、處理超載事務(wù)部門領(lǐng)導(dǎo)）；

與業(yè)主面談（辦公室總工程師，項目辦公室財務(wù)、規(guī)劃和維護部門，河北省交通廳）；與政府負(fù)責(zé)農(nóng)村地區(qū)發(fā)展相關(guān)的官員面談與河北社會研究院專家面談；與縣級交通部門面談；與村長面談；與一所當(dāng)?shù)匦W(xué)的教師面談。指標(biāo)和目標(biāo)受影響市縣在2000年至2010年的經(jīng)濟增長要達(dá)到政府經(jīng)濟增長目標(biāo)。到2005年在9個貧困縣的每戶收入要高于貧困線（人民幣1，100元）。經(jīng)濟有所增長但是在評估時沒有給出目標(biāo)。

實現(xiàn)。9個貧困縣每戶收入從1998年的212元增長到2004年的958.3元（每年增長28.6%)。交通高峰主路的平均速度從每小時40公里提高到每小時60公里到2005年每10,000vehicle-km死亡率降低至少10%。減少現(xiàn)有道路（230公里）交通擁堵，到2005年現(xiàn)有道路年平均日交通流量(AADT)增長了30%。到2003年項目所在地區(qū)農(nóng)業(yè)運輸時間減少了至少15%。國際道路粗糙指數(shù)(IRI)減少至<3米/公里。到2003年，道路收費增長了至少5％。2000年，河北省交通廳改組，高速公路運營流程實現(xiàn)計算機管理。實現(xiàn)。在高速公路建成后，104國道的平均速度從每小時40公里提高到每小時60公里。由于高速公路分流，現(xiàn)有104國道的交通減少30％。這樣交擁堵得以減少。

實現(xiàn)。事故率從2001年的0.00140每10,000veh-km減少至2004年的0.00048。

實現(xiàn)?？h級連接道路能力從4級上升至2級，道路從原來4米拓寬為8米。高速公路在2001年至2005年之間，年平均日交通流量每年以34％的速度增長。

交通時間明顯減少。例如，在Qingxian至Wuqiao&Nanpi&Haixing，時間縮短了50％。

實現(xiàn)。高速公路的國際道路粗糙指數(shù)(IRI)減少至2米/公里。在2005年對維護縣級連接道路的維護費用預(yù)算高達(dá)10億人民幣，預(yù)計2006年維護費達(dá)到15億人民幣。這個預(yù)算費用，若以長度計算，每公里道路維護費用高達(dá)12，900元人民幣（大約每公里1600美元）。維護預(yù)算費用用由中央政府、市財務(wù)預(yù)算和縣財務(wù)預(yù)算提供。高速公路單位仍然不能完全corporatized。河北省交通廳改組，高速公路管理和運營流程實現(xiàn)計算機化。評估的主要內(nèi)容（直接結(jié)果）相關(guān)性：專家評審了關(guān)于項目文件、政府和亞行戰(zhàn)略及優(yōu)先排序的文件。效果：實現(xiàn)主要目標(biāo)的數(shù)據(jù)：減少了車輛運營成本(VOC)減少交通擁堵；推動城市間交通通行；降低了項目地區(qū)的貧困狀況。效率：顯示效率的數(shù)據(jù)：經(jīng)濟內(nèi)部收益率(EIRR).可持續(xù)性顯示可持續(xù)性的數(shù)據(jù)：項目資產(chǎn)（道路、其它設(shè)施）的可持續(xù)性；財務(wù)可持續(xù)性（稅收、重新評估財務(wù)內(nèi)部收益率，F(xiàn)IRR）；充足的維護（目前和計劃的）人力資源的保證評估的主要內(nèi)容（長期影響）…對組織機構(gòu)的影響定性評估：河北省交通廳(HPCD);京滬高速公路管理組織(JHEMO)對移民造成的影響：定量的對移民影響進(jìn)行了評測，專家還對