1、評價研究設計,實驗的分類,實驗 物理學研究 化學 動物實驗 實驗的長處和不足 類實驗 無法完全控制實驗條件,研究的兩個效度,內(nèi)部效度 針對于本研究的對象，研究結(jié)果的真實度 外部效度 研究的結(jié)果在多大程度上能推論（廣）到其他地方,實驗、類實驗與兩個效度,實驗 內(nèi)部效度高，外部效度低 類實驗 內(nèi)部效度要打折，而外部效度高,項目（干預）成功的兩個基本條件,1、有效的項目設計 即：如果項目干預方案得到完全的實施，那么，項目的目標就能實現(xiàn)，項目所要解決的問題就能解決 2、項目實施 即：項目的方案得以按質(zhì)、按量地實施、完成 二者缺一不可,項目失敗,錯誤的項目設計,有效的項目設計,有效的項目設計,不好的項目

2、實施,很好的項目實施,項目成功,項目失敗,很好的項目實施,項目失敗,項目理論失敗,項目實施失敗,項目理論,建立項目理論、進行有效干預 基于項目理論、進行項目評價,項目理論的例子,60年代美國衛(wèi)生部關注嬰兒死亡率和嬰兒智力低下， 撥經(jīng)費開展干預項目 前提假設 嬰兒死亡率及智力低下與低體重兒（早產(chǎn)）相關 低體重兒與孕婦孕期未及時治療疾病和營養(yǎng)不良相關 這種情況可在某些人群中發(fā)現(xiàn)，如未成年懷孕，35的孕婦，多產(chǎn)孕婦，有早產(chǎn)史，或收入低下的家庭 基于上述相關關系。建立項目理論 如果找到高危母親 如果能讓她們參加項目 如果能將針對這些因素服務有效地提供給她們 那么，就能降低早產(chǎn)出生率 那么，就可以降低嬰

3、兒死亡率和智力低下,社會問題及干預,社會問題,貧窮 疾病 失業(yè) 犯罪,項目干預設計,需求評估項目設計項目評估,項目實施,項目產(chǎn)出,項目效果,過程評價,項目評價的基本問題,是問題嗎？問題有多嚴重、范圍有多大、影響誰？需求評估 項目設計有效嗎？項目論證（對設計進行評估） 項目執(zhí)行了嗎？實施評估（過程評估） 項目有效果嗎？項目效果評估 項目干預值得嗎？ 成本-效果分析,評價設計思路,評價設計思路,項目設計,項目實施,項目產(chǎn)出,問題,效果評價：項目解決了問題了嗎,需求評估,方案論證,實施的評價,評價研究的目的,評價研究的目的是 檢驗新的做法是否被實施 如果被實施，效果如何？ 目標人群是否收益？ 項目的

4、效果是否可持續(xù)？ 如何進一步改進、完善,評價的類型,過程評價 效果評價,基本評價設計,1、前后比較 1、 O X O 2、干預組與對照組比較 2.1、 X O O 2.2、 O X O O O 3. 時間序列分析 3.1. O1 O2 O3 X O4 O5 O6 3.2. O1 O2 O3 X O4 O5 O6 3.3. O1 O2 O3 O4 O5 O6,效果評價的任務,如何估計完全是由于項目干預所帶來的效果？,項目凈效益,1,2,項目效益Y,=,項目后(yepre ),項目前（yepost ）,=,1,對照組的變化(yc ),=,項目后(ycpre ),_,項目前（ycpost ）,=,2

5、,項目組的變化(ye ),=,項目后(yepre ),_,項目前（yepost ）,=,1,項目凈效益,=,2,1,項目前,項目后,Y,利用回歸模型控制混雜因素，估算項目效益,項目干預,項目干預組,對照組,變量的分類項目目標變量、干預變量、控制變量,因變量Y： 早產(chǎn)兒出生率 嬰兒死亡率，智力低下 干預變量X：針對各種因素的服務干預 參加項目（是， 否） 控制變量 年齡、教育、性別 當?shù)亟?jīng)濟增長 交通,利益相關者評價方法,確定利益相關者 澄清利益相關者的關注點 定義評價研究所要問答的問題 （研究課題） 如何回答評價研究所要回答的問題 選擇指標 選擇評價設計 數(shù)據(jù)分析方案,利益相關者評價方法的評價

6、步驟,1. 確定利益相關者 2. 澄清利益相關者的關注點 3. 定義評價研究所要問答的問題（研究課題） 4. 如何回答評價研究所要回答的問題 a. 選擇指標 b. 選擇評價設計 c. 數(shù)據(jù)分析方案 d. 數(shù)據(jù)收集方案,5. 過程評價 澄清項目理論 澄清項目干預關鍵流程 按照干預流程，檢查干預的實施 評價目標人群是否得到干預服務 6. 項目效果評價 7. 撰寫項目評價報告 8. 報告的散發(fā),利益相關者及其關注點和評價課題,利益相關者,關注,評價命題,農(nóng)民,能否看得起??？,能不能看好病,項目合作醫(yī)療是否會降低農(nóng)民 看病的費,用？,合作醫(yī)療對服務的質(zhì)量是否有所改進？,衛(wèi)生局、 政府,農(nóng)村衛(wèi)生服務的改

7、進,服務的利用,有哪些新服務開展？,服務的質(zhì)量高嗎？,誰利用衛(wèi)生服務？,服務成本效益嗎？,-,討論題,中關村地區(qū)高血壓患病率較高，當?shù)匦l(wèi)生部門擬開展試點，尋求有效的、經(jīng)濟的可持續(xù)的高血壓干預方法，以便在面上推廣應用。 1、你如何設計干預試點項目，請列出步驟及每一步驟期望的結(jié)果； 2、你如何設計試點評價方案，請列出步驟及每一步驟期望的結(jié)果。,利益相關者評價方法,確定利益相關者 澄清利益相關者的關注點 定義評價研究所要問答的問題 （研究課題） 如何回答評價研究所要回答的問題 選擇指標 選擇評價設計 數(shù)據(jù)分析方案,利益相關者及其關注點和評價課題,高血壓試點效果評價,利益相關者,關注點,評價命題,結(jié)果

8、指標,自變量指標,評價設,計,選擇評價指標,明確概念 初選評價指標 評價評價指標,選擇評價指標,明確概念 明確各種不同的概念定義 確定概念的定義 明確概念的不同角度,選擇評價指標,初選評價指標 選擇多少指標 如何制定指標 如何將指標轉(zhuǎn)化成調(diào)查表,選擇評價指標,評價評價指標 必須明確測量真正要測量的， 測量的結(jié)果是可靠得住的 評估有效性、可靠性 試調(diào)查,制定調(diào)查問卷,選擇的區(qū)域 結(jié)果指標的測量 干預指標及研究指標的測量 背景指標的測量 問卷內(nèi)容 提問的用詞、語序、語氣 簡短、直接和非直接提問（敏感問題）、 無誘導 提問的種類 開放式問題和封閉式問題 場景式提問,抽樣,抽樣方法 概率抽樣 簡單概率

9、抽樣 系統(tǒng)抽樣 分層抽樣 多步整體抽樣 非概率抽樣 目的性抽樣 限額（按比例）抽樣 樣本大小,評價設計的有效性,有效性與評價設計相聯(lián)系 內(nèi)部有效性 所謂評價設計是內(nèi)部有效的，那么，項目評價人員則能自信地說評價的結(jié)果是正確的。 外部有效性 指評價的結(jié)果能推廣到其它地方的程度 內(nèi)部有效性對于評價來說是至關重要的，如果沒有內(nèi)部有效性，就不能說效果是項目帶來的還是其它因素造成的。,利益相關者評價方法的評價步驟,1. 確定利益相關者 2. 澄清利益相關者的關注點 3. 定義評價研究所要問答的問題（研究課題） 4. 如何回答評價研究所要回答的問題 a. 選擇指標 b. 選擇評價設計 c. 數(shù)據(jù)分析方案 d

10、. 數(shù)據(jù)收集方案,5. 過程評價 澄清項目理論 澄清項目干預關鍵流程 按照干預流程，檢查干預的實施 評價目標人群是否得到干預服務 6. 項目效果評價 7. 撰寫項目評價報告 8. 報告的散發(fā),項目評價建議書,1、背景 簡介 陳述項目要解決的問題 2、評價命題 3、描述項目干預 4、項目的預期效果 5、原因分析及項目理論 6、項目目的 7、項目目標 8、項目目標人群 9、論述項目干預前的需求評估，如果沒有進行需求評估，則論述在需求評估時應關注的問題，以及相應的評估方法,10、批判性地評論項目是否有項目執(zhí)行情況的監(jiān)測，如果沒有，提出并論述你的具體建議。 11、描述評價設計（OXO） 12、結(jié)果指標

11、、干預指標及分析性指標 13、如何測量結(jié)果指標，論述測量的可靠性、有效性 14、如何測量控制性變量 15、抽樣方法 16、分析方法 17、詳細討論該評價設計的內(nèi)部有效性、外部有效性的影響因素。 18、評價的意義,評價報告,I. 簡介（背景） 衛(wèi)生問題 干預項目 評價命題 II. 方法 評價設計 干預的目標、活動 樣本 結(jié)果指標 信度(穩(wěn)定度，可靠性) 效度 指標收集的質(zhì)量保證 分析方法,III. 結(jié)果 回答率 人口及其它特征的描述 效果分析 成本效果分析 IV. 結(jié)論 V. 建議 表格、圖 表1 表2 圖1 附件 調(diào)查表 問卷 樣本量計算 調(diào)查員培訓材料,項目評價建議書（設計）,1、背景 簡介

12、 陳述項目要解決的問題 2、評價命題 3、描述項目干預 4、項目的預期效果 5、原因分析及項目理論 6、項目目的 7、項目目標 8、項目目標人群 9、論述項目干預前的需求評估，如果沒有進行需求評估，則論述在需求評估時應關注的問題，以及相應的評估方法,10、批判性地評論項目是否有項目執(zhí)行情況的監(jiān)測，如果沒有，提出并論述你的具體建議。 11、描述評價設計（OXO） 12、結(jié)果指標、干預指標及分析性指標 13、如何測量結(jié)果指標，論述測量的可靠性、有效性 14、如何測量控制性變量 15、抽樣方法 16、分析方法 17、詳細討論該評價設計的內(nèi)部有效性、外部有效性的影響因素。 18、評價的意義,選擇評價指標,初選評價指標 選擇多少指標 如何制定指標 如何將指標轉(zhuǎn)化成調(diào)查表,評價報告,