關(guān)于科學(xué)基金資助與管理績效國際評估典型案例工作方案的通知

1典型案例的收集和處理2010年5月17日，科學(xué)和技術(shù)基金的績效評估開始于北京舉行，這表明國際評估工作在兩年內(nèi)開始實施。本次評估將從戰(zhàn)略定位、資助績效、管理績效及影響等4個方面,全面評估國家自然科學(xué)基金(以下簡稱科學(xué)基金)設(shè)立25年來的資助與管理活動的整體績效,促進科學(xué)基金總結(jié)經(jīng)驗、明確方向、健康發(fā)展。科學(xué)基金通過以同行評議為核心的評審機制遴選項目予以資助和管理,受資助項目取得的優(yōu)秀成果是展現(xiàn)科學(xué)基金資助與管理績效的主要載體,據(jù)此形成的典型案例在本次評估中占有重要地位。為了推動典型案例收集工作,科學(xué)基金資助與管理績效國際評估辦公室(以下簡稱評估辦公室)于2010年3月16日印發(fā)了《關(guān)于印發(fā)科學(xué)部提供科學(xué)基金資助與管理績效國際評估典型案例工作方案的通知》(以下簡稱《工作方案》)?！豆ぷ鞣桨浮分赋?各科學(xué)部要梳理和總結(jié)25年來資助工作在推動重大科學(xué)突破和重要科學(xué)進展、促進各類人才成長和團隊進步、面向國家重大戰(zhàn)略需求和應(yīng)對重大事件提供基礎(chǔ)支撐、促進學(xué)科均衡協(xié)調(diào)可持續(xù)發(fā)展等方面發(fā)揮的作用。案例研究如何為科學(xué)基金績效評估提供支撐?怎樣征集和編寫案例?如何保質(zhì)保量完成案例研究工作?這些問題都是評估中需要回答的關(guān)鍵問題。為了推動科學(xué)基金典型案例工作,本文旨在探討上述議題,并結(jié)合醫(yī)學(xué)科學(xué)部的工作實踐,探討案例研究的若干問題。2科技績效評估與案例研究相結(jié)合案例研究最早源于醫(yī)學(xué)和法學(xué),后延伸到管理學(xué)及其他學(xué)科,并逐漸成為許多學(xué)科的重要研究方法。時至今日,盡管實證主義量化方法占據(jù)主流,案例研究等定性研究方法仍然是不容忽視的重要分支。案例研究注重“解剖麻雀”和“講故事”,旨在通過少數(shù)幾個案例的系統(tǒng)剖析和深入挖掘,探究問題的內(nèi)在邏輯。因此,案例研究具有縱貫性、深入性、生動性等特點,通過對少數(shù)觀測點的歷時、深入和生動的刻畫與再現(xiàn),為回答研究問題提供富有說服力的證據(jù)。案例研究有多種用途,如教學(xué)、研究、評估等,不同目的的案例研究有不同的原則、標(biāo)準(zhǔn)和方法。就績效評估來說,案例研究是一種不可或缺的評估方法,甚至在某些情況下是惟一可行的評估方法。雖然量化評估的呼聲甚囂塵上,乃至一度成為績效評估領(lǐng)域的不二法則,但案例研究始終占據(jù)著不可或缺的位置。案例研究通過有限數(shù)量的案例來揭示和理解評估問題,并為評估者提供學(xué)習(xí)和系統(tǒng)評估的機會。與其他評估方法相比,案例研究的優(yōu)點在于:“有助于理解復(fù)雜過程;探究尚未明確界定的變量;能夠組織安排并易于分析;有利于認(rèn)識影響計劃/項目成功的因素?！卑咐芯康娜秉c在于:“過度依賴評估者的技巧和經(jīng)驗;如果數(shù)量較大費用會非常高;難以跟蹤監(jiān)測;產(chǎn)生的量化信息有限?！笨萍伎冃гu估工具包括案例研究、文獻計量學(xué)、共詞分析、同行評議、專利分析、用戶調(diào)查、成本/收益分析等,它們各具特色,適用于不同的評估對象、目的和問題,并可以進行一定的組合。表1顯示,評估工具大致分為定量評估、定性評估、定量與定性相結(jié)合的評估,它們在基礎(chǔ)研究評估與研發(fā)/創(chuàng)新評估中的作用不盡相同。案例研究屬于定性評估,它在基礎(chǔ)研究評估與研發(fā)/創(chuàng)新評估中都非常適用。根據(jù)評估目的不同,案例研究大致分為6類:說明性案例研究,即通過一兩個案例對計劃的背景信息進行介紹,以使評估者熟悉背景并取得共識;探索性案例研究,是大規(guī)模評估前的試評估,用于回答評估方案設(shè)計的相關(guān)問題;批判性案例研究,通過少數(shù)案例回答一些關(guān)鍵問題,如計劃干預(yù)的因果關(guān)系問題;計劃實施案例研究,評估計劃是否按照預(yù)定方案執(zhí)行;計劃效果案例研究,評估計劃的影響及其成敗因素;累積性案例研究,多時點采集信息對計劃進行回顧性或前瞻性的評估。從科學(xué)基金績效評估的目的來看,主要采取的是計劃效果案例研究,即對受資助項目的效果和影響進行評估?；诖笠?guī)模量化數(shù)據(jù)的績效評估可以提供全面、整體的績效信息,但如果缺少以案例研究為支撐的細(xì)致入微的剖析,則很難真實反映評估對象的全貌。更為重要的是,基于邏輯模型,可以對受資助項目進行系統(tǒng)分析,講述一個個生動活潑的“績效故事”,從中反映科學(xué)基金績效。因此,實現(xiàn)量化數(shù)據(jù)與典型案例的“點面結(jié)合”,是科學(xué)基金績效評估的一個重要準(zhǔn)則,也是案例研究不可或缺的主要原因。從其他國家的實踐來看,案例研究始終是科學(xué)資助機構(gòu)績效評估的重要方法。2008年,Technopolis集團對歐盟創(chuàng)新項目進行評價,研究人員選取在研究領(lǐng)域、地區(qū)、預(yù)算等方面差異較大的60個項目進行案例研究。與項目利益相關(guān)者進行深度訪談和現(xiàn)場走訪,開發(fā)案例研究手冊和模板,遵循統(tǒng)一結(jié)構(gòu)對項目的戰(zhàn)略情境、規(guī)劃、管理、實施過程和結(jié)果等進行分析,揭示影響項目績效的關(guān)鍵因素。美國國家科學(xué)基金會(NSF)在2010年迎來60周年紀(jì)念,為此它在官方網(wǎng)站上設(shè)立了NSF歷史時間軸,以不同顏色的圖標(biāo)標(biāo)示NSF的歷史、教育活動、研究結(jié)果和歷屆主席。在這個時間軸上,每年都有1—3個大事件,必不可少的是NSF受資助項目獲得的標(biāo)志性科學(xué)突破。這種通過典型案例反映科學(xué)基金績效的事例并不鮮見,NSF在其近幾年的年度績效報告中專門設(shè)置“績效亮點”(performancehighlights),通過少數(shù)受資助項目的優(yōu)秀成果體現(xiàn)科學(xué)基金績效。3關(guān)鍵議題證據(jù)來源從循證評估的角度來看,案例研究為科學(xué)基金績效評估的許多關(guān)鍵議題和評估角度提供證據(jù)支撐。國際評估包括10個關(guān)鍵議題35個評估角度,典型案例為5個關(guān)鍵議題提供證據(jù)支撐,占全部關(guān)鍵議題的50%;為21個評估角度提供證據(jù)支撐,占全部評估角度的60%。因此,案例研究是科學(xué)基金績效評估不可或缺的重要方法和證據(jù)來源?？傮w而言,案例研究需要回答3個關(guān)鍵問題:回答什么問題或?qū)崿F(xiàn)什么目的;選取哪些案例、多少案例及如何選取;如何收集和分析案例信息。3.1方案三:基礎(chǔ)指標(biāo)+其他方法+評估方法對于科學(xué)基金績效評估而言,不同的關(guān)鍵議題和評估角度需要不同的評估證據(jù)加以支撐,而案例研究是反映資助績效與影響的重要證據(jù)。《工作方案》指出,案例研究主要為科學(xué)基金資助績效與影響提供證據(jù)支撐,科學(xué)基金的戰(zhàn)略定位與管理績效則主要基于其他方法,如檔案分析、問卷調(diào)查等。這種評估方法與評估目的的匹配關(guān)系符合國際評估的一般做法,也有助于發(fā)揮案例研究的作用。因此,案例研究需要回答的關(guān)鍵議題是:科學(xué)基金資助在促進重大科學(xué)突破、推動團隊建設(shè)和人才培養(yǎng)、解決國家戰(zhàn)略需求和促進學(xué)科發(fā)展等方面發(fā)揮了哪些作用?產(chǎn)生了哪些影響?3.2案例選取方面,應(yīng)根據(jù)關(guān)鍵議題選取典型案例案例研究廣受詬病的一個因素就是數(shù)量少,缺乏代表性。在案例研究方案設(shè)計中,關(guān)于案例選取的標(biāo)準(zhǔn)問題也是爭論得最為激烈的焦點問題。一些人建議盡可能多地選取案例,但由此卻增加了成本,并與其初衷背道而馳。另一些人則通過隨機抽樣技術(shù)保證案例選取的代表性。科學(xué)基金設(shè)立以來資助了大量項目,很難隨機抽樣或大規(guī)模采樣。基礎(chǔ)研究具有探索性、偶然性和不確定性,科學(xué)基金“廣種薄收”的資助特點決定了很難隨機抽樣。因此,針對關(guān)鍵議題和評估角度選取典型案例,就成為科學(xué)基金績效評估的主要方式。根據(jù)國際經(jīng)驗,《工作方案》規(guī)定每個科學(xué)部提供的案例總量應(yīng)在60—80個,共計形成500個左右的案例,為各個評估角度提供證據(jù)支撐(詳見表2)。3.3面向不同學(xué)科的案例研究案例研究強調(diào)獲取并占有第一手資料,評估方的實地考察與受資助者的報告都屬于第一手資料。由于基礎(chǔ)研究具有很強的前瞻性和專業(yè)性,如果缺乏足夠的學(xué)科背景,很難理解其內(nèi)涵和價值。因此,面向不同學(xué)科實施案例研究,首先需要解決的問題就是如何確保案例研究不受學(xué)科專業(yè)性的限制。不同學(xué)科的專業(yè)性不同,很難強求評估方對其都能了如指掌。對項目情況最有發(fā)言權(quán)的是作為受資助者的專家,因此邀請專家編寫案例既符合科學(xué)基金的職能特點,也能確保真實性和科學(xué)性?！豆ぷ鞣桨浮芬?guī)定,典型案例分為4大類共11小類,分別反映科學(xué)基金在促進科學(xué)突破、推動人才培養(yǎng)、滿足國家需求和促進學(xué)科發(fā)展等方面的作用;規(guī)定了每類案例的文本范本和編寫范例,為專家編寫案例提供引導(dǎo),并有助于按照統(tǒng)一格式報告。4典型案例遴選2009年9月,醫(yī)學(xué)科學(xué)部經(jīng)批準(zhǔn)正式設(shè)立。作為國家自然科學(xué)基金委員會設(shè)立最晚的科學(xué)部,醫(yī)學(xué)科學(xué)部成立伊始面臨著多方面的挑戰(zhàn),典型案例工作即是其中之一。科學(xué)部的學(xué)科建制和人員配置經(jīng)過較大幅度的調(diào)整重組,使原始資料的整理、篩選和分析變得較為困難。2010年受理申請項目規(guī)模大,位居全委之首,評審工作量較大,影響典型案例工作進展。醫(yī)學(xué)科學(xué)部克服重重困難,確保順利完成評審業(yè)務(wù)工作與典型案例工作。為征集典型案例,總結(jié)醫(yī)學(xué)領(lǐng)域過去25年的資助成果,科學(xué)部擬定了工作計劃并委派綜合處負(fù)責(zé)。由于4—5月份恰逢評審工作高峰期,為了在不影響評審業(yè)務(wù)工作的前提下順利完成案例工作,綜合處在前期進行了大量準(zhǔn)備工作。具體來說,采取“兩步走”策略,平衡科學(xué)部工作周期并協(xié)調(diào)工作高峰期。在同行評議指派時期(3—5月份)遴選反映科學(xué)基金促進科學(xué)突破、推動人才培養(yǎng)和滿足國家需求等3類典型案例清單,避免分散科學(xué)處的工作重心。在同行評議時期(5—6月份)遴選和編寫科學(xué)基金促進學(xué)科發(fā)展的典型案例,發(fā)揮科學(xué)處的作用。綜合處首先消化吸收典型案例工作方案,明確科學(xué)部的主要任務(wù)及工作方式。根據(jù)工作要求,初步擬定了案例的收集數(shù)量和分布狀況,并制定工作計劃。整理、篩選和匯總1986年以來科學(xué)基金資助項目在醫(yī)學(xué)科學(xué)領(lǐng)域取得的優(yōu)秀成果,包括在各類出版物中報道的優(yōu)秀成果,如歷年《國家自然科學(xué)基金委員會年度報告》、歷次《國家自然科學(xué)基金資助項目優(yōu)秀成果選編》、《國家自然科學(xué)基金委員會15周年成果選編》、《國家自然科學(xué)基金20周年巡禮》等,以及獲得各類國家科技獎的優(yōu)秀成果,如國家自然科學(xué)獎、國家科技進步獎。由于醫(yī)學(xué)科學(xué)部成立較晚,主要工作是根據(jù)學(xué)科代碼篩選醫(yī)學(xué)科學(xué)領(lǐng)域的資助項目,按照所屬學(xué)科和評估角度對優(yōu)秀成果進行分類歸并,形成可供各科學(xué)處遴選的清單,并擬定各科學(xué)處的征集數(shù)量、類型和要求。綜合處共計整理備選優(yōu)秀成果526項,其中報道成果300項,獲獎成果226項(具體見表2)。綜合考慮典型案例工作要求和科學(xué)部的具體情況,計劃收集80個左右的典型案例。醫(yī)學(xué)科學(xué)部專門召開典型案例工作會議,向科學(xué)處布置工作要求并下發(fā)備選案例清單,請科學(xué)處從中遴選或另外推薦最能反映各個評估角度的案例。隨后,各科學(xué)處將遴選的案例清單向綜合處反饋,共計156個案例。綜合處根據(jù)不同情況進行溝通,請科學(xué)處增補案例,共計獲取177個案例。綜合處在此基礎(chǔ)上平衡不同歷史階段、學(xué)科方向、項目類型、地區(qū)和單位、項目負(fù)責(zé)人(性別、民族、年齡、職稱等)的代表性,對備選清單進行篩選,按照重要程度形成了擬報送的案例清單,共計87個案例。綜合處向科學(xué)處反饋和征求意見,遴選最有代表性的案例并排序,分門別類決定案例清單,協(xié)調(diào)并匯總形成科學(xué)部案例清單。在征求科學(xué)處及有關(guān)方面的意見后,確認(rèn)科學(xué)部案例清單。綜合處統(tǒng)一發(fā)函邀請科學(xué)家撰寫反映科學(xué)基金促進科學(xué)突破、推動人才培養(yǎng)和滿足國家需求等3類案例;科學(xué)基金促進學(xué)科發(fā)展的案例由科學(xué)處負(fù)責(zé)撰寫。為確保工作順利,綜合處及時與編寫者保持聯(lián)系,提供所需資料并回答涉及的問題。目前已發(fā)出全部邀請信并經(jīng)編寫者確認(rèn),回收了部分案例文本與證明材料,并收到部分編寫者的反饋。預(yù)計將按時獲得各類案例,在征求評估辦公室的意見后請編寫者修改完善,匯總整理后報送評估辦公室。5案例研究基本事項與方法本文對案例研究方法在科學(xué)基金績效評估中的重要性進行了分析,并結(jié)合醫(yī)學(xué)科學(xué)部的探索與實踐,闡述了案例研究需要明確的問題與注意的事項,為更加穩(wěn)妥地推進科學(xué)基金績效評估提供了依據(jù)。醫(yī)學(xué)科學(xué)部典型案例的工作經(jīng)驗包括以下幾點。5.1典型案例工作是科學(xué)部開展管理工作的有力保障科學(xué)部對科學(xué)基金績效評估典型案例工作高度重視,先后召開多次會議,并組織科學(xué)部全體工作人員學(xué)習(xí)工作文件及其他材料?？茖W(xué)部牢牢抓住典型案例工作契機,將其作為科學(xué)部的一項年度重要工作,與其他業(yè)務(wù)工作有機結(jié)合,并通過典型案例的收集,為科學(xué)部積累優(yōu)秀成果,為管理工作完善提供依據(jù)。與此同時,結(jié)合科學(xué)部的實際情況細(xì)化并制定周密的工作計劃,并對關(guān)鍵時間節(jié)點進行監(jiān)測,確保工作順利推進。5.2專家處的工作對象在案例清單遴選過程中,采取上下聯(lián)動的方式,充分發(fā)揮科學(xué)部領(lǐng)導(dǎo)、綜合處和各科學(xué)處的作用?？茖W(xué)處對受資助項目的情況最為了解,能夠為典型案例工作提供富有價值的參考意見?？茖W(xué)處的工作人員對受資助項目,特別是一些較有“顯示度”的項目非常熟悉,常常是信手拈來,如數(shù)家珍。他們十分清楚哪些項目最能代表本學(xué)科在各個評估角度的貢獻,并對這些項目的最新進展及科學(xué)基金在其中發(fā)揮的作用了如指掌。充分發(fā)揮科學(xué)處的作用,是典型案例