研究生教育質(zhì)量效率評價指標體系的構建

研究生教育作為國家最高教育，承擔著培養(yǎng)高級創(chuàng)新人才和發(fā)展現(xiàn)代科技的任務。這是實施一國創(chuàng)新體系的重要組成部分。黨的十八大報告提出到2020年要努力實現(xiàn)創(chuàng)新人才培養(yǎng)水平的明顯提高,這為提升我國研究生教育質(zhì)量水平提出了新要求,是轉(zhuǎn)變當前研究生培養(yǎng)和教育模式面臨最為迫切的問題。因此,把握當前我國研究生教育質(zhì)量的實際,才能有的放矢。當前,建立一套科學的研究生教育質(zhì)量評價指標體系和方法,已成為提升我國研究生教育質(zhì)量亟需解決的重要任務之一。它對在現(xiàn)階段我國教育資源稀缺有限的現(xiàn)實國情下引導和促進研究生教育朝著高效率、高質(zhì)量、適合創(chuàng)新性要求發(fā)展有著重要的現(xiàn)實意義。一、從研究方法上看,各有側(cè)重、分層次地研究研究生教育質(zhì)量目前對研究生教育質(zhì)量評價指標體系和方法的研究文獻尚不多,歸結起來主要有:石磊從辦學條件資源條件、人才培養(yǎng)和科研產(chǎn)出、聲譽和影響力三個方面著手按照學科門類不同構建了包含32項指標的研究生教育質(zhì)量評價指標體系;周正嵩、孫月娟基于SERVQUAL模型構建了包含29個指標的研究生教育質(zhì)量評價指標體系,并通過一個案例展示如何應用動態(tài)模糊評價法對該指標系進行評估;劉平、顧麗琴、吳旭舟借鑒“全面質(zhì)量改善的開放系統(tǒng)方法”①的思想從投入、培養(yǎng)過程和教育產(chǎn)出三方面對研究生教育質(zhì)量展開評價,評價體系框架由4個目標層(生源素質(zhì)、培養(yǎng)條件、教育管理、培養(yǎng)結果)、10個準則層、39個指標層組成;華寶玉、劉思文、周丹從控制論的視角提出研究生教育質(zhì)量的保證體系,該體系從29方面來保障研究生教育的質(zhì)量,實質(zhì)上為監(jiān)督和評價研究教育質(zhì)量提出了框架體系;翟亞軍、王戰(zhàn)軍、彭方雁建立了研究生質(zhì)量指數(shù)的測算方法,并按照全面與重點相統(tǒng)一以及監(jiān)測性和預警性原則,選取生師比、生均科研經(jīng)費、資產(chǎn)總額三項指標編制“985工程”一期29所教育部直屬高校的研究生教育質(zhì)量指數(shù)。在評價方法上,羅杭與郭珍、徐娟運用DEA超效率模型對高校教育效率進行了評價,廖文武、陳文燕、郭代軍運用層次分析法、對比法對研究生教育質(zhì)量展開了研究。上述文獻研究為探索研究生教育質(zhì)量評價指標體系和方法打下了重要基礎,但存在以下問題:1.指標太細化,嚴重影響評價體系的可操作性和實用性。指標過細,一方面不利于指標的量化,另一方面也不能一一找到這些指標的權威的樣本數(shù)據(jù),從而嚴重影響評價結果的有效性和準確性,進而影響了該指標系的普適性、可操性和實用性。2.注重投入而忽略產(chǎn)出,或兼顧了投入與產(chǎn)出,卻又忽略了投入與產(chǎn)出的函數(shù)關系,把投入與產(chǎn)出置于同一系統(tǒng)進行評估。評價指標中往往以投入為導向,注重投入要素包括人力(導師數(shù)或生師比)、財力(研究生科研經(jīng)費)、物力(例如實驗室、科研儀器設備、研究基地等),忽略了產(chǎn)出對研究生質(zhì)量的評價;而兼顧了投入與產(chǎn)出的,又把投入與產(chǎn)出看成同一性質(zhì)的變量,忽略了投入對產(chǎn)出的影響,即產(chǎn)出是投入的函數(shù)這一關系,把產(chǎn)出置于投入系統(tǒng)進行評估,不利于研究生教育質(zhì)量評價。3.過于注重評價方法的復雜性,而忽略其對管理者的易操作性。研究生質(zhì)量評價指標體系及其方法的研究,旨在為管理者提供決策支持,因此選取過于復雜的評價方法來追求評估結果的精確性勢必導致這些方法的可操作性差。為此,本文在彌補上述不足的情況下,按照以下思路展開研究:綜述當前研究文獻,在此基礎上提出研究生教育質(zhì)量效率的內(nèi)涵,構建研究生教育質(zhì)量指標體系,提出評價方法,隨后進行實證分析,最后密切結合實證結果與我國研究生教育的實際,提出提升我國研究生教育質(zhì)量的對策建議。二、研究生教育質(zhì)量效率的內(nèi)涵和指數(shù)測量方法(一)生教育質(zhì)量效率對研究生教育質(zhì)量效率指數(shù)的理解和定義為:研究生教育質(zhì)量效率包含三方面內(nèi)容:一是研究生教育投入質(zhì)量;二是研究生教育產(chǎn)出質(zhì)量;三是研究生教育質(zhì)量效率,即研究生教育投入產(chǎn)出質(zhì)量的比。(二)基于綜合評價法的質(zhì)量效率評估用Ei表示研究生教育質(zhì)量效率指數(shù),Ti表示研究生教育投入質(zhì)量指數(shù),Ci表示研究生教育產(chǎn)出質(zhì)量指數(shù)。其中i=1,2,…,n,n為樣本容量。且定義:但無論哪種單一評價法都有其優(yōu)缺點,若只用一種方法進行評價,其結論難免存在偏差。為此,有必要選用多種簡單實用的單一評價法進行各自分析,然后將所選用的各評價法所得的評價結果進行綜合分析,最終得到合理的評估結論,這種方法叫“綜合評價法”。相比單一評價法,綜合評價方法是在單一評價的結果基礎上進行組合分析,一方面,既充分利用了各種單一評價法的優(yōu)點,有利于克服單一評價的缺陷,使綜合之后得到的評價結果具有一定程度的互補性,進而使得其評估結果也更加一致和科學;另一方面,在應用綜合評價方法前需要對單一評價法的結果進行事前檢驗,綜合評價后需把所得的結果與單一評價法的結果進行事后檢驗,這是大多數(shù)單一評價法不具有的步驟。事前事后的檢驗可使綜合評價更加準確。故筆者密切結合我國高等院校研究生教育投入產(chǎn)出的特點以及本文的研究目的,選取因子分析法、改進熵權TOPSIS法、DEA數(shù)據(jù)包羅法中的超效率模型法分別測量高等院校研究生教育投入質(zhì)量指數(shù)Tij、產(chǎn)出質(zhì)量指數(shù)Cij(j表示第j中測量方法,故j=1,2,3),再據(jù)式(1)可計算每種評價模型與方法下的質(zhì)量效率指數(shù)Eij;然后采用綜合分析法對單一評估結果進行綜合分析,從多角度、多方面考察高等院校研究生教育質(zhì)量效率指數(shù)。由于篇幅問題,對單一評價模型的思想和步驟筆者不在此給予介紹,而直接概述綜合評價法的思想與步驟。1.單一評價方法組合評價筆者選取上述3種單一評價法的評價結果為基礎,再采用“綜合評價法”,從多角度、多方面對研究對象進行評價。目前關于綜合評價方法比較多,主要有:平均值法、中位數(shù)法、分位數(shù)法、Borda法、Copeland法等。筆者選取較為常用和操作性強的方法:平均值法、Copeland法和模糊Borda法。筆者在此不贅述所選方法的具體思想,而直接介紹綜合評價法的基本思想和具體步驟:①運用因子分析法、改進熵權TOPSIS法、超效率DEA法分別評價研對象,得到相應的得分和排序結果。②進行Kendell一致性檢驗?？线_爾(Kendell)協(xié)同系數(shù)(coefficientofConcordanee)檢驗法是檢驗各種單一評價方法排序的結果總體上是否具有相容性。若具有相容性,可對所選的單一方法的評價結果進行綜合評價分析研究,并進行步驟④;若未通過Kendell檢驗,則進行步驟③。③進行Spearman檢驗。在步驟②中出現(xiàn)了單一評價結果之間不存在相容性,則需對單一方法兩兩進行Spearman檢驗,選擇將具有一致性的方法組合在一起,然后對樣本資料、評價結果及方法特點進行分析,選取出既符合實際又具有一致性的幾種方法,再回到步驟②。④利用綜合評價法對單一評價結果進行組合,得到組合評價結果。即運用平均值法、Compeland法、模糊Borda法對上述幾種方法的評價結果進行組合,得出組合評價值,按組合評價值的大小得到幾種組合評價的排序結果。⑤如果三種組合評價結果有差異,再對三種組合評價值重新組合,重復步驟④,直到三種組合評價的標準差小于給定的某一充分小的正數(shù)。根據(jù)統(tǒng)計學相關理論,綜合評價結果的標準差會隨著組合次數(shù)增加而較少。2.基因子分析在應用單一模型評價時,需對原始樣本數(shù)據(jù)進行無量綱處理。設有n個待評對象,m個評價指標,xij表示第i個待評對象的第j個評價指標的數(shù)值,則數(shù)據(jù)原始矩陣為:X=(xij)n×m,i=1,2,…,n;j=1,2,…,m;則:對原始矩陣X進行數(shù)據(jù)無量綱化處理得矩陣Y=(yij)n×m。對于效益型指標(產(chǎn)出指標),指標值越大越好,則令:其中ρ2jk是指標j與k之間的相關系數(shù),σ2jk是指標j與k之間的偏相關系數(shù)。KMO∈[0,1],若0.9<KMO,表明指標非常適合做因子分析;若0.8<KMO<0.9,則適合做因子分析;若0.7<KMO<0.8,則可以做因子分析;除此之外則不適合做因子分析。三、為研究生教育質(zhì)量指標體系的建立(一)對研究生教育實際情況的評價研究生教育質(zhì)量高低是通過評價指標進行度量的,為使這種度量可以準確、客觀、全面地反映研究生教育的實際狀況,筆者在選擇評價指標時嚴格遵守以下基本原則:系統(tǒng)性原則、有效性原則、可操作性原則①。結合我國研究生教育發(fā)展的實際及相關數(shù)據(jù)的可得性,選取以下指標來構建研究生教育質(zhì)量評價指標體系(見表1所示)。1.教育投入:研究生培養(yǎng)方面開展研究生教育的辦學資源。主要包括師資(人力)、財力資源、物質(zhì)資源。在師資方面,用導師人數(shù)、有博士學位導師占總導師比、國家創(chuàng)新研究人才數(shù)共3個指標來衡量師資投入的程度;在財力方面,用生均教育經(jīng)費撥款、生均科研經(jīng)費占有量來度量研究生教育的財力投入情況;在物質(zhì)資源方面,用教學科研儀器設備額原值、圖書數(shù)字資源量、國家重點實驗室或研究基地數(shù)來衡量研究生教育的物質(zhì)投入情況。2.生產(chǎn)質(zhì)量指標體系主要包括人才培養(yǎng)和科研產(chǎn)出。人才培養(yǎng)方面用培養(yǎng)的研究生人數(shù)來度量;科研產(chǎn)出用研究生發(fā)表論文數(shù)、研究生參與完成的自(二)指標的描述1.設計符合人文科技與發(fā)展經(jīng)費從現(xiàn)有科研經(jīng)費的實際情況來看,人文社科類與自然科學類的研究與發(fā)展經(jīng)費額度懸殊很大。為了避免由該懸殊導致的不公正性,故對該指標進行如下設計:用HSS、NH分別表示人文社科、自然科學生均研究與發(fā)展經(jīng)費。根據(jù)式(2)、(3)分別對HSS、NH進行無量綱化處理,隨后賦予它們相同的權重,即:2.人文科學與知識產(chǎn)權授權用HSSP、NSP分別表示人文社科、自然科學的“研究與發(fā)展課題項數(shù)”;用GRDHSS、GRDNS分別表示人文社科、自然科學的“研究與發(fā)展課題情況”中的“在學研究生數(shù)”,用SRDHSS表示人文社科科學研究與發(fā)展成果情況中的“鑒定應用成果數(shù)”;用SRDNS表示自然科學的科學研究與發(fā)展成果情況中的“國家級項目驗收項目數(shù)”與“知識產(chǎn)權授權數(shù)”的和。和I5的設計一樣要考慮到人文社科、自然科學科研項目的差異性,故對Y3進行如下設計:四、示范分析(一)助力政策或資金支持的效應截至目前我國“985工程”一期(34所)與二期(5所)高校共計39所,但二期高校于2006年才加入“985工程”行列,進入時間比一期高校短,各種政策、資金等支持所產(chǎn)生的效應可能還未完全顯現(xiàn)出來,為此僅選取“985工程”一期34所高校為樣本。樣本數(shù)據(jù)主要來源于《教育部直屬高?；厩闆r統(tǒng)計資料匯編》、《高等學校科技統(tǒng)計資料匯編》、《教育統(tǒng)計年鑒》、《中國教育經(jīng)費統(tǒng)計年鑒》、各高校數(shù)字圖書館(主要收集圖書館購買國內(nèi)外研究數(shù)據(jù)庫的情況)、科技部門科技基礎條件資源調(diào)查管理系統(tǒng)數(shù)據(jù)庫(主要收集高校研究基地數(shù)、科研儀器設備等相關數(shù)據(jù))。(二)評估結果表明1.因子分析方法在因子分析法中,需先對樣本數(shù)據(jù)進行KMOandBartlett檢驗,以確定樣本數(shù)據(jù)是否能適合進行因子分析。筆者運用spss16.0來對34所“985工程”高校研究生教育的投入質(zhì)量樣本、產(chǎn)出質(zhì)量樣本進行KMOandBartlett檢驗,檢驗值分別0.836(0.000)和0.884(0.000),故投入質(zhì)量與產(chǎn)出質(zhì)量的樣本數(shù)據(jù)均可進行因子分析。表2給出了因子分析法中樣本旋轉(zhuǎn)后的因子載荷矩陣和因子載荷比重(計算綜合因子得分時的權重)。表3給出了改進熵權的TOPSIS法中樣本指標的權重系數(shù)。表4、表5分別展示了超效率DEA分析法中研究生教育質(zhì)量效率指數(shù)小于1的24所高校的投入沉余率和產(chǎn)出不足率的情況。表6給出了單一評價模型的研究生教育質(zhì)量效率指數(shù)Ei的值以及按照效率值大小的排位情況。2.評價對象的確定在應用綜合評價法對“985工程”一期34所高校研究生教育質(zhì)量效率指數(shù)進行評價時,需進行事前檢驗,檢驗單一評價模型所得的排名是否具有相容性和一致性,只有單一評價模型所得的排序結果具有相容性時,對它們進行綜合評價才會有效。筆者將采用肯達爾(Kendell)協(xié)同系數(shù)(coefficientofConcordanee)檢驗法來對單一評價模型所得的排名結果進行事前檢驗。具體地,對于用m種評價方法對n個被評價對象結果進行評價,則有:(1)H0:m種評價方法不具有相容性;H1:m種評價方法具有相容性。(2)當n<7時,檢驗統(tǒng)計量為:對“985工程”一期34所高校研究生教育質(zhì)量效率指數(shù)的實證分析中,筆者采用了3種單一評價方法,有34個評價對象,因此,m=3,n=34。故根據(jù)(8)、(9)式的統(tǒng)計量來進行kendell檢驗。通過計算X2=96.4656,取顯著性水平α=0.01,查卡方分布表臨界值X2(33)=54.776,X2=96.4656>X2(33)=54.776,拒絕原假設,滿足相容性原理,故對單一模型所得的排名結果進行組合評價將是有效的。4.評價結果的相關性分析盡管綜合評價法的評價結果較為科學,但也可能存在受隨機問題干擾而導致分析結果過于抽象等缺陷,為此有必要把評價的最終結果與單一模型的評價結果進行相關性分析,以評估其科學性。表8給出“985工程”一期34所高校第二次綜合評價的收斂排名與單一模型評價的排名的相關系數(shù),結果表明綜合評價法與單一模型的評價結果具有一致性,是合理可靠的。(三)高校研究生教育質(zhì)量效率及產(chǎn)出指標數(shù)據(jù)分析1.34所“985工程”高校的研究生教育質(zhì)量效率整體水平偏低。據(jù)表6所示,因子分析法下有13所高校的效率值超過了1,而另兩種評價模型方法下均只有10所高校的效率值超過了1,即產(chǎn)出質(zhì)量水平高于投入質(zhì)量水平的高校約32.25%①,揭示了當前34所“985工程”高校的研究生教育質(zhì)量效率較低的事實。另外,值得關注的是,中科院及國防科工委所屬的5所②“985工程”高校中僅哈爾濱工業(yè)大學的效率和排名比較靠前,而其余的效率與排名都比較靠后(見表6、表7)。2.對比同一檔次的院校,處于相對落后地區(qū)的研究生教育質(zhì)量效率比相對發(fā)達地區(qū)的高,前后者分別呈現(xiàn)出了處于邊際報酬遞增、遞減階段的特征,這為管理當局優(yōu)化配置相應教育資源,扶持相對落后地區(qū)高校研究生教育質(zhì)量,提升研究生培養(yǎng)質(zhì)量效率提供了實證上的支持。結合表6和表7以及近5年來權威機構對高校的排名來看,重慶大學、電子科技大學與大連理工大學、北京理工大學是同一檔次的高校,可前兩者的效率值和排位要比后兩者的高得多;武漢大學、華中科技大學與南京大學、中山大學是一個檔次,也出現(xiàn)了上述的情況;同時,結合表4、表5中投入指標沉余率、產(chǎn)出指標不足率,地處廣東、北京發(fā)達地區(qū)的高校投入指標沉余有比中西部地區(qū)高校偏高的趨勢,而產(chǎn)出指標不足率值卻呈現(xiàn)偏低的態(tài)勢,這表明地處發(fā)達地區(qū)的高校研究生教育質(zhì)量效率處于邊際報酬遞減階段,而欠發(fā)達地區(qū)的高校研究生教育質(zhì)量效益處于邊際報酬遞增階段,這一經(jīng)濟學特征為管理當局制定合理的教育資源投入政策給予了實證上的支持。3.教學科研儀器設備額原值、國家重點實驗室或研究基地數(shù)、生均科研經(jīng)費是影響研究生教育質(zhì)量投入十分重要的因素,也是制約當前我國研究生教育質(zhì)量提升的關鍵因素。據(jù)表2影響34所“985工程”高校研究生教育質(zhì)量投入的第一因子是物質(zhì)資源,該因子權重系數(shù)達40.324%,在投入要素的3個主成分中占絕對比重;表3的TOPSIS法的指標權重系數(shù)中教學科研儀器設備額原值、國家重點實驗室或研究基地數(shù)、生均科研經(jīng)費投入分別達16.52%、15.07%、14.73%,占據(jù)了投入要素的前3位。可見,教學科研儀器設備額原值、國家重點實驗室或研究基地數(shù)、生均科研經(jīng)費是影響我國高校研究生教育質(zhì)量投入的關鍵因素。投入沉余率表明的是產(chǎn)出規(guī)模不變的情況下投入可縮減額度,據(jù)表4,I8國家重點實驗室或研究基地數(shù)、I5生均科研經(jīng)費、I6教學科研儀器設備額原值、I2國家創(chuàng)新研究人數(shù)可縮減的高校數(shù)分別為0所、0所、8所及4所。這揭示了當前高校研究生教育中科研設備與基地建設及科研經(jīng)費配置水平還遠遠不夠,難以滿足研究生教育與科研的需求,制約了研究生教育質(zhì)量的提升。4.科學研究與發(fā)展成果數(shù)、研究生發(fā)表論文數(shù)是衡量研究生教育質(zhì)量產(chǎn)出水平高低的關鍵性指標,“985工程”高校在這些指標上產(chǎn)出不足率高,是未來提升和改進研究生教育產(chǎn)出質(zhì)量的方向。表2中產(chǎn)出的第一因子包含了Y1研究生發(fā)表論文數(shù)、Y2人文社科應用成果項數(shù)、Y3自然科學科學研究與發(fā)展成果,該因子權重系數(shù)高達68.751%。而表3中該3項的權重系數(shù)分別達了23.39%、23、699%、33.07%。這說明了研究生參加的科學研究與發(fā)展成果數(shù)、研究生發(fā)表論文數(shù)是衡量研究生教育產(chǎn)出水平高低的十分重要的指標。產(chǎn)出不足率指在投入指標一定的條件下產(chǎn)出指標可增進的空間。據(jù)表5所示,Y1、Y2、Y3有增進空間的高校分別有15所、19所、10所,分別占了全部“985工程”高校的44%、56%、29.4%,揭示當前我國“985工程”高校的研究生教育質(zhì)量在研究生參與的科學研究與發(fā)展成果數(shù)、研究生發(fā)表論文數(shù)上產(chǎn)出不足,還有較大的增進空間。這也為“985工程”高校今后提升研究生教育質(zhì)量產(chǎn)出效率指明了方向。五、推動高校研究生教育質(zhì)量效率提升筆者應用綜合評價法對“985工程”一期34所高校的研究生教育質(zhì)量效率指數(shù)進行了研究,結果表明當前我國34所“985工程”高校的研究生教育質(zhì)量效率整體水平偏低,教學科研儀器設備、國家重點實驗室或研究基地數(shù)、生均科研經(jīng)費是制約當前研究生教育質(zhì)量提升和改進的瓶頸因素。研究還進一步揭示了“985工程”高校在研究生參與的科學研究與發(fā)展成果數(shù)、研究生發(fā)表論文數(shù)上產(chǎn)出不足,還有較大的增進空間,是今后提升研究生教育質(zhì)量的方向。針對研究發(fā)現(xiàn)的問題,提出以下建議:1.合理統(tǒng)籌規(guī)劃研究生教育資源。在增加對研究生教育培養(yǎng)的科研經(jīng)費和科研設備、研究實驗基地建設的投入基礎上,適當向相對落后的西中部的“985工程”高校合理傾斜,彌補由于區(qū)域經(jīng)濟發(fā)展不均衡給研究生教育質(zhì)量帶來的非均衡沖擊,充分挖掘這些高校處于邊際報酬遞增階段的效率潛力,進而推進整個高等院校的研究生教育質(zhì)量效率。2.優(yōu)化研究生教育資源配置的結構。切實加大對研究生的科研經(jīng)費、科研設備、研究實驗基地等影響研究生教育質(zhì)量的關鍵因素的投入,即加大對沉余率較低的指標和高校的支持。與此同時,一方面積極調(diào)整和精簡投入沉余率較高的指標,改進和提升其效率;另一方,充分利用國家、地方層面的科技資源共享體系,彌補高?？萍蓟A條件資源配置的不足,加強研究生教育與實踐的結合,培養(yǎng)研究生的創(chuàng)新能力。3.建立多元化的研究生教育質(zhì)量評價機制。完善健全的研究生教育質(zhì)量評價機制包括內(nèi)、外質(zhì)量評價體系。建立內(nèi)部質(zhì)量評價體系即高校的研究生教育質(zhì)量自評機制,它對研究生教育質(zhì)量評價起著基礎性作用。該機制應該建立健全的研究生管理制度、來源多樣的具有權威性的高校研究生教育質(zhì)量督導檢查隊伍及其