評(píng)價(jià)管理研究的質(zhì)量——效度報(bào)告人：黃達(dá)鑫指導(dǎo)老師：涂榮庭1管理研究中，效度（Validity）是被普遍接受的評(píng)價(jià)研究質(zhì)量的指標(biāo)。任何理論都是由對(duì)有關(guān)概念、概念間關(guān)系的描述組成，并有其特定的理論背景和應(yīng)用范圍。引言10/25/20242引言-研究效度的類(lèi)別研究的效度構(gòu)念效度內(nèi)部效度外部效度操作變量在何種程度上體現(xiàn)了它想要體現(xiàn)的理論概念的真正含義。在多大程度上研究允許得出兩個(gè)變量之間是因果關(guān)系的推斷。在多大程度上可以將對(duì)特定研究樣本和在特定研究環(huán)境下所得到的研究結(jié)果推廣到理論假設(shè)中所明確的總體和環(huán)境中去。10/25/20243引言-三種效度的關(guān)系10/25/20244引言-研究效度的類(lèi)別研究的效度構(gòu)念效度內(nèi)部效度外部效度操作變量在何種程度上體現(xiàn)了它想要體現(xiàn)的理論概念的真正含義。在多大程度上研究允許得出兩個(gè)變量之間是因果關(guān)系的推斷。在多大程度上可以將對(duì)特定研究樣本和在特定研究環(huán)境下所得到的研究結(jié)果推廣到理論假設(shè)中所明確的總體和環(huán)境中去。統(tǒng)計(jì)結(jié)論效度關(guān)于變量之間關(guān)系的統(tǒng)計(jì)推論在何種程度上得到證實(shí)10/25/20245屬性效度：表面、內(nèi)容、匯聚、差別效度基于預(yù)期的構(gòu)念效度：維度、理論、效標(biāo)一、構(gòu)念效度構(gòu)念效度，指的是一種操作化方案在何種程度上反映而且只反映希望度量的概念，而不受其他概念的影響。它反映了理論層次的抽象概念與度量抽象概念的操作變量之間的符合程度。目標(biāo)：對(duì)概念的度量應(yīng)該是能夠量度絕大多數(shù)希望反映的概念，而最大程度地避免不希望反映的概念和隨機(jī)誤差的影響。10/25/20246構(gòu)念效度-構(gòu)念度量的誤差在理論界定清楚的前提下，用操作變量對(duì)概念進(jìn)行度量的結(jié)果一般由三部分組成：（1）希望反映的目標(biāo)概念的內(nèi)容（真實(shí)值）；（2）不希望反映的非目標(biāo)概念的內(nèi)容（系統(tǒng)誤差）；（3）隨機(jī)誤差。

即：

X0＝XT＋XS＋XR

其中， X0為觀測(cè)值；

XT為真實(shí)值；

XS為系統(tǒng)誤差；

XR為隨機(jī)誤差。例如：多媒體教學(xué)與學(xué)習(xí)效果（學(xué)習(xí)成績(jī)）10/25/20247構(gòu)念效度-構(gòu)念效度的層次按照理論在構(gòu)念效度驗(yàn)證過(guò)程中的作用，可以將構(gòu)念效度區(qū)分為：屬性效度（界定概念）

指在構(gòu)念效度驗(yàn)證過(guò)程中，理論只用于最初定義概念，在理論中考察概念與其度量變量之間是否一致?；陬A(yù)期的構(gòu)念效度（理論推演）

指對(duì)概念的度量是否與根據(jù)理論推演出的預(yù)期結(jié)果一致。10/25/20248構(gòu)念效度-屬性效度屬性效度包括：表面效度（FaceValidity）內(nèi)容效度（ContentValidity）會(huì)聚效度（ConvergentValidity）

差別效度（DiscriminantValidity）

10/25/20249構(gòu)念效度-表面效度和內(nèi)容效度表面效度是指由一組專家做出判斷，確定一種度量方法是否確實(shí)度量了它名義上要度量的概念。表面效度評(píng)估是個(gè)主觀過(guò)程，但它通常是效度評(píng)價(jià)的先決條件，觀念度量多數(shù)情況下必須首先通過(guò)表面效度檢驗(yàn)。例如：學(xué)生的創(chuàng)造力內(nèi)容效度指度量是否包括了足夠有代表性的項(xiàng)目集來(lái)度量基準(zhǔn)概念。度量方案中的項(xiàng)目越充分地代表了待測(cè)概念的概念域，就越具有內(nèi)容效度。

例如：變革型領(lǐng)導(dǎo)（愿景、關(guān)懷、鼓舞、支持）10/25/202410構(gòu)念效度-會(huì)聚效度會(huì)聚效度（ConvergentValidity）表明用不同方法度量同一概念所得出的度量結(jié)果的相關(guān)程度。原理：不同度量方法有著互不相關(guān)的不同的誤差來(lái)源（理想狀態(tài)下，不同度量方法之間應(yīng)不具有共同的干擾因素），但度量同一概念的不同變量應(yīng)高度相關(guān)。例如：?jiǎn)T工績(jī)效（主觀vs.客觀）10/25/202411構(gòu)念效度-差別效度差別效度（DiscriminantValidity）反映擬度量不同概念的變量之間不相關(guān)的程度。它表明了擬度量不同概念的變量在何種程度上度量了相異部分。原理：度量某個(gè)概念的變量不應(yīng)與度量不同概念的其它變量相關(guān)，否則可能說(shuō)明該變量和其他變量度量了共同的其他內(nèi)容而非該變量希望度量的概念。例如：LearningOrientationvs.PerformanceOrientation10/25/202412多屬性－多方法矩陣（MTMM）采用兩種或兩種以上方法來(lái)測(cè)量?jī)煞N或兩種以上的特質(zhì)。矩陣元素表示分別用不同的方法對(duì)不同的屬性進(jìn)行度量的結(jié)果之間的相關(guān)系數(shù)。矩陣由4種元素分塊組成，分別在分塊左上角用數(shù)字標(biāo)識(shí)： ①同屬性－同方法對(duì)角； ③同屬性－異方法對(duì)角； ②異屬性－同方法三角形； ④異屬性－異方法三角形。通過(guò)分析各分塊中的數(shù)據(jù)可以對(duì)度量的可靠性、會(huì)聚效度和差別效度進(jìn)行評(píng)價(jià)。多屬性－多方法矩陣多屬性-多方法矩陣舉例多屬性－多方法矩陣可靠性對(duì)角①中的數(shù)據(jù)反映了用方法1對(duì)三種態(tài)度分別度量的可靠性。它表示用同種方法對(duì)同一屬性進(jìn)行多次度量時(shí)，測(cè)度結(jié)果間的相關(guān)程度，也可以用顯著性水平參數(shù)α代替。效度對(duì)角③描述了度量的會(huì)聚效度，即：使用不同方法度量同一概念所得出的度量結(jié)果之間的一致程度。相關(guān)系數(shù)顯著地區(qū)別于零并且足夠大表明度量有較高的會(huì)聚效度。圖中的效度系數(shù)分別為0.450，0.395和0.464，顯著性水平0.01。多屬性－多方法矩陣多屬性-多方法矩陣舉例多屬性－多方法矩陣評(píng)價(jià)差別效度需要進(jìn)行三種比較：（1）效度對(duì)角③中的相關(guān)系數(shù)應(yīng)該大于異方法三角形④中處于同行或同列的相關(guān)系數(shù)。它表明對(duì)同一屬性用不同方法進(jìn)行的度量結(jié)果間的相關(guān)關(guān)系應(yīng)該高于屬性和方法都不相同的兩個(gè)度量之間的相關(guān)關(guān)系。這是最起碼的要求，圖中的數(shù)據(jù)滿足了這個(gè)條件。（2）效度對(duì)角③中的相關(guān)系數(shù)應(yīng)該高于異屬性－同方法三角形②中的相關(guān)系數(shù)，這表明用不同方法對(duì)同一屬性的度量間的相關(guān)程度必須高于用同種方法對(duì)不同屬性的度量間的相關(guān)程度。這是一個(gè)更加嚴(yán)格的要求，圖中數(shù)據(jù)滿足這個(gè)要求。（3）所有的異屬性－同方法三角形②和異方法三角形④中的相關(guān)關(guān)系模式應(yīng)該相同。這可以通過(guò)在每個(gè)異屬性三角形中對(duì)相關(guān)系數(shù)進(jìn)行排序檢查。圖中的數(shù)據(jù)基本滿足這個(gè)要求。每個(gè)異屬性三角形中，相關(guān)系數(shù)的符號(hào)模式一致，相關(guān)系數(shù)的大小順序也基本一致。構(gòu)念效度-基于預(yù)期的構(gòu)念效度基于預(yù)期的構(gòu)念效度包括：

維度效度（DimensionValidity）

理論效度（NomologicalValidity）

相關(guān)標(biāo)準(zhǔn)效度（Criteria-RelatedValidity）10/25/202418構(gòu)念效度-維度效度和理論效度維度效度，指度量結(jié)果顯示的維度是否與理論對(duì)概念界定的維度認(rèn)識(shí)一致。例如：變革型領(lǐng)導(dǎo)（愿景、關(guān)懷、鼓舞、支持）理論效度，是指用于度量的操作變量之間的關(guān)系是否與理論中描述的相應(yīng)概念之間的相互關(guān)系符合。例如：個(gè)人滿意度vs.組織公民行為vs.組織績(jī)效10/25/202419構(gòu)念效度-相關(guān)標(biāo)準(zhǔn)效度某些度量能夠（或者其目的就是）對(duì)某些相關(guān)變量（稱為標(biāo)準(zhǔn)變量）做出推斷和預(yù)測(cè)。相關(guān)標(biāo)準(zhǔn)效度，指度量結(jié)果是否有助于推斷或預(yù)測(cè)其它的相關(guān)變量。例如，對(duì)新員工考試是為了預(yù)測(cè)該員工未來(lái)的工作績(jī)效。如果發(fā)現(xiàn)在考試成績(jī)與工作績(jī)效之間確實(shí)存在較高的相關(guān)關(guān)系，則該度量具有相關(guān)標(biāo)準(zhǔn)的效度。對(duì)應(yīng)于相關(guān)標(biāo)準(zhǔn)變量發(fā)生時(shí)間在過(guò)去、現(xiàn)在和將來(lái)，相關(guān)標(biāo)準(zhǔn)效度又分別稱為：歷史效度（PostdictiveValidity）并行效度（ConcurrentValidity）預(yù)測(cè)效度（PredictiveValidity）10/25/202420構(gòu)念效度-影響構(gòu)念效度的因素影響構(gòu)念效度的主要因素有：操作化前對(duì)概念的不適當(dāng)界定（變革型vs.交易型領(lǐng)導(dǎo)）；操作化過(guò)程中操作變量選擇的不適當(dāng)（愛(ài)）；單一操作方法（或變量）的偏差（績(jī)效）；單一度量項(xiàng)目的偏差；調(diào)查過(guò)程中被調(diào)查者對(duì)問(wèn)題的錯(cuò)誤理解；要提高概念建構(gòu)效度，需要對(duì)整個(gè)研究進(jìn)行過(guò)程控制，在每一個(gè)環(huán)節(jié)注意避免和減少系統(tǒng)誤差和隨機(jī)誤差。10/25/202421提高概念建構(gòu)有效性的過(guò)程控制方法構(gòu)念效度-提高構(gòu)念效度在操作化之前對(duì)概念的界定要清楚，這是進(jìn)行有效研究的前提。采用多項(xiàng)目度量方法，即采用多個(gè)變量度量同一概念。重視統(tǒng)計(jì)口徑的統(tǒng)一、數(shù)據(jù)的可比性、數(shù)據(jù)收集方法設(shè)計(jì)和具體實(shí)施過(guò)程的科學(xué)性和嚴(yán)格性，以保證獲得高質(zhì)量的信息。10/25/202423二、內(nèi)部效度在多大程度上研究允許得出兩個(gè)變量之間是因果關(guān)系的推斷。因果關(guān)系

因果關(guān)系是指一個(gè)概念的變化引起另一個(gè)概念的變化，作為原因的變量稱為自變量（independentvariable），作為結(jié)果的變量稱為因變量（dependentvariable）。因果關(guān)系三條件10/25/202424內(nèi)部效度–混淆10/25/202425無(wú)關(guān)變量（Extraneousvariable）anyvariableotherthanIVthatinfluencesDV混淆（Confounding）occurswhenanextraneousvariable

systematicallyvarieswithvariationinIV

theextraneousvariableaffectstheDV

plausiblealternativeexplanation游泳vs.心臟病控制CaneliminatesomeextraneousvariablesMostmustbecontrolledDifficultyliesinidentifyingthevariables內(nèi)部效度-影響內(nèi)部效度的因素要保證研究的內(nèi)部效度，關(guān)鍵是在研究設(shè)計(jì)和分析中要盡可能排除其它可能因素的影響。影響內(nèi)部效度的因素主要有：（1）選擇偏差（2）研究對(duì)象的成熟過(guò)程（3）研究對(duì)象對(duì)研究本身的反應(yīng)（4）研究對(duì)象狀況的變化（4）歷史事件（5）度量工具的變化（6）統(tǒng)計(jì)回歸（7）研究者自身的原因10/25/202426內(nèi)部效度-選擇偏差選擇偏差是指用以比較的研究對(duì)象在一開(kāi)始可能就是有差別的，因而觀測(cè)結(jié)果的差異并不一定是假設(shè)的原因?qū)е碌?。例如：工作環(huán)境改變對(duì)工人的勞動(dòng)生產(chǎn)率避開(kāi)選擇偏差的關(guān)鍵是使研究對(duì)象初始狀態(tài)一致。

為達(dá)到這個(gè)目的，通常采用“隨機(jī)化”的方法。10/25/202427內(nèi)部效度-研究對(duì)象帶來(lái)的影響研究對(duì)象的成熟過(guò)程

人在不斷變化，研究對(duì)象會(huì)逐漸熟悉研究?jī)?nèi)容，這些變化會(huì)影響時(shí)段較長(zhǎng)的研究的結(jié)果。研究對(duì)象對(duì)研究本身的反應(yīng)

如：迎合研究者；刻意表現(xiàn)；相互模仿；競(jìng)爭(zhēng)；放棄等。。10/25/202428內(nèi)部效度-研究者帶來(lái)的影響研究者自身的一些原因也會(huì)導(dǎo)致研究的內(nèi)部效度降低。這些原因主要包括：觀察不準(zhǔn)確；以偏概全，把少數(shù)情況當(dāng)成普遍模式；一旦人們認(rèn)為某種模式存在，就會(huì)特別注意那些與此模式相符的事實(shí)而忽視不符的事實(shí)；信息推理，當(dāng)科學(xué)觀察與原先假設(shè)有出入時(shí)，人們往往尋找理由來(lái)解釋；非邏輯推理，如“賭徒幻覺(jué)”，假定長(zhǎng)時(shí)間輸后必贏；在對(duì)現(xiàn)象的理解中自我介入；過(guò)早結(jié)束研究；將難以解釋的因素神秘化等等。10/25/202429內(nèi)部效度-研究過(guò)程中的變化歷史事件

在研究前或研究過(guò)程中發(fā)生的其他事件可能影響研究結(jié)果。度量工具的變化

如果前后兩次測(cè)驗(yàn)的度量方法或度量指標(biāo)不同，也會(huì)影響研究結(jié)果。統(tǒng)計(jì)方法10/25/202430內(nèi)部效度-提高內(nèi)部效度要保證研究的內(nèi)部效度，關(guān)鍵是在研究設(shè)計(jì)和分析中要盡可能排除其它可能因素的影響。從理論和邏輯推理出發(fā)

搜尋有哪些變量可能成為假設(shè)檢驗(yàn)中的混淆變量從研究方法上加以控制

實(shí)驗(yàn)法&隨機(jī)化10/25/202431三、外部效度管理研究的實(shí)踐意義任何理論假設(shè)都有其一定的理論背景和前提假定，管理研究中對(duì)理論假設(shè)的經(jīng)驗(yàn)研究又都是在一定的研究條件和背景下進(jìn)行的。管理研究面臨著是否可推廣、可在多大范圍推廣的問(wèn)題，即：能否將在特定研究環(huán)境下針對(duì)特定研究樣本的研究結(jié)果推廣到理論假設(shè)中所確定的主體和環(huán)境中去，研究結(jié)果所支持的理論可以在多大范圍內(nèi)應(yīng)用。10/25/202432外部效度在多大程度上可以將對(duì)特定研究樣本和在特定研究環(huán)境下所得到的研究結(jié)果推廣到理論假設(shè)中所明確的總體和環(huán)境中去（ExternalValidity）。一般來(lái)說(shuō)，研究者在進(jìn)行研究時(shí)，總是希望研究最終的結(jié)果能夠超越具體的研究背景，而能在更廣泛的背景條件下成立，即具有最大的外部效度。外部效度直接影響到社會(huì)關(guān)系理論的普遍意義和應(yīng)用范圍。10/25/202433外部效度-主要的影響因素研究對(duì)象的因素（本科生） 所選取的研究樣本人群與理論要推廣到的整個(gè)人群相比所具有的特殊性。背景因素（實(shí)驗(yàn)室） 研究背景與理論假設(shè)中要推廣到的環(huán)境之間的差別。時(shí)間因素（時(shí)代變遷） 研究時(shí)間段與理論要推廣到的時(shí)間段之間的差別。 10/25/202434外部效度-并不總是壞事！有時(shí)也許是新研究的開(kāi)始！例如：變革型領(lǐng)導(dǎo)（愿景、關(guān)懷、鼓舞、支持） 和諧的人際關(guān)系10/25/202