1、如何提高研究效度花蓮師院科教所劉聖忠老師1如何提高研究效度何謂信度效度？何謂工具效度？何謂研究效度？研究效度裡的 內(nèi)在效度 和 外在效度影響研究效度的一些因素2信度 v.s. 效度 之1何謂信度？基本上，信度的定義不外乎穩(wěn)定度(stability)、 一致性(consistency)何謂效度？說白話一點，效度的定義就是測到你想測的東西的程度3信度 v.s. 效度 之2信度高通常表示在研究的過程中所量得的data重複出現(xiàn)的機(jī)率高效度高通常表示結(jié)果(=data+explanation)重複出現(xiàn)的機(jī)率高所以信度高的不一定效度高效度高的一定信度高4信度 v.s. 效度 之3信度高的不一定效度高效度高的

2、一定信度高在口語的溝通上，我們常常以有沒有效度來代表效度的高低；因此有信度不一定有效度有效度一定有信度5以效度為例前面所定義的信、效度通常指的是一般的定義?？墒窃谘芯康倪^程中，我們常常會碰到的效度問題卻有二個，一個稱之為工具效度，另外一個稱之為研究效度因為它們所處理、所可能面對的問題是不同的。因此，它們就應(yīng)該有所區(qū)隔6工具效度 之1在談這個問題之前，我們必須先釐清什麼是工具？工具通常意謂：在一個研究裡，為了測量被研究對象的某一特質(zhì)(智力、學(xué)習(xí)成就等)，所使用的一種測量工具，通常稱之為問卷(questionnaire)通常它測的對象會是一個大的族群，例如600人或50人，很少小於25-30人7工

3、具效度 之2工具效度= 工具+效度一個測量工具測到它宣稱可以測到被研究對象的某一特質(zhì)的程度例如要看一個國小五年級自然科學(xué)習(xí)成就問卷的工具效度就是要檢視其是否能忠實反映被研究對象的自然科學(xué)習(xí)成就工具效度高代表其測量結(jié)果和事實接近8研究效度 之1前面提過所謂的工具效度是一個測量工具測到它宣稱可以測到被研究對象的某一特質(zhì)的程度那所謂的研究效度就是一個研究中的研究結(jié)果可以被複製的程度研究效度高代表研究的結(jié)果被複製的程度高，也就是說研究結(jié)果的可信度高9研究效度 之2一個有研究效度的研究通常所使用的工具應(yīng)該也是有效度的上面這句話在量化的研究中一定是對的，但在質(zhì)性的研究裡應(yīng)該成立卻不必然就是如此。(why?

4、)10研究效度 之3量的研究：要有高研究效度的研究一定得使用有高的信效度的測量工具質(zhì)的研究：使用具有高的信效度的測量工具一定有助於提昇研究的效度，但工具的信效度卻應(yīng)該只是研究效度成立的一個重要考量，不必然是全部每一個同學(xué)請舉例或用你自己的話語解釋一遍給同組的同學(xué)聽11研究效度 之4研究結(jié)果的可信度高具有二層的含意第一層，可能只代表研究者自己或別人在完全相同的(exactly the same)研究過程中複製研究結(jié)果的程度第二層，才代表別的研究者在類推的族群中(generalized population) 複製研究結(jié)果的程度12內(nèi)部效度 v.s. 外部效度 之1在完全相同的研究過程中複製研究結(jié)

5、果的程度 指的是研究的內(nèi)部效度(internal validity)在類推的族群中複製研究結(jié)果的程度 指的是研究的外部效度(external validity)13討論問題請試著用自己的話語討論一下上面這二句話的含意請以Effects of Integrated Video為例14內(nèi)部效度 v.s. 外部效度 之2在這裡所謂的內(nèi)部和外部效度都是在談研究效度，只是我們談的更細(xì)一點而已或者應(yīng)該這麼說如果我們想更進(jìn)一步的了解研究效度，我們就不能不談內(nèi)部效度和外部效度15內(nèi)部效度在教育的研究情境中，那來完全相同的研究過程！完全相同有那些要項是應(yīng)該考量的樣本相同，或除研究特質(zhì)之外的特質(zhì)均相同相同的或相等

6、的信效度的測量工具研究情境相同或雷同因果關(guān)係的成立16外部效度外部效度求的不過就是本次研究結(jié)果類推到母群體的複製程度，也可以說外部效度看的就是本研究的推論力推論力有那些要項是應(yīng)該考量的樣本的代表性潛藏的變因高預(yù)測效度的測量工具17內(nèi)部效度 v.s. 外部效度 之3因此如果一個研究要有高的外部效度的話，一定先要有高的內(nèi)部效度有內(nèi)部效度的研究不一定有外部效度有外部效度的研究一定有內(nèi)部效度說穿了，沒有人會去做一個沒有推論力的研究！18內(nèi)部效度 v.s. 外部效度 之4討論問題在討論如何提高研究效度的議題上，有沒有必要區(qū)隔內(nèi)部效度和外部效度？有，為什麼？沒有 ，為什麼？19如何提高研究效度前面的上課中

7、討論過談如何提高研究效度就等同於討論如何降低研究誤差20如何降低研究誤差在此應(yīng)該考量的是如何降低，不是消除研究誤差有幾個重要的方向要考慮在研究者方面(即variable control)在研究對象方面(即sampling)研究工具的選用(即instrumentation)21如何提高研究效度由以上的討論，我們發(fā)現(xiàn)影響研究效度的因素有以下的幾個重要項目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variable control)多元資料檢證(triangulation)22取樣 之1主要的考量在於代表性(representativeness)和可行性(pr

8、atical)的問題理想上，代表性是唯一在取樣的過程中需要考慮的事但在現(xiàn)實中，可能可行性會折殺大部分的理想性如何在研究設(shè)計中平衡理想與現(xiàn)實是一個挑戰(zhàn)23取樣 之2取樣的過程中，有以下的幾個問題要回答母群體為何(普查 v.s. 樣本)取樣方法的簡介(隨機(jī)取樣 v.s.方便取樣 v.s. 立意取樣)樣本大小的決定(how big is enough?)取樣誤差的控制(機(jī)誤 v.s. 常誤)24取樣之3樣本的代表性應(yīng)該考量的要項取樣的方法取樣的誤差樣本的數(shù)目分層取樣的分層依據(jù)為何自願樣本的問題25取樣 之4隨機(jī)取樣方法的簡介抽籤亂數(shù)表的使用等距取樣分層取樣(stratified)(等量 v.s. 比

9、率取樣)叢集取樣(clustered)多階段叢集取樣隨機(jī)分派26討論問題請以Effects of Integrated Video為例，說明它的選樣方法為何？又其代表性如何？27取樣 之5樣本大小將影響研究結(jié)果的準(zhǔn)確度一般而言，樣本愈大準(zhǔn)確度愈大，樣本愈小準(zhǔn)確度愈小根據(jù)統(tǒng)計學(xué)原理，準(zhǔn)確度因樣本數(shù)的平方根而不同例如原有25位樣本，若想使準(zhǔn)確度增加一倍，必須增加樣本數(shù)為100。How?28取樣 之6真正影響準(zhǔn)確度的是樣本的實質(zhì)大小，不是樣本佔族群的百分比根據(jù)楊榮祥老師的文章，相關(guān)性研究通常至少要有30個樣本；在實驗研究裡，實驗組和控制組各至少需15個樣本；在調(diào)查研究中，則至少要有100個樣本詳細(xì)決

10、定樣本大小的方法與考量，請參見楊老師文章的19-24頁29取樣 之7取樣誤差在此意指HistoryMaturationMemory effectStatistical regressionSelectionExperimental mortalitySelection-maturation interaction30如何提高研究效度由以上的討論，我們發(fā)現(xiàn)影響研究效度的因素有以下的幾個重要項目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variable control)多元資料檢證(triangulation)31研究工具之1研究工具(instrument

11、ation)在此應(yīng)該考量的是Use the right instrument! (check the manual)Use instrument right! (check the administration)缺少信度的測量工具不可靠缺少效度的測量工具測非所測缺少常模(norm)的測量工具不易解釋沒有標(biāo)準(zhǔn)施測流程的測量工具容易衍生常誤32討論問題請以Effects of Integrated Video為例，討論常模參照(norm-reference)和效標(biāo)參照(criterion-reference) 之不同及其應(yīng)用33研究工具之2一般常用的信度(reliability)種類重測信度(te

12、st-retest reliability)複本信度(parallel-form reliability)折半信度(split-half reliability)內(nèi)容一致性(即一般常用的 reliability)K-20信度K-21信度34研究工具之3一般常用的效度(validity)種類內(nèi)容效度(content validity)：一般又稱為專家效度效標(biāo)效度(criterion validity)：concurrent validitypredictive validity構(gòu)念效度35研究工具之4Aikenhead對工具效度的研究結(jié)果顯示針對相同的一個研究而言，選用深度訪談(in-depth

13、 interview)的效度最高半結(jié)構(gòu)式訪談(semi-structured interview)次之經(jīng)驗式發(fā)展的(empirical-developed)測驗工具再次之一般的問卷(questionnaire)末之36如何提高研究效度由以上的討論，我們發(fā)現(xiàn)影響研究效度的因素有以下的幾個重要項目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variable control)多元資料檢證(triangulation)37變因控制之1因果關(guān)係的成立在此應(yīng)該考量的是重要變因的被忽略或不被考慮變因間的獨立性即混淆變數(shù)、中介變數(shù)的存在或其和自變項間的交互作用使研究結(jié)果

14、的正確性大打折扣38變因控制之2潛藏的變因應(yīng)該考量的要項前測效應(yīng)實驗組的自覺研究者的情結(jié)重複實驗的學(xué)習(xí)效果39變因控制之3研究者情結(jié)在此應(yīng)該考量的是研究者的不自覺(teach-to-test)月暈效應(yīng)40變因控制之4變因間的獨立性請先以張美玉老師的文章為例，討論變因間的獨立性。此研究設(shè)計的問題在那裡？請以Effects of video的文章為例，討論變因間的獨立性。此研究設(shè)計的問題在那裡？你覺得那一個研究的變因控制做得比較周嚴(yán)？理由，又該如何改善？41變因控制之4研究情境的控制(context)在此應(yīng)該考量的是在研究過程中的不同時間，宜保持研究情境的恆常一致在研究過程中，除了變因之外，實驗組和控制組所得到的待遇應(yīng)力求一致42如何提高研究效度由以上的討論，我們發(fā)現(xiàn)影響研究效度的因素