第三節(jié)實(shí)驗(yàn)研究的效度和信度一、實(shí)驗(yàn)研究的效度二、實(shí)驗(yàn)研究的信度2011-7-1414第2章第三節(jié)信效度一、效度實(shí)驗(yàn)效度是指實(shí)驗(yàn)方法能達(dá)到實(shí)驗(yàn)?zāi)康牡某潭?，也就是?shí)驗(yàn)結(jié)果的準(zhǔn)確性和有效性程度。由于不同的實(shí)驗(yàn)者在設(shè)計(jì)上和在對(duì)額外變量的控制程度上極不相同，實(shí)驗(yàn)的效度也會(huì)有很大的不同。實(shí)驗(yàn)效度主要包括內(nèi)部效度和外部效度。

2011-7-1424第2章第三節(jié)信效度（一）內(nèi)部效度實(shí)驗(yàn)的內(nèi)部效度是指實(shí)驗(yàn)中自變量與因變量之間因果關(guān)系的明確程度。一項(xiàng)實(shí)驗(yàn)的內(nèi)部效度高，就意味著因變量的變化確系由特定的自變量引起的。要使實(shí)驗(yàn)具有較高的內(nèi)部效度，就必須控制各種額外變量。2011-7-1434第2章第三節(jié)信效度1、影響實(shí)驗(yàn)內(nèi)部效度的常見(jiàn)因素

（1）實(shí)驗(yàn)程序的不一致（2）前測(cè)的影響（3）被試的選擇偏性（4）歷史（經(jīng)歷）（5）生長(zhǎng)和成熟（6）被試的缺失（7）統(tǒng)計(jì)回歸

2011-7-1444第2章第三節(jié)信效度（1）實(shí)驗(yàn)程序的不一致

在實(shí)驗(yàn)過(guò)程中，實(shí)驗(yàn)儀器、控制方式的不一致，測(cè)量程度的變化，實(shí)驗(yàn)處理的擴(kuò)散和交流等都可能混淆自變量的效果。實(shí)驗(yàn)者知道實(shí)驗(yàn)?zāi)康乃a(chǎn)生的“實(shí)驗(yàn)者效應(yīng)”以及被試者知道實(shí)驗(yàn)?zāi)康幕蚱渥约赫谎芯克a(chǎn)生的“霍桑效應(yīng)”和“安慰劑效應(yīng)”等都將混淆自變量的效果，從而降低了內(nèi)部效度。

2011-7-1454第2章第三節(jié)信效度（2）前測(cè)的影響

由于實(shí)驗(yàn)處理之前所施行的前測(cè)可能積極地或消極地影響著實(shí)驗(yàn)處理后的測(cè)量，進(jìn)而混淆實(shí)驗(yàn)的結(jié)果。在一般正常情況下，前后兩次測(cè)量的結(jié)果會(huì)有一定的差異，后測(cè)的分?jǐn)?shù)將比前測(cè)的高。這中間包括練習(xí)因素、臨場(chǎng)經(jīng)驗(yàn)、以及對(duì)實(shí)驗(yàn)?zāi)康牡拿舾谐潭龋瑥亩岣吡撕鬁y(cè)的成績(jī)。特別是前后兩次測(cè)量時(shí)間較近，這一因素的影響就更顯著。

當(dāng)然，前測(cè)帶來(lái)疲勞也可能影響到后測(cè)的成績(jī)。2011-7-1464第2章第三節(jié)信效度（3）被試的選擇偏性

在對(duì)被試進(jìn)行分組時(shí)，如果沒(méi)有用隨機(jī)取樣和隨機(jī)分配的方法，在實(shí)驗(yàn)處理之前，他們?cè)诟鞣矫娌⒉幌嗟然蛴衅裕瑥亩斐蓪?shí)驗(yàn)結(jié)果的混淆，降低了內(nèi)部效度。（理科、文科）隨機(jī)化選擇和分配被試的必要性、教育研究中的自然班的問(wèn)題。2011-7-1474第2章第三節(jié)信效度（4）歷史（經(jīng)歷）歷史事件指那些在實(shí)驗(yàn)過(guò)程中，與自變量同時(shí)發(fā)生，并對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響的特定事件。周期比較長(zhǎng)的實(shí)驗(yàn)容易歷史因素的影響。例如，在某項(xiàng)教學(xué)改革實(shí)驗(yàn)中，實(shí)驗(yàn)學(xué)校在實(shí)驗(yàn)進(jìn)行期間參與了上級(jí)教育主管部門在全地區(qū)范圍開(kāi)展的教學(xué)評(píng)比活動(dòng)，這一事件勢(shì)必會(huì)對(duì)整個(gè)學(xué)校的教學(xué)活動(dòng)帶來(lái)某種程度的影響，從而影響到我們對(duì)教改實(shí)驗(yàn)結(jié)果的評(píng)估。很多教育實(shí)驗(yàn)往往需要較長(zhǎng)周期，所以歷史事件對(duì)實(shí)驗(yàn)結(jié)果的影響應(yīng)該得到關(guān)注和考慮。2011-7-1484第2章第三節(jié)信效度（5）生長(zhǎng)和成熟除了實(shí)驗(yàn)中的自變量可能使個(gè)體行為發(fā)生變化外，個(gè)體本身的生長(zhǎng)和成熟也是使其行為變化的重要因素。在以幼小的兒童為被試（鏡子測(cè)試：訓(xùn)練、生長(zhǎng)）2011-7-1494第2章第三節(jié)信效度（6）被試的缺失如果是一項(xiàng)長(zhǎng)期的實(shí)驗(yàn)，要保持原實(shí)驗(yàn)被試的人數(shù)不變是相當(dāng)困難的。即使開(kāi)始參加實(shí)驗(yàn)的被試者樣本是經(jīng)過(guò)隨機(jī)取樣和隨機(jī)分配的，但由于被試者的中途缺失，常常使缺失后的被試者樣本難以代表原來(lái)的樣本。這就降低了內(nèi)部效度。

2011-7-14104第2章第三節(jié)信效度（7）統(tǒng)計(jì)回歸

統(tǒng)計(jì)回歸現(xiàn)象是指，第一次測(cè)量平均值偏高者，第二次測(cè)量平均值有趨低的傾向（向常態(tài)分布的平均數(shù)回歸）；第一次測(cè)量平均值偏低者，第二次測(cè)量平均值有趨高的傾向（也向常態(tài)分布的平均數(shù)回歸）。例如在一次測(cè)驗(yàn)中，平均分為75分，最高分的學(xué)生第一次測(cè)驗(yàn)獲得了98分，最低分的學(xué)生第一次測(cè)驗(yàn)僅得了55分，但在第二天緊接著進(jìn)行的與第一次基本相當(dāng)?shù)牡诙螠y(cè)驗(yàn)時(shí)，原來(lái)最高分的學(xué)生獲得了92分，而最低分的學(xué)生獲得了60分。為避免此因素的干擾，在研究中最好不采用兩極極端的被試。2011-7-14114第2章第三節(jié)信效度2、影響實(shí)驗(yàn)外部效度的因素

實(shí)驗(yàn)的外部效度是指實(shí)驗(yàn)結(jié)果能夠普遍推論到樣本的總體和其他同類現(xiàn)象中去的程度，即實(shí)驗(yàn)結(jié)果的普遍代表性和適用性，也被稱為“生態(tài)效度”。以人的行為為對(duì)象所獲得的實(shí)驗(yàn)結(jié)果，其推論往往有相當(dāng)?shù)木窒扌?。外部效度主要受到以下三方面的影響：?）實(shí)驗(yàn)環(huán)境的人為性（2）被試樣本缺乏代表性（3）測(cè)量工具的局限性2011-7-14124第2章第三節(jié)信效度（1）實(shí)驗(yàn)環(huán)境的人為性

實(shí)驗(yàn)是在控制條件下進(jìn)行的，實(shí)驗(yàn)環(huán)境的人為性可能使某些實(shí)驗(yàn)結(jié)果難以用來(lái)解釋日常生活中的行為現(xiàn)象。實(shí)驗(yàn)室中的儀器設(shè)備會(huì)影響被試者的典型行為。被試者參與實(shí)驗(yàn)的動(dòng)機(jī)也會(huì)影響其行為表現(xiàn)。而在實(shí)驗(yàn)室之外的日常生活中，就不會(huì)有這些因素的影響。因此，實(shí)驗(yàn)結(jié)果還不能完全等同于實(shí)驗(yàn)室之外的日常行為現(xiàn)象。

2011-7-14134第2章第三節(jié)信效度（2）被試樣本缺乏代表性

從理論上講，做實(shí)驗(yàn)的被試必須具有代表性，必須從將來(lái)預(yù)期推論、解釋同類行為現(xiàn)象的總體中進(jìn)行隨機(jī)取樣。但實(shí)際上這是很難做到的。因?yàn)?，即使總體有限，但如果很大的話，雖然能夠隨機(jī)取樣，但心理學(xué)實(shí)驗(yàn)的被試者通常是自愿的，所以也很難把被隨機(jī)選上的人全都請(qǐng)來(lái)做實(shí)驗(yàn)。如果總體是無(wú)限的（例如，“七歲兒童”就是一個(gè)無(wú)限的總體，其包括過(guò)去的、現(xiàn)在的、將來(lái)的所有七歲兒童），隨機(jī)取樣實(shí)際上是行不通的。2011-7-14144第2章第三節(jié)信效度（3）測(cè)量工具的局限性

實(shí)驗(yàn)者對(duì)自變量和因變量的操作性定義往往以所使用的測(cè)量工具的測(cè)量結(jié)果來(lái)加以考慮的。例如，把成就動(dòng)機(jī)作為一個(gè)因變量，實(shí)驗(yàn)者常以某種成就動(dòng)機(jī)量表所測(cè)得的分?jǐn)?shù)來(lái)界定并評(píng)定其強(qiáng)度。但成就動(dòng)機(jī)的測(cè)量工具有各種不同的形式，所測(cè)量出的分?jǐn)?shù)并不代表同一種成就動(dòng)機(jī)及其強(qiáng)度。如果在實(shí)驗(yàn)時(shí)采用的是某一種成就動(dòng)機(jī)的量表，那么所得出的實(shí)驗(yàn)結(jié)果便不能推論到采用其他成就動(dòng)機(jī)的量表的情況中去。

2011-7-14154第2章第三節(jié)信效度實(shí)驗(yàn)的內(nèi)部效度和外部效度是相互聯(lián)系、相互影響的。提高實(shí)驗(yàn)內(nèi)部效度的措施可能會(huì)降低其外部效度，而提高實(shí)驗(yàn)外部效度的措施又可能會(huì)降低其內(nèi)部效度。這兩種效度的相對(duì)重要性，主要取決于實(shí)驗(yàn)的目的和實(shí)驗(yàn)的要求。一般而言，在實(shí)驗(yàn)中控制額外變量的程度越大，則對(duì)因果關(guān)系的測(cè)量就越有效。因此，可以在保證實(shí)驗(yàn)內(nèi)部效度的前題下，采取適當(dāng)措施以提高外部效度。

2011-7-14164第2章第三節(jié)信效度二、實(shí)驗(yàn)的信度實(shí)驗(yàn)的信度是指實(shí)驗(yàn)結(jié)論的可靠性和前后一致性程度。結(jié)果的可靠性可以簡(jiǎn)單地歸結(jié)為：如果再重復(fù)實(shí)驗(yàn)，其結(jié)果會(huì)與第一次相同嗎？（記筆記）怎樣驗(yàn)證實(shí)驗(yàn)結(jié)果的可信性？2011-7-14174第2章第三節(jié)信效度考察實(shí)驗(yàn)信度的方法1、推斷統(tǒng)計(jì)2、實(shí)驗(yàn)驗(yàn)證2011-7-14184第2章第三節(jié)信效度1、推斷統(tǒng)計(jì)推斷統(tǒng)計(jì)用于確定兩種條件的結(jié)果差別是由自變量還是隨機(jī)因素造成的。如果不同實(shí)驗(yàn)條件下所得出的結(jié)果之間差異很大，而且這種差異由偶然因素導(dǎo)致的概率低于5%時(shí)，研究者可以排除偶然因素導(dǎo)致該結(jié)果的可能性，而認(rèn)為結(jié)果是由自變量造成的。2011-7-14194第2章第三節(jié)信效度統(tǒng)計(jì)推斷存在的問(wèn)題盡管結(jié)論在統(tǒng)計(jì)上被認(rèn)為是可信的，但由偶然因素(統(tǒng)計(jì)信度仍保留5％的錯(cuò)誤概率)、一些未被注意到的混淆因素、或者實(shí)驗(yàn)者誤差所造成錯(cuò)誤的可能性仍然存在?！爸貜?fù)一次抵得上一千次t檢驗(yàn)”。2011-7-14204第2章第三節(jié)信效度2、實(shí)驗(yàn)驗(yàn)證三種實(shí)驗(yàn)驗(yàn)證方法：①直接驗(yàn)證②系統(tǒng)驗(yàn)證③概念驗(yàn)證2011-7-14214第2章第三節(jié)信效度關(guān)于“類比問(wèn)題解決”的研究目標(biāo)問(wèn)題——腫瘤問(wèn)題：假如你是醫(yī)生，面臨著一個(gè)胃內(nèi)有惡性腫瘤的病人。在腫瘤上不能動(dòng)手術(shù)。但是，腫瘤不切除，病人就會(huì)死去。有一種輻射能摧毀腫瘤。如果輻射以足夠高的強(qiáng)度立刻到達(dá)腫瘤，腫瘤會(huì)被摧毀。但不幸的是，當(dāng)高強(qiáng)度的輻射經(jīng)過(guò)機(jī)體的其他地方時(shí)，健康的組織同時(shí)也被摧毀。低輻射條件下，射線對(duì)健康肌體無(wú)害，但也不能對(duì)腫癌起作用。我們應(yīng)該用什么類型的輻射去摧毀腫瘤同時(shí)又避免傷害健康的組織呢?(Gick和Holyoak，1980)。2011-7-14224第2章第三節(jié)信效度吉克和霍利約克的研究（研究一）最早研究中，45個(gè)被試只有2個(gè)（4%）提出了“會(huì)聚解決法”。他們想研究：當(dāng)在輻射問(wèn)題前先給出一個(gè)類似的問(wèn)題及其解決辦法時(shí)，是否會(huì)有更多的人能解決這個(gè)問(wèn)題。即是否被試能從第一個(gè)問(wèn)題中抽象出指導(dǎo)原則，然后運(yùn)用到第二個(gè)中去。基于這種想法，吉克和霍利約克提出了其他的“類比故事”。這些類比故事蘊(yùn)涵著高效解決輻射問(wèn)題的基本原則。2011-7-14234第2章第三節(jié)信效度類比故事——指揮官故事一支坦克部隊(duì)的指揮官要向敵軍司令部(要塞)發(fā)起攻擊。如果用許多坦克，他贏的機(jī)會(huì)很大；但他的部隊(duì)必須經(jīng)過(guò)又窄又不牢僅能通過(guò)少數(shù)坦克的橋，因此只能用少量的坦克發(fā)起襲擊，但易被敵方擊退。為了取得勝利，這支坦克部隊(duì)指揮官制訂了一個(gè)讓坦克分別通過(guò)每座小橋包圍敵司令部的計(jì)劃。這樣，所有坦克都能立刻過(guò)橋攻擊和占領(lǐng)敵司令部。2011-7-14244第2章第三節(jié)信效度實(shí)驗(yàn)設(shè)計(jì)三種實(shí)驗(yàn)處理：①解決問(wèn)題前不閱讀任何故事；②解決問(wèn)題前閱讀無(wú)關(guān)故事；③解決問(wèn)題前閱讀指揮官故事。2011-7-14254第2章第三節(jié)信效度實(shí)驗(yàn)結(jié)果在解決輻射問(wèn)題前沒(méi)有閱讀故事或閱讀無(wú)關(guān)故事的被試僅有大約10％是用最有效的方法解決問(wèn)題的。在解決輻射問(wèn)題之前閱讀過(guò)類比故事，的被試約有75％在時(shí)間限度內(nèi)解決了問(wèn)題。這個(gè)實(shí)驗(yàn)結(jié)果可信嗎？2011-7-14264第2章第三節(jié)信效度①直接驗(yàn)證直接驗(yàn)證是指在盡可能保持原實(shí)驗(yàn)方法的情況下在實(shí)際中重復(fù)它。例如：對(duì)吉克和霍利約克(1980)實(shí)驗(yàn)一的直接驗(yàn)證就是：按原實(shí)驗(yàn)設(shè)計(jì)換一批被試重做實(shí)驗(yàn)。2011-7-14274第2章第三節(jié)信效度②系統(tǒng)驗(yàn)證所謂系統(tǒng)驗(yàn)證，就是系統(tǒng)變化那些被認(rèn)為與實(shí)驗(yàn)結(jié)果不相關(guān)的因素，考察是否會(huì)出現(xiàn)同樣的實(shí)驗(yàn)結(jié)果。也就是說(shuō)，如果原始實(shí)驗(yàn)中發(fā)現(xiàn)的某種現(xiàn)象是真的，那么，盡管重做中一些因素發(fā)生了變化，但它仍然該出現(xiàn)。前面提到的吉克和霍利約克的研究中，研究二就可以看作是對(duì)研究一的系統(tǒng)驗(yàn)證。2011-7-14284第2章第三節(jié)信效度提示是否有助于解釋類比推理問(wèn)題？（研究二）吉克和霍利約克(1980)思考了類比推理的過(guò)程。他們讓所有被試都讀類比故事，然后解決輻射問(wèn)題。他們?cè)O(shè)置了兩種條件：①提示條件：提示利用故事作為提示考慮怎樣解決問(wèn)題。②無(wú)提示條件：不提示被試剛讀過(guò)的故事與他即將面臨的問(wèn)題解決任務(wù)之間存在的聯(lián)系。結(jié)果顯示，提示確實(shí)是解決類比推理問(wèn)題的一個(gè)重要因素。提示組92％的被試解決了問(wèn)題；無(wú)提示組僅有20％。這說(shuō)明：被試難于自發(fā)應(yīng)用類比解決問(wèn)題。2011-7-14294第2章第三節(jié)信效度③概念驗(yàn)證所謂概念驗(yàn)證，就是根據(jù)一個(gè)較為抽象的概念或者理論模型設(shè)計(jì)實(shí)驗(yàn)，驗(yàn)證實(shí)驗(yàn)結(jié)果。2011-7-14304第2章第三節(jié)信效度吉克和霍