1、效度分析和信度分析,一、背景準(zhǔn)備,1、誤差公理 誤差(error)是指對事物某一特征的度量值偏離真實(shí)值的部分，即測定值與真實(shí)值之差，樣本統(tǒng)計(jì)量與總體參數(shù)之差。 誤差公理：實(shí)驗(yàn)結(jié)果都會有誤差，誤差自始至終存在于一切科學(xué)實(shí)驗(yàn)的過程之中 2、誤差的種類： 1）隨機(jī)誤差包括隨機(jī)測量誤差和抽樣誤差 隨機(jī)測量誤差：沒有固定的傾向，可使多次觀測結(jié)果有大有小。 抽樣誤差：由于抽樣造成的樣本指標(biāo)與總體指標(biāo)之間的差別。,問卷測驗(yàn)中測量誤差通常來源于兩個方面： 一是產(chǎn)生于問卷測驗(yàn)過程中的誤差，稱為測量誤差，也稱為隨機(jī)誤差； 二是由問卷的結(jié)構(gòu)質(zhì)量造成的誤差，稱為系統(tǒng)誤差,2）系統(tǒng)誤差：是由于偏倚（使研究結(jié)果按照一個方

2、向偏離總體， bias）產(chǎn)生的錯誤結(jié)果，可校正和消除。 3）過失誤差（gross error)是由于科研設(shè)計(jì)錯誤，或?qū)嶒?yàn)者的主觀片面、粗心大意引起的誤差。,效度（validity）通常是指問卷的有效性和正確性，亦即問卷能夠測量出其所欲測量特性的程度。,效度是問卷調(diào)查研究中最重要的特征，問卷調(diào)查的目的就是要獲得高效度的測量與結(jié)論，效度越高表示該問卷測驗(yàn)的結(jié)果所能代表要測驗(yàn)的行為的真實(shí)度越高，越能夠達(dá)到問卷測驗(yàn)?zāi)康模搯柧聿耪_而有效。 問卷的準(zhǔn)確性或稱為有效性是用問卷的效度加以刻劃的，它反映了對問卷的系統(tǒng)誤差的控制程度。,二、問卷效度分析,效度是指問卷測驗(yàn)的準(zhǔn)確性，即測驗(yàn)?zāi)軌蚍从乘獪y量特性的程

3、度. 其包括兩個方面的含義：一是問卷測驗(yàn)的目的；二是問卷對測量目標(biāo)的測量精確度和真實(shí)性。效度是一個具有相對性、連續(xù)性的概念。 效度性質(zhì)1.效度具有相對性：任何測驗(yàn)的效度是對一定的目標(biāo)來說的，或者說測驗(yàn)只有用于與測驗(yàn)?zāi)繕?biāo)一致的目的和場合才會有效。 所以，在評價(jià)測驗(yàn)的效度時(shí)，必須考慮效度測驗(yàn)的目的與功能。2.效度具有連續(xù)性：測驗(yàn)效度通常用相關(guān)系數(shù)表示，它只有程度上的不同，而沒有“全有”或“全無”的區(qū)別。效度是針對測驗(yàn)結(jié)果的,常用的效度指標(biāo) 確定一個問卷效度的方法，通常是以答卷者的問卷得分和另一個效度標(biāo)準(zhǔn)求相關(guān)，以其相關(guān)系數(shù)的大小來表示效度。如果相關(guān)系數(shù)高，則該問卷的效度就高。 一般常用的效度指標(biāo)有

4、內(nèi)容效度、結(jié)構(gòu)效度。,（一）內(nèi)容效度 內(nèi)容效度是指問卷內(nèi)容的貼切性和代表性,即問卷內(nèi)容能否反應(yīng)所要測量的特質(zhì)，能否達(dá)到測驗(yàn)?zāi)康?，較好地代表所欲測量的內(nèi)容和引起預(yù)期反應(yīng)的程度。內(nèi)容效度常以題目分布的合理性來判斷，屬于命題的邏輯分析，所以，內(nèi)容效度也稱為“邏輯效度” 、“內(nèi)在效度”。 內(nèi)容效度的評價(jià)主要通過經(jīng)驗(yàn)判斷進(jìn)行，通常考慮3方面的問題： 其一是項(xiàng)目所測量的是否真屬于應(yīng)測量的領(lǐng)域； 其二是測驗(yàn)所包含的項(xiàng)目是否覆蓋了應(yīng)測領(lǐng)域的各個方面； 其三是測驗(yàn)題目的構(gòu)成比例是否恰當(dāng)。 常用的內(nèi)容效度的評價(jià)方法有兩種： 一是專家法，即請有關(guān)專家對問卷題目與原來的內(nèi)容范圍是否符合進(jìn)行分析,作出判斷，看問卷題目是

5、否較好地代表了原來的內(nèi)容。 二是統(tǒng)計(jì)分析法，即從同一內(nèi)容總體中抽取兩套問卷，分別對同一組答卷者進(jìn)行測驗(yàn), 兩種問卷的相關(guān)系數(shù)就可用來估計(jì)問卷的內(nèi)容效度。 三是計(jì)算某個問題與去掉此問題后總得分的相關(guān)性情況，分析是否需要被剔除（敏感性分析）。,（二）結(jié)構(gòu)效度 建構(gòu)效度：是指測量結(jié)果體現(xiàn)出來的某種結(jié)構(gòu)與測值之間的對應(yīng)程度。效度分析最理想的方法是利用因子分析測量量表或整個問卷的結(jié)構(gòu)效度。 因子分析的主要功能是從量表全部變量（題項(xiàng)）中提取一些公因子，各公因子分別與某一群特定變量高度關(guān)聯(lián)，這些公因子即代表了量表的基本結(jié)構(gòu)。通過因子分析可以考察問卷是否能夠測量出研究者設(shè)計(jì)問卷時(shí)假設(shè)的某種結(jié)構(gòu)。在因子分析的結(jié)

6、果中，用于評價(jià)結(jié)構(gòu)效度的主要指標(biāo)有累積貢獻(xiàn)率、共同度和因子負(fù)荷。累積貢獻(xiàn)率反映公因子對量表或問卷的累積有效程度，共同度反映由公因子解釋原變量的有效程度，因子負(fù)荷反映原變量與某個公因子的相關(guān)程度。,（三）其他效度指標(biāo) 1、效標(biāo)效度 效標(biāo)效度也稱為準(zhǔn)則關(guān)聯(lián)效度、經(jīng)驗(yàn)效度、統(tǒng)計(jì)效度。效標(biāo)效度是說明問卷得分與某種外部準(zhǔn)則（效標(biāo)）間的關(guān)聯(lián)程度，用問卷測量得分與效度準(zhǔn)則之間的相關(guān)系數(shù)表示。 一般估計(jì)效標(biāo)效度的主要方法有： 相關(guān)法，即求某問卷分?jǐn)?shù)與效標(biāo)間的相關(guān)，所得結(jié)果即效標(biāo)效度。 區(qū)分法，即看問卷分?jǐn)?shù)是否可以區(qū)分由效標(biāo)所劃分的團(tuán)體。 可以運(yùn)用t檢驗(yàn)對先后兩次問卷結(jié)果平均分?jǐn)?shù)進(jìn)行差異性檢驗(yàn)。若差異有統(tǒng)計(jì)學(xué)意

7、義，說明問卷是有效的；若差異無統(tǒng)計(jì)學(xué)意義，說明問卷是無效的。,2、判別效度 判別效標(biāo)也稱為辨別效標(biāo)，是指運(yùn)用相同的問卷測定不同特質(zhì)和內(nèi)涵，測量結(jié)果之間不應(yīng)有太大的相關(guān)性。 3、聚合效度 聚合效度也稱為收斂效度，是指運(yùn)用不同測量方法測定同一特質(zhì)所得結(jié)果的相似程度，即對同一特質(zhì)的兩種或多種測定方法間應(yīng)有較高的相關(guān)性。,Spitzer認(rèn)為如果滿足以下5個條件就可以認(rèn)為問卷由效：. （1）問卷有內(nèi)容效度和結(jié)構(gòu)效度； （2）在問卷制定階段應(yīng)當(dāng)請有關(guān)人員提出意見，供修正和提高內(nèi)容效度； （3）問卷經(jīng)過反復(fù)使用證明了其可靠性； （四）提高問卷效度的方法 （1）理論正確，解釋清楚。問卷內(nèi)容要適合問卷測驗(yàn)的目的

8、，題目要清楚明了，易于理解，問卷的排列要由易到難，題目的難度和區(qū)分度要合適； （2）操作規(guī)范以減少誤差； （3）控制系統(tǒng)誤差。它主要包括儀器不準(zhǔn)，題目和指導(dǎo)語有暗示性，答案安排不當(dāng)(被試可以猜測)等, 控制這些因素可以降低系統(tǒng)誤差, 提高效度； （4）樣本適宜且要預(yù)防流失。重視問卷調(diào)查的回收率。樣本容量一般不應(yīng)低于30； （5）適當(dāng)增加問卷的長度。增加問卷的長度既可提高問卷的信度，也可以提高問卷的效度，但增加問卷的長度對信度的影響大于對效度的影響； （6）排除無關(guān)因素干擾。認(rèn)清并排除足以混淆或威脅結(jié)論的無關(guān)干擾變量。,三、效度分析實(shí)例,1問卷的敏感性（可靠性）分析,（1）操作過程 從菜單選擇A

9、nalyze Scale Reliability Analysis Item（輸入問卷的各條目或各因子包含的條目） 單擊“Statistics”按鈕，彈出信度分析統(tǒng)計(jì)量對話框 Descriptives for: Scale if item deleted OK,Scale if item deleted:去掉當(dāng)前題目整個問卷的描述統(tǒng)計(jì)量，即敏感性分析，包括以下內(nèi)容：Scale Mean if Item Deleted:去掉當(dāng)前題目問卷合計(jì)分的均數(shù)； Scale Variance if Item Deleted: 去掉當(dāng)前題目問卷合計(jì)分的方差； Corrected Item-Total Corr

10、elation: 當(dāng)前題目得分與去掉當(dāng)前題目問卷合計(jì)分的Pearson相關(guān)系數(shù)； Squared Multiple Correlation:以當(dāng)前題目為因變量，其它所有題目為自變量求得的決定系數(shù)R2；Alpha if Item Deleted: 去掉當(dāng)前題目后問卷的Cronbach 系數(shù)。,一般地，在做問卷的敏感性分析時(shí)，可以將“Alpha if Item Deleted”值，作為調(diào)整題目的一個重要參考依據(jù)。 如果“Alpha if Item Deleted”值越大，其相對應(yīng)的題目越應(yīng)是首先考慮調(diào)整的題目。從本次問卷結(jié)果敏感性分析可以看出，量表的各個題目的“Alpha if Item Dele

11、ted”值均在0.97左右變化，且變化的幅度很小。所以，就 “Alpha if Item Deleted”值這項(xiàng)指標(biāo)看量表各題目均可以保留，無需調(diào)整。,2、 問卷的結(jié)構(gòu)效度的分析 因子分析不僅能夠評價(jià)量表結(jié)構(gòu)的相合性，還可以用共性變異（共性方差）與總變異之比作為結(jié)構(gòu)效度的衡量指標(biāo)。結(jié)構(gòu)效度的分析最好使用證實(shí)性因子分析，它較探索性因子分析更能說明問題。,四、調(diào)查問卷的信度,信度主要是指問卷是否精準(zhǔn)(precision)。信度分析涉及了問卷測驗(yàn)結(jié)果的一致性和穩(wěn)定性，其目的是如何控制和減少隨機(jī)誤差。信度是用估計(jì)測量誤差大小的尺度，來說明問卷測驗(yàn)結(jié)果中測量誤差所占的比率。 信度可定義為真實(shí)分?jǐn)?shù)(tru

12、e score)的方差與測驗(yàn)實(shí)得分?jǐn)?shù)(observed score) 的方差之比，當(dāng)實(shí)得分?jǐn)?shù)變異可以全部由真實(shí)分?jǐn)?shù)的變異解釋時(shí)，測驗(yàn)誤差就是0，這時(shí)問卷測驗(yàn)的信度為1。,調(diào)查問卷的信度包含兩層含義： 一是相同的個體在不同時(shí)間，以相同的問卷測驗(yàn)，或以復(fù)本測驗(yàn)，或在不同的情景下測驗(yàn)，是否能得到相同的結(jié)果，即問卷測驗(yàn)結(jié)果是否隨時(shí)間和地點(diǎn)等因素而變化； 二是能否減少隨機(jī)誤差對問卷測驗(yàn)結(jié)果的影響，從而能夠反映問卷所要測量的真實(shí)情況，即問卷測驗(yàn)結(jié)果是否具有穩(wěn)定性、可靠性和可預(yù)測性。一個好的問卷必須是穩(wěn)定可靠的，且多次問卷測驗(yàn)結(jié)果應(yīng)前后一致。,信度的分類： 信度研究的是問卷測驗(yàn)結(jié)果的可靠性與穩(wěn)定性，可以從不

13、同的角度來評價(jià)： （1）在相同條件下所得問卷測驗(yàn)結(jié)果的一致程度； （2）不同研究者用同一種問卷同時(shí)測驗(yàn)所得結(jié)果的一致程度； （3）同一研究者用同一種問卷在不同時(shí)間內(nèi)測驗(yàn)所得結(jié)果的一致程度。 常用的信度系數(shù) 1）重測信度 假定短時(shí)間內(nèi)一批對象的狀況并沒有改變，對每個對象用同一個問卷先后測驗(yàn)兩次，兩次測驗(yàn)得分的相關(guān)系數(shù)就稱為重測信度。重測信度是用皮爾遜積差相關(guān)系數(shù)r公式計(jì)算的。 重測信度也存在著局限性： 間隔時(shí)間長，環(huán)境影響； 如果間隔時(shí)間短，記憶影響。,(2)復(fù)本信度 復(fù)本通常是根據(jù)相同的設(shè)計(jì)說明分別獨(dú)立編制的兩個平行問卷，即題目不同但是內(nèi)容相似的兩份問卷。復(fù)本信度也叫等值性系數(shù)（coeffic

14、ient of equivalence）。兩個復(fù)本間隔一定時(shí)間或同時(shí)施于同一答卷者所得分?jǐn)?shù)的相關(guān)系數(shù)就是復(fù)本信度。 缺點(diǎn)： 如復(fù)本編制不容易，易出現(xiàn)順序效應(yīng)，受練習(xí)的影響； 復(fù)本信度只能反應(yīng)問卷內(nèi)容所造成的誤差，無法反應(yīng)答卷者本身所造成的誤差等。 (3)分半信度 當(dāng)測驗(yàn)沒有復(fù)本且測驗(yàn)不可避免地受到時(shí)間的影響，只適合用于一次測驗(yàn)時(shí)，可用分半信度。 分半的方法很多，一般是將奇數(shù)題和偶數(shù)題各作為一半，而非前后分半，目的是避免順序效應(yīng)。分半信度也叫折半信度，其計(jì)算方法是將問卷的題目分成對等的兩半，分別求出兩半題目的總分，再計(jì)算兩部分總分的相關(guān)系數(shù)。 使用分半信度時(shí)要注意：問卷題目所測的應(yīng)是同一種特質(zhì)；

15、二是兩半題目應(yīng)是等值的。對問卷題目進(jìn)行分半會造成了對整個問卷信度的低估，為此需要對分半信度進(jìn)行校正,（4）克隆巴赫信度系數(shù) Cronbachs 系數(shù)是Cronbach于1951年創(chuàng)立的，用于評價(jià)問卷的內(nèi)部一致性。系數(shù)取值在0到1之間，系數(shù)越高，信度越高，問卷的內(nèi)部一致性越好。Cronbachs 系數(shù)不僅適用于兩級記分的問卷，還適用于多級計(jì)分的問卷。,其計(jì)算公式為：,式中n為問卷包含的題目數(shù)目,為答卷者在第i題得分的方差，,為答卷者問卷測驗(yàn)總得分的方差。,低信度：0.35, 中信度： 0.350.70,高信度： 0.70 一般地，問卷的系數(shù)在0.8以上該問卷才具有使用價(jià)值。 Cronbachs

16、值皆達(dá)0.85以上，表明問卷信度良好。,提高信度的方法 （1）適當(dāng)延長問卷的長度 問卷題目較多，其在一定程度上排除了偶然因素的影響，從而提高了問卷的信度。但是問卷長度的增加與問卷的信度的增加并不總是成正比的，當(dāng)信度系數(shù)較小時(shí)，延長問卷長度，問卷的信度系數(shù)增加較大；而當(dāng)信度系數(shù)較大時(shí)，延長問卷長度對信度系數(shù)的影響就較小。 （2）問卷的難度適中 當(dāng)問卷題目難度太大時(shí)，問卷得分普遍過低；當(dāng)問卷題目難度太小時(shí)，問卷得分普遍較高。問卷題目太難或太易都會使問卷得分差異減小，使實(shí)得分?jǐn)?shù)方差減小，從而降低了問卷的信度。 （3）問卷的內(nèi)容盡量同質(zhì) 內(nèi)容同質(zhì)的問卷，要求答卷者具有相同的能力、知識和技能。因而為了提

17、高問卷的信度，問卷的內(nèi)容應(yīng)盡量保持同質(zhì)。 （4）測驗(yàn)的時(shí)間要充分 一份問卷應(yīng)保證絕大多數(shù)答卷者在規(guī)定的時(shí)間內(nèi)能完成測驗(yàn)。當(dāng)答卷者不能從容地回答所有題目時(shí)，問卷的得分就不能反映答卷者的真實(shí)情況。,（5）測驗(yàn)的程序要統(tǒng)一 問卷題目要統(tǒng)一，指導(dǎo)語、回答問題的方式、分收試卷的方法和問卷測驗(yàn)的時(shí)間等都要統(tǒng)一，這些是問卷有較高信度的基本保證,五、效度和信度的關(guān)系,1、信度和效度的共同點(diǎn)都是以相關(guān)系數(shù)來表示其大小的。都是整個運(yùn)用問卷調(diào)查技術(shù)進(jìn)行科研工作的可靠性保證。 2.不同點(diǎn)主要是： （1）研究的對象不同 信度：答卷者 效度：組卷人 （2）研究的角度不同 信度：測量的質(zhì)量 效度：問卷的質(zhì)量 （3）涉及的誤

18、差不同 信度僅考慮隨機(jī)誤差占測驗(yàn)總變異的比例； 效度則還包括與測驗(yàn)無關(guān)但穩(wěn)定的測量誤差。 兩者存在著必然的聯(lián)系，問卷的信度是效度的必要而非充分條件，信度越高，效度不一定越高，即如果問卷是完全可信的，那么問卷可能達(dá)到完全有效，也可能達(dá)不到，這種現(xiàn)象產(chǎn)生的原因是測量誤差的存在。 （4）數(shù)值大小不同 可以證明，問卷的效度為問卷信度所制約，且效度不會大于信度，測量理論研究發(fā)現(xiàn)，效度的最大值小于或等于信度的平方根。效度高的測驗(yàn)，信度必定高，但信度高的測驗(yàn)，效度未必高。,從理論的角度來看，一份好的問卷應(yīng)具有足夠的效度和信度。但是，從實(shí)踐的觀點(diǎn)來看，一份好的問卷還應(yīng)該具有實(shí)用性，即問卷的經(jīng)濟(jì)性、便利性和可解釋性。 適當(dāng)增加問卷的長度。增加問卷的長度既可提高問卷的信度，也可以提高問卷的效度，但增加問卷的長度對信度的影響大于對效度的影響 。 但是按經(jīng)驗(yàn)以使答卷者在30分鐘之內(nèi)完成較佳。,提高問卷效度的方法 （1）理論正確，解釋清楚 （