市場調(diào)查課程第六章調(diào)查問卷的測試與評估學(xué)習(xí)目標(biāo)了解調(diào)查問卷的評價標(biāo)準(zhǔn)理解有聲思維法和追問探尋法的原理

了解問卷設(shè)計的一般流程

掌握信息的效度的概念

了解新多評價方法，掌握Cronbach-α系數(shù)的原理和判別標(biāo)準(zhǔn)

了解效度評價方法，掌握建構(gòu)度評價的原理和判別標(biāo)準(zhǔn)3問卷設(shè)計可能直接引起計量誤差和無回答誤差，而問卷的測試和評估可以幫助檢查和修正問卷設(shè)計中存在的問題，因此系統(tǒng)的問卷測試、評估和再修改是問卷設(shè)計流程中必不可少的環(huán)節(jié)。問卷質(zhì)量評估是件困難的事情,現(xiàn)實中對問卷的測試和評估主要聚焦在以下三個標(biāo)準(zhǔn):（1）內(nèi)容標(biāo)準(zhǔn)，例如問卷中的問題能否測量出想要研究的特征；（2）認知標(biāo)準(zhǔn)，例如受訪者能否理解題意,他們是否愿意并有能力給出可靠的答案；（3）可行性標(biāo)準(zhǔn)，例如問卷的難度如何,實施是否有困難,訪員和受訪者是否愿意并有能力完成問卷?？煽慷群陀行允菃柧淼膬蓚€基本特征，因此信度與效度分析也是問卷設(shè)計中的重要環(huán)節(jié)。問卷設(shè)計4問卷測試方法包括：專家評審法、受訪者焦點小組法和認知訪談法應(yīng)用：問卷設(shè)計前期階段前測法預(yù)調(diào)查應(yīng)用：問卷設(shè)計的后期階段本講內(nèi)容5前測法01預(yù)調(diào)查02信度與效度分析03前測法017專家審評法問卷初稿設(shè)計出來后，可以邀請研究領(lǐng)域?qū)＜液蛦柧韺嶋H專家從研究內(nèi)容和認知兩個角度對問卷進行評審。主要評估問卷問題是否符合研究目的，是否滿足研究者的需求從研究內(nèi)容角度從受訪者認知角度主要評估問題的措辭、結(jié)構(gòu)、順序以及回答的選項等，標(biāo)出引起歧義的詞語、含糊不清的概念以及回答困難的題目專家評審提供的問題檢測列表和修改建議有助于及時發(fā)現(xiàn)和修正設(shè)計中存在的問題，使問卷更好地滿足調(diào)查分析的目的。專家評審方法對問題的評判主要是基于專家個人的觀點和判斷，容易產(chǎn)生爭議。對同一問題不同專家的評價可能不同，所以專家評審主要用于問卷設(shè)計初期，后期會更多應(yīng)用其他方法。8問卷評估體系來源：格雷瑟等(Graesseretal.,1996)提出的包含12類問題的問卷評估體系問卷中的12類問題缺陷(1)語法過于復(fù)雜。(2)對工作中的記憶要求過高。(3)模糊或模棱兩可的名詞或短語。(4)不熟悉的專業(yè)術(shù)語。(5)模糊或不精確的謂語或關(guān)系詞。(6)有誤導(dǎo)或不正確的假設(shè)前提。(7)不明確的問題分類。(8)一題多問。(9)問題和答案選項之間不匹配。(10)問卷要求的信息難以回憶。(11)受訪者不太可能知道答案。(12)問題的目的不明確。9受訪者焦點小組座談會傾聽焦點小組成員討論問卷中的問題，一方面有助于把握目標(biāo)人群對調(diào)查主題的認知程度，另一方面可以很好地考察題目中的概念是否清晰、是否利于理解和回答。例如,在關(guān)于文化產(chǎn)業(yè)消費研究的某個調(diào)查問卷中,要詢問人們觀看藝術(shù)表演的頻率。研究者召開了幾場受訪者焦點小組座談會,旨在發(fā)現(xiàn)人們可能會報告哪些不同的藝術(shù)活動并檢查初擬問題的措辭。在焦點小組座談中,研究者發(fā)現(xiàn)：受訪者不確定偶遇的藝術(shù)表演是否屬于“觀看藝術(shù)表演”,比如外出吃飯時欣賞餐廳里的鋼琴演奏,在博覽會或游樂場碰到音樂演出,是否屬于“觀看藝術(shù)表演”。在焦點小組座談中,研究者也意識到受訪者很難給音樂活動進行分類。當(dāng)詢問受訪者觀看或參加古典音樂會的次數(shù)時,有些受訪者認為應(yīng)該把歌劇算在內(nèi),還有一些受訪者則不知道如何處理自己觀看的古典音樂與非古典音樂混合的演出。受訪者焦點小組座談能提供兩種不同的有用信息：可以讓研究者了解現(xiàn)實復(fù)雜性。在這個例子中,人們顯然以多種復(fù)雜的方式參加藝術(shù)活動,而最初設(shè)計的調(diào)查問卷并未考慮到這一點通過專題小組討論,研究者可以發(fā)現(xiàn)問卷用詞的含糊性。例如人們對“參加古典音樂會”“看藝術(shù)展”等有不同的理解，研究者可以重新設(shè)計問題幫助受訪者按照一致的理解來回答問題10焦點小組座談會目標(biāo)（1）明確受訪者對調(diào)查主題和相關(guān)概念的理解，有助于設(shè)計出有利于受訪者準(zhǔn)確回答的問卷。（2）了解受訪者在該主題使用的相關(guān)術(shù)語,檢查問題的用詞和描述是否有歧義、模糊、不準(zhǔn)確的情況,即受訪者對要回答的問題理解是否一致。（3）了解受訪者回答問題的主觀意愿和難度。例如上例中會詢問去年觀看古典音樂表演的情況,以及對古典音樂表演的理解。根據(jù)小組成員所描述事件的范圍,研究者確定是否需要修改問題的目標(biāo)或調(diào)整受訪者被問及的現(xiàn)實范圍。例如上例中的關(guān)鍵概念是古典音樂。請參與討論者提供一些觀看古典音樂表演的例子。讓參與者根據(jù)對概念的理解,討論哪些算古典音樂,哪些不算古典音樂。根據(jù)焦點小組討論結(jié)果,明確問卷問題的術(shù)語和概念是否有清楚的界定,以確定受訪者的理解是否一致。對措辭含糊或不準(zhǔn)確的問題進行進一步修改。例如,上例中會詢問人們上一年觀看古典音樂表演的次數(shù)。根據(jù)討論中所有受訪者或幾乎所有受訪者是否能完成問題所提出的回答任務(wù),確定是否需要調(diào)整回答難度,例如縮短報告時間,增加回答類別,調(diào)整回答尺度等。11焦點小組座談會執(zhí)行會議中會議前擬定問題清單,包括現(xiàn)實情況、回憶任務(wù)、報告任務(wù)以及術(shù)語理解等內(nèi)容對擬議問題以及在小組討論中出現(xiàn)的其他問題，主持人要注意引導(dǎo)相互交流經(jīng)驗和看法如果在焦點小組座談前就已完成調(diào)查問卷的初稿,焦點小組討論可以針對問卷初稿進行逐題評審。相對于大規(guī)模收集問卷設(shè)計信息，專題討論小組的投資回報率較高，但也有參與者難以代表總體、評價難以量化、評估結(jié)果可能不可靠等局限?，F(xiàn)實中焦點小組座談法更多地應(yīng)用于問卷設(shè)計的前期階段,后期還是需要進行預(yù)調(diào)查測試來檢驗焦點小組無法解決的一些問題。認知訪談是認知標(biāo)準(zhǔn)最直接的評估方式，由訪問者根據(jù)設(shè)計的問題對有償志愿者進行一對一個人訪談，探索性地了解受訪者對問題的理解并試圖了解他們組織答案的過程。12認知訪談法目的是了解受訪者如何理解問題以及如何完成回答任務(wù)，不需要使用正式調(diào)查所使用的數(shù)據(jù)收集程序受訪者通常被帶到便于進行觀察和記錄的特別場所實施者通常是認知心理學(xué)家、研究人員和高級督導(dǎo)，他們很熟悉研究目標(biāo)和各問題的目標(biāo)，對“受訪者完成任務(wù)的方式”與“研究者所設(shè)想的完成任務(wù)的方式”之間的差異比較敏感認知訪談中怎樣詢問受訪者、怎樣讓受訪者回答問題以及怎樣獲知受訪者在問與答過程中的思考都要按照一定的程序進行回答過程模型將受訪者回答問題的過程分為四個階段：理解問題、記憶檢索、篩選判斷和做出回答，基于該模型發(fā)展而來的以下兩種問卷評估方法：13問卷評估方法有聲思維法(thinkaloud)追問探尋法(specialprobe)引導(dǎo)受訪者“想出聲來”，即把心里所想信息和思考問題的整個認知過程都說出來。14有聲思維法研究者分析找出可能存在的理解錯誤、記憶錯誤等。實現(xiàn)方式可以同步也可以是追溯：同步：受訪者在回答問題同時說出自己的想法追溯：受訪者給出答案/訪問結(jié)束后敘述得到答案過程引導(dǎo)受訪者說出想法的例句:你是怎么得出這個答案的?告訴我你是怎么想的?你在回答問題前猶豫了一會,當(dāng)時在想什么?你覺得這個問題回答起來比較容易還是困難,為什么?通過訪員主導(dǎo)追問的方式探索受訪者的回答策略。15追問探尋法[1]

–如何執(zhí)行通過受訪者對認知過程追問問題的回答，可以判斷：受訪者對于問題的理解是否存在錯誤如果存在錯誤，出現(xiàn)在哪個階段，從而判斷題目是否存在設(shè)計上的缺陷如果存在缺陷，識別缺陷出現(xiàn)的可能原因如何對問題進行修正例如,對題目“在過去的六個月中,您平均每個月的生活費是多少?”由訪員根據(jù)認知過程對受訪者進行分階段提問如下：理解階段:請問您在回答本題時認為生活費都包括哪些項目?(了解受訪者對問題的理解)記憶檢索階段:請問您是如何計算出結(jié)果,是按年計算、按月計算還是按天計算乘以30,抑或是其他方法?(了解受訪者的相關(guān)記憶細節(jié)、區(qū)間范圍、計算方法等)篩選判斷:請問您認為旅游費用包含在生活費中嗎?您覺得您的記憶準(zhǔn)確嗎?(對特定事件或數(shù)據(jù)的回想,基于記憶信息的估計或判斷)做出回答:您是否確定您的回答呢?如果10分表示完全確定,0分表示完全不確定,請問您給出幾分?(了解受訪者對自己答案的感受)16追問探尋法[2]

–如何修正問卷存在問題修正方向受訪者對于關(guān)鍵詞的理解和范圍界定有誤對題目中的詞匯進行替換或補充解釋說明受訪者對于回答問題所需記憶模糊不清在題目中添加提示,幫助受訪者進行記憶檢索受訪者思考問題有誤了解受訪者的思考方式,可以在提問時進行答案范圍限定或?qū)栴}簡化受訪者回答問題的方式有誤說明題目答案的形式限定不夠明確,可以在問題中增加補充限制答案的方式,比如將開放式問題改為封閉式問題17有聲思維法vs追問探尋法有聲思維法追問探尋法都需要受訪者在完成問卷調(diào)查之外回憶認知過程,從而幫助研究者找出問卷設(shè)計中可能存在的缺陷由受訪者主導(dǎo),受到受訪者的表達能力影響較大,有些受訪者在描述自己的認知過程時會比較困難對訪員要求較高,需要訪員引導(dǎo)受訪者表達,將其認知過程展示出來18認知訪談法的局限(1)得到的是定性信息，難以給出問題的定量信息和影響大小的判斷(2)比較依賴受訪者的口頭報告,而并非所有的回答過程都能夠準(zhǔn)確復(fù)述出來(3)其結(jié)果比較依賴于非標(biāo)準(zhǔn)化的訪談過程,可靠度還有待進一步評估預(yù)調(diào)查02正式開展調(diào)查前進行的小規(guī)?！把萘?xí)”，是問卷設(shè)計流程中的重要環(huán)節(jié)，目的是可行性標(biāo)準(zhǔn)和認證標(biāo)準(zhǔn)進行評估。20預(yù)調(diào)查的定義訪員按照正式調(diào)查的數(shù)據(jù)收集程序組織一個小型的調(diào)查(一般少于100人)，唯一不同的是，對受訪者的選擇可能是基于方便和可獲得性，而不是基于隨機抽樣策略除了要收集受訪者的回答信息進行定量分析之外，還需要收集訪員和受訪者反饋的：關(guān)于調(diào)查和問卷信息，比如印刷錯誤、錯誤的跳答指示、不適當(dāng)?shù)奶畲鹦问?、訪問時間等實際問題他們認為會對自己或受訪者造成不便的問題對訪員和受訪者之間的互動進行編碼記錄，分析問卷中可能存在的問題，這種方法簡單高效，且是系統(tǒng)、量化的。21對訪員和受訪者的行為進行編碼可以當(dāng)面完成或在電話里完成，錄音前必須明確告知受訪者訪談會被錄音并獲得許可。訪問后對錄音記錄進行編碼進行問題的評估。行為編碼的基本原理：調(diào)查訪談順利進行時,訪員會逐字念出問題，受訪者會給出符合問題目標(biāo)的答案完備的“問與答”過程出現(xiàn)偏差，可能就是問題缺陷的征兆偏差出現(xiàn)得越頻繁，問題存在缺陷的可能性就越大通過行為編碼分析的結(jié)果可以看出每個問題的簡單分布訪問行為編碼表樣例：22行為編碼中常見的問題缺陷問題可能問題訪員讀題有誤 措辭不流暢訪員發(fā)現(xiàn)冗余或不合語境的措辭在提問時發(fā)現(xiàn)有漏詞打斷題干后面有多余的從句受訪者沒有意識到還會有回答選項訪員追問(或不適當(dāng)?shù)拇鸢?題意不清含糊、未定義的術(shù)語含糊的回答任務(wù)題序混亂,受訪者無法回憶起前面的回答選項要求澄清含糊、未定義的術(shù)語含糊的回答任務(wù)題序欠佳,因此受訪者無法回憶起回答選項在預(yù)調(diào)查訪問結(jié)束后召開討論會,與訪員交流他們對調(diào)查問題的看法和訪問經(jīng)驗。讓訪員對每個問題進行評估。23訪員的問題評價表訪員的問題評價表樣例要求訪員對每個問題給出三種評價:逐字讀題是否有困難?如果有的話,困難有多大?問題中是否有受訪者理解不一致或不易理解的措辭或概念?如果有的話,不一致的程度有多大?受訪者在區(qū)分選項或作答上是否有困難?如果有的話,困難有多大?訪員只需要對每個問題在三檔評估中做出選擇A.沒有明顯缺陷B.可能有缺陷C.肯定有缺陷信度與效度分析03信度僅指測量結(jié)果可靠程度，效度則針對測量目的，信度是效度的必要條件而非充分條件。25信度和效度信度Reliability效度Validity指問卷調(diào)查結(jié)果的一致性、穩(wěn)定性和可靠性如果研究單位屬性不變，測量結(jié)果也不變，則這種測量是可信的，否則就是不可信的。市場調(diào)查中，信度問題更復(fù)雜，問卷的內(nèi)容、措辭、問題形式、順序等都會影響答案的一致性以貨物重量的測量為例：某種貨物第一次所稱重量為50千克,再稱一次仍然是50千克,那么作為一種測量方法,使用的磅秤是可信的,因為兩次測量結(jié)果都是50千克,具有前后一致性。如果第一次稱為50千克,第二次稱為55千克,則所使用的磅秤就不可信指問卷能否真正測量到所要測量的東西，也就是能否達到測量的目的，是否正確衡量了研究者所要了解屬性的程度。兩個基本要求：一是測量方式確實是在測量所要測量對象的屬性，而非其他屬性;二是測量方式能準(zhǔn)確測量該屬性以測試某課程學(xué)習(xí)成績的試卷為例,如果試卷內(nèi)容過于簡單或遠遠超出學(xué)習(xí)內(nèi)容,無法準(zhǔn)確反映學(xué)生學(xué)習(xí)水平,該試卷就屬于無效試卷。對于問卷設(shè)計,信度評估的方法主要有重復(fù)檢驗法、交錯法、折半法和內(nèi)部一致性等。26信度評估重復(fù)檢驗法交錯法折半法內(nèi)部一致性通過同一測量手段對同一群受訪者前后測量兩次,根據(jù)兩次測量相關(guān)系數(shù)測度信度可提供有關(guān)測量結(jié)果是否隨時間而變異的資料，但受時間和經(jīng)費限制往往難以實現(xiàn)為避免記憶影響,前后兩次測量相隔時間要適度，相隔時間愈長穩(wěn)定系數(shù)愈低研究者設(shè)計兩份問卷，每份使用不同問題，但測量同一個屬性，讓同一群受訪者回答。根據(jù)兩份問卷測量結(jié)果相關(guān)系數(shù)計算問卷信度兩份問卷題數(shù)、形式、內(nèi)容及難度、鑒別度等方面都一致將一份問卷中問題隨機分為兩組(通常要求兩部分題數(shù)相等，常將奇數(shù)題和偶數(shù)題分開)，然后考察這兩部分測量結(jié)果的相關(guān)系數(shù)如果結(jié)果高度相關(guān)，問卷就是可信的，否則就是不可信的。利用量表中題項同質(zhì)性來測量的信度。如果量表題項與潛在變量間存在強相關(guān)，題項間也應(yīng)有很強相關(guān)（常用Cronbach

sα系數(shù)度量）信度的判別標(biāo)準(zhǔn)：27提高問卷信度的方法(1)適當(dāng)增加問卷的長度(2)問題的難度適中(3)內(nèi)容盡量同質(zhì)(4)調(diào)查的程序要標(biāo)準(zhǔn)化問卷題目較多一定程度排除了偶然因素影響，從而提高信度；但問卷長度增加與問卷信度增加并不成正比問卷題目太難或太易都會使問卷得分差異減小,使得數(shù)據(jù)方差減小,從而降低了問卷的信度內(nèi)容同質(zhì)的問卷,可提高問卷的信度，所以信度分析常應(yīng)用于內(nèi)部相關(guān)的量表評價上，不同主題的量表應(yīng)該分別進行信度分析問卷內(nèi)容、指導(dǎo)語、訪員的提問、受訪者回答情境等都要盡量標(biāo)準(zhǔn)化低效度的問卷往往無法達到測量目的。28效度評估效度評估的基本理論模型為：Yit

=

μi+εit：μi

=

第i

個受訪者組成的真值Yit

=

第i

個受訪者在第t

次實驗中的回答值εit

=

第i

個受訪者在第t

次實驗中回答值與真值的差異（用Yi和μi之間的相關(guān)系數(shù)可以評價效度）效度用0~1之間數(shù)字表示，數(shù)值越大，效度越高。對于問卷設(shè)計,效度的度量可以從內(nèi)容效度、準(zhǔn)則效度和建構(gòu)效度這三個角度來看。29效度的度量內(nèi)容效度準(zhǔn)則效度建構(gòu)效度測量內(nèi)容適合性和相符性，看問卷內(nèi)容是否抓住或體現(xiàn)調(diào)查問題所有或主要特征，能不能實現(xiàn)調(diào)查目的問卷內(nèi)容與事先所要調(diào)查內(nèi)容越一致，說明調(diào)查問卷內(nèi)容效度越高調(diào)查結(jié)果越有效用幾種不同測量方式/指標(biāo)對同一變量進行測量的一致性程度。選擇其中一種方式/指標(biāo)作為準(zhǔn)則，其他方式/指標(biāo)與之比較，如果不同測量方式/指標(biāo)調(diào)查結(jié)果高度相關(guān)，則具有準(zhǔn)則效度。也稱結(jié)構(gòu)效度，指問卷調(diào)查結(jié)果能夠測量其理論特征，即問卷調(diào)查結(jié)果與理論預(yù)期一致,則認為有建構(gòu)效度。例如要調(diào)查顧客對某家餐館的印象,不能只調(diào)查參觀周邊環(huán)境、停車位等項目的印象,而遺漏對食物質(zhì)量、衛(wèi)生狀況以及服務(wù)等重要維度的調(diào)查。例如研究受訪者在過去12個月中向醫(yī)生進行健康咨詢次數(shù),如果受訪者健康咨詢次數(shù)是有案可查的,可以選擇受訪者在規(guī)定的時間內(nèi)被記錄的次數(shù)為X1,受訪者回憶的次數(shù)為X2,如果在所有可能的實驗中所有回答者回憶的次數(shù)X2都與記錄值X1相同,則回憶法的效度將會等于1,如果X1與X2弱相關(guān),則認為X2具有很低的準(zhǔn)則效度。例如對婚姻滿意度調(diào)查問卷效度分析中,根據(jù)理論預(yù)期,婚姻滿意度與婚姻忠誠度相關(guān)。調(diào)查結(jié)果表明:與對婚姻不滿意的夫妻相比,對婚姻滿意的夫妻不太可能欺騙對方。調(diào)查結(jié)果與理論預(yù)期一致,證明調(diào)查問卷具有建構(gòu)效度。很多調(diào)查題目是測量主觀態(tài)度的，很難找到“黃金標(biāo)準(zhǔn)”，沒有清楚事實可以說明回答者的答案是否準(zhǔn)確，即對于任何被訪者μi都是未知的，可以嘗試如下兩種方法進行建構(gòu)效度的分析：30建構(gòu)效度分析方法方法一假設(shè)問題答案理論上應(yīng)與其他調(diào)查問題的答案高度相關(guān),構(gòu)建建構(gòu)效度評價模型，分析它們的相關(guān)性，也是最常用的建構(gòu)效度分析方法例：一項健康調(diào)查中，如果一個人認為自己非常健康，相應(yīng)地，他也應(yīng)該感覺每天的狀態(tài)比普通人群更好，因病誤工的時間更少，可以做更多的事。可以利用相同構(gòu)建下的多重指標(biāo)建立更復(fù)雜的模型，同時評價建構(gòu)效度和相關(guān)關(guān)系的力度。假設(shè)有5個指標(biāo)在不同的效度水平λα下反映了同一個目標(biāo)構(gòu)建μi

：假如對應(yīng)著5個題目,α=1,2,3,4,5,建立的模型可寫為:模型中的λα就是對每個題目效度的測量

方法二假定在符合預(yù)期構(gòu)想情況下某些組的答案應(yīng)該不同，通過對預(yù)期有不同回答的受訪人群的實際答案進行比較評價效度。如果差異不大,可能說明問題的區(qū)分度不高,或者預(yù)期是錯誤的。這種方法只有在確信預(yù)期理論內(nèi)容正確的情況下,才能評價結(jié)果準(zhǔn)確性的好壞。例：我們假定文科生比理科生的語言表達能力更強。那么對于測量表達能力的題目,文科生的平均得分應(yīng)該更高。如果不是這樣,可能意味著該問題并不能很好地測量表達能力,或者我們的假定是錯誤的。31實踐中降低測量回答偏差的途徑(1)使用目標(biāo)人群個體單元的外部數(shù)據(jù)

(2)使用不受調(diào)查測量誤差影響的總體統(tǒng)計量每個受訪者的真值可以通過外部數(shù)據(jù)獲得,只需比較他們的回答值和外部數(shù)據(jù)即可。有時,雖然無法評價個體回答的精