第五章問卷設計與評估1.編寫問卷題目初稿的步驟：（1）對調(diào)查目標進行文字說明；（2）形成研究問題；（3）建立分析框架；（4）列出變量清單以及數(shù)據(jù)分析計劃；（5）草擬題目。2.評估題目的方法包括焦點小組討論、深度訪談和實地試調(diào)查。3.焦點小組討論的準備工作主要有以下幾項內(nèi)容：編寫討論指南、選擇主持人、招募參與者、準備討論場地及其他設備。4.實施深度訪談應注意：（1）要按一定標準選擇被訪者；（2）要特別注意把握訪談時間的長短；（3）使用的問卷長度要比實際訪問問卷短。5.常規(guī)的試調(diào)查包括以下幾個步驟：（1）選取類似于正式調(diào)查對象的被訪者；（2）對被訪者進行問卷訪問和觀察；（3）訪問員與研究者一起以小組討論的形式，報告自己對題目的評估；（4）研究者根據(jù)訪問員的報告，對問卷做出修改。本章要點6.除了常規(guī)方法外，試調(diào)查還可以采用以下幾種方法：（1）對訪問員和被訪者的行為進行系統(tǒng)的編碼；（2）訪問員采用標準化的評估表對被訪者進行評估；（3）采用標準化訪問中的追問技術。7.一份完整的問卷通常采取以下結(jié)構：問卷標題、問卷說明、題目與答案、編碼、訪問的執(zhí)行記錄。8.問卷題目的總體布局原則：（1）由淺而深，由易而難；（2）一個主題與另一個主題之間要有所區(qū)分，盡可能將主題相同的題目放在一起；（3）按一定的邏輯順序來組織不同主題的題目；（4）背景資料題目在當面訪問時先問，在自填問卷中后問。本章要點調(diào)查主題分析框架變量清單焦點小組討論群體訪談群體動力深度訪談實驗室訪談有聲思考法階梯前進法實地試調(diào)查行為編碼題目評級表問卷結(jié)構問卷的順序效應基本概念目錄第一節(jié)編寫題目第二節(jié)評估題目第三節(jié)問卷的編排與格式化第四節(jié)問卷當中的常見錯誤第一節(jié)編寫題目陳述調(diào)查目標不僅要說明調(diào)查主題，即調(diào)查的議題或調(diào)查涉及的研究領域；更重要的是要有效地把調(diào)查主題縮小成一些特定的研究問題，或者說在調(diào)查主題范圍內(nèi)尋找問題。在一般情況下，可以通過檢索和閱讀文獻或者通過與他人討論，來完成把調(diào)查主題縮小成研究問題的步驟。這里的“他人”主要是指對調(diào)查主題知之甚詳?shù)膶＜?、問卷設計委托方的決策者。一、陳述調(diào)查目標在確定研究主題和研究問題后，我們需要考慮研究問題當中涉及哪些概念，這些概念在調(diào)查研究當中如何從抽象定義變成研究者可以觀測的變量和指標。這就是概念的具體化與操作化。美國社會學家拉加斯菲爾德將概念的操作化過程分為四個階段：第一，概念的形成；第二，概念的界定；第三，選擇測量指標；第四，編制綜合指標。（一）概念的操作化二、概念操作化與測量質(zhì)量評估（二）信度與效度信度是指可靠性或一致性，這意味著在完全一樣或同等的條件下，相同的結(jié)果重復出現(xiàn)。提高測量的信度，可以通過以下四個方法來進行：（1）清楚地概念化所有的構想；（2）增加測量層次；（3）使用多重指標來測量一個變量；（4）使用前側(cè)、測試研究和復制。效度意味著真實性，即研究者有關現(xiàn)實的概念和現(xiàn)實世界之間的匹配程度。效度的核心在于研究構想與指標之間的吻合程度，涉及的是概念與操作性定義之間的契合程度的問題。契合度越高，測量效度就越大。概念化與操作化過程三、分析框架與變量清單要建立分析框架，研究者首先要考慮：從所研究的問題出發(fā)，究竟需要測量哪些變量？其次，要弄清楚變量之間的因果關系如何。在一般情況下，分析框架需要有一份詳細的變量及其指標的清單；對于那些解釋性分析，最好能做出變量關系的邏輯框架圖。在實際研究中，除了一些比較簡單的議題外，大多數(shù)研究并不只具有其中一種目的。因此，在建立分析框架時，要盡可能地考慮服務于多個研究目的。特別是比較大型的研究項目，在建立分析框架時，要盡可能詳盡地列出研究問題可能涉及的變量及其指標的清單。下面是一項研究的變量清單的例子。在編寫題目時，要注意題目的內(nèi)容不僅要滿足研究的需求，而且要適合被訪者。第一，要詢問被訪者能夠可靠回答的題目，避免提出超越被訪者回答能力的題目。第二，在設計題目時，盡量不要讓被訪者預測自己對未來或假設情境的反應。第三，不要在題目中簡單地讓被訪者提供事情的原因。第四，研究者最好放棄讓被訪者提供解決問題的方法的念頭，對于那些復雜的問題更是如此。（一）內(nèi)容合適四、問卷題目設計原則（二）措辭用字清楚問卷題目的措辭用字要力求簡單、清晰和口語化。首先，要避免使用專業(yè)術語和縮略語。如果無法避免使用術語或縮略語，就應該對術語或縮略語的含義加以適當?shù)慕忉尅Ｆ浯?，要避免使用語意模糊不清的字眼。（三）一次問一件事情問卷題目設計要避免出現(xiàn)雙重負載，應該做到一個題目只問一件事情，這是一個經(jīng)常被提及的設計原則。否則，一方面會增加被訪者回答的困難，另一方面也會造成研究者分析的困難。其次，避免在題目中包含隱含的限制條件。有些題目雖然沒有設定不合理的假設，但存在隱含的限制條件，這些條件使得題目的答案只對部分被訪者適用。（四）客觀公正問卷題目設計應遵守客觀公正的原則，不要誘導被訪者朝某個設定的方向回答問題。合適的題目語句應使被訪者覺得所有答案選項都是正當?shù)模际强梢赃x擇的。而引導性語句則通過措辭用字，引導被訪者選擇某個或某一方向的選項。第二節(jié)評估題目焦點小組討論就是采用小型座談會的形式，在一名主持人的引導下，對某一主題進行深入討論，從而獲得對有關問題的深入了解。群體動力所提供的群體互動作用是焦點小組討論成功的關鍵。在調(diào)查研究中，焦點小組討論可以幫助研究者確定調(diào)查目標、形成題目，以及在形成問卷草稿后，對題目進行評估。（一）基本概念一、焦點小組討論（二）討論的準備焦點小組討論的準備工作主要包括以下幾項內(nèi)容：編寫討論指南、選擇主持人、招募參與者、準備討論場地及其他設備。討論指南通常包含三個部分：一是一些旨在建立良好關系的輕松話題，以及對焦點小組討論規(guī)則的解釋；二是提出討論的主題，以及每項主題的細化內(nèi)容；三是總結(jié)各項具體要求。擁有與討論主題相關的專業(yè)知識12是具有駕馭小組討論進程和方向的能力對主持人的素質(zhì)要求包括以下幾點：（1）感染力。（2）包容性。（3）靈活性。（4）敏感性。（5）表述能力。主持人的表現(xiàn)參與人員是焦點小組討論的主體，可以通過不同的方法進行招募，如在街頭攔人，或隨機選擇一些電話號碼的機主，但必須進行適當?shù)暮Y選。研究者一般應避免在焦點小組中有重復性的或“職業(yè)性”的成員。從小組討論的人數(shù)看，最好包括5~8個被訪者。在人員構成上，參加小組討論的人員一般應保持異質(zhì)性，因為只有這樣才能最大限度地獲取各方的觀點和意見。不過對于某些特定的調(diào)查主題來說，如果那些具有不同背景和經(jīng)歷的人坐在一起，無法坦率地發(fā)表自己的看法，就最好讓小組保持同質(zhì)性。最后，焦點小組討論最好安排在專門的焦點小組測試室中進行。測試室通常是一間類似會議室的房間，房間中的一面墻裝有一面很大的單面鏡。在房間不引人注意的地方，還裝有錄音、錄像設備，用以記錄整個討論過程。另外，也可以用閉路電視系統(tǒng)來代替單面鏡，這使得監(jiān)控房間中情況的工作人員在交談和操作設備時，不至于影響到討論現(xiàn)場。焦點小組討論的時間最好安排得比較充裕，時間長度可在一個半小時至三個小時之間。（三）討論的實施焦點小組討論應在使人們感覺輕松的氛圍下進行，這樣才能促進彼此溝通，使每個人都有說話的機會。在討論進行的過程中，主持人要負起應有的責任。一方面，主持人要把握焦點討論的主題，盡可能將參與者的注意力引向討論的主題；另一方面，主持人要做好參與者之間的協(xié)調(diào)工作。實施焦點小組討論的另一個關鍵環(huán)節(jié)是對討論過程的記錄。由于主持人的任務是維持討論的持續(xù)運作，因此要安排一個或多個專職人員進行記錄。記錄人員最好不要出現(xiàn)在討論會場中，這樣就可以排除他們對討論的干擾。除了筆錄外，最好能對討論過程進行錄像。（四）結(jié)果分析在焦點小組討論結(jié)束后，要及時整理、分析記錄。在整理記錄時，一方面要檢查記錄，看是否準確完整，是否存在差錯和遺漏；另一方面要通過對一些關鍵事實和重要數(shù)據(jù)的查證核實，檢驗結(jié)果是否真實有效。在分析討論結(jié)果時要注意，焦點小組討論的目的，是得到不同的經(jīng)驗和認識，而不是得到一個具有代表性的樣本。深度訪談是一種無結(jié)構的一對一的面談，但與普通面談不同，它是借助于一些訪談技術，來探察被訪者在理解和回答問卷題目時的思考過程。進行深度訪談的訪問人員通常不是一般的調(diào)查訪問員，而是具有嫻熟訪問技巧的研究人員，或資深的訪談督導。深度訪談的目標，是找出那些并非所有被訪者都能理解的題目，以及被訪者無法按研究者的預期回答題目的情形。深度訪談由于一般是將被訪者帶到能錄制和觀察訪問過程的特殊環(huán)境（實驗室）中進行訪問，所以又經(jīng)常被稱為“實驗室訪談”。（一）深度訪談概述二、深度訪談實施深度訪談首先要按一定標準選擇被訪者，其中最重要的一條就是被訪者要有一定的代表性，他們應當能夠反映出未來實際調(diào)查中各種被訪者的不同特性。另外，進行深度訪談要特別注意把握訪談時間的長短，一般應控制在1~1.5個小時之間，不要太長。再有，深度訪談要比一般性訪談更細致，需要花費較多時間進行訪談互動，因此深度訪談的問卷長度要比實際調(diào)查問卷短，一份深度訪談問卷在實際訪問時，最好能在15~20分鐘內(nèi)答完。有聲思考法12階梯前進法要求被訪者將心里想的事情說出來，包括：敘述在解讀題目、搜索和篩選與該題目相關的記憶信息、確定回答題目信息等各階段時的想法和認知過程。（二）訪談技術沿著一定的問題線索進行訪談，使研究者有機會了解被訪者的思想脈絡。標準的做法是先由訪問員念題目，然后讓被訪者完整地回答一次題目，接下來訪問員再詢問被訪者與答題過程相關的問題。要進行試調(diào)查，比較常規(guī)的做法是讓有經(jīng)驗的訪問員，基于方便和有效性考慮，選取15~35個類似正式調(diào)查對象的被訪者，對其進行問卷訪問。在試調(diào)查中，訪問員既要負責訪談，更重要的是要觀察問卷及調(diào)查過程中需要改進的地方。在試調(diào)查結(jié)束后，訪問員要與研究者一起，以小組討論的形式，報告自己對題目的評估。通過訪問員的報告，研究者很容易發(fā)現(xiàn)問卷存在的一些格式問題，像錯誤的跳答說明、不適當?shù)拇鸢高x項和印刷錯誤等。另外，研究者還可以根據(jù)試調(diào)查花費的時間長度來評估問卷的長短。（一）試調(diào)查概述三、實地試調(diào)查由于這種常規(guī)的試調(diào)查方法發(fā)現(xiàn)問題的標準不統(tǒng)一，評估在很大程度上依賴于訪問員的主觀判斷，因此存在著一定的局限性。對此可以利用以下一些方法加以補充，以增加問卷評估的客觀性。首先，可以在試調(diào)查的過程中，對訪問員和被訪者的行為進行系統(tǒng)的編碼。其次，要求訪問員采用標準化題目評級表對問卷進行評估。最后，在試調(diào)查訪問中，也可以采用標準化訪問中的追問技術對被訪者的回答進行追問。（二）行為編碼技術對訪問雙方的行為進行編碼，包括以下幾個環(huán)節(jié)。首先，在試調(diào)查時，無論是當面訪問還是電話訪問，對整個訪問過程進行錄音或錄像。注意在錄音或錄像時，事先要明確地告知被訪者，征得同意后才能進行。其次，讓經(jīng)過培訓的編碼人員一邊聽錄音、看錄像，一邊分析訪問中出現(xiàn)的問題，并按預先設定的行為指標進行編碼。對訪問雙方的行為進行編碼的關鍵，是認定反映問卷設計問題的指標。大體說來，可以針對以下幾種行為進行編碼。訪問員讀題行為：（1）能逐字逐句按題目內(nèi)容讀出題目；（2）在不影響題意的前提下，略做變化地讀出題目；（3）讀題時由于改字、漏字，已經(jīng)明顯歪曲了原題含義。被訪者打斷訪問員讀題的行為：（1）搶先對題目提出疑問；（2）搶先提供答案。被訪者的答案與設計目標不符的行為：（1）訪問員沒有采取糾正措施；（2）訪問員重復讀題；（3）訪問員進行了追問。被訪者要求澄清題意的行為。（三）題目評級表題目評級表的一個重要功能，是提示訪問員更多地關注訪問中比較重要的維度。在設計上，評級表要求訪問員圍繞訪問中可能存在的三類問題，對每一個題目的設計質(zhì)量進行三級評估。三類問題包括：（1）在逐字逐句讀出問卷題目時存在問題的程度。（2）被訪者在理解題目時存在問題的程度，包括對某些字詞或概念的理解、被訪者彼此之間對題目理解的一致性程度。（3）被訪者在提供答案時存在問題的程度。三級評估等級包括：A：沒有證據(jù)顯示存在問題。B：可能存在問題。C：肯定存在問題。第三節(jié)問卷的編排與格式化（一）問卷標題（二）問卷說明（三）題目與答案（四）編碼（五）訪問的執(zhí)行記錄一、問卷結(jié)構第一，可以按照訪問時被訪者可能遇到的不舒適和混淆程度，來安排題目出現(xiàn)的先后順序。題目的順序最好是由淺而深、由易而難。第二，在總體布局上要注意層次分明，一個主題與另一個主題之間要有所區(qū)分，盡可能將相同主題的題目放在一起。第三，可以按一定的邏輯順序來組織不同主題的題目，使被訪者更順暢地考慮題目的答案。第四，有關被訪者背景資料的題目的位置，也屬于總體布局的內(nèi)容。（一）總體布局二、題目的排列順序（二）順序效應問卷的順序效應是指前面題目的存在，使被訪者改變了對后面題目的回答。研究表明，受教育程度較低或缺乏強烈意見的被訪者，更容易受到順序效應的影響。問卷的順序效應使問卷設計陷入困境。一方面，總體布局原則要求盡量把相關的題目集中在一起，以避免邏輯混亂；另一方面，這種做法又可能產(chǎn)生順序效應。比較妥當?shù)霓k法是，在設計問卷時，對可能產(chǎn)生順序效應的題目，預先估計一下它的影響程度。具體做法是將被訪者隨機分為兩組，分別給他們發(fā)放按不同順序排列的問卷，然后比較兩組對象的回答結(jié)果，檢驗是否存在順序效應。三、問卷的排版與印刷在問卷設計中，問卷的版面設計也是一項很重要的工作，特別是在郵寄調(diào)查問卷中。在給問卷排版時，要注意不要讓卷面過于擁擠，維持一個排版比較寬松的卷面，不僅有助于問卷閱讀的流暢度，而且能減少填答錯誤，提高調(diào)查資料的質(zhì)量。另外，應該為每一次訪問單獨準備一張訪問記錄頁，由訪問員在上面記錄下訪問不成功的原因，訪問日期、時間，訪問員和被訪者的識別編號，以及訪問員對訪問過程、訪問情景的觀察體驗和個人意見。對于復雜題目、特殊情況的說明，如標明題目不適用于某個被訪者時的跳答提示，最好用特殊的形式來印刷，例如，用不同字體、加重字體顏色、采用斜體等形式，使訪問員能方便地區(qū)別出哪些是題目與答案，哪些是給訪問員的指示說明。這不僅能提高訪問的速度，也會減少訪問員的失誤。對于自填式問卷，要盡量減少跳答題目的數(shù)量，無法避免的跳答，則最好采用沒有文字指示的箭號或方框。第四節(jié)問卷當中的常見錯誤調(diào)查問卷中涉及的概念，在進行操作化后需要清晰明白，使即便沒有受過專業(yè)知識訓練的普通人也可以清楚理解問題的指向。而問題的含糊往往是由對某個容易產(chǎn)生歧義的要素缺乏限定、表述不清引起的。因此在設計問題或檢查問題時，應盡量明確什么人（who）、什么時間（when）、什么地點（where）、做什么（what）、為什么做（why）、如何做（how）六個要素。同時，注意盡量使用簡單的語言，不要使用專業(yè)術語，也要避免使用抽象的概念。（一）概念抽象籠統(tǒng)一、問題含糊（二）語意模糊不清多重解釋的字眼會導致語義模糊不清。在調(diào)查中應盡量避免使用不確切的詞。一些副詞或形容詞，如“很久”“經(jīng)?！薄耙恍钡?，每個人對其的理解往往是不同的，在問