第十一章調(diào)查中的非抽樣誤差§11.1引言

非抽樣誤差是指除抽樣誤差以外的,由于各種原因引起的誤差。在概率抽樣、非概率抽樣、其他全面調(diào)查和非全面調(diào)查已及普查中，非抽樣誤差都有可能存在。

同抽樣誤差相比，非抽樣誤差有如下特點：1、非抽樣誤差不是由于抽樣的隨機性帶來的，所以在抽樣調(diào)查中，它不可能隨著樣本量的增大而減??；2、在抽樣調(diào)查中，由于非抽樣誤差的影響，往往造成估計量的有偏；3、有些非抽樣誤差難以識別和測定。如抽樣框是不完善的，而調(diào)查設計人員并沒有意識到；4、有些非抽樣誤差成因復雜，對其研究不夠，因此，在很多時候非抽樣誤差比抽樣誤差造成的影響更嚴重，對此必須引起高度重視。根據(jù)非抽樣誤差的來源、性質(zhì)

可分為以下三類：

（1）抽樣框誤差，即由不完善的抽樣框引起的誤差；（2）無回答誤差，即由于種種原因沒有從被調(diào)查單元獲得調(diào)查結(jié)果，造成調(diào)查數(shù)據(jù)的缺失；（3）計量誤差，即所獲得的調(diào)查數(shù)據(jù)與其真值之間不一致造成的誤差。一、概念抽樣調(diào)查中的總體有兩個：目標總體—調(diào)查研究對象的全體。抽樣總體—從中抽取樣本的總體。（即抽樣框）理想抽樣框的標志是目標總體和抽樣總體完全重合。否則抽樣框就是不完善的?！?1.2抽樣框誤差二、抽樣框誤差的類型及影響（1）抽樣框誤差的類型●丟失目標總體單元。●包含非目標總體單元?！癯闃涌蛑械膯卧c目標總體單元不一一對應。（存在一對多或多對一的情況）●不正確的輔助信息。（如分層抽樣、不等概抽樣、比率估計和回歸估計等所需的輔助信息）（2）對抽樣框誤差的基本認識●有些誤差來自構(gòu)成抽樣框資料本身，而不是由于抽樣設計的問題?！癯闃涌虼嬖诘膯栴}，有些是不容易解決的。因此抽樣框的維護、抽樣框使用情況的不斷總結(jié)與研討，對于經(jīng)常性的調(diào)查項目來說是十分必要的?！癯闃涌虻牟煌晟撇⒉皇遣荒苁褂??？梢赃M行修補、調(diào)整。

（3）抽樣框誤差的影響設目標總體單元：N

抽樣框中單元：N1

抽樣框中丟失的單元：N0

N=N1+N0■

總體總量的估計總體總量的真值是：

現(xiàn)從抽樣框中的N1個單元中采用簡單隨機抽樣抽出容量為n的一個樣本，由于n取自于N1對總體總量的估計為：顯然此時的估計是有偏的，偏倚為：這表明估計量低估了總體總量，令Y的相對偏倚可以寫為

由上式可知，總體總和的相對偏倚取決于

和■

總體均值的估計在抽樣框存在丟失單元情況下，均值估計量為：此時估計量的偏倚為：的相對偏倚可以寫為：

由上式可以看出，如果丟失單元的均值與抽樣單元的均值相同，即，則估計量是目標變量的無偏估計。反之，如果，偏倚狀況則隨著的變化而變化。三、不完善抽樣框的使用

抽樣框不完善并不是不能使用，因為構(gòu)造一個完善的抽樣框有時是非常困難的。使用不完善抽樣框時若能采用一些補救措施，有助于減小抽樣框誤差。主要采用以下三項補救措施：

●利用核查，掌握誤差情況，對不完善抽樣框進行調(diào)整；●事先制定一些規(guī)則，對發(fā)現(xiàn)的抽樣框問題進行現(xiàn)場處理；

●使用多個抽樣框進行抽樣?！?1.3無回答誤差一、概念

無回答誤差是指在調(diào)查中由于各種原因，調(diào)查人員沒能夠從入選樣本的單元處獲得所需要的信息，由于數(shù)據(jù)缺失造成估計量的偏差。無回答誤差是一種重要的非抽樣誤差，這種現(xiàn)象十分普遍，對估計量的危害也比較大，所以國際上對這方面的討論一直比較熱烈，目前這種討論還在繼續(xù)。從無回答的內(nèi)容來看可分為：

單元無回答（被調(diào)查單元沒有參入或拒絕受調(diào)查，他們交的是一份白卷）

項目無回答

（被調(diào)查單元雖然接受了調(diào)查，但對其中的一些項目沒有回答）從無回答的性質(zhì)來看可分為：

有意無回答（有意無回答常常與調(diào)查內(nèi)容有關(guān)，如對調(diào)查內(nèi)容反感，或涉及個人隱私不愿意回答）

無意無回答

（無意無回答常常與調(diào)查內(nèi)容無關(guān)，之所以無回答是因為被調(diào)查者生病或很忙，無法接受調(diào)查）

有意無回答對數(shù)據(jù)質(zhì)量的影響很大，回答者和不回答者之間往往存在系統(tǒng)性差異。這種不回答不僅減少了有效樣本量，造成估計量方差增大，而且會帶來估計偏倚。

無意無回答可以看成是隨機的，這種不回答雖然會造成估計量方差增大，但通常認為不會帶來估計偏倚。

二、無回答產(chǎn)生的原因及影響如果把采集數(shù)據(jù)的過程劃分為查找、接觸和采訪三個階段，三個階段都有可能出現(xiàn)無回答。1、查找階段調(diào)查人員無法找到被調(diào)查者，主要原因有地址不詳、被調(diào)查者搬遷、調(diào)查人員不熟悉地址；2、接觸階段被調(diào)查生病、對調(diào)查不感興趣或別的原因拒訪；3、采訪階段調(diào)查開始后被調(diào)查者對某些問題不愿提供答案、調(diào)查員由于粗心遺漏某些項目等無回答的影響：回答層（N1）總體（N）無回答層（N0）則總體均值為：

回答層樣本(n1)總體樣本（n）

無回答層樣本(n0

)根據(jù)回答層單元計算出的樣本均值為用作為總體真值得估計量，其偏倚為：偏倚相對偏倚

由上式可以看出：無回答偏倚主要來自兩個方面：一個是回答層與無回答層之間的數(shù)量差異；一個是無回答率。三、降低無回答的措施主要措施是預防，預防措施有：●問卷設計得具有吸引力；●注意適當?shù)拈L度；●充分利用調(diào)查組織單位的權(quán)威性和影響力；●注意調(diào)查員的挑選；●做好調(diào)查員的培訓；●注意調(diào)查過程的監(jiān)控；●獎勵措施；●再次調(diào)查。四、對存在無回答數(shù)據(jù)的調(diào)整

調(diào)查中無回答的情況總是難以避免，由于無回答造成數(shù)據(jù)不全，如果不加處理，就有可能造成估計量偏倚。下面介紹幾種數(shù)據(jù)調(diào)整的方法：

1、再抽樣調(diào)整在第一次無回答的單元中隨機抽取一個子樣本，通過更細致、更充分的工作，獲得該子樣本的數(shù)據(jù)，作為整個無回答層的代表值。

2、加權(quán)調(diào)整

對存在無回答數(shù)據(jù)進行補救的另一種方法是采用加權(quán)調(diào)整。加權(quán)調(diào)整法是通過對調(diào)查中所獲得的回答數(shù)據(jù)使用加權(quán)因子，達到對數(shù)據(jù)的調(diào)整，減小由于無回答造成的估計偏倚。

3、相關(guān)推估法

相關(guān)推估法主要用于調(diào)查中的項目無回答，即調(diào)查單元不是完全拒絕調(diào)查，而是拒絕其中某些項目的調(diào)查。這時可以利用回答項目的信息對無回答數(shù)據(jù)進行推估。4、插補調(diào)整

在數(shù)據(jù)整理階段，利用調(diào)查結(jié)果，采用一定的方式，為無回答的缺失值確定一個合理的估計值，插補到原缺失數(shù)據(jù)的位置上。實際使用時，用得較多的是均值插補，其方法是：首先根據(jù)輔助信息將樣本分為若干組，是組內(nèi)各單元的主要特征相似。然后分別計算各組目標變量Y的均值，將各組均值作為組內(nèi)所有缺失項的替補值§11.4計量誤差

計量誤差是指由于種種原因，調(diào)查中所獲得的數(shù)據(jù)與真值不一致。計量誤差主要成因來自于以下幾個方面：

●設計誤差（設計方面原因造成計量誤差）

●被調(diào)查者誤差（被調(diào)查者提供的數(shù)據(jù)失真）

●調(diào)查者誤差（現(xiàn)場調(diào)查人員造成的誤差）●其他誤差（由于測量工具、編碼、錄入）減少計量誤差的措施

減少計量誤差需要對調(diào)查全過程進行質(zhì)量監(jiān)控：（1）調(diào)查設計方面調(diào)查問卷設計出來后，應組織有關(guān)人員對問卷進行討論。如果是大型調(diào)查活動，還要在正式調(diào)查之前進行預調(diào)查，在實踐中對問卷進行檢驗。（2）現(xiàn)場準備方面在收集數(shù)據(jù)之前，需要做好準備工作：招聘調(diào)查員；培訓訪問員；編寫調(diào)查手冊。

（3）調(diào)查結(jié)果審核方面審核是對調(diào)查質(zhì)量進行控制的一道重要的工序，也是減少計量誤差的有效方法。審核的目的是要保證調(diào)查所得數(shù)據(jù)的完整性、一致性和有效性。審核可以在調(diào)查過程中的任何階段進行：

收據(jù)數(shù)據(jù)時進行審核（調(diào)查員在調(diào)查進行過程中根據(jù)常識和經(jīng)驗，可以判斷出一些問題的答案是否屬于“可接受”范圍）

數(shù)據(jù)收集完畢后的審核（審核的重點是數(shù)據(jù)的一致性審核和離群值的檢測）§11.5離群值的檢測和處理一、離群值的概念離群值是指調(diào)查數(shù)據(jù)集中的極端值，是指與其他數(shù)據(jù)明顯不一致的觀測值。離群值的出現(xiàn)可能有以下兩個原因：由于數(shù)據(jù)本身具有的差異性?？雌饋碇档脩岩傻臇|西也許是真實的；由于被調(diào)查者回答數(shù)據(jù)有錯誤或調(diào)查人員記錄數(shù)據(jù)有錯誤。二、離群值的確認

通常離群值的檢測是通過測量它們與數(shù)據(jù)中心的相對距離來辨認的。例如，若是要觀測的樣本數(shù)據(jù)，m和s分別是側(cè)度數(shù)據(jù)集中趨勢和離散趨勢的指標，那么，離數(shù)據(jù)中心的相對距離可以定義為

如果越過了預先確定的偏離值，那么該觀測值就被認為是離群的。另外，離群值也可以通過下面的置信區(qū)間進行確認：式中和分別為根據(jù)預先確定的置信度得到的標準正態(tài)分布的上限和下限值。落在這個區(qū)間之外的觀測值被認為是離群值。

三、離群值的處理

如果在調(diào)查進行中發(fā)現(xiàn)離群值，就要及時處理，例如進行回訪核實，對錯誤進行更正。如果在調(diào)查完畢后的審核中發(fā)現(xiàn)離群值，通常對離群值采用插補處理，即將離群值剔除，然后使用插補法調(diào)整。如果在審核時沒有進行處理的離群值可以在估計的時候處理。估計時有以下三種方法處理離群值：

●改變數(shù)值

這種方法首先要將樣本數(shù)據(jù)按從大到小依次排序，然后再按下面的步驟計算：在簡單隨機抽樣中，總體總量Y的無偏估計公式為：

式中，i表示樣本中第i個單元，s為所有樣本的集合.

若樣本數(shù)據(jù)中第k個最大值kth被認為是離群值，單側(cè)k次縮尾估計量就可以通過第n-k個最大值yn-k代替這些離群值，即●調(diào)整權(quán)重

處理離群值的另一種方法是降低離群值的權(quán)重，從而使它們的影響變小。例如，賦予離群值的權(quán)重為1，即離群值僅僅代表它自己而不代表其他總體單元。

●選取穩(wěn)健估計量

在經(jīng)典的估計理論中，通常假定估計量服從正態(tài)分布，樣本均值和樣本方差估計量在正態(tài)分布的假設下也是最理想的。但是，這些估計量對離群值非常敏感。穩(wěn)健估計量則能克服這種局限性，例如中位數(shù)比均值更穩(wěn)定，四分位數(shù)比通常的方差估計量更穩(wěn)定。（第十一章結(jié)束）（第14講）考場作文開拓文路能力?分解層次(網(wǎng)友來稿)江蘇省鎮(zhèn)江中學陳乃香說明：本系列稿共24講，20XX年1月6日開始在資源上連載【要義解說】文章主旨確立以后，就應該恰當?shù)胤纸鈱哟?，使幾個層次構(gòu)成一個有機的整體，形成一篇完整的文章。如何分解層次主要取決于表現(xiàn)主旨的需要?！静呗越庾x】一般說來，記人敘事的文章常按時間順序分解層次，寫景狀物的文章常按時間順序、空間順序分解層次；說明文根據(jù)說明對象的特點，可按時間順序、空間順序或邏輯順序分解層次；議論文主要根據(jù)“提出問題－—分析問題——解決問題”順序來分解層次。當然，分解層次不是一層不變的固定模式，而應該富于變化。文章的層次，也常常有些外在的形式：1．小標題式。即圍繞話題把一篇文章劃分為幾個相對獨立的部分，再給它們加上一個簡潔、恰當?shù)男祟}。如《世界改變了模樣》四個小標題：壽命變“長”了、世界變“小”了、勞動變“輕”了、文明變“綠”了。2．序號式。序號式作文與小標題作文有相同的特點。序號可以是“一、二、三”，可以是“A、B、C”，也可以是“甲、乙、丙”……從全文看，序號式干凈、明快；但從題目上看，卻看不出文章內(nèi)容，只是標明了層次與部分。有時序號式作文，也適用于敘述性文章，為故事情節(jié)的展開，提供了明晰的層次。3．總分式。如高考佳作《人生也是一張答卷》。開頭：“人生就是一張答卷。它上面有選擇題、填空題、判斷題和問答題，但它又不同于一般的答卷。一般的答卷用手來書寫，人生的答卷卻要用行動來書寫?！敝黧w部分每段首句分別為：選擇題是對人生進行正確的取舍，填空題是充實自己的人生，判斷題是表明自己的人生態(tài)度，問答題是考驗自己解決問題的能力。這份“試卷”設計得合理而且實在，每個人的人生都是不同的，這就意味著這份人生試卷的“答案是豐富多彩的”。分解層次，應追求作文美學的三個價值取向：一要勻稱美。什么材料在前，什么材料在后，要合理安排；什么材料詳寫，什么材料略寫，要通盤考慮。自然段是構(gòu)成文章的基本單位，恰當劃分自然段，自然就成為分解層次的基本要求。該分段處就分段，不要老是開頭、正文、結(jié)尾“三段式”，這種老套的層次顯得呆板。二要波瀾美。文章內(nèi)容應該有張有弛，有起有伏，如波如瀾。只有這樣才能使文章起伏錯落，一波三折，吸引讀者。三要圓合美。文章的開頭與結(jié)尾要遙相照應，把開頭描寫的事物或提出的問題，在結(jié)尾處用各種方式加以深化或回答，給人首尾圓合的感覺?！纠慕馄省吭掝}：忙忙，不亦樂乎忙，是人生中一個個步驟，每個人所忙的事務不同，但是不能是碌碌無為地白忙，要忙就忙得精彩，忙得不亦樂乎。忙是問號。忙看似簡單，但其中卻大有學問。忙是人生中不可缺少的一部分，但是怎么才能忙出精彩，忙得不亦樂乎，卻并不簡單。人生如同一張地圖，我們一直在自己的地圖上行走，時不時我們眼前就出現(xiàn)一個十字路口，我們該向哪兒，面對那縱軸橫軸相交的十字路口，我們該怎樣選擇?不急，靜下心來分析一下，選擇適合自己的坐標軸才是最重要的。忙就是如此，選擇自己該忙的才能忙得有意義。忙是問號，這個問號一直提醒我們要忙得有意義，忙得不亦樂乎。忙是省略號。四季在有規(guī)律地進行著冷暖交替，大自然就一直按照這樣的規(guī)律不停地忙，人們亦如此。為自己找一個目標，為目標而不停地忙，讓這種忙一直忙下去。當目標已達成，那么再找一個目標，繼續(xù)這樣忙，就像省略號一樣，毫無休止地忙下去，翻開歷史的長卷，我們看到牛頓在忙著他的實驗；愛迪生在忙著思考；徐霞客在忙著記載游玩；李時珍在忙著編寫《本草綱目》。再看那位以筆為刀槍的充滿著朝氣與力量的文學泰斗魯迅，他正忙著用他獨有的刀和槍在不停地奮斗。忙是省略號，確定了一個目標那么就一直忙下去吧!這樣的忙一定會忙出生命靈動的色彩。忙是驚嘆號。世界上的人都在忙著自己的事，大自然亦如此，小蜜蜂在忙，以蜂蜜為回報。那么人呢?居里夫人的忙，以放射性元素的發(fā)現(xiàn)而得到了圓滿的休止符；愛因斯坦在忙，以相對論的問世而畫上了驚嘆號；李白的忙，以那豪放的詩歌而有了很大的成功；張衡的忙，因為那地動儀的問世而讓世人仰慕。每個人都應該有效率的忙，而不是整天碌碌無為地白忙。人生是有限的、短暫的，因此，每個人都應該在有限的生命里忙出屬于他的驚嘆號；都應在有限的生命里忙出他的人生精彩篇章。忙是萬物、世界、人生中都不可缺少的一部分。作為這世上最高級動物的我們，我們在忙什么呢?我們要忙得有意義，有價值，我們要忙出屬于我們的精彩。我們的忙不能永遠是問號，而應是省略號和感嘆號。忙就要忙得精彩，忙得不亦樂乎。解剖：本文將生活中的一句口頭禪“忙得不亦樂乎”機智翻新，