1、統(tǒng)計(jì)思維和哲學(xué)運(yùn)用一. 統(tǒng)計(jì)的定義 英國(guó)大百科全書：“data science”，關(guān)于數(shù)據(jù)的科學(xué)。 與數(shù)據(jù)有關(guān)的學(xué)科有許多。 會(huì)計(jì)與統(tǒng)計(jì)： 會(huì)計(jì)側(cè)重微觀，是精密的，一角一分都要對(duì)上； 統(tǒng)計(jì)側(cè)重宏觀，誤差是統(tǒng)計(jì)特征。統(tǒng)計(jì)和數(shù)學(xué)數(shù)學(xué)：演繹思維由一般到具體 大前提 海爾空調(diào)質(zhì)量都是好的， 小前提 我買的空調(diào)是海爾牌的， 結(jié)論 我買的空調(diào)質(zhì)量是好的。特征：前提正確，推理正確，結(jié)論必定正確。統(tǒng)計(jì)：基本是歸納思維由具體到一般 形式如： 他買的空調(diào)是海爾牌，質(zhì)量好； 你買的空調(diào)是海爾牌，質(zhì)量好； 我買的空調(diào)是海爾牌，質(zhì)量也好； 所以海爾牌空調(diào)質(zhì)量都是好的。 有誤差，結(jié)論有風(fēng)險(xiǎn)，但結(jié)論如果正確則提供新鮮信息。

2、二. 統(tǒng)計(jì)與哲學(xué)基本觀點(diǎn)偶然與必然。任何事情既是偶然又是必然,偶然包含在必然之中?；貧w模型回歸模型是偶然和必然結(jié)合的體現(xiàn)。量變到質(zhì)變。量變到一定的“度”就轉(zhuǎn)為質(zhì)變。假設(shè)檢驗(yàn)：用統(tǒng)計(jì)量 t 與 比較，作出是否拒絕原假設(shè)的決策，這里的 就是“度”（臨界值）。 個(gè)別與一般 以出生率為例，每個(gè)產(chǎn)婦生下的嬰兒或男或女，但男嬰女嬰性別比約為107：100，這是世界各國(guó)普遍的統(tǒng)計(jì)規(guī)律，具有一般性?，F(xiàn)象與本質(zhì)美國(guó)人愛運(yùn)動(dòng)，表現(xiàn)為：數(shù)據(jù)特征窮人喜歡籃球較窮的人喜歡保齡球收入中等的人喜歡橄欖球收入中等偏上的人喜歡棒球高收入人喜歡網(wǎng)球大款喜歡高爾夫球本質(zhì)：收入越高，喜歡的球越小數(shù)據(jù)特征統(tǒng)計(jì)學(xué)中充滿辯證法既是不確定的

3、，又是可靠的；既是模糊的，又是清晰的；從偶然中探詢必然；從現(xiàn)象中探詢本質(zhì)（規(guī)律）；是科學(xué)，又是藝術(shù)。三. 數(shù)據(jù)功能泰坦尼克號(hào)相關(guān)數(shù)據(jù)(全船共2208 人)The Titanic Data CountCol %Row %DSA143896.5168.5166192.0631.492099C523.4947.71577.9452.2910914907182208CountCol %Row %DSF1268.4626.8134447.9173.19470M136491.5478.4837452.0921.52173814907182208CountCol %Row %DS11228.1937.542

4、0328.2762.46325216711.2158.6011816.4341.40285352835.4474.7917824.7925.21706Crew67345.1775.4521930.5024.5589214907182208DeVeauxGender By SurvivedClass By SurvivedAge By SurvivedSurvival by genderCountCol %死活女1268.4634447.91470男136491.5437452.0921.52173814907182208 c2 Test Odd Ratio Test按性別劃分Tree mode

5、lData = $案例： 1. 誰首先打長(zhǎng)途電話？ 2. 誰是商家感興趣的客戶？（會(huì)員卡）StatisticsInformation About State 強(qiáng)國(guó)需知十三數(shù) -商鞅 (390 B.C.) 我們每天產(chǎn)生大量的數(shù)據(jù),用不好就變成數(shù)據(jù)垃圾 Descriptor Data Set Size in Bytes Storage Mode 很小 102一頁紙 小 104幾頁紙 中等 106幾張軟盤 大 108硬盤 巨大 1010幾個(gè)硬盤 超巨大 1012磁帶存儲(chǔ)架（Robotic Magnetic Tape Storage Silos） 海量數(shù)據(jù) 1015 數(shù)據(jù)存儲(chǔ)室我們面臨海量數(shù)據(jù)的挑戰(zhàn)

6、數(shù)據(jù)挖掘數(shù)據(jù) 數(shù)據(jù)搜集 數(shù)據(jù)準(zhǔn)備 數(shù)據(jù)質(zhì)量挖掘 數(shù)據(jù)偵測(cè) 數(shù)據(jù)描述 數(shù)據(jù)分析數(shù)據(jù)挖掘成為當(dāng)前一個(gè)熱門的話題四. 關(guān)于抽樣 樣本和總體 調(diào)查的是樣本，目標(biāo)卻是總體。 什么樣的樣本可以代表總體？ 這是好的樣本嗎？全球性調(diào)查報(bào)告：中國(guó)人均性伴侶數(shù)全球排第一 “近日，2004年杜蕾斯全球性調(diào)查報(bào)告向社會(huì)發(fā)布。引人注目的是報(bào)告中顯示中國(guó)人的平均性伴侶數(shù)最多，為193人，遠(yuǎn)遠(yuǎn)高于全球的平均數(shù)105人；而中國(guó)人平均每年性生活的頻率卻只有90次，排全球倒數(shù)第7位，低于全球平均水平103次。同時(shí)，報(bào)告還顯示中國(guó)首次接受性教育的年齡為137歲，最接近世界平均水平，然而卻只有22的調(diào)查對(duì)象認(rèn)為青少年性教育由家人或監(jiān)

7、護(hù)人完成。”資料來源：北京晨報(bào)，2004年11月25日矛盾：為什么性伴侶最多，性頻率卻不高？首次接受性教育的年齡走低，卻不是由家長(zhǎng)來完成性教育任務(wù)？中國(guó)青年報(bào)社會(huì)調(diào)查中心通過民意中國(guó)網(wǎng)，對(duì)3032人進(jìn)行了一項(xiàng)調(diào)查，調(diào)查顯示：91.2%的人認(rèn)為目前青少年性教育缺失，其中53.7%的人認(rèn)為“嚴(yán)重缺失”，調(diào)查稱青少年性教育缺失學(xué)校責(zé)任最大 。資料來源：中國(guó)青年報(bào)，2010年8月3日問題在于，樣本是怎樣產(chǎn)生的？去年中國(guó)91%民眾受到尊重對(duì)待 6月末，蓋洛普在北京將最近4年在中國(guó)的民調(diào)成績(jī)單公布于眾，其中最主要的一項(xiàng)民調(diào)結(jié)果顯示，2009年中國(guó)民眾認(rèn)為受到尊重對(duì)待的比例為91%，比2008年提升了兩個(gè)百

8、分點(diǎn)，高于87%這一全球平均比例。資料來源：中國(guó)經(jīng)濟(jì)周刊 ，2010年08月03日但是，這一“好成績(jī)”不僅沒有得到廣泛的認(rèn)同，反而招來不少質(zhì)疑。有媒體稱，這跟現(xiàn)實(shí)感覺不符，有“被代表的嫌疑”。還有分析人士把這份調(diào)查結(jié)果看作是蓋洛普拋出的“橄欖枝”，是“政府公關(guān)”。 美國(guó)總統(tǒng)競(jìng)選預(yù)測(cè)： 民主黨候選人 共和黨候選人 實(shí)際1968 漢佛萊（50%） 尼克松（50%） 尼（50.3%）1972 尼克松（62%） 尼（61.8%）1976 卡特（52%） 卡（53.6%）1980 里根（52%） 里（52.6%）1984 里根（56%） 里（53.1%） 布什（52%） 布（50.1%） 2000 戈?duì)?/p>

9、（45%） 小布什（51%） 小布什(51.7%) 2004 克里（49%） 小布什（49%） 小布什(51.9%)2008 奧巴馬（55%） 麥凱恩（44%） 奧巴馬（53%）該預(yù)測(cè)的挑戰(zhàn)在于：不告訴無法告訴成功的案例好樣本是可以抽出的，但要花氣力。1. 概率抽樣和非概率抽樣概率抽樣是嚴(yán)格意義上的抽樣特征：隨機(jī)原則 單元入樣概率已知 可以計(jì)算抽樣誤差應(yīng)用場(chǎng)合：用樣本推斷總體，描述性研究 非概率抽樣 抽選樣本時(shí)不是依據(jù)隨機(jī)原則 幾種有代表性的非概率抽樣方式 重點(diǎn)調(diào)查： 有意選樣： （個(gè)案研究） 方便選樣：如攔截式調(diào)查，柜臺(tái)調(diào)查等 自填式樣本:如網(wǎng)上調(diào)查 非概率抽樣特點(diǎn)： 簡(jiǎn)單、方便、快捷、成本

10、低，抽樣技術(shù)要求不高，但不能用于對(duì)總體目標(biāo)量的估計(jì)，特別是不能對(duì)調(diào)查的精度進(jìn)行評(píng)估。目前問題： 把非概率抽樣數(shù)據(jù)當(dāng)概率抽樣數(shù)據(jù)使用。抽樣框總體的延伸,目標(biāo)總體和抽樣總體.目標(biāo)總體：要研究的總體抽樣總體：產(chǎn)生樣本的總體抽樣總體的具體體現(xiàn)抽樣框，是抽取樣本，計(jì)算樣本單位入樣概率的依據(jù)。良好抽樣框的標(biāo)志：一對(duì)一聯(lián)接 “隨機(jī)”和“隨便”的區(qū)別 隨機(jī)要有程序?qū)崿F(xiàn)。 3. 抽樣誤差與非抽樣誤差 抽樣誤差：抽樣隨機(jī)性帶來的，無法避免 可以計(jì)算 可以控制 計(jì)算抽樣誤差的水平（誤差計(jì)算正確）可以體現(xiàn)設(shè)計(jì)人員的專 業(yè)水準(zhǔn)。非抽樣誤差：什么是非抽樣誤差主要體現(xiàn)在三個(gè)方面： 抽樣框誤差 無回答誤差（回答誤差），無回答

11、誤差更具一般性的理由 計(jì)量誤差非抽樣誤差特點(diǎn)：難以測(cè)度，成因復(fù)雜非抽樣誤差的控制可以體現(xiàn)調(diào)查方的執(zhí)行能力完美的調(diào)查是科學(xué)和藝術(shù)的結(jié)合科學(xué)體現(xiàn)在對(duì)抽樣誤差的把握藝術(shù)體現(xiàn)在對(duì)非抽樣誤差的掌控目前我國(guó)很多抽樣調(diào)查項(xiàng)目，科學(xué)性不足，藝術(shù)性欠缺。誤差的計(jì)算與控制是我們面臨的嚴(yán)重挑戰(zhàn)4. 平衡的藝術(shù)精度與費(fèi)用之關(guān)系精度100%95%60%20%40% .費(fèi)用5. 關(guān)于權(quán)數(shù)用樣本做統(tǒng)計(jì)推斷是觀察結(jié)果和樣本單元權(quán)數(shù)的結(jié)合。樣本單元權(quán)數(shù)是入樣概率的倒數(shù)，它反映了樣本代表背后群體的規(guī)模。規(guī)范的數(shù)據(jù)處理程序是，首先找到初始權(quán)數(shù)，然后結(jié)合調(diào)查情況對(duì)初始權(quán)數(shù)進(jìn)行調(diào)整，比較重要的有缺失數(shù)據(jù)的調(diào)整，樣本結(jié)構(gòu)的調(diào)整。目前問題

12、：數(shù)據(jù)處理中不考慮權(quán)數(shù)和權(quán)數(shù)調(diào)整。五.統(tǒng)計(jì)研究的特征確定選題并提出假說，設(shè)計(jì)調(diào)查方法，搜集資料，分析和檢驗(yàn)，解釋結(jié)果或假說。案例一：人口密度和人的行為的關(guān)系研究假說：人口密度過高可能產(chǎn)生負(fù)效應(yīng)，引發(fā)犯罪和精神病理論依據(jù)：馬爾薩斯人口論，其論點(diǎn)有“人口過剩是貧困的主要原因”，“過剩人口會(huì)造成社會(huì)病態(tài)”，實(shí)證依據(jù)：老鼠實(shí)驗(yàn)，需研究的問題：這類現(xiàn)象在人類中是否存在？難點(diǎn)：對(duì)人類無法使用象老鼠那樣進(jìn)行自相殘殺的實(shí)驗(yàn)組A：采用實(shí)驗(yàn)問卷法，具體做法是1. 確定房間面積，招聘應(yīng)試人員2. 設(shè)計(jì)調(diào)查問卷，反映受訪者心態(tài)變化，如是否喜歡新增加的陌生人，是否容忍活動(dòng)區(qū)域的減小3. 剛開始是一人一間房，以后逐次增加

13、，每增加新人，就回答一次問題4. 實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，高密度人群增加了人與人之間相互厭惡的傾向組B：文檔調(diào)查，具體做法是1.按人口密度將分析區(qū)域劃出若干塊（實(shí)驗(yàn)區(qū)域?yàn)橹ゼ痈缡校?.查閱“芝加哥地方公眾記事錄”，里面有人口密度，犯罪率，精神病患者人數(shù)等寶貴資料存在的問題，表象上看，人口密度和犯罪數(shù)量相關(guān)。但人口密度和犯罪數(shù)量又與另外變量，如職業(yè)、種族、教育、收入等要素相關(guān)，人口密度高的地方犯罪率高，但人口密度高的地方居住者的教育水平、收入水平偏低，黑人比例高，職業(yè)差。是職業(yè)、文化程度、收入水平影響犯罪率？還是人口密度影響犯罪率？案例二 壞血病的原因調(diào)查17世紀(jì)初，英國(guó)海軍患?jí)难”尘埃汉Ｉ系蹏?guó)，壞血病

14、的威脅，國(guó)防部進(jìn)行研究懷疑：維生素?cái)z入量少實(shí)驗(yàn)方法：四艘軍艦離港，一艘有橙汁供應(yīng)，三艘沒有結(jié)果：有橙汁供應(yīng)水手身體狀況良好，沒有橙汁供應(yīng)水手開始成批生病結(jié)論：缺乏維生素?cái)z入是導(dǎo)致產(chǎn)生疾病的原因如何完善上述實(shí)驗(yàn)？問題一：患病原因可能是那三艘船上有導(dǎo)致生病的物質(zhì)問題二：上有橙汁船的人可能就喜歡喝橙汁問題三：上船之前水手身體狀況一樣嗎？實(shí)驗(yàn)法關(guān)鍵：分為實(shí)驗(yàn)組和對(duì)照組 兩組其他情況相同，只有檢測(cè)因素（是否喝橙汁）不同。實(shí)驗(yàn)者在哪個(gè)組應(yīng)隨機(jī)產(chǎn)生。 實(shí)驗(yàn)應(yīng)采用“雙盲”原則。如實(shí)驗(yàn)一種新藥療效，受試者不知道自己是在服藥還是服替代品，醫(yī)生也不應(yīng)知道受試者的分組情況。 社會(huì)調(diào)查中很難嚴(yán)格控制其他因素，如想知道飲料顏色對(duì)銷量是否有影響，如何設(shè)計(jì)實(shí)驗(yàn)就是一個(gè)挑戰(zhàn)。案例三. 軟件陷阱盲目使用統(tǒng)計(jì)軟件的陷阱，抽樣方法與分析方法不對(duì)應(yīng)。例：欲分析家庭有線電視與購(gòu)買個(gè)人電腦是否相互獨(dú)立，隨機(jī)抽取了500個(gè)家庭，調(diào)查結(jié)果如下表所示： 個(gè)人電腦 有 無 合計(jì) 有 119 188 307 無 88 105 193 合計(jì) 207 293 500有線電視運(yùn)用傳統(tǒng)的卡方檢驗(yàn)，設(shè)原假設(shè) ：擁有個(gè)人電腦與擁有有線電視相互獨(dú)立。經(jīng)計(jì)算 。因