1、辛普森悖論及其應(yīng)用思考【摘要】探討現(xiàn)實中的辛普森現(xiàn)象，利用辛普森悖論來解釋現(xiàn)實生活中的例子，探討例子發(fā)生矛盾的原因，加深對辛普森現(xiàn)象的理解，進而對現(xiàn)實分析的情況進行深入思考并提供作出正確判斷的理論依據(jù)?！娟P(guān)鍵詞】辛普森悖論分層抽樣統(tǒng)計混雜因素一、辛普森悖論統(tǒng)計分析中，變量間是否有相關(guān)關(guān)系，常常會左右我們對觀察的現(xiàn)象作出正確的決策。例如，某公司開發(fā)一種新藥A，想要研究這種新藥跟傳統(tǒng)的藥物B對疾病的處理效果有什么不同。選擇800個人來參與做實驗，分成兩組，每組400人，兩組的結(jié)果如表1所示。從表1的結(jié)果看，新研發(fā)的藥物的有效率是50%，低于傳統(tǒng)藥物的60%,對于治療某種疾病來說，顯得新研發(fā)的藥物的

2、價值低于傳統(tǒng)藥物。那么對這種新研發(fā)的藥物的有效率經(jīng)過統(tǒng)計分析后是否如表1所示？把表1得到的數(shù)據(jù)再進行分層抽樣處理，在細分成男性跟女性對藥物的有效率后得到的信息如表2、表3所示。從表2和表3來看，得到的結(jié)論和表1得到的結(jié)論剛好相反，也就是說不管是男性患者還是女性患者，新藥的有效率都高于傳統(tǒng)的藥物，這就跟前面的分析出現(xiàn)了矛盾，這就是辛普森現(xiàn)象或稱為辛普森悖辛普森悖論是在一定的前提條件下，研究兩種變量的相關(guān)關(guān)系時，利用分組或分層技術(shù)對原來總體再進行分析得到的與未分組或分層抽樣之前相反的一種結(jié)論。即分組評價都占優(yōu)的一方在總體評價中卻不占優(yōu)勢。辛普森現(xiàn)象并不是一種稀罕的現(xiàn)象，在現(xiàn)實生活中非常普遍，特別是

3、在社會科學和醫(yī)學中。醫(yī)學上新開發(fā)的藥物對疾病是否有效，新入學的學生是否受到性別的歧視，中國經(jīng)濟的騰飛與生活水平的降低，吸煙是否有害健康，等等，現(xiàn)實中的方方面面都會出現(xiàn)辛普森現(xiàn)象。用辛普森悖論來解釋這些現(xiàn)象能真正了解現(xiàn)象的本質(zhì)，從而使人們作出正確的決策。本文的目的是總結(jié)前人的分析結(jié)果，去探討周圍的辛普森現(xiàn)象，為大家進一步認清現(xiàn)象提供一些合理的解釋及思考。二、辛普森悖論的數(shù)學表示及相應(yīng)問題一起來看一個向量圖。詳見圖1。圖1是根據(jù)上文第一部分辛普森悖論中的數(shù)據(jù)得到的向量圖。從圖1可以看出，當把數(shù)據(jù)用向量在圖中表示時，向量的斜率就表示藥物治療的有效率，傾斜的角度越大有效率就越高。在分性別討論時，上面兩

4、條就表示女性的傳統(tǒng)藥物與新藥治療的有效率，下面兩條就表示男性的傳統(tǒng)藥物與新藥治療的有效率，根據(jù)相應(yīng)的斜率可以知道新藥治療的有效率都比傳統(tǒng)治療的有效率要高。但不討論性別時，表示傳統(tǒng)治療的有效率的斜率反而比表示新藥治療有效率的斜率大，也就是傳統(tǒng)治療的效果更好。這也是我們之前討論分析的結(jié)果。那么，從數(shù)學上看，辛普森悖論也就是兩個相對斜率較小的向量相加后反而比兩個相對斜率較大的向量相加要大。什么時候才會出現(xiàn)這種情況呢？更一般的，記（1）P（A|B）P（A|B/）;（2）P（A|B）P（A|B7Cz）且P（A|BC7P（A|B7C7。其中“P（A|B）”表示B發(fā)生時A發(fā)生的條件概率，“B”表示B不發(fā)生，

5、“C表示混雜因素。忽略了性別這個因素，得到的結(jié)論卻不再一樣。像與性別有一樣影響的因素也就稱為混雜因素。如果在使用數(shù)據(jù)的過程中把這類因素忽略掉將會混雜真正的因果關(guān)系，從而得到錯誤結(jié)論。式子（1）說明B發(fā)生時A發(fā)生的條件概率比B不發(fā)生時A發(fā)生的條件概率大，式子（2）說明B發(fā)生且C發(fā)生時A發(fā)生的條件概率比B不發(fā)生且C發(fā)生時A發(fā)生的條件概率小，同時還有，B發(fā)生且C不發(fā)生時A發(fā)生的條件概率比B不發(fā)生且C不發(fā)生時A發(fā)生的條件概率小。在加入C這一條件后，我們看到無論是在C發(fā)生還是不發(fā)生的背景下，B發(fā)生時A發(fā)生的條件概率都比B不發(fā)生時A發(fā)生的條件概率小。這就與前面式子（1）矛盾了。這里我們可以看出“C導致這種

6、矛盾出現(xiàn)的因素。若（2）成立則有（1）成立，這種現(xiàn)象就稱為辛普森悖論。針對前述表1至表3的例子，若用符號表示如下：記“A表示藥物有效，“A”表示藥物無效，“B表示所用的藥為新藥,“B”表示所用的藥為傳統(tǒng)藥物，“C”示選擇男性作試驗，“C”表示選擇女性作試驗。則表1表2、表3可抽象為以下三個表格，即表4、表5、表6。這與前面斜率的分析其實是同一個意思，盡管這個問題看似簡單，但討論起來可能比較困難。因此，此處我們不作過多的討論。我們僅考慮在實際問題中，這種現(xiàn)象是否普遍存在。前述我們所考慮的混雜因素C為二值變量的情況，辛普森悖論還可以考慮混雜因素C為多值變量的情況。假設(shè)考慮C取值為C1，C2,C3C

7、kk種情況，此時前述的（2）式可表示為（2）,P（A|BCi）P（A|B/Ci）,i=1,2k。三、生活中的辛普森悖論下面給出現(xiàn)實生活中產(chǎn)生辛普森現(xiàn)象的例子，用辛普森悖論來解釋這些現(xiàn)象，找出其中引起矛盾的混雜因素，加深人們對辛普森悖論的理解和應(yīng)用。（一）吸煙有害健康”問題。表7為關(guān)于吸煙與肺癌的實驗數(shù)據(jù)。觀察吸煙人群患肺癌的比率（25%）與不吸煙人群患肺癌的比率（40%）的差可以得到，似乎吸煙與人類患肺癌沒有相關(guān)關(guān)系。然而，當對研究的總體從性別這個因素將數(shù)據(jù)進行分組后，得到表8的數(shù)據(jù)，發(fā)現(xiàn)此時吸煙與男性、女性患肺癌都有相關(guān)關(guān)系。這種矛盾的現(xiàn)象就是辛普森悖論。因此，在使用統(tǒng)計調(diào)查數(shù)據(jù)進行分析時，

8、應(yīng)該考慮清楚哪些因素是要觀察的，哪些因素是可以省略的。表7是由一些原始數(shù)據(jù)整合所得到的，前面的“A表示患肺癌，“A”表示未患肺癌，“B表示選擇吸煙的人作試驗，“B”表示選擇不吸煙的人作試驗，“C表示選擇男性作試驗，“C”表示選擇女性作試驗。（二）性別歧視”問題。這里是一所高校的兩個學院，分別為法學院和商學院新的一個學期招生的情況。人們懷疑這兩個學院的招生存在性別歧視，所以作了如下統(tǒng)計。詳見表9、表10。觀察表9、表10的數(shù)據(jù)可知，女生在兩個學院都是被優(yōu)先錄取的，即女生的錄取率比男生的高。將兩個學院的數(shù)據(jù)匯總后，得到表11。觀察表11的數(shù)據(jù)中卻發(fā)現(xiàn)，男生的錄取率反而比女生高。借助一幅向量圖可以更

9、好地了解情況，詳見圖2單獨兩個向量的比較中，女生的斜率都比男生大，這也說明女生的錄取率比男生高。但看總體向量時，男生的斜率卻大于女生。前面的“A”表示被錄取，“A”表示未被錄取，“B表示男學生報考，“B”表示女學生報考，“C表示選擇報考法學院，“C”表示選擇報考商學院。從上面的例子可知，簡單地將分組數(shù)據(jù)（也可以稱為原始數(shù)據(jù)）相加匯總是不能反映真實情況的。下面還有一個類似的例子。研究生錄取的性別偏差：Berkeley的數(shù)據(jù)”。表12是當時一所大學的研究生院錄取情況的一些數(shù)據(jù)。數(shù)據(jù)顯示向某大學研究生院申請的9000個男性中有4000人被錄取（占44.4%）,而女性之中4500個只有1500個被錄取

10、（占33.3%）。是不是表明了存在性別歧視呢？表12中的數(shù)據(jù)是整合該研究生院4個系錄取的數(shù)據(jù)所得。接著再看描述各個系原始數(shù)據(jù)的表13。發(fā)現(xiàn)在每一個系中女性錄取率都比男性高。此時，前面的“A表示被錄取，“A，”表示未被錄取，“B”示男學生報考，“B”表示女學生報考，“C俵示選擇報考A系，“C凍示選擇報考B系，“C3表示選擇報考C系，“C4表示選擇報考D系。像這樣的兩種結(jié)論，到底哪一個是正確的結(jié)論呢？從表12看是男性的錄取率比女性高，但如果添加條件，即表13,女性的錄取率比男性高。如果我們僅根據(jù)表12的數(shù)據(jù)就得出結(jié)論，可能會獲得錯誤的結(jié)論。這樣的結(jié)論自然是不可靠的。（三）某地房價均價的漲與降”問題

11、。表14為某地區(qū)房地產(chǎn)5、6月份的數(shù)據(jù)，暫且不論數(shù)據(jù)里是否有水分假按揭，單憑這個表真的可以說明什么嗎？有人根據(jù)表14中6月份均價比5月上漲了一些，就得出了上漲7.7%的結(jié)論，統(tǒng)計解析房價的人或許對統(tǒng)計學并不怎么了解，從我們上面的例子可以知道，這樣的結(jié)論是不可靠的，而且不具有統(tǒng)計參考意義。那么該地區(qū)房價是否真的上漲了呢？絕大多數(shù)人尤其是不了解統(tǒng)計的人看了之后肯定會說當然漲了。可是事實上，好房子和爛房子均價都降低了1000元/平方米。如果是真的話，那么這里也存在辛普森悖論。同樣，如果把好房子和爛房子分開來看統(tǒng)計數(shù)據(jù)，詳見表15,加起來均價和房子總套數(shù)和上面的數(shù)據(jù)是一致的。從表15得知，其實好房子的

12、均價從12000降至11000,爛房子的均價從9000降至8000,均價都降低了1000塊，可是匯總的均價呢？卻漲高了800塊。這就是辛普森悖論在生活中的體現(xiàn)。有時候，概率也可以表示成均價。而此時，前面的“A表示房均價，“B表示選擇5月觀察，“B”表示選擇6月觀察，“C表示選擇好房子銷售，“C”表示選擇爛房子銷售。（四）學生與試卷”問題。a、b兩個學生，都有A、B兩套試卷。A試卷比較簡單，正確率較高，B試卷比較困難，正確率較低。詳見表16、表17。學生b做A、B兩套試卷的正確率都較低，而且絕大多數(shù)做題用A套試卷；學生a做A、B兩套試卷的正確率都較高，而且絕大多數(shù)做題用B套試卷；但分別直接累加A

13、、B兩套試卷的正確數(shù)量，將得出學生a的正確數(shù)要小于學生b的矛盾結(jié)論。前面的“A表示做題結(jié)果正確，“A，”表示做題結(jié)果錯誤，“B表示選擇學生a做題，“B”表示選擇學生b做題，“C表示選擇試卷A做題，“C”表示選擇試卷B做題。（五）羽毛球比賽”問題。比賽100場羽毛球賽以最后總的勝率評價兩個人的實力強弱。詳見表18、表19。于是第一個找高手挑戰(zhàn)40場而勝2場，找一般的對手挑戰(zhàn)60場而勝50場，結(jié)果總的勝率52%;第二個則找高手挑戰(zhàn)60場而勝6場，找一般的對手挑戰(zhàn)40場打了個全勝，結(jié)果勝率為46%,比第一個的52%要小很多，但觀察挑戰(zhàn)對象數(shù)量及勝率可知，后者明顯較有實力。前面的“A表示比賽勝利，“A

14、，”表示比賽失敗，“B表示選擇甲選手比賽，“B”表示選擇乙選手比賽，“C表示選擇高手做對手，“C”表示選擇一般的人做對手。四、關(guān)于辛普森悖論的一些思考（一）風險認知研究?，F(xiàn)在很多的風險認知研究都會作出兩種描述，一種是匯總的，一種是個體的?，F(xiàn)在看來，兩種分析確實都是必要的，原理也是一樣的。如果根據(jù)兩種數(shù)據(jù)得出的結(jié)論相同，那么或許作用是來自實驗處理；但若根據(jù)兩種數(shù)據(jù)得出的結(jié)論不相同，匯總得到的效應(yīng)可能就只是假象。（二）因果關(guān)系的證明。辛普森悖論的含義里指出，該悖論涉及的是相關(guān)關(guān)系，并不是因果關(guān)系。也就是只能說明甲與乙的相關(guān)性。而證明甲與乙的因果性呢？想要證明因為甲所以乙，就必須證明有甲則有乙，并且

15、無甲則無乙。也就是之前所提到的虛假相關(guān)性與虛假獨立性的內(nèi)容，辛普森悖論里提及的只是相關(guān)關(guān)系，但卻因為總是被用做因果關(guān)系來解釋所以產(chǎn)生這么多自相矛盾的結(jié)論。（三）辛普森悖論出現(xiàn)的原因。從上面的幾個問題分析還可以知道，辛普森悖論可能是由以下兩個方面的因素造成的。一是分組的權(quán)重。首先，如性別歧視”問題中分組的錄取率要有一定的差距，也就是說如果法學院錄取率較低的話，那么商學院的錄取率就要比較高，相反的話也可以。而在這種差距的同時，兩種性別的申請者的分布比重需要出現(xiàn)相反的情況。與上面的情況對應(yīng)的話，女性的申請者則應(yīng)該大部分分布在法學院，此時，男性的申請者則大部分分布在商學院。結(jié)果觀察數(shù)量時，拒收率比較高

16、的法學院拒收了很多的女生，男生雖然有更高的拒收率，但被拒收的數(shù)量對于女生來說卻算不上多。而錄取率很高的商學院錄取了并不多的女生，男生雖然錄取率沒有女生高，但被錄取的數(shù)量對于女生來說卻多很多。二是混雜因素及其他?；蛟S性別并不是影響錄取率高低的唯一因素，甚至可能是根本沒有影響的。而這里比率差的出現(xiàn)，可能是偶然的。又可能是其他因素的作用。比如年齡，卻剛好出現(xiàn)這種錄取率的差別，被人錯誤地解釋為性別差異而造成的。（四）避免辛普森悖論出現(xiàn)的方法。如果想要避免辛普森悖論的出現(xiàn)，就需要留意分組的權(quán)重的影響，同時思考是否存在其他潛在因素進而綜合分析，因為這種情況并不容易察覺，尤其是只能看到匯總數(shù)據(jù)，而沒有接觸到

17、原始、沒有匯總數(shù)據(jù)的時候。（五）數(shù)量與質(zhì)量。數(shù)量與質(zhì)量肯定是不能等價討論的，可是因為數(shù)量比質(zhì)量來得容易測量，所以人們總是習慣簡單地用數(shù)量、數(shù)字來評定好壞、優(yōu)劣。除數(shù)量與質(zhì)量的思考外，從學生與試卷”問題中，我們可以知道，也是從辛普森悖論得到的另一個啟示就是，分數(shù)并不能說明一切，低分不一定就是低智商。作為教師應(yīng)該從這個角度看學生,而作為學生，也應(yīng)該對自己有信心。羽毛球這樣的比賽也一樣，一般以小組前幾出線，但如果分組時水平相差很大，那么這時，兩組的排名也沒有比較的意義?！緟⒖嘉墨I】1JJournaloftheRoyalStatisticalsociety,1951(2)2吳素萍，朱廣萍.辛普森悖論(SimpsonsParadoX和參數(shù)估計中的信息綜合法J寧夏農(nóng)學院學報，2000(1):3耿直.因果推斷與Simpson悖