1、第 31 卷第 2 期 統(tǒng)計(jì)研究 Vol 31，No. 2 2014 年 2 月 Statistical esearch Feb 2014 *大數(shù)據(jù)時(shí)代下數(shù)據(jù)分析理念的辨析 朱建平 章貴軍 劉曉葳 內(nèi)容提要: 本文在剖析了國(guó)內(nèi)外大數(shù)據(jù)研究和應(yīng)用現(xiàn)狀的基礎(chǔ)上，提出了“大數(shù)據(jù)時(shí)代”的定義，并從統(tǒng)計(jì)學(xué)的角度界定了“大數(shù)據(jù)”概念。同時(shí)，根據(jù)大數(shù)據(jù)的特點(diǎn)，本文重新審視了在大數(shù)據(jù)時(shí)代統(tǒng)計(jì)研究工作過(guò)程及統(tǒng)計(jì)思 維所面臨的挑戰(zhàn)，明確了統(tǒng)計(jì)工作和統(tǒng)計(jì)研究轉(zhuǎn)變的基本思路。 關(guān)鍵詞: 大數(shù)據(jù)時(shí)代; 大數(shù)據(jù); 統(tǒng)計(jì)學(xué); 數(shù)據(jù)分析 中圖分類號(hào): C81 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1002 4565( 2014) 0

2、2 0010 08 Clarity of a Philosophy of Data Analysis During the Age of Big Data Zhu Jianping Zhang Guijun Liu Xiaowei Abstract: This paper sets forth background of the age of big data and proposes the definition of big data based on background of the age of big data after explicitly analyzing some stu

3、dies and applications of big data at home and abroad Meanwhile ，based on the characteristics of big data ， this paper re-examines the challenges of statistical research and ideology will face during the age of big data Furthermore，we point out the basic thinking of the transition of statistical work

4、 and statistical research Key words: The Age of Big Data; Big Data; Statistics; Data Analysis 的發(fā)展和應(yīng)用，在此期間大數(shù)據(jù)分析和應(yīng)用的學(xué)者 一、引言 和專家發(fā)起了關(guān)于大數(shù)據(jù)研究和應(yīng)用的深入探討， 20 世紀(jì) 50 年代一場(chǎng)波瀾壯闊的信息公開運(yùn)動(dòng)在美國(guó)拉開序幕，各種信息方便了人們的生活和工作，從而信息公開為數(shù)據(jù)的可獲得性提供了依據(jù); 20 世紀(jì) 60 年代計(jì)算機(jī)硬件技術(shù)的迅速發(fā)展，促使全世界數(shù)據(jù)處理和存儲(chǔ)不僅越來(lái)越快、越來(lái)越方便，還越來(lái)越便宜，為數(shù)據(jù)積累提供了便利; 20 世紀(jì) 70 年代最小數(shù)據(jù)集的大

5、規(guī)模出現(xiàn)，使得各行各業(yè)的最小數(shù)據(jù)集越來(lái)越多，為數(shù)據(jù)結(jié)構(gòu)的多元化提供了條件; 20 世紀(jì) 80 年代前期，數(shù)據(jù)在不同信息管理系統(tǒng)之間的共享使數(shù)據(jù)接口的標(biāo)準(zhǔn)化越來(lái)越得到強(qiáng)調(diào)，為數(shù)據(jù)的共享和交流提供了捷徑; 20 世紀(jì) 80 年代后期，互聯(lián)網(wǎng) 概 念 的 興 起、“普 適 計(jì) 算 ”( Ubiquitous Computing) 理論的實(shí)現(xiàn)以及傳感器對(duì)信息自動(dòng)采集、傳遞和計(jì)算成為現(xiàn)實(shí)，為數(shù)據(jù)爆炸式增長(zhǎng)提供了 例如 Vikor Mayer-Schnberger 和 Kenneth Cukier 所著的大數(shù)據(jù)時(shí)代等，對(duì)大數(shù)據(jù)促進(jìn)人們生活、工作與思維的變革奠定了基礎(chǔ)。 近年來(lái)，對(duì)大數(shù)據(jù)的研究和應(yīng)用不僅引起

6、了我國(guó)自然科學(xué)和人文社會(huì)科學(xué)界的廣泛重視，也受到 我國(guó)中央政府的高度關(guān)注: “十二五”國(guó)家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃明確提出支持海量數(shù)據(jù)存儲(chǔ)、處 理技術(shù)的研發(fā)與產(chǎn)業(yè)化; 物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃提出將信息處理技術(shù)列為四項(xiàng)關(guān)鍵技術(shù)創(chuàng)新 工程之一，這些是大數(shù)據(jù)產(chǎn)業(yè)的重要組成部分。我 國(guó)國(guó)家 統(tǒng)計(jì)科學(xué)研究所于 2012 年 8 月就召開了大數(shù)據(jù)應(yīng)用研究座談會(huì)，提出了在大數(shù)據(jù)時(shí)代 運(yùn)用現(xiàn)代信息技術(shù)建立統(tǒng)計(jì)云架構(gòu)的研究目標(biāo)。2012 年11 月國(guó)家總統(tǒng)計(jì)師鮮祖德在會(huì)見美 平臺(tái); 20 世紀(jì) 90 年代，由于數(shù)據(jù)驅(qū)動(dòng)，數(shù)據(jù)呈指數(shù) 增長(zhǎng)，美國(guó)企業(yè)界、學(xué)術(shù)界也不斷對(duì)此現(xiàn)象及其意義 進(jìn)行探討，為大數(shù)據(jù)概念的廣泛傳播

7、提供了途徑。 進(jìn)入 21 世紀(jì)以來(lái)，世界上許多國(guó)家開始關(guān)注大數(shù)據(jù) * 本文獲國(guó)家社會(huì)科學(xué)基金項(xiàng)目重大項(xiàng)目( 13ZD148 ) 和國(guó)家社會(huì)科學(xué)基金項(xiàng)目( 11BTJ001 ) 資助; 本文為“大數(shù)據(jù)背景下統(tǒng)計(jì)調(diào)查與數(shù)據(jù)分析”研討會(huì)特邀報(bào)告。 第 31 卷第 2 期11朱建平等: 大數(shù)據(jù)時(shí)代下數(shù)據(jù)分析理念的辨析 國(guó)華裔大數(shù)據(jù)專家學(xué)者時(shí)，明確提出國(guó)家 十分重視大數(shù)據(jù)在統(tǒng)計(jì)中的應(yīng)用，并成立了專門的課題組著手研究如何通過(guò)對(duì)大數(shù)據(jù)的處理推進(jìn)統(tǒng)計(jì)方法制度改革，改進(jìn)政府統(tǒng)計(jì)工作。10 月 28 日至 29 日，“第十七次全 計(jì)科學(xué)討論會(huì)”在浙江省杭州市召開，其主題是大數(shù)據(jù)背景下的統(tǒng)計(jì)。從目前來(lái)看，我國(guó)大數(shù)據(jù)

8、的理論研究和應(yīng)用研究剛剛起步，學(xué)術(shù)界、企業(yè)界及政府部門對(duì)該領(lǐng)域的重視程度前所未有。 毫無(wú)疑問(wèn)，由于計(jì)算機(jī)處理技術(shù)發(fā)生著日新月 異的變化，人們處理大規(guī)模復(fù)雜數(shù)據(jù)的能力日益增強(qiáng)， 從大規(guī)模數(shù)據(jù)中提取有價(jià)值信息的能力日益提高，人 們將會(huì)迅速進(jìn)入大數(shù)據(jù)時(shí)代。數(shù)據(jù)時(shí)代，不僅會(huì)帶來(lái) 人類自然科學(xué)技術(shù)和人文社會(huì)科學(xué)的發(fā)展變革，還會(huì) 給人們的生活和工作方式帶來(lái)煥然一新的變化。 統(tǒng)計(jì)學(xué)是一門古老的學(xué)科，已經(jīng)有三百多年的 歷史，在自然科學(xué)和人文社會(huì)科學(xué)的發(fā)展中起到了 舉足輕重的作用; 統(tǒng)計(jì)學(xué)又是一門生命力及其旺盛的學(xué)科，他海納百川又博采眾長(zhǎng)，隨著各門具體學(xué)科 的發(fā)展不斷壯大。毫不例外，大數(shù)據(jù)時(shí)代的到來(lái)，給 統(tǒng)計(jì)學(xué)

9、科帶來(lái)了發(fā)展壯大機(jī)會(huì)的同時(shí)，也使得統(tǒng)計(jì) 學(xué)科面臨著重大的挑戰(zhàn)。怎樣深刻地認(rèn)識(shí)和把握這 一發(fā)展契機(jī)，怎樣更好地理解和應(yīng)對(duì)這一重大挑戰(zhàn)， 這就迫使我們需要澄清大數(shù)據(jù)的概念、明確大數(shù)據(jù) 的特征; 重新審視統(tǒng)計(jì)的工作過(guò)程、提出新的統(tǒng)計(jì)思想理念。 二、大數(shù)據(jù)概念的界定 目前，關(guān)于大數(shù)據(jù)的定義眾說(shuō)紛紜，對(duì)大數(shù)據(jù)的理解取決于定義者的態(tài)度和學(xué)科背景。比較有代表性的定義主要有以下幾種。 百科給出的定義是，大數(shù)據(jù)指的是所涉及的資料規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊1。 大數(shù)據(jù)科學(xué)家 John auser 提出一個(gè)簡(jiǎn)單的定義是，大數(shù)據(jù)指任

10、何超過(guò)了一臺(tái)計(jì)算機(jī)處理能力的數(shù)據(jù)2。 美國(guó)咨詢公司麥肯錫的報(bào)告是這樣定義的，大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其進(jìn)行抓取、管理和處理的數(shù)據(jù)集合3。 Gartner 公司的Merv Adrian( 2011) 認(rèn)為，大數(shù)據(jù)超出了常用硬件環(huán)境和軟件工具在可接受的時(shí)間內(nèi)為其用戶收集、管理和處理數(shù)據(jù)的能力4。 IDC( International Data Corporation，2011 ) 對(duì)大數(shù)據(jù)概念的描述為: 大數(shù)據(jù)是一個(gè)看起來(lái)似乎來(lái)路不明的大的動(dòng)態(tài)過(guò)程; 但是實(shí)際上，大數(shù)據(jù)并不是一個(gè)新生事物，雖然它確確實(shí)實(shí)正在走向主流并引起廣泛的注意; 大數(shù)據(jù)并不是一個(gè)實(shí)體，而是一個(gè)橫跨很多

11、IT 邊界的動(dòng)態(tài)活動(dòng)5。 還有一些學(xué)者如格雷布林克( Grobelink M) ( 2012) 、Forrester 的分析師布賴恩霍普金斯( Brian Hopkins) 、鮑里斯埃韋爾松( Boris Evelson) ( 2012)和 Oracle( 甲骨文) 的劉念真( 2013 ) 等雖未給出大數(shù)據(jù)的具體定義，但是他們概括了大數(shù)據(jù)的特點(diǎn)678。格雷布林克( 2012 ) 認(rèn)為大數(shù)據(jù)具有三個(gè)特點(diǎn)，即多樣性( Variety) 、大量性( Volume) 、高速性 ( Velocity) ，又稱 3V 特點(diǎn)6 。布賴恩霍普金斯 ( Brian Hopkins) 、鮑里斯埃韋爾松( Bor

12、is Evelson) ( 2012) 認(rèn)為，除了格雷布林克給出的三個(gè)特性外， 大數(shù)據(jù)還具有易變性( Variability) 的特點(diǎn)，即 4V 特點(diǎn)7。劉念真則認(rèn)為大數(shù)據(jù)除了Grobelink M 給出 的特點(diǎn)外，還 具有真實(shí)性 ( Veracity ) 和價(jià)值性 ( Value) ，即五 V 特點(diǎn)8。 上述關(guān)于大數(shù)據(jù)概念的表達(dá)方式雖然各不相同，但從各種專業(yè)的角度描述出了對(duì)大數(shù)據(jù)的理解?？偟膩?lái)說(shuō)，我們可以從兩個(gè)角度來(lái)理解大數(shù)據(jù)，如果 把“大數(shù)據(jù)”看成是形容詞，它描述的是大數(shù)據(jù)時(shí)代 數(shù)據(jù)的特點(diǎn); 如果把“大數(shù)據(jù)”看成是名詞，它體現(xiàn)的是數(shù)據(jù)科學(xué)研究的對(duì)象。大數(shù)據(jù)是信息科技高速 發(fā)展的產(chǎn)物，如果要

13、全面深入理解大數(shù)據(jù)的概念，必 須理解大數(shù)據(jù)產(chǎn)生的時(shí)代背景，然后根據(jù)大數(shù)據(jù)時(shí) 代背景理解大數(shù)據(jù)概念。 ( 一) “大數(shù)據(jù)時(shí)代”背景介紹 格雷布林克( Grobelink M) 在2012 年 2 月的一篇專欄中稱，“大數(shù)據(jù)時(shí)代”已經(jīng)降臨， 在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，管理者決策越來(lái)越依靠 數(shù)據(jù)分析，而不是依靠經(jīng)驗(yàn)和直覺(jué)6?！按髷?shù)據(jù)”概 念之所以被炒得如火如荼，是因?yàn)榇髷?shù)據(jù)時(shí)代已經(jīng) 到來(lái)。 如果說(shuō) 19 世紀(jì)以蒸汽機(jī)為主導(dǎo)的產(chǎn)業(yè)革命時(shí)代終結(jié)了傳統(tǒng)的手工勞動(dòng)為主的生產(chǎn)方式，并從而推動(dòng)了人類社會(huì)生產(chǎn)力的變革; 那么 20 世紀(jì)以計(jì)算 12統(tǒng)計(jì)研究2014 年 2 月 機(jī)為主導(dǎo)的技術(shù)革命則方便了人們的生活

14、，并推動(dòng) 人類生活方式發(fā)生翻天覆地的變化。我們認(rèn)為，隨 著計(jì)算機(jī)互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)的大 眾化和博客、論壇、微信等網(wǎng)絡(luò)交流方式的日益紅 火，數(shù)據(jù)資料的增長(zhǎng)正發(fā)生著“秒新分異”的變化， 大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)毋庸置疑。據(jù)不完全統(tǒng)計(jì)統(tǒng) 計(jì)，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部數(shù)據(jù)可以刻滿 1. 68 億張 DVD。國(guó)際數(shù)據(jù)公司( IDC) 的研究結(jié)果表明，2008 年全球產(chǎn)生的數(shù)據(jù)量為 0. 49ZB( 1024EB = 1ZB，1024PB = 1EB，1024TB = 1PB，1024GB = 1TB) ，2009 年的數(shù)據(jù)量為 0. 8ZB，2010 年增長(zhǎng)為 1. 2ZB，2011 年的數(shù)

15、量高達(dá) 1. 82ZB，相當(dāng)于全球每人產(chǎn)生 200GB 以上的數(shù)據(jù)，而到 2012 年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是 200PB，全人類歷史上所有語(yǔ)言資料積累的數(shù)據(jù)量大約是 5EB9。哈佛大學(xué)社會(huì)學(xué)教授加里金說(shuō): “大數(shù)據(jù)這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程， 無(wú)論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種 進(jìn)程。” 在大數(shù)據(jù)時(shí)代，因?yàn)榈韧跀?shù)據(jù)的知識(shí)隨處 可尋，對(duì)數(shù)據(jù)的處理和分析才顯得難能可貴。因此， 在大數(shù)據(jù)時(shí)代，能從紛繁蕪雜的數(shù)據(jù)中提取有價(jià)值 的知識(shí)才是創(chuàng)造價(jià)值的源泉。 我們可以這樣來(lái)定義大數(shù)據(jù)時(shí)代，大數(shù)據(jù)時(shí)代是建立在通過(guò)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等現(xiàn)代網(wǎng)絡(luò)渠道廣泛大量數(shù)據(jù)

16、資源收集基礎(chǔ)上的數(shù)據(jù)存儲(chǔ)、價(jià)值提煉、智能處理和展示的信息時(shí)代。在這個(gè)時(shí)代，人們幾乎能夠從任何數(shù)據(jù)中獲得可轉(zhuǎn)換為推動(dòng)人們生活方式變化的有價(jià)值的知識(shí)。大數(shù)據(jù)時(shí)代的基本特征主要體現(xiàn)在以下幾個(gè)方面。 1. 社會(huì)性。在大數(shù)據(jù)時(shí)代，從社會(huì)角度看，世界范圍的計(jì)算機(jī)聯(lián)網(wǎng)使越來(lái)越多的領(lǐng)域以數(shù)據(jù)流通 取代產(chǎn)品流通，將生產(chǎn)演變成服務(wù)，將工業(yè)勞動(dòng)演變 成信息勞動(dòng)。信息勞動(dòng)的產(chǎn)品不需要離開它的原始 占有者就能夠被買賣和交換，這類產(chǎn)品能夠通過(guò)計(jì) 算機(jī)網(wǎng)絡(luò)大量復(fù)制和分配而不需要額外增加費(fèi)用， 其價(jià)值增加是通過(guò)知識(shí)而不是手工勞動(dòng)來(lái)實(shí)現(xiàn)的; 實(shí)現(xiàn)這一價(jià)值的主要工具就是計(jì)算機(jī)軟件。 2. 廣泛性。在大數(shù)據(jù)時(shí)代，隨著互聯(lián)網(wǎng)技術(shù)的迅

17、速崛起與普及，計(jì)算機(jī)技術(shù)不僅促進(jìn)自然科學(xué)和人文社會(huì)科學(xué)各個(gè)領(lǐng)域的發(fā)展，而且全面融入了人們的社會(huì)生活中，人們?cè)诓煌I(lǐng)域采集到的數(shù)據(jù)量之大，達(dá)到了前所未有的程度。同時(shí)，數(shù)據(jù)的產(chǎn)生、 存儲(chǔ)和處理方式發(fā)生了革命性的變化，人們的工作和生活基本上都可以用數(shù)字化表示，在一定程度上改變了人們的工作和生活方式。 3. 公開性。大數(shù)據(jù)時(shí)代展示了從信息公開運(yùn)動(dòng)到數(shù)據(jù)技術(shù)演化的 畫卷。在大數(shù)據(jù)時(shí)代會(huì)有越來(lái)越多的數(shù)據(jù)被開放，被交叉使用。在這個(gè)過(guò)程中，雖然考慮對(duì)于用戶隱私的保護(hù)，但是大數(shù)據(jù)必然產(chǎn)生于一個(gè)開放的，公共的網(wǎng)絡(luò)環(huán)境之中。這種公開性和公共性的實(shí)現(xiàn)取決于若干個(gè)網(wǎng)絡(luò)開放平臺(tái)或云計(jì)算服務(wù)以及一系列受到法律支持或社會(huì)公認(rèn)

18、的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范。 4. 動(dòng)態(tài)性。人們借助計(jì)算機(jī)通過(guò)互聯(lián)網(wǎng)進(jìn)入大數(shù)據(jù)時(shí)代，充分體現(xiàn)了大數(shù)據(jù)是基于互聯(lián)網(wǎng)的及時(shí)動(dòng)態(tài)數(shù)據(jù)，而不是歷史的或嚴(yán)格控制環(huán)境下產(chǎn)生的內(nèi)容。由于數(shù)據(jù)資料可以隨時(shí)隨地產(chǎn)生，因此，不 僅數(shù)據(jù)資料的收集具有動(dòng)態(tài)性，而且數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)處理技術(shù)也隨時(shí)更新，即處理數(shù)據(jù)的工具也具有動(dòng)態(tài)性。 ( 二) “大數(shù)據(jù)”的定義 我們認(rèn)為大數(shù)據(jù)定義之所以眾說(shuō)紛紜，主要是因?yàn)榇髷?shù)據(jù)所涉及的內(nèi)容太“大”，大家看它的角度不一樣，于是出現(xiàn)了仁者見仁，智者見智的局面。根據(jù)大數(shù)據(jù)的歷史沿革和大數(shù)據(jù)所處的時(shí)代背景，我們就可以進(jìn)一步充分了解大數(shù)據(jù)的內(nèi)涵。 在大數(shù)據(jù)時(shí)代，數(shù)據(jù)引領(lǐng)人們生活，引導(dǎo)商業(yè)變革和技術(shù)創(chuàng)新。從

19、大數(shù)據(jù)的時(shí)代背景來(lái)看，我們可以把大數(shù)據(jù)作為研究對(duì)象，從數(shù)據(jù)本身和處理數(shù)據(jù)的技術(shù)兩個(gè)方面理解大數(shù)據(jù)，這樣理解大數(shù)據(jù)就有狹義和廣義之分: 狹義的大數(shù)據(jù)是指數(shù)據(jù)的結(jié)構(gòu)形式和規(guī)模，是從數(shù)據(jù)的字面意義理解; 廣義的大數(shù)據(jù)不僅包括數(shù)據(jù)的結(jié)構(gòu)形式和數(shù)據(jù)的規(guī)模，還包括處理數(shù)據(jù)的技術(shù)。 狹義角度的大數(shù)據(jù)，是指計(jì)量起始單位至少是 PB、EB 或 ZB 的數(shù)據(jù)規(guī)模，其不僅包括結(jié)構(gòu)化數(shù)據(jù)， 還包括半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。我們應(yīng)該從 橫向和縱向兩個(gè)維度解讀大數(shù)據(jù): 橫向是指數(shù)據(jù)的規(guī)模，從這個(gè)角度來(lái)講，大數(shù)據(jù)等同于海量數(shù)據(jù)，指 大數(shù)據(jù)包含的數(shù)據(jù)規(guī)模巨大; 縱向是指數(shù)據(jù)的結(jié)構(gòu)形式， 從這個(gè)角度來(lái)說(shuō)，大數(shù)據(jù)不僅包含結(jié)構(gòu)化

20、數(shù) 據(jù)，更多的是指半結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，指 大數(shù)據(jù)包含的數(shù)據(jù)形式多樣。大數(shù)據(jù)時(shí)代，由于有90% 的信息和知識(shí)在“結(jié)構(gòu)化”數(shù)據(jù)世界之外，因 第 31 卷第 2 期13朱建平等: 大數(shù)據(jù)時(shí)代下數(shù)據(jù)分析理念的辨析 此，人們通常認(rèn)為大數(shù)據(jù)的分析對(duì)象為半結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。 此外，大數(shù)據(jù)時(shí)代的戰(zhàn)略意義不僅在于掌握龐大的數(shù)據(jù)信息，而且在于如何處理數(shù)據(jù)。這就需要從數(shù)據(jù)處理技術(shù)的角度理解大數(shù)據(jù)。 廣義角度的大數(shù)據(jù)，不僅包含大數(shù)據(jù)結(jié)構(gòu)形式和規(guī)模，還泛指大數(shù)據(jù)的處理技術(shù)。大數(shù)據(jù)的處理技術(shù)是指能夠從不斷更新增長(zhǎng)、有價(jià)值信息轉(zhuǎn)瞬即逝的大數(shù)據(jù)中抓取有價(jià)值信息的能力。在大數(shù)據(jù)時(shí) 代，傳統(tǒng)針對(duì)小數(shù)據(jù)處理的技

21、術(shù)可能不再適用。這 樣， 就產(chǎn)生了專門針對(duì)大數(shù)據(jù)的處理技術(shù)，大數(shù)據(jù)的 處理 技術(shù)也衍生為大數(shù)據(jù)的代名詞。這就意味著， 廣義的大數(shù)據(jù)不僅包括數(shù)據(jù)的結(jié)構(gòu)形式和規(guī)模，還 包括處理數(shù)據(jù)的技術(shù)。此時(shí)，大數(shù)據(jù)不僅是指數(shù)據(jù) 本身，還指處理數(shù)據(jù)的能力。 不管從廣義的角度，還是從狹義的角度來(lái)看，大數(shù)據(jù)的核心是數(shù)據(jù)，而數(shù)據(jù)是統(tǒng)計(jì)研究的對(duì)象，從大數(shù)據(jù)中尋找有價(jià)值的信息關(guān)鍵在于對(duì)數(shù)據(jù)進(jìn)行正確的統(tǒng)計(jì)分析。因此，鑒定“大數(shù)據(jù)”應(yīng)該在現(xiàn)有數(shù)據(jù)處理技術(shù)水平的基礎(chǔ)上引入統(tǒng)計(jì)學(xué)的思想。 從統(tǒng)計(jì)學(xué)科與計(jì)算機(jī)科學(xué)的性質(zhì)出發(fā)，我們可以這樣來(lái)定義“大數(shù)據(jù)”: 大數(shù)據(jù)指那些超過(guò)傳統(tǒng)數(shù)據(jù)系統(tǒng)處理能力、超越經(jīng)典統(tǒng)計(jì)思想研究范圍、不借用網(wǎng)絡(luò)無(wú)法

22、用主流軟件工具及技術(shù)進(jìn)行單機(jī)分析的復(fù)雜數(shù)據(jù)的集合，對(duì)于這一數(shù)據(jù)集合，在一定的條件下和合理的時(shí)間內(nèi)，我們可以通過(guò)現(xiàn)代計(jì)算機(jī)技術(shù)和創(chuàng)新統(tǒng)計(jì)方法，有目的地進(jìn)行設(shè)計(jì)、獲取、管理、分析，揭示隱藏在其中的有價(jià)值的模式和知識(shí)。 根據(jù)大數(shù)據(jù)的概念和其時(shí)代屬性，我們認(rèn)為大數(shù)據(jù)的基本特征主要體現(xiàn)在以下四個(gè)方面: 1. 大量性。是指大數(shù)據(jù)的數(shù)據(jù)量巨大。在大數(shù)據(jù)時(shí)代，高度發(fā)達(dá)的網(wǎng)絡(luò)技術(shù)和承載數(shù)據(jù)資料的個(gè)人電腦、手機(jī)、平板電腦等網(wǎng)絡(luò)工具的普及，數(shù)據(jù)資料的來(lái)源范圍在不斷拓展，人類獲得數(shù)據(jù)資料在不斷更改數(shù)據(jù)的計(jì)量單位。數(shù)據(jù)的計(jì)量單位從從PB 到 EB 到ZB，反映了數(shù)據(jù)量增長(zhǎng)質(zhì)的飛躍。據(jù)統(tǒng)計(jì)，截止 2012 年底，全球智能

23、手機(jī)用戶 13 億，僅智能手機(jī)每月產(chǎn)生的數(shù)據(jù)量就有 500MB，每個(gè)月移動(dòng)數(shù)據(jù)流量有 1. 3EB 之巨。 2. 多樣性。是指數(shù)據(jù)類型繁多，大數(shù)據(jù)不僅包括以文本資料為主的結(jié)構(gòu)化數(shù)據(jù)，還包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置等半結(jié)構(gòu)或非結(jié)構(gòu)化的 數(shù)據(jù)資料。多樣化的數(shù)據(jù)產(chǎn)生的原因主要有兩個(gè)方 面: 一是由于非結(jié)構(gòu)化數(shù)據(jù)資料的廣泛存在。二是挖掘價(jià)值信息的需要，傳統(tǒng)的數(shù)據(jù)處理對(duì)象是結(jié)構(gòu) 式的，我們從數(shù)據(jù)的大小多少來(lái)感受對(duì)象的特征，但 這遠(yuǎn)遠(yuǎn)不夠具體。很多時(shí)候，我們希望了解得更多， 除了了解對(duì)象的數(shù)量特征外，我們還希望了解對(duì)象 的顏色、形狀、位置、甚至是人物心理活動(dòng)等等，這些 是傳統(tǒng)的數(shù)據(jù)很難描述的。

24、為了滿足人們對(duì)數(shù)據(jù)分 析深層次的需要，由于大數(shù)據(jù)時(shí)代對(duì)音頻、視頻或圖 片等數(shù)據(jù)資料處理技術(shù)不再是難題，于是半結(jié)構(gòu)化 數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)也成為數(shù)據(jù)處理的對(duì)象。 3. 價(jià)值性。指大數(shù)據(jù)價(jià)值巨大，但價(jià)值密度低: 大數(shù)據(jù)中存在反映人們生產(chǎn)活動(dòng)、商業(yè)活動(dòng)和心理活動(dòng)各方面極具價(jià)值的信息，但由于大數(shù)據(jù)規(guī)模巨大，數(shù)據(jù)在不斷更新變化，這些有價(jià)值的信息可能轉(zhuǎn)瞬即逝。一般來(lái)講，價(jià)值密度的高低與數(shù)據(jù)規(guī)模的大小成反比。以視頻數(shù)據(jù)為例，一部 1 小時(shí)的視頻，在連續(xù)不間斷的監(jiān)控中，有用數(shù)據(jù)信息出現(xiàn)時(shí)間可能僅有 1 秒。這就表明，大數(shù)據(jù)不僅是禁止的，更是流動(dòng)的。因此，在大數(shù)據(jù)時(shí)代，對(duì)數(shù)據(jù)的接收和處理思想都需要轉(zhuǎn)變，如何通過(guò)強(qiáng)

25、大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”成為目前大數(shù)據(jù)背景下亟待解決的難題。 4. 高速性。指數(shù)據(jù)處理時(shí)效性高，因?yàn)榇髷?shù)據(jù)有價(jià)值信息存在時(shí)間短，要求能迅速有效地提取大量復(fù)雜數(shù)據(jù)中的有價(jià)值信息。根據(jù) IDC 的“數(shù)字宇宙”的報(bào)告，預(yù)計(jì)到2020 年，全球數(shù)據(jù)使用量將達(dá)到 35. 2ZB。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率關(guān)乎智能型企業(yè)的生死存亡。 三、如何理解大數(shù)據(jù)和分析大數(shù)據(jù) 維克多( Vikor Mayer-Schnberger) 在其大數(shù)據(jù)時(shí)代一書中并未直接給出大數(shù)據(jù)的定義，他認(rèn)為 在大數(shù)據(jù)時(shí)代，傳統(tǒng)的數(shù)據(jù)分析思想應(yīng)做三大轉(zhuǎn)變: 一是轉(zhuǎn)變抽樣思想，在大數(shù)據(jù)時(shí)代，樣本就是總體， 要分析與

26、某事物相關(guān)的所有數(shù)據(jù)，而不是依靠少量 數(shù)據(jù)樣本; 二是轉(zhuǎn)變數(shù)據(jù)測(cè)量的思想，要樂(lè)于接受數(shù)據(jù)的紛繁蕪雜，不再追求精確的數(shù)據(jù); 三是不再探求難以捉摸的因果關(guān)系，轉(zhuǎn)而關(guān)注事物的相關(guān)關(guān) 系10。毫無(wú)疑問(wèn)，上述三個(gè)轉(zhuǎn)變均與統(tǒng)計(jì)研究工作 息息相關(guān)，從統(tǒng)計(jì)研究工作角度理解維克多的三個(gè) 轉(zhuǎn)變會(huì)更深刻、更全面。 14統(tǒng)計(jì)研究2014 年 2 月 ( 一) 轉(zhuǎn)變抽樣調(diào)查工作思想 傳統(tǒng)的統(tǒng)計(jì)學(xué)觀點(diǎn)認(rèn)為數(shù)據(jù)處理特點(diǎn)是通過(guò)局 部樣本進(jìn)行統(tǒng)計(jì)推斷，從而了解總體的規(guī)律性11。囿于數(shù)據(jù)收集和處理能力的限制，因此，傳統(tǒng)的統(tǒng)計(jì) 研究工作總是希望通過(guò)盡可能少的數(shù)據(jù)來(lái)了解總 體。在這種背景下，于是，產(chǎn)生了各式各樣的抽樣調(diào) 查技術(shù)。盡管

27、如此，由于各種抽樣調(diào)查工作是在事 先設(shè)定目的前提下展開工作，不管多完美的抽樣技 術(shù)，抽到的只是總體中的一部分，樣本都只是對(duì)總體 片面的、部分的反映。傳統(tǒng)的統(tǒng)計(jì)學(xué)觀點(diǎn)是建立在 數(shù)據(jù)收集和處理能力受到限制的基礎(chǔ)上的，在大數(shù) 據(jù)時(shí)代數(shù)據(jù)資料收集和數(shù)據(jù)處理能力對(duì)統(tǒng)計(jì)分析工 作的影響越來(lái)越小。大數(shù)據(jù)時(shí)代，我們面對(duì)的數(shù)據(jù) 樣本就是過(guò)去資料的總和，樣本就是總體，通過(guò)對(duì)所 有與事物相關(guān)的數(shù)據(jù)進(jìn)行分析，既有利于了解總體， 又有利于了解局部?？偟膩?lái)講，傳統(tǒng)的統(tǒng)計(jì)抽樣調(diào) 查方法有以下幾個(gè)方面的不足可以在大數(shù)據(jù)時(shí)代得 到改進(jìn)。 1. 抽樣框不穩(wěn)定，隨機(jī)取樣困難。傳統(tǒng)的抽樣 調(diào)查方案在實(shí)施時(shí)經(jīng)常碰到導(dǎo)致抽樣框不穩(wěn)定的問(wèn)

28、 題: 一方面，隨著網(wǎng)絡(luò)信息技術(shù)的迅速發(fā)展，人們獲得信息的途徑越來(lái)越便捷，人們更換工作、外出學(xué)習(xí) 和旅游的機(jī)會(huì)和次數(shù)也越來(lái)越多，這導(dǎo)致人口流動(dòng) 性加快，于是表現(xiàn)在對(duì)某小區(qū)居民收入水平調(diào)查過(guò)程 中，經(jīng)常會(huì)出現(xiàn)戶主更換或空房的情況; 另一方面， 是經(jīng)營(yíng)狀況不穩(wěn)定，有些經(jīng)營(yíng)者抓住市場(chǎng)機(jī)會(huì)使企業(yè) 規(guī)模日益壯大，有些經(jīng)營(yíng)者經(jīng)營(yíng)不力導(dǎo)致企業(yè) 倒閉，這就出現(xiàn)了在對(duì)企業(yè)經(jīng)營(yíng)狀況調(diào)查中，抽樣框 中有的企業(yè)實(shí)際找不到，實(shí)際有的企業(yè)抽樣框中沒(méi) 有的情況。 2. 事先設(shè)定調(diào)查目的，會(huì)限制調(diào)查的內(nèi)容和范 圍。傳統(tǒng)抽樣調(diào)查工作往往是先確定調(diào)查目的，然后 再根據(jù)目的和經(jīng)費(fèi)確定調(diào)查的方法和樣本量的大小。這樣做的問(wèn)題是受調(diào)查目

29、的限制，調(diào)查范圍有限，即 調(diào)查會(huì)有側(cè)重點(diǎn)，從而不能全面反映總體。 3. 樣本量有限，抽樣結(jié)果經(jīng)不起細(xì)分。傳統(tǒng)抽樣調(diào)查是在特定目的和一定經(jīng)費(fèi)控制下進(jìn)行的，往往調(diào)查樣本量有限，如果進(jìn)一步對(duì)細(xì)分內(nèi)容調(diào)查，往往由于樣本量太小而不具代表性。隨機(jī)采樣結(jié)果經(jīng)不起細(xì)分，一旦細(xì)分，隨機(jī)采樣結(jié)果的錯(cuò)誤率就會(huì)大大增加10。如以對(duì)某地企業(yè)調(diào)查情況為例，在完成調(diào)查工作后想具體了解當(dāng)?shù)匦⌒头b企業(yè)生產(chǎn)經(jīng)營(yíng) 狀況，可能抽到的樣本中滿足條件的企業(yè)鳳毛麟角或根本沒(méi)有這樣的企業(yè)。在大數(shù)據(jù)時(shí)代，對(duì)數(shù)據(jù)處理的技術(shù)不再是問(wèn)題，我們可以對(duì)任何規(guī)模的數(shù)據(jù)進(jìn)行分析處理，可以做到既全面把握總體，又能了解局部情況。 4. 糾偏成本高，可塑性弱。

30、正如前文所述，傳統(tǒng)統(tǒng)計(jì)抽樣過(guò)程中，抽樣框不穩(wěn)定的情況經(jīng)常存在， 一旦抽樣框出現(xiàn)偏誤，調(diào)查結(jié)果可能與歷史結(jié)果或 預(yù)計(jì)結(jié)果大相徑庭; 另外，如果想了解與事先調(diào)查目的不一致的方面，或者想了解目標(biāo)總體的細(xì)分結(jié)果， 在傳統(tǒng)的抽樣調(diào)查思路中，解決問(wèn)題的方法一般是 重新設(shè)計(jì)調(diào)查方案，一切重來(lái)。在大數(shù)據(jù)時(shí)代，信息 瞬息萬(wàn)變，待重新調(diào)整調(diào)查方案，得到的調(diào)查結(jié)果可 能已經(jīng)沒(méi)有價(jià)值。 ( 二) 轉(zhuǎn)變對(duì)數(shù)據(jù)精確性的要求 傳統(tǒng)的統(tǒng)計(jì)研究工作要求獲得的數(shù)據(jù)一般具有 完整性、精確性( 或準(zhǔn)確性) 、可比性與一致性等性質(zhì)。在數(shù)據(jù)結(jié)構(gòu)單一、數(shù)據(jù)規(guī)模小的小數(shù)據(jù)時(shí)代，由 于收集的數(shù)據(jù)資料有限以及數(shù)據(jù)處理技術(shù)落后，分析 數(shù)據(jù)的目的是

31、希望盡可能用有限的數(shù)據(jù)全面準(zhǔn)確地 反映總體。那么，在小數(shù)據(jù)時(shí)代對(duì)數(shù)據(jù)精確性要求 相對(duì)于其他要求是最嚴(yán)格的。在大數(shù)據(jù)時(shí)代，由于數(shù) 據(jù)來(lái)源廣泛和數(shù)據(jù)處理技術(shù)的不斷進(jìn)步，數(shù)據(jù)的不精 確性是允許的，我們應(yīng)該接受紛繁蕪雜的各類數(shù)據(jù)， 不應(yīng)一味追求數(shù)據(jù)的精確性，以免因小失大。 1. 大數(shù)據(jù)時(shí)代，數(shù)據(jù)規(guī)模大，數(shù)據(jù)不精確性在所難免，盲目追求數(shù)據(jù)的精確性不可取。在小數(shù)據(jù)時(shí)代，無(wú)論是測(cè)量數(shù)據(jù)還是調(diào)查數(shù)據(jù)，都可能因?yàn)槿藶橐蛩鼗蜃匀徊豢煽匾蛩貙?dǎo)致搜集到的這些數(shù)據(jù)是 不精確的; 在大數(shù)據(jù)時(shí)代，數(shù)據(jù)來(lái)源渠道多，數(shù)據(jù)量多， 我們?cè)讷@得關(guān)于反映總體精確數(shù)據(jù)信息的同時(shí)， 不可避免地會(huì)獲得不精確性數(shù)據(jù)。另外，我們必須 看到不精確

32、數(shù)據(jù)的有益方面，不精確數(shù)據(jù)并不一定 妨礙我們認(rèn)識(shí)總體，有可能幫助我們從另一個(gè)方向 更好地認(rèn)識(shí)總體。 2. 大數(shù)據(jù)時(shí)代，數(shù)據(jù)不精確性不僅不會(huì)破壞總體信息，還有利于了解總體。大數(shù)據(jù)時(shí)代，越來(lái)越多的數(shù)據(jù)提供越來(lái)越多的信息，也會(huì)讓人們?cè)絹?lái)越了解總體的真實(shí)情況。例如，假設(shè)某人的身高是 1 米8，在小數(shù)據(jù)時(shí)代，由于各種原因僅能測(cè)量?jī)纱?，一次?1 米 8，一次是 1 米 6，那么很可能認(rèn)為該人身體 第 31 卷第 2 期15朱建平等: 大數(shù)據(jù)時(shí)代下數(shù)據(jù)分析理念的辨析 身高為兩次測(cè)量的平均值，即 1 米 7; 在大數(shù)據(jù)時(shí)代，這個(gè)人的身高測(cè)了 10 萬(wàn)次，其中有 10 次是 1 米6， 其他情況測(cè)得數(shù)據(jù)均為

33、1 米 8，那么很可能認(rèn)為這個(gè)人的身高就是1 米8( 1 米6 作常值剔除) 。似乎，大數(shù)據(jù)時(shí)代，越來(lái)越多的數(shù)據(jù)在幫助我們了解 總體時(shí)有點(diǎn)大數(shù)定律的感覺(jué)，大數(shù)定律告訴我們，隨 著樣本數(shù)量的增加，樣本平均數(shù)越來(lái)越接近總體; 但大數(shù)據(jù)告訴我們的總體信息要比大數(shù)定理更真實(shí)， 大數(shù)據(jù)時(shí)代，由于樣本就是總體，大數(shù)據(jù)告訴我們總 體的真實(shí)情況。 3. 大數(shù)據(jù)時(shí)代，允許不精確性是針對(duì)大數(shù)據(jù)， 而不是統(tǒng)一標(biāo)準(zhǔn)。大數(shù)據(jù)的不精確性是偶然產(chǎn)生 的，而不是為了不精確性而制造不精確。并且，在專 門性的分析領(lǐng)域，仍需千方百計(jì)防止不精確性發(fā)生。譬如，為了精細(xì)管理公司業(yè)務(wù)，對(duì)公司財(cái)務(wù)分析就應(yīng) 該越精確越好。 ( 三) 轉(zhuǎn)變數(shù)據(jù)

34、關(guān)系分析的重點(diǎn) 傳統(tǒng)統(tǒng)計(jì)分析工作一般在處理數(shù)據(jù)時(shí)，會(huì)預(yù)先 假定事物之間存在某種因果關(guān)系，然后在此因果關(guān) 系假定的基礎(chǔ)上構(gòu)建模型并驗(yàn)證預(yù)先假定的因果關(guān) 系。在大數(shù)據(jù)時(shí)代，由于數(shù)據(jù)規(guī)模巨大、數(shù)據(jù)結(jié)構(gòu)復(fù) 雜以及數(shù)據(jù)變量錯(cuò)綜復(fù)雜，預(yù)設(shè)因果關(guān)系以及分析 因果關(guān)系相對(duì)復(fù)雜。于是，在大數(shù)據(jù)時(shí)代，分析數(shù)據(jù) 不再探求難以琢磨的因果關(guān)系，轉(zhuǎn)而關(guān)注事物的相 關(guān)關(guān)系。需要注意的是，大數(shù)據(jù)時(shí)代事物之間大數(shù) 據(jù)的相關(guān)分析與傳統(tǒng)統(tǒng)計(jì)學(xué)相關(guān)分析并不完全相同， 主要表現(xiàn)在以下幾個(gè)方面。 1. 分析思路不同。用傳統(tǒng)統(tǒng)計(jì)方法分析問(wèn)題 時(shí)，往往是先假設(shè)某種關(guān)系存在，然后根據(jù)假設(shè)有針 對(duì)性地計(jì)算變量之間的相關(guān)關(guān)系，這是一個(gè)“先假設(shè)，

35、后關(guān)系”的分析思路，傳統(tǒng)的關(guān)系計(jì)算思路適用于小 數(shù)據(jù)。在大數(shù)據(jù)時(shí)代，不僅數(shù)據(jù)量龐大，變量數(shù)目往 往也難以計(jì)數(shù)，“先假設(shè)，后關(guān)系”的思路不切實(shí)際。大數(shù)據(jù)關(guān)系分析往往是直接計(jì)算現(xiàn)象之間的相依性， 是既關(guān)聯(lián)又關(guān)系。另外，與傳統(tǒng)統(tǒng)計(jì)分析不同的是， 在小數(shù)據(jù)時(shí)代，數(shù)據(jù)量小且變量數(shù)目少，構(gòu)造回歸方 程和估計(jì)回歸方程比較容易。于是，人們?cè)诜治霈F(xiàn)象 之間的相關(guān)關(guān)系時(shí)，往往會(huì)建立回歸方程探求現(xiàn)象 之間的因果關(guān)系。 2. 關(guān)系形式不同。在小數(shù)據(jù)時(shí)代，由于計(jì)算機(jī)存儲(chǔ)和計(jì)算能力不足，大部分相關(guān)關(guān)系僅限于尋求線性關(guān)系7。大數(shù)據(jù)時(shí)代，現(xiàn)象的關(guān)系很復(fù)雜，不 僅可能是線性關(guān)系，更可能是非線性函數(shù)關(guān)系。更 一般的情況是，可能知

36、道現(xiàn)象之間相依的程度，但并 不清楚關(guān)系的形式。目前，針對(duì)結(jié)構(gòu)化的海量數(shù)據(jù)， 不管函數(shù)關(guān)系如何，eshef( 2011) 認(rèn)為，最大信息相 關(guān)系數(shù)( the maximal information coefficient ，MIC) 均可度量變量之間的相關(guān)程度12。但有些情況可能 連函數(shù)關(guān)系都沒(méi)有，譬如半結(jié)構(gòu)化數(shù)據(jù)變量和非結(jié) 構(gòu)化數(shù)據(jù)變量之間可能存在某種關(guān)聯(lián)關(guān)系，但沒(méi)法 知道變量之間關(guān)系的形式，因此，度量相關(guān)程度的方 法還有待完善。 3. 關(guān)系目的不同。傳統(tǒng)統(tǒng)計(jì)研究變量之間的相關(guān)關(guān)系往往具有兩個(gè)目的: 一是為了弄清楚變量之間的親疏程度; 再則是為了探求變量之間有無(wú)因果關(guān)系，是否可以建立回歸方程，

37、然后在回歸方程的 基礎(chǔ)上對(duì)因變量進(jìn)行預(yù)測(cè)。一個(gè)普遍的邏輯思路并 且在計(jì)算上可行的是，變量間的相關(guān)關(guān)系是一種最 普遍的關(guān)系，因果關(guān)系是特殊的相關(guān)關(guān)系，相關(guān)關(guān)系 往往能取代因果關(guān)系，即有因果關(guān)系必有相關(guān)關(guān)系， 但有相關(guān)關(guān)系不一定能找到因果關(guān)系。所以傳統(tǒng)的 統(tǒng)計(jì)學(xué)往往在相關(guān)關(guān)系基礎(chǔ)上尋找因果關(guān)系。在大 數(shù)據(jù)時(shí)代，統(tǒng)計(jì)研究的目的就是尋找變量或現(xiàn)象之 間的相關(guān)關(guān)系，然后根據(jù)變量或現(xiàn)象之間的相關(guān)關(guān) 系進(jìn)行由此及彼、由表及里的關(guān)聯(lián)預(yù)測(cè)。大數(shù)據(jù)時(shí) 代一般不做原因分析，一方面是因?yàn)閿?shù)據(jù)結(jié)構(gòu)和數(shù) 據(jù)關(guān)系錯(cuò)綜復(fù)雜，很難在變量間建立函數(shù)關(guān)系并在 此基礎(chǔ)上探討因果關(guān)系，尋找因果關(guān)系的時(shí)間成本 高昂; 另一方面是大數(shù)據(jù)具

38、有價(jià)值密度低、數(shù)據(jù)處理快的特點(diǎn)，大數(shù)據(jù)處理的是流式數(shù)據(jù)，由于數(shù)據(jù)規(guī)模 的不斷變化，變量間的因果關(guān)系具有時(shí)效性，往往存 在“此一時(shí)，彼一時(shí)”的情況，探尋因果關(guān)系往往有 點(diǎn)得不償失。 四、大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)科和統(tǒng)計(jì)研究工作的影響 對(duì)于統(tǒng)計(jì)學(xué)科的發(fā)展而言，大數(shù)據(jù)時(shí)代帶來(lái)的不僅是變革，更多的是統(tǒng)計(jì)學(xué)發(fā)展壯大的機(jī)會(huì)。大數(shù)據(jù)將使傳統(tǒng)統(tǒng)計(jì)學(xué)作為研究具體問(wèn)題的方法科學(xué)發(fā)生改變，改變統(tǒng)計(jì)研究的工作程序，改變統(tǒng)計(jì)學(xué)研究具體科學(xué)的深度和廣度。然而，大數(shù)據(jù)并不會(huì)改變傳統(tǒng)統(tǒng)計(jì)學(xué)的性質(zhì)。因此，對(duì)統(tǒng)計(jì)學(xué)而言，大數(shù)據(jù)帶來(lái)的是挑戰(zhàn)和機(jī)遇，同時(shí)也將壯大統(tǒng)計(jì)學(xué)的生命力。 16統(tǒng)計(jì)研究2014 年 2 月 ( 一) 大數(shù)據(jù)拓展了統(tǒng)計(jì)學(xué)的

39、研究對(duì)象 大數(shù)據(jù)對(duì)每個(gè)領(lǐng)域都會(huì)造成影響，統(tǒng)計(jì)學(xué)也不 例外。統(tǒng)計(jì)學(xué)的研究對(duì)象是指統(tǒng)計(jì)研究所要認(rèn)識(shí)的 客體，統(tǒng)計(jì)學(xué)的研究對(duì)象是客觀事物的數(shù)量特征和 數(shù)量關(guān)系，數(shù)量性是統(tǒng)計(jì)學(xué)研究對(duì)象的基本特點(diǎn)。但傳統(tǒng)的統(tǒng)計(jì)學(xué)認(rèn)為數(shù)據(jù)是來(lái)自試驗(yàn)或調(diào)查的數(shù) 值， 同時(shí)又認(rèn)為并不是任何一種數(shù)量都可以作為統(tǒng) 計(jì)對(duì)象。在大數(shù)據(jù)時(shí)代，不僅任何一種以結(jié)構(gòu)數(shù)據(jù) 度量的數(shù)量可以作為統(tǒng)計(jì)研究對(duì)象，而且不能用數(shù) 量關(guān)系衡量的如文本、圖片、視頻、聲音、動(dòng)畫、地理 位置等半結(jié)構(gòu)或非結(jié)構(gòu)數(shù)據(jù)都可以作為統(tǒng)計(jì)研究的 對(duì)象。從某種意義上來(lái)說(shuō)，大數(shù)據(jù)拓展了統(tǒng)計(jì)研究 的對(duì)象， 也擴(kuò)展了統(tǒng)計(jì)研究工作的范疇。 ( 二) 大數(shù)據(jù)影響統(tǒng)計(jì)計(jì)算的規(guī)范 傳統(tǒng)統(tǒng)計(jì)學(xué)

40、根據(jù)一定的數(shù)據(jù)計(jì)算規(guī)范，如用平均數(shù)、方差、相對(duì)數(shù)等反映客觀事物量的特征、量的界限、量的關(guān)系等等，并且可以根據(jù)具體計(jì)算規(guī)范計(jì)算具體數(shù)值。然而，由于半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)并不能根據(jù)計(jì)算規(guī)范計(jì)算平均數(shù)、方差、相對(duì)數(shù)等數(shù)值。顯然，在大數(shù)據(jù)時(shí)代直接利用計(jì)算規(guī)范計(jì)算平均數(shù)、方差、相對(duì)數(shù)等指標(biāo)將遇到挑戰(zhàn)。 ( 三) 大數(shù)據(jù)影響統(tǒng)計(jì)研究工作過(guò)程 統(tǒng)計(jì)學(xué)是關(guān)于數(shù)據(jù)搜集、整理、歸納和分析的方 法論科學(xué)，這些工作構(gòu)成了統(tǒng)計(jì)學(xué)科學(xué)體系的核心 內(nèi)容。根據(jù)統(tǒng)計(jì)學(xué)的核心內(nèi)容，統(tǒng)計(jì)研究的全過(guò)程 包括統(tǒng)計(jì)設(shè)計(jì)、收集數(shù)據(jù)、整理與分析和統(tǒng)計(jì)資料的 積累、開發(fā)與應(yīng)用等四個(gè)基本環(huán)節(jié)。在大數(shù)據(jù)時(shí)代， 網(wǎng)絡(luò)資料異常豐富，數(shù)據(jù)不再是通過(guò)

41、試驗(yàn)或調(diào)查抽 樣的方式獲得的，統(tǒng)計(jì)工作面對(duì)的數(shù)據(jù)就是總體數(shù) 據(jù)，即樣本就是總體。在這種情況下，傳統(tǒng)的數(shù)據(jù)收 集方法不再可行，針對(duì)大數(shù)據(jù)的數(shù)據(jù)收集往往通過(guò) 傳感器自動(dòng)采集數(shù)據(jù)，數(shù)據(jù)資料不再需要設(shè)計(jì)和人 工收集。大數(shù)據(jù)時(shí)代，統(tǒng)計(jì)研究的過(guò)程，只包括數(shù)據(jù) 整理與分析和數(shù)據(jù)的積累、開發(fā)與應(yīng)用兩個(gè)基本 環(huán)節(jié)。 1. 數(shù)據(jù)整理與分析。 統(tǒng)計(jì)數(shù)據(jù)的整理一般指對(duì)統(tǒng)計(jì)數(shù)據(jù)進(jìn)行匯總， 包括確定總體的處理方法和確定匯總哪些指標(biāo)兩個(gè) 方面，具體而言，有統(tǒng)計(jì)資料的審核、資料的分組和 匯總、編制統(tǒng)計(jì)表或繪制統(tǒng)計(jì)圖、統(tǒng)計(jì)數(shù)據(jù)資料的積 累、保管和公布等四個(gè)步驟。在針對(duì)大數(shù)據(jù)的整理 過(guò)程中，由于數(shù)據(jù)資料巨大、數(shù)據(jù)類型復(fù)雜以及要求

42、 數(shù)據(jù)處理速度快等特點(diǎn)，對(duì)數(shù)據(jù)的分組和匯總、編制統(tǒng)計(jì)表或繪制統(tǒng)計(jì)圖常常無(wú)法實(shí)施，統(tǒng)計(jì)資料的整理往往只有資料的審核和資料的儲(chǔ)存兩個(gè)環(huán)節(jié)。但大數(shù)據(jù)的審核和儲(chǔ)存不同于傳統(tǒng)統(tǒng)計(jì)意義上的資料審核和資料保存。 ( 1) 數(shù)據(jù)的審核。傳統(tǒng)的數(shù)據(jù)審核是為了檢查原始數(shù)據(jù)的完整性與準(zhǔn)確性，而大數(shù)據(jù)的審核往往是在兼顧數(shù)據(jù)處理速度和預(yù)測(cè)的準(zhǔn)確性前提下，確定要處理的數(shù)據(jù)規(guī)模，即確定數(shù)據(jù)量的級(jí)別。Pat Helland 認(rèn)為處理海量數(shù)據(jù)不可避免地導(dǎo)致部分信 息的損失13。另外，大數(shù)據(jù)本身是雜亂無(wú)章的，是有噪音的、混雜的、內(nèi)部相關(guān)的和不穩(wěn)定的，盡管如此，有噪音的數(shù)據(jù)也因?yàn)槠淠馨l(fā)現(xiàn)隱藏的關(guān)系模式和知識(shí)而比小樣本更有價(jià)值13。

43、因此，反映研究對(duì)象的數(shù)據(jù)可能是正確的，也有可能是錯(cuò)誤的，但不管哪一種， 都是大數(shù)據(jù)的一部分，只要是法規(guī)條件允許下，所有 數(shù)據(jù)都是有價(jià)值的，一般不作刪除或替換。 ( 2) 數(shù)據(jù)的儲(chǔ)存。傳統(tǒng)的數(shù)據(jù)保存是將經(jīng)過(guò)審核、分組匯總和編制統(tǒng)計(jì)圖表的統(tǒng)計(jì)資料作為重要 的資料積累和保管起來(lái)。大數(shù)據(jù)的儲(chǔ)存一般是為了 控制存儲(chǔ)成本，按照法規(guī)計(jì)劃制定存儲(chǔ)數(shù)據(jù)的規(guī)模。 2. 數(shù)據(jù)的積累、開發(fā)與應(yīng)用。 ( 1) 數(shù)據(jù)的積累。傳統(tǒng)的統(tǒng)計(jì)工作根據(jù)事先確定的研究目的對(duì)數(shù)據(jù)進(jìn)行分類、匯總，然后保存數(shù)據(jù)， 便于日后分析和查詢。對(duì)大數(shù)據(jù)而言，有價(jià)值的信息 往往是在對(duì)數(shù)據(jù)進(jìn)行處理之后發(fā)現(xiàn)的，并不是在事先目的前提下處理數(shù)據(jù)發(fā)現(xiàn)的。Vik

44、tor 認(rèn)為大數(shù)據(jù)的 混亂應(yīng)該是一種標(biāo)準(zhǔn)途徑，而不應(yīng)該竭力避免10。 大數(shù)據(jù)的復(fù)雜性是客觀存在的，在大數(shù)據(jù)積 累的過(guò)程中，不要輕易地做出簡(jiǎn)單的處理，一方面是因?yàn)榇?數(shù)據(jù)規(guī)模龐大、結(jié)構(gòu)復(fù)雜，很難對(duì)其進(jìn)行簡(jiǎn)單的分類 整理; 另一方面是對(duì)大數(shù)據(jù)的簡(jiǎn)單整理，如排序、分類、刪除，可能造成新的混亂，破壞了原有數(shù)據(jù)的真實(shí) 性并因而損失原有數(shù)據(jù)中有價(jià)值的信息。 ( 2) 數(shù)據(jù)的開發(fā)。傳統(tǒng)數(shù)據(jù)由于樣本量小、解決問(wèn)題目的性強(qiáng)，數(shù)據(jù)價(jià)值往往存在時(shí)效性特點(diǎn)，即 數(shù)據(jù)價(jià)值會(huì)隨著使用次數(shù)的增加或時(shí)間流逝而降 低。而大數(shù)據(jù)具有流動(dòng)性，會(huì)隨著時(shí)間的日積月累 而不斷“壯大”，往往具有不斷推陳出新、重塑價(jià)值 的可能，數(shù)據(jù)價(jià)值具有

45、“再生性”。在大數(shù)據(jù)時(shí)代， 數(shù)據(jù)就像一個(gè)神奇的鉆石礦，其價(jià)值被挖掘之后還 能源源不斷產(chǎn)生新的價(jià)值。可以說(shuō)，在大數(shù)據(jù)時(shí)代， 第 31 卷第 2 期17朱建平等: 大數(shù)據(jù)時(shí)代下數(shù)據(jù)分析理念的辨析 數(shù)據(jù)不但不會(huì)貶值、過(guò)時(shí)，而且還會(huì)不斷增值，為了更全面、深入地了解研究對(duì)象，往往需要對(duì)數(shù)據(jù)進(jìn)行整合，即將部分?jǐn)?shù)據(jù)合并，整合的數(shù)據(jù)因?yàn)閷?duì)研究對(duì)象反映更全面，常常會(huì)發(fā)現(xiàn)新問(wèn)題，創(chuàng)造新價(jià)值。從這個(gè)角度來(lái)說(shuō)，整合的數(shù)據(jù)價(jià)值往往大于部分價(jià)值。因此，分析研究大數(shù)據(jù)，應(yīng)懷有謙卑的心理，不用擔(dān)心數(shù)據(jù)量的龐大，并且要有整合大數(shù)據(jù)的勇氣。 ( 3) 數(shù)據(jù)的應(yīng)用。傳統(tǒng)數(shù)據(jù)應(yīng)用的目的通常是為了解釋現(xiàn)象和預(yù)測(cè)未來(lái)，即探尋相關(guān)關(guān)系和因

46、果 關(guān)系，然后在相關(guān)關(guān)系和因果關(guān)系的基礎(chǔ)上進(jìn)行預(yù) 測(cè)。在大數(shù)據(jù)時(shí)代，建立在相關(guān)關(guān)系方法基礎(chǔ)上的 預(yù)測(cè)是大數(shù)據(jù)的核心。由于大數(shù)據(jù)具有價(jià)值性特 點(diǎn)，這就表明在大數(shù)據(jù)時(shí)代商業(yè)競(jìng)爭(zhēng)的環(huán)境里，要求 對(duì)大數(shù)據(jù)的處理迅速及時(shí)。這里需要提及的是，由 于數(shù)據(jù)量龐大，結(jié)構(gòu)復(fù)雜，在數(shù)據(jù)的應(yīng)用過(guò)程中，對(duì)數(shù)據(jù)結(jié)果解釋，可視化就顯得尤為重要，Agrawal D等認(rèn)為大數(shù)據(jù)時(shí)代，數(shù)據(jù)分析結(jié)果可視化很有必要， 有助于解釋分析結(jié)果14。美國(guó)計(jì)算機(jī)學(xué)會(huì)的數(shù)字 圖書館中第一篇使用“大數(shù)據(jù)”的文章是邁克爾考 克斯和大衛(wèi)埃爾斯沃思在第八屆美國(guó)電氣和電子工程師協(xié)會(huì)( IEEE) 關(guān)于可視化的會(huì)議論中發(fā)表的為外存模型可視化而應(yīng)用控制程序請(qǐng)

47、求頁(yè)面 調(diào)度，他們?cè)谠撐牡钠滋岬健翱梢暬瘜?duì)計(jì)算機(jī)系 統(tǒng)提出了一個(gè)有趣的挑戰(zhàn): 通常情況下數(shù)據(jù)集相當(dāng)大，耗盡了主存儲(chǔ)器、本地磁盤、甚至是遠(yuǎn)程磁盤的 存儲(chǔ)容量”。雖然如此，但我們依然要關(guān)注數(shù)據(jù)的 可視化，因?yàn)樗沁B接數(shù)據(jù)和心靈最便捷的橋梁。 五、小結(jié) 大數(shù)據(jù)從狹義的角度來(lái)講，不僅是指數(shù)據(jù)規(guī)模巨大，還指數(shù)據(jù)結(jié)構(gòu)復(fù)雜; 從廣義角度來(lái)講，大數(shù)據(jù)還指處理大規(guī)模復(fù)雜數(shù)據(jù)的技術(shù)。由于在大數(shù)據(jù)時(shí)代數(shù)據(jù)意味著信息，所有有價(jià)值的信息都源自對(duì)數(shù)于數(shù)據(jù)規(guī)模巨大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜等特點(diǎn)，以及整理數(shù)據(jù)可能損壞原有數(shù)據(jù)中有價(jià)值信息，針對(duì)大數(shù)據(jù)的 統(tǒng)計(jì)研究過(guò)程僅包括數(shù)據(jù)整理與分析和數(shù)據(jù)的積 累、開發(fā)與應(yīng)用兩個(gè)基本環(huán)節(jié)。進(jìn)一步的分

48、析表明， 大數(shù)據(jù)整理與分析過(guò)程僅指數(shù)據(jù)儲(chǔ)存工作。總的說(shuō) 來(lái)， 大數(shù)據(jù)統(tǒng)計(jì)研究過(guò)程包括數(shù)據(jù)儲(chǔ)存和數(shù)據(jù)的積 累、開發(fā)與應(yīng)用兩個(gè)環(huán)節(jié)。 2. 轉(zhuǎn)變統(tǒng)計(jì)研究方法。傳統(tǒng)的統(tǒng)計(jì)研究方法， 如建立回歸方程、估計(jì)模型參數(shù)、檢驗(yàn)參數(shù)估計(jì)結(jié)果 等因?yàn)榇髷?shù)據(jù)的特點(diǎn)而無(wú)法實(shí)施，對(duì)大數(shù)據(jù)的統(tǒng)計(jì) 分析是以相關(guān)關(guān)系為基礎(chǔ)展開的。但針對(duì)大數(shù)據(jù)的 相關(guān)關(guān)系分析不同于傳統(tǒng)的相關(guān)關(guān)系的分析，傳統(tǒng) 的相關(guān)分析基本是線性相關(guān)分析，大數(shù)據(jù)研究的相 關(guān)關(guān)系分析的不僅是線性相關(guān)，更多的是非線性相 關(guān)以及不明確函數(shù)形式的線性關(guān)系。 3. 轉(zhuǎn)變統(tǒng)計(jì)研究目的。傳統(tǒng)統(tǒng)計(jì)研究的目的主 要是為了探尋現(xiàn)象( 或變量) 間的相關(guān)關(guān)系、因果關(guān)系以及建立在相關(guān)

49、關(guān)系或因果關(guān)系基礎(chǔ)上的預(yù)測(cè)分 析。大數(shù)據(jù)由于數(shù)據(jù)規(guī)模巨大和數(shù)據(jù)結(jié)構(gòu)復(fù)雜以及 要求數(shù)據(jù)處理速度快等特點(diǎn)，因果分析往往不可行。大數(shù)據(jù)時(shí)代統(tǒng)計(jì)研究分析的目的主要是研究現(xiàn)象間 的相關(guān)關(guān)系以及建立在相關(guān)分析基礎(chǔ)上的預(yù)測(cè)分析。 4. 轉(zhuǎn)變統(tǒng)計(jì)研究工作思想。傳統(tǒng)統(tǒng)計(jì)研究工作中，囿于計(jì)算技術(shù)的限制，總是希望用盡量少的數(shù)據(jù)和相對(duì)復(fù)雜的模型盡量獲取有價(jià)值的信息。傳統(tǒng)的統(tǒng)計(jì)抽樣調(diào)查方法雖然在小數(shù)據(jù)時(shí)代有助于節(jié)省費(fèi)用、了解總體信息，但可能存在抽樣框不穩(wěn)定、調(diào)查樣本片面、調(diào)查結(jié)果經(jīng)不起細(xì)分以及糾偏成本高昂的缺陷。在大數(shù)據(jù)時(shí)代，樣本即總體，由于計(jì)算機(jī)超前的數(shù)據(jù)處理能力，可以通過(guò)分析處理大數(shù)據(jù)了解總體各方面的信息。另外，還

50、需將傳統(tǒng)統(tǒng)計(jì)質(zhì)量管理控制中的事后檢驗(yàn)轉(zhuǎn)變?yōu)槭孪阮A(yù)測(cè)，以及轉(zhuǎn)變盡量利用復(fù)雜模型的思想為巧用簡(jiǎn)單模型的思想。 據(jù)的處理。大數(shù)據(jù)時(shí)代，數(shù)據(jù)對(duì)個(gè)人或家庭而言意味著良機(jī)，對(duì)廠商而言數(shù)據(jù)意味著商機(jī)，對(duì)國(guó)家而言數(shù)據(jù)意味著發(fā)展契機(jī)。對(duì)統(tǒng)計(jì)工作者而言，這種改變不僅意味著拓寬了統(tǒng)計(jì)研究的范疇、豐富了統(tǒng)計(jì)研究的內(nèi)容、增強(qiáng)了統(tǒng)計(jì)學(xué)的生命力，還意味著統(tǒng)計(jì)工作及統(tǒng)計(jì)研究的四個(gè)轉(zhuǎn)變。 1. 轉(zhuǎn)變統(tǒng)計(jì)研究過(guò)程。傳統(tǒng)的統(tǒng)計(jì)研究過(guò)程包括統(tǒng)計(jì)設(shè)計(jì)、收集數(shù)據(jù)、整理與分析和統(tǒng)計(jì)資料的積累、開發(fā)與應(yīng)用等四個(gè)基本環(huán)節(jié)。大數(shù)據(jù)時(shí)代，由 參考文獻(xiàn) 1 http: / / zh wikipedia org / wiki / : 大 數(shù) 據(jù) 百

51、科，2012 10 5. 2 Mckinsey Global Institute，Big Data: The next frontier for innovation，Competition and productivity，2011 5. 3 http: / / www networkworld com / news /2012 /051012 big-data 259147 html. 4 http: / / www teradatamagazine com / v11n01 / Features / Big-Data / : Merv Adrian Big DataN / OL Tera

52、data Magazine. 第 31 卷第 2 期 統(tǒng)計(jì)研究 Vol 31，No. 2 2014 年 2 月 Statistical esearch Feb 2014 *我國(guó)政府采購(gòu)的價(jià)格監(jiān)測(cè) 王群勇 陳燕平 內(nèi)容提要: 價(jià)格監(jiān)管的缺失是導(dǎo)致我國(guó)政府采購(gòu)價(jià)格虛高的重要原因，也是“政府采購(gòu)價(jià)格應(yīng)低于市場(chǎng)平均價(jià) 格” 這一法律條文變成一紙空文的根源。本文提出了我國(guó)政府采購(gòu)的一個(gè)價(jià)格監(jiān)測(cè)理論模型，依據(jù)采購(gòu)拍賣理論 測(cè)算采購(gòu)預(yù)警價(jià)格。與單純的將采購(gòu)價(jià)格與市場(chǎng)平均價(jià)格相比，這種方法更充分地考慮了市場(chǎng)環(huán)境和投標(biāo)環(huán)境的 競(jìng)爭(zhēng)因素。對(duì)天津市政府采購(gòu)中心 2012 年 8 月至 2013 年 7 月份協(xié)議采購(gòu)

53、商品的實(shí)證分析表明，該模型具有良好的擬 合能力和穩(wěn)健性。蒙特卡洛模擬實(shí)驗(yàn)表明，該模型對(duì)于異常交易的發(fā)現(xiàn)率明顯提高。 關(guān)鍵詞: 政府采購(gòu); 價(jià)格監(jiān)測(cè)模型; 采購(gòu)預(yù)警價(jià)格 中圖分類號(hào): C829. 2 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1002 4565( 2014) 02 0018 06 Price Monitoring of Government Procurement in China Wang Qunyong Chen Yanping Abstract: The lack of price supervision is a major reason for the artificially h

54、igh procurement prices and it is also the resource of the impracticable legal provision that “the government procurement price should be lower than the average market price” The paper proposed a new price supervision model which computes the procurement warning price based on procurement auction the

55、ory Compared with the method of monitoring the procurement price using average market price，our method considers the competing factors of market environment and bid environment The positive analysis of the goods in Tianjin Government Procurement Center from August 2012 to July 2013 reveals that the

56、model has high fitness and robustness A Monte Carlo simulation verifies that the model improves the detection rate of abnormal procurements The model provides an efficient and liable precautionary and warning mechanism for the government procurement in China Key words: Government Procurement; Price Monitoring Model; Procurement Warning Price 調(diào)整、促進(jìn)中小企業(yè)發(fā)展等多重使命，卻屢屢因?yàn)閮r(jià) 一、引言與文獻(xiàn) 格虛高而飽受詬病。究其原因，既包括我國(guó)財(cái)政預(yù) 自 1998 年我國(guó)引入政府采購(gòu)制度以來(lái)，政府采購(gòu)迅速發(fā)展，2012 年我國(guó)政府采購(gòu)金額突破了萬(wàn)億元。中國(guó)政府采購(gòu)擔(dān)負(fù)著節(jié)約財(cái)政資金、引導(dǎo)產(chǎn)業(yè) 算制度和政府采購(gòu)法規(guī)的不完善，也包括各地采購(gòu)機(jī)制設(shè)計(jì)的漏洞，歸根結(jié)底是因?yàn)閮r(jià)格