大數(shù)據(jù)與統(tǒng)計(jì)的機(jī)遇與挑戰(zhàn)

2012年以來，大數(shù)據(jù)（大數(shù)據(jù)）一詞在全球范圍內(nèi)很受歡迎。對(duì)于大數(shù)據(jù)的研究和利用,一些發(fā)達(dá)國家已經(jīng)上升到國家戰(zhàn)略的高度,同樣的在我國也引起高度重視。2013年5月,國家統(tǒng)計(jì)局馬建堂局長在科研所等單位上報(bào)的有關(guān)大數(shù)據(jù)的報(bào)告上批示:“我們對(duì)大數(shù)據(jù)對(duì)我國統(tǒng)計(jì)工作的機(jī)遇與挑戰(zhàn),無論如何強(qiáng)調(diào)都不過分,甚至都不夠。抓住這一機(jī)遇和挑戰(zhàn),當(dāng)前的關(guān)鍵還是統(tǒng)一思想,堅(jiān)定意志,主動(dòng)進(jìn)取。如果我們不想成為落伍者,而欲成為弄潮兒,就必須清醒地認(rèn)識(shí)這一點(diǎn)?！币虼?以數(shù)據(jù)質(zhì)量作為生命線的政府綜合統(tǒng)計(jì)如何適應(yīng)大數(shù)據(jù)時(shí)代值得深思。一、大數(shù)據(jù)化解決政府統(tǒng)計(jì)危機(jī)的必要性近年來,工資“被增長”、CPI“被下降”、房?jī)r(jià)“被降低”、失業(yè)率“被減少”……因百姓的切身感受與統(tǒng)計(jì)數(shù)據(jù)之間的差異,導(dǎo)致了社會(huì)對(duì)統(tǒng)計(jì)數(shù)據(jù)的質(zhì)疑,政府統(tǒng)計(jì)的權(quán)威性和公信力也因此受到質(zhì)疑。這既可能是由于方法制度不完善造成的,也有可能是宣傳不到位和信息解讀不夠等原因造成。如何化解統(tǒng)計(jì)數(shù)據(jù)信任危機(jī),重塑政府統(tǒng)計(jì)權(quán)威性和公信力?興許利用大數(shù)據(jù)能夠很好的化解這一危機(jī)。那么何為大數(shù)據(jù)呢,它具有什么特點(diǎn)呢?維基百科認(rèn)為,大數(shù)據(jù)是一個(gè)難以通過現(xiàn)有數(shù)據(jù)庫管理工具進(jìn)行處理的大而復(fù)雜的數(shù)據(jù)集的集合。它是繼云計(jì)算、物聯(lián)網(wǎng)后的又一次顛覆性技術(shù)革命,它的特點(diǎn)可以用有四個(gè)以“V”為開頭的單詞表示,即數(shù)據(jù)量十分龐大(Volume)、產(chǎn)生頻率非常快(Velocity)、數(shù)據(jù)類型繁多(Variety)和數(shù)據(jù)量不穩(wěn)定(Variability)。政府統(tǒng)計(jì)如果挖掘這一數(shù)據(jù)寶庫,對(duì)于促進(jìn)政府統(tǒng)計(jì)改革發(fā)展具有重大意義。主要表現(xiàn)為:通過利用客觀存在的海量數(shù)據(jù),能夠有效降低調(diào)查成本;大數(shù)據(jù)化的采集方式減少了層層上報(bào)環(huán)節(jié),有助于提高數(shù)據(jù)及時(shí)性、準(zhǔn)確性。同時(shí),通過對(duì)海量數(shù)據(jù)的分析、整理,可以對(duì)經(jīng)濟(jì)社會(huì)運(yùn)行情況進(jìn)行多方面印證,減輕外界對(duì)于統(tǒng)計(jì)數(shù)據(jù)準(zhǔn)確性的質(zhì)疑。二、在大數(shù)據(jù)背景下，政府的統(tǒng)計(jì)數(shù)據(jù)面臨著挑戰(zhàn)1.在統(tǒng)計(jì)設(shè)計(jì)方面三、在大數(shù)據(jù)背景下，政府統(tǒng)計(jì)數(shù)據(jù)的轉(zhuǎn)變?nèi)缦?.表處理程序簡(jiǎn)單統(tǒng)計(jì)設(shè)計(jì)是對(duì)統(tǒng)計(jì)研究對(duì)象的內(nèi)容和統(tǒng)計(jì)工作過程通盤規(guī)劃和統(tǒng)籌規(guī)劃的綜合。在大數(shù)據(jù)背景下,面臨兩方面挑戰(zhàn)。一是一套表設(shè)計(jì)不專不全。目前實(shí)施的一套表制度,還不完全是真正意義上的一套表,一方面,仍存在多頭設(shè)計(jì)、專業(yè)布置、分別收集、分別審核、分別匯總處理,僅僅是各種報(bào)表在數(shù)據(jù)處理程序上的簡(jiǎn)單匯集而已;另一方面,針對(duì)住戶和個(gè)人調(diào)查的內(nèi)容、部門以及“三下”單位仍沒有納入一套表。二是統(tǒng)計(jì)標(biāo)準(zhǔn)化較難?！督y(tǒng)計(jì)法》雖然賦予國家統(tǒng)計(jì)局對(duì)部門統(tǒng)計(jì)調(diào)查項(xiàng)目的管理權(quán)、部門標(biāo)準(zhǔn)的審批權(quán),但在實(shí)際工作中由于工作性質(zhì)、職責(zé)權(quán)限和業(yè)務(wù)流程的不同,政府綜合統(tǒng)計(jì)和政府部門統(tǒng)計(jì)對(duì)數(shù)據(jù)采集的管理不統(tǒng)一、不規(guī)范,指標(biāo)口徑范圍不可能完全相同,容易出現(xiàn)數(shù)據(jù)打架或者數(shù)出多門的現(xiàn)象。2.數(shù)據(jù)采集模式不夠健全數(shù)據(jù)生產(chǎn)過程分為數(shù)據(jù)收集、整理和分析三大階段。一是數(shù)據(jù)采集模式。2012年,我國采用一套表網(wǎng)上直報(bào)制度,實(shí)現(xiàn)各級(jí)共享,但仍然沒有從根本上改變“我布置,你填報(bào)”的傳統(tǒng)數(shù)據(jù)采集模式,如果統(tǒng)計(jì)調(diào)查工作人員責(zé)任心不強(qiáng)或者調(diào)查對(duì)象配合程度不高,那么數(shù)據(jù)質(zhì)量難以有效控制。二是數(shù)據(jù)整理模式。目前,我國數(shù)據(jù)生產(chǎn)模式主要以結(jié)構(gòu)化數(shù)據(jù)處理為主,采用超級(jí)匯總方法得到。三是數(shù)據(jù)分析模式。在政府統(tǒng)計(jì)領(lǐng)域,部門對(duì)數(shù)據(jù)信息的敏感度不強(qiáng),應(yīng)用數(shù)據(jù)信息指導(dǎo)工作的意識(shí)不夠,導(dǎo)致很多數(shù)據(jù)資料并未被真正利用起來;同時(shí),數(shù)據(jù)分析應(yīng)用仍然處于低端水平,一般以描述性統(tǒng)計(jì)分析為主、短期性分析為主,對(duì)于長期性、趨勢(shì)性分析仍然較少,還未形成一套完整的數(shù)據(jù)綜合分析應(yīng)用體系,因此造成數(shù)據(jù)服務(wù)決策的參考作用不明顯。3.我國數(shù)據(jù)公布內(nèi)容不全一是數(shù)據(jù)發(fā)布時(shí)間滯后。2002年,中國正式加入國際貨幣基金組織數(shù)據(jù)公布通用系統(tǒng)(GDDS),但我國的統(tǒng)計(jì)實(shí)踐與GDDS和SDDS(數(shù)據(jù)公布特殊標(biāo)準(zhǔn))的要求仍然存在一定距離。二是數(shù)據(jù)發(fā)布內(nèi)容不全。目前,政府統(tǒng)計(jì)往往公布一個(gè)結(jié)果性的、匯總性的數(shù)據(jù),而對(duì)于調(diào)查原始性、個(gè)性化數(shù)據(jù)提供較少,難以真正實(shí)現(xiàn)統(tǒng)計(jì)生產(chǎn)全過程共享,這就可能導(dǎo)致很多學(xué)者、研究人員處于想研究但無原始數(shù)據(jù)的尷尬。4.構(gòu)建以調(diào)查對(duì)象為核心的表體系。在實(shí)體一是服務(wù)較為被動(dòng)。一直以來,我國的政府統(tǒng)計(jì)部門以黨政機(jī)關(guān)為服務(wù)對(duì)象,對(duì)于廣大社會(huì)群體對(duì)數(shù)據(jù)產(chǎn)品需求服務(wù)仍然較少,缺乏服務(wù)主動(dòng)性。二是服務(wù)鏈較短。由于政府統(tǒng)計(jì)往往公布一個(gè)結(jié)果性的、匯總性的數(shù)據(jù),導(dǎo)致有些統(tǒng)計(jì)數(shù)據(jù)與社會(huì)公眾真實(shí)感受可能不一致,這既可能是由于方法制度不完善造成的,也有可能是宣傳不到位和信息解讀不夠等原因造成,換句話說服務(wù)鏈較短。構(gòu)建以調(diào)查對(duì)象為核心的一套表體系,這個(gè)“大一套表”體系相比傳統(tǒng)的一套表具有內(nèi)容更廣、處理更集中的特點(diǎn)。在這個(gè)體系下,對(duì)于不同的調(diào)查對(duì)象設(shè)計(jì)相應(yīng)的一套表,根據(jù)各自的特點(diǎn)靈活掌握,初步實(shí)現(xiàn)按調(diào)查對(duì)象實(shí)際情況“量身定做”統(tǒng)計(jì)調(diào)查內(nèi)容;對(duì)于相同的調(diào)查對(duì)象全部統(tǒng)計(jì)內(nèi)容集中統(tǒng)一布置、統(tǒng)一搜集,消除跨專業(yè)和跨部門對(duì)統(tǒng)一調(diào)查對(duì)象重復(fù)布置、重復(fù)統(tǒng)計(jì),進(jìn)而避免數(shù)出多門、數(shù)據(jù)打架的現(xiàn)象,從而減輕基層工作量。2.標(biāo)準(zhǔn)化大數(shù)據(jù)轉(zhuǎn)換要構(gòu)建跨部門、專業(yè)的“大一套表”體系,其前提就是構(gòu)建跨部門、專業(yè)的統(tǒng)一社會(huì)標(biāo)準(zhǔn),構(gòu)建“大標(biāo)準(zhǔn)”體系。在這個(gè)社會(huì)標(biāo)準(zhǔn)下,非標(biāo)準(zhǔn)化大數(shù)據(jù)可以轉(zhuǎn)換為標(biāo)準(zhǔn)化統(tǒng)計(jì)數(shù)據(jù)。因此,不管是行政記錄、商業(yè)記錄,還是企業(yè)生產(chǎn)記錄,都可以通過轉(zhuǎn)換為標(biāo)準(zhǔn)化統(tǒng)計(jì)數(shù)據(jù),從而解決長期以來各專業(yè)、各部門以及民間數(shù)據(jù)處理互通性差、統(tǒng)計(jì)口徑不一、數(shù)據(jù)銜接性差的問題,推進(jìn)了基礎(chǔ)工作的規(guī)范化;同時(shí)積極研發(fā)企業(yè)電子化生產(chǎn)經(jīng)營記錄自動(dòng)導(dǎo)入的軟件,用標(biāo)準(zhǔn)軟件采集數(shù)據(jù),實(shí)現(xiàn)由有障礙交流轉(zhuǎn)變?yōu)闊o障礙交流轉(zhuǎn)變,加快大數(shù)據(jù)的應(yīng)用步伐。3.建立智能化的數(shù)據(jù)采集方式大數(shù)據(jù)背景下,不再單純依靠“我布置,你填報(bào)”的傳統(tǒng)數(shù)據(jù)采集方式,而是依賴測(cè)量技術(shù)設(shè)備和方法的成熟和完善的智能化數(shù)據(jù)采集方式,這種采集方式得到的數(shù)據(jù)是信息技術(shù)記錄的原始記錄,大大減少了由于調(diào)查對(duì)象責(zé)任心、理解水平不同造成的人為數(shù)據(jù)質(zhì)量差異,大大減輕統(tǒng)計(jì)工作人員搜集數(shù)據(jù)產(chǎn)生的工作量。4.培養(yǎng)復(fù)合型人才大數(shù)據(jù)要求的數(shù)據(jù)整理分析技術(shù)遠(yuǎn)高于傳統(tǒng)數(shù)據(jù)分析方法,最關(guān)鍵的是數(shù)據(jù)分析和數(shù)據(jù)挖掘。因此,要培養(yǎng)復(fù)合型人才,對(duì)數(shù)學(xué)、經(jīng)濟(jì)學(xué)、統(tǒng)計(jì)學(xué)以及計(jì)算機(jī)等知識(shí)熟練掌握,有能力對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析挖掘,也能對(duì)言論、圖標(biāo)、視頻等半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行深度挖掘分析,大幅縮短數(shù)據(jù)獲取、處理和分析響應(yīng)時(shí)間,加快數(shù)據(jù)產(chǎn)品創(chuàng)新應(yīng)用,充分挖掘政府信息的經(jīng)濟(jì)價(jià)值,提高工作效率。5.數(shù)據(jù)共享與數(shù)據(jù)處理平臺(tái)目前,統(tǒng)計(jì)數(shù)據(jù)的流動(dòng)性和共享性遠(yuǎn)遠(yuǎn)不夠,一些重要數(shù)據(jù)資源獲取難度較大。在大數(shù)據(jù)時(shí)代下,數(shù)據(jù)工業(yè)功能逐步體現(xiàn),加快數(shù)據(jù)庫建設(shè),打破政府各部門、政府于民眾之間的“信息孤島”現(xiàn)狀,降低因分散存儲(chǔ)管理而丟失統(tǒng)計(jì)數(shù)據(jù)的風(fēng)險(xiǎn),構(gòu)建跨系統(tǒng)、跨部門的政府綜合信息處理平臺(tái),將原本分散、分離的碎片信息得到有效整合,使之在部門之間流暢協(xié)調(diào),實(shí)現(xiàn)數(shù)據(jù)共享與數(shù)據(jù)處理過程同步,真正實(shí)現(xiàn)統(tǒng)計(jì)生產(chǎn)全過程共享。6.發(fā)揮政府統(tǒng)計(jì)的主導(dǎo)作用,加快統(tǒng)計(jì)數(shù)據(jù)的應(yīng)用一直以來,大部份的政府統(tǒng)計(jì)數(shù)據(jù)仍然由統(tǒng)計(jì)部門生產(chǎn)并且掌握,這一優(yōu)勢(shì)決定統(tǒng)計(jì)部門在政府統(tǒng)計(jì)分析領(lǐng)域處于“一枝獨(dú)秀”地位。但在信息化、網(wǎng)絡(luò)化技術(shù)迅猛發(fā)展的今天,整個(gè)社會(huì)無時(shí)不在產(chǎn)生著海量的生產(chǎn)、交易、價(jià)格等電子化信息,形成了許許多多的大數(shù)據(jù),加上政府信息公開制度的完善,如何開發(fā)好、利用好這些數(shù)據(jù)資源,讓政府統(tǒng)計(jì)成果惠及全社會(huì)?面對(duì)大數(shù)據(jù),僅靠政府統(tǒng)計(jì)自身力量是很難做到的,應(yīng)該敞開統(tǒng)計(jì)的大門,讓更多的部門、大專院校、專家學(xué)者以及科研人員參與統(tǒng)計(jì)數(shù)據(jù)的分析研究工作,讓更多的人掌握統(tǒng)計(jì)數(shù)據(jù)的生產(chǎn)工藝和統(tǒng)計(jì)產(chǎn)品的生產(chǎn)流程,增加統(tǒng)計(jì)工作的透明度,提高政府統(tǒng)計(jì)公信力,加快統(tǒng)計(jì)數(shù)據(jù)應(yīng)用向“百花齊放”轉(zhuǎn)變,實(shí)現(xiàn)“死數(shù)據(jù)”向“活信息”的轉(zhuǎn)變,讓統(tǒng)計(jì)科研成果迅速轉(zhuǎn)化為生產(chǎn)率。7.在大數(shù)據(jù)時(shí)代為黨政機(jī)關(guān)和社會(huì)各界人士提供更豐富的統(tǒng)計(jì)服務(wù)大數(shù)據(jù)背景下,對(duì)于調(diào)查數(shù)據(jù)現(xiàn)實(shí)性、針對(duì)性、人性化要求空前提高,同樣的價(jià)值需求下,人們需要的不再僅僅是一個(gè)結(jié)果性質(zhì)的數(shù)據(jù),更需要統(tǒng)計(jì)部門提供更為詳細(xì)的過程信息,以表格、圖表、文字等發(fā)布形式更為豐富的統(tǒng)計(jì)調(diào)查數(shù)據(jù),滿足用戶多方面的個(gè)性化數(shù)據(jù)要求。2013年全國統(tǒng)