大數(shù)據(jù)

及其在數(shù)字城管的應(yīng)用探討陳向東中國(guó)測(cè)繪科學(xué)研究院2014年5月15日洛陽目錄

一、大數(shù)據(jù)二、大數(shù)據(jù)應(yīng)用案例三、大數(shù)據(jù)在數(shù)字城管應(yīng)用探討什么是大數(shù)據(jù)

春運(yùn)遷徙圖

根據(jù)2012年互聯(lián)網(wǎng)絡(luò)數(shù)據(jù)中心(IDC)發(fā)布的《數(shù)字宇宙2020》報(bào)告，2011年全球數(shù)據(jù)總量已達(dá)到1.87ZB(1ZB=十萬億億字節(jié))，并且以每?jī)赡攴环乃俣蕊w快增長(zhǎng)。預(yù)計(jì)到2020年，全球數(shù)據(jù)總量將達(dá)到35～40ZB，10年間將增長(zhǎng)20倍以上。

大數(shù)據(jù)已成為信息主權(quán)的一種表現(xiàn)形式，將是繼邊防、海防、空防之后大國(guó)博弈的另一個(gè)空間

大數(shù)據(jù)正在開啟一次重大的時(shí)代轉(zhuǎn)型，“它將改變?nèi)祟惖纳钜约袄斫馐澜绲姆绞?011年5月，在“云計(jì)算相遇大數(shù)據(jù)”為主題的EMCWorld2011會(huì)議中，EMC提出了BigData概念20世紀(jì)90年代，數(shù)據(jù)倉庫之父的BillInmon就經(jīng)常提及BigData什么是大數(shù)據(jù)大數(shù)據(jù)的4V特征—容量、類型、速度和價(jià)值

“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。

處理大數(shù)據(jù)的一些相關(guān)技術(shù)—存儲(chǔ)

結(jié)構(gòu)化數(shù)據(jù)海量數(shù)據(jù)的查詢、統(tǒng)計(jì)、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲(chǔ)不利于檢索、查詢和存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲(chǔ)按照非結(jié)構(gòu)化存儲(chǔ)處理大大數(shù)據(jù)據(jù)的一一些相相關(guān)技技術(shù)——分析數(shù)據(jù)處處理自然語語言處處理技技術(shù)統(tǒng)計(jì)和和分析析A/Btest;topN排行行榜；；地域域占比比；文文本情情感分分析數(shù)據(jù)挖挖掘關(guān)聯(lián)規(guī)規(guī)則分分析；；分類類；聚聚類模型預(yù)預(yù)測(cè)預(yù)測(cè)模模型；；機(jī)器器學(xué)習(xí)習(xí)；建建模仿仿真大數(shù)據(jù)據(jù)分析析三個(gè)個(gè)階段段第一階階段：：批量分分析數(shù)據(jù)主主要以以來自自內(nèi)部部結(jié)構(gòu)構(gòu)化數(shù)數(shù)據(jù)（（如生生產(chǎn)、、管理理數(shù)等等據(jù)））為主主第二階階段：：近實(shí)時(shí)時(shí)分析析數(shù)據(jù)分分析類類型從從傳統(tǒng)統(tǒng)的結(jié)結(jié)構(gòu)化化數(shù)據(jù)據(jù)逐步步演進(jìn)進(jìn)為結(jié)結(jié)構(gòu)化化，非非結(jié)構(gòu)構(gòu)化（（音視視頻、、社群群等））和半半結(jié)構(gòu)構(gòu)化數(shù)數(shù)據(jù)（（包括括系統(tǒng)統(tǒng)日志志、客客戶信信息））第三階階段：：實(shí)時(shí)分分析數(shù)據(jù)來來源和和種類類更加加豐富富，不不僅限限于內(nèi)內(nèi)部的的生產(chǎn)產(chǎn)數(shù)據(jù)據(jù)、用用戶數(shù)數(shù)據(jù)和和社群群網(wǎng)站站，還還會(huì)納納入來來自于于第三三方數(shù)數(shù)據(jù)（（競(jìng)爭(zhēng)爭(zhēng)實(shí)時(shí)時(shí)監(jiān)控控，目目標(biāo)用用戶群群體采采購(gòu)行行為監(jiān)監(jiān)控等等）大數(shù)據(jù)據(jù)應(yīng)用用平臺(tái)臺(tái)—一體化化大數(shù)據(jù)據(jù)環(huán)境境下的的基礎(chǔ)礎(chǔ)軟件件平臺(tái)臺(tái)很像像一個(gè)個(gè)“泛OS””，，以數(shù)數(shù)據(jù)為為中心心，將將操作作系統(tǒng)統(tǒng)、分分布式存儲(chǔ)儲(chǔ)、數(shù)數(shù)據(jù)庫庫等產(chǎn)產(chǎn)品融合起來，，對(duì)結(jié)結(jié)構(gòu)化化、半結(jié)構(gòu)構(gòu)化和和非結(jié)結(jié)構(gòu)化化等全全數(shù)據(jù)據(jù)進(jìn)行行高效存存儲(chǔ)與與管理，并對(duì)對(duì)應(yīng)用用提供供統(tǒng)一的數(shù)據(jù)據(jù)服務(wù)務(wù)支撐撐接口口國(guó)際上上一體體化融融合的的大數(shù)數(shù)據(jù)處處理平平臺(tái)已已經(jīng)成成為主主流趨趨勢(shì)2013年年，EMC公司司發(fā)布布了自自身的的ApacheHadoop發(fā)發(fā)行版版—PivotalHD大規(guī)模模并行行數(shù)據(jù)據(jù)庫技技術(shù)與與ApacheHadoop框框架集集成HAWQ的的技術(shù)術(shù)，將將Greenplum分分析型型數(shù)據(jù)據(jù)庫與與Hadoop分布布式架架構(gòu)進(jìn)進(jìn)行緊緊密地地融合合，實(shí)實(shí)現(xiàn)了了HDFS上SQL并行行數(shù)據(jù)據(jù)庫處處理，，提高高了性性能并并使Hadoop平平臺(tái)與與SQL開開發(fā)者者實(shí)現(xiàn)現(xiàn)了接接軌惠普則則發(fā)布布了大大數(shù)據(jù)據(jù)解決決方案案HAVEn分分析平平臺(tái)惠普大大數(shù)據(jù)據(jù)產(chǎn)品品的組組合整合了了Hadoop/HDFS、、HPAutonomy語義義處理理引擎擎、HPVertica列列存數(shù)數(shù)據(jù)庫庫、EntERPriseSecurity安全全技術(shù)術(shù)等形形成大大數(shù)據(jù)據(jù)處理理方案案。國(guó)內(nèi)，，業(yè)界界的主主流思思路用基于于MPP架架構(gòu)的的新型型數(shù)據(jù)據(jù)庫集集群(如EMCGreenPlum、南南大通通用GBase8a、、HPVertica等)管理理結(jié)構(gòu)構(gòu)化大大數(shù)據(jù)據(jù)，側(cè)側(cè)重于于行業(yè)業(yè)大數(shù)數(shù)據(jù)分分析型型應(yīng)用用場(chǎng)景景用基于于Hadoop的技技術(shù)擴(kuò)擴(kuò)展和和封裝裝(如如HBase數(shù)數(shù)據(jù)庫庫)管管理非非/半半結(jié)構(gòu)構(gòu)化大大數(shù)據(jù)據(jù)，側(cè)側(cè)重于于互聯(lián)聯(lián)網(wǎng)大大數(shù)據(jù)據(jù)應(yīng)用用場(chǎng)景景MPP集群群與Hadoop產(chǎn)產(chǎn)品混混搭部部署、、相互互融合合，共共同支支撐大大數(shù)據(jù)據(jù)應(yīng)用用。國(guó)家的的大數(shù)數(shù)據(jù)戰(zhàn)戰(zhàn)略、、信息息安全全戰(zhàn)略略，以以及大大數(shù)據(jù)據(jù)行業(yè)業(yè)應(yīng)用用引發(fā)發(fā)了對(duì)對(duì)國(guó)產(chǎn)產(chǎn)大數(shù)數(shù)據(jù)處處理基基礎(chǔ)軟軟件平平臺(tái)的的強(qiáng)勁勁需求求云計(jì)算算分布式式計(jì)算算網(wǎng)格計(jì)計(jì)算云計(jì)算算局域網(wǎng)網(wǎng)數(shù)數(shù)據(jù)資資源固固定計(jì)計(jì)算算資源源分布布全網(wǎng)網(wǎng)互聯(lián)網(wǎng)網(wǎng)數(shù)數(shù)據(jù)資資源、、計(jì)算算資源源相對(duì)對(duì)固定定互聯(lián)網(wǎng)網(wǎng)數(shù)數(shù)據(jù)資資源、、計(jì)算算資源源未知知大數(shù)據(jù)據(jù)與云云計(jì)算算大數(shù)據(jù)據(jù)常和和云計(jì)計(jì)算聯(lián)聯(lián)系到到一起起，因因?yàn)閷?shí)實(shí)時(shí)的的大型型數(shù)據(jù)據(jù)集分分析需需要分分布式式處理理框架架來向向數(shù)十十、數(shù)數(shù)百或或甚至至數(shù)萬萬的電電腦分分配工工作。。如果數(shù)數(shù)據(jù)是是財(cái)富富，那那么大大數(shù)據(jù)據(jù)就是是寶藏藏，而而云計(jì)計(jì)算就就是挖挖掘和和利用用寶藏藏的利利器??！沒有有強(qiáng)大大的計(jì)計(jì)算能能力，，數(shù)據(jù)據(jù)寶藏藏終究究是鏡鏡中花花；沒沒有大大數(shù)據(jù)據(jù)的積積淀，，云計(jì)計(jì)算也也只能能是殺殺雞用用的宰宰牛刀刀！云計(jì)算算充當(dāng)當(dāng)了工工業(yè)革革命時(shí)時(shí)期的的發(fā)動(dòng)動(dòng)機(jī)的的角色色，而而大數(shù)數(shù)據(jù)則則是電電。大數(shù)據(jù)據(jù)與云云計(jì)算算大數(shù)據(jù)據(jù)與云云計(jì)算算云計(jì)算算本身身也是是大數(shù)數(shù)據(jù)的的一種種業(yè)務(wù)務(wù)模式式對(duì)大數(shù)數(shù)據(jù)的的一些些思考考——大數(shù)據(jù)據(jù)究竟竟有多多大？？掌握更多的的數(shù)據(jù)對(duì)對(duì)于人人類科科學(xué)來來說是是一種種進(jìn)步步,那那有有助于于我們們認(rèn)識(shí)識(shí)客觀世世界。研究人人員只只是從從收集集到的的數(shù)據(jù)據(jù)中提提取了了1%的數(shù)據(jù)據(jù)進(jìn)行行分析析。這1%被分分析的的數(shù)據(jù)據(jù)支配了目前前的大大數(shù)據(jù)據(jù)創(chuàng)新，被稱稱為““大數(shù)數(shù)據(jù)””。“大數(shù)數(shù)據(jù)””其實(shí)實(shí)并不不大，，與反反映客客觀事事物的的真實(shí)數(shù)數(shù)據(jù)還有很很大的的差距。“人們們處理理的數(shù)數(shù)據(jù)從從樣本數(shù)數(shù)據(jù)變成全部數(shù)數(shù)據(jù)”的結(jié)結(jié)論至至少?gòu)膹哪壳扒暗臄?shù)數(shù)據(jù)收收集和和分析析能力力來說說是不不可能能實(shí)現(xiàn)現(xiàn)的。。對(duì)大數(shù)數(shù)據(jù)的的一些些思考考——大數(shù)據(jù)據(jù)能讓讓企業(yè)業(yè)盈利利嗎？？來源于于互聯(lián)聯(lián)網(wǎng)、、傳感感器、、流數(shù)數(shù)據(jù)庫庫、社社會(huì)網(wǎng)網(wǎng)絡(luò)等等方面面的數(shù)數(shù)據(jù)具具有多樣性性和差異性性,非常常復(fù)雜雜，許許多數(shù)數(shù)據(jù)形形式、、結(jié)構(gòu)構(gòu)都不不同，，有些些數(shù)據(jù)據(jù)甚至至互相相矛盾盾數(shù)據(jù)從從采集集、存存儲(chǔ)到到分析析都是是要花錢的，收收集、、存儲(chǔ)儲(chǔ)數(shù)據(jù)據(jù)的成本很高，，分析析數(shù)據(jù)據(jù)的成本更高數(shù)據(jù)挖挖掘項(xiàng)項(xiàng)目不不是一勞永永逸的。模模型出出現(xiàn)偏偏差就就不能能再按按原來來的方方案使使用這這個(gè)模模型了了，必必須對(duì)對(duì)模型型進(jìn)行行調(diào)整企業(yè)必必須了了解業(yè)業(yè)務(wù)人人員的的需要，再請(qǐng)請(qǐng)數(shù)據(jù)據(jù)分析析師幫助解解決問問題對(duì)大數(shù)數(shù)據(jù)的的一些些思考考——大數(shù)據(jù)據(jù)的分分析真真的很很準(zhǔn)嗎嗎？科學(xué)研研究實(shí)實(shí)際需需要的的數(shù)據(jù)據(jù)有可可能被被人們們收集集的海海量數(shù)數(shù)據(jù)所所淹沒人類通通過對(duì)對(duì)大數(shù)數(shù)據(jù)的的處理理，放放棄對(duì)對(duì)因果關(guān)關(guān)系的渴求求，轉(zhuǎn)轉(zhuǎn)而關(guān)關(guān)注相互聯(lián)聯(lián)系。這一一切代代表著著人類類告別總是試試圖了了解世世界運(yùn)運(yùn)轉(zhuǎn)方方式背背后深層原原因的態(tài)度度，而而走向向僅僅僅需要要弄清清現(xiàn)象之之間的的聯(lián)系系以及利利用這這些信信息來來解決決問題題數(shù)據(jù)不不懂社社交、、不懂懂背景景，會(huì)會(huì)制造造出更更多噪音，遺漏真正有有價(jià)值值的東東西，，大數(shù)數(shù)據(jù)無無法解解決大大問題題在日常常生活活中，，有很很多收收集不不到的的數(shù)據(jù)據(jù)，但但它們們非常常重要要，起起著決決定性性的作作用對(duì)大數(shù)數(shù)據(jù)的的一些些思考考——大數(shù)據(jù)據(jù)能繞繞過““隱私私權(quán)””嗎？？在大數(shù)數(shù)據(jù)時(shí)時(shí)代，，你透透明的的程度度已經(jīng)經(jīng)不取取決于于你了了，你你已經(jīng)經(jīng)被大大數(shù)據(jù)據(jù)監(jiān)控和和記錄錄了?在在大數(shù)數(shù)據(jù)時(shí)時(shí)代，，無處處不在在的數(shù)數(shù)據(jù)采采集系系統(tǒng)使使每個(gè)個(gè)人都都是赤裸裸裸的，沒沒有隱隱私，，無處可可藏。甚至至掌握握大量量數(shù)據(jù)據(jù)的分分析系系統(tǒng)比比你更更了解解你自自己75%的人不不希望望企業(yè)業(yè)儲(chǔ)存存他們們的個(gè)個(gè)人信信息，，幾乎乎90%的人反反對(duì)企企業(yè)跟跟蹤他他們的的網(wǎng)絡(luò)絡(luò)瀏覽覽記錄錄人們必必須用用一種種不僅僅欣賞賞其力力量而且承承認(rèn)其其局限限的態(tài)態(tài)度來來接納納大數(shù)數(shù)據(jù)二、大大數(shù)據(jù)據(jù)應(yīng)用用案例例大數(shù)據(jù)據(jù)應(yīng)用用—國(guó)外：：被改變變的政政治與與政府府一個(gè)略略有被被媒體體夸大大但基基本屬屬實(shí)的的案例例是，，奧巴巴馬今今年成成功連連任美美國(guó)總總統(tǒng)，，其背背后那那個(gè)幾十人人構(gòu)成的的數(shù)據(jù)據(jù)分析析與挖挖掘團(tuán)團(tuán)隊(duì)至至關(guān)重重要。。奧巴馬馬團(tuán)隊(duì)隊(duì)籌得得的第第一個(gè)個(gè)1億億美金金中，，98%來自于于小于于250美美金的的小額額捐款款，而而羅姆姆尼團(tuán)團(tuán)隊(duì)在在籌得得相同同數(shù)額額捐款款的情情況下下，這這一比比例僅僅為31%。奧巴馬馬勝選選的原原因不不在于于經(jīng)濟(jì)濟(jì)、外外交政政策或或是婦婦女問問題，，而是是贏在在大數(shù)據(jù)據(jù)！大數(shù)據(jù)據(jù)應(yīng)用用—國(guó)外：：被變革革的行行業(yè)與與產(chǎn)業(yè)業(yè)雅虎于于2008年年初便便開始始啟用用大數(shù)數(shù)據(jù)技技術(shù)，，每天天分析析超過過200PB的的數(shù)數(shù)據(jù)，，使得得雅虎虎的服服務(wù)變變得更更人性性化，，更貼貼近用用戶和和客戶戶亞馬遜遜不僅僅從每每個(gè)用用戶的的購(gòu)買買行為為中獲獲得信信息，，還將將每個(gè)個(gè)用戶戶在其其網(wǎng)站站上的的所有有行為為都記記錄下下來，，這些些數(shù)據(jù)據(jù)的有有效分分析使使得亞亞馬遜遜對(duì)于于客戶戶的購(gòu)購(gòu)買行行為和和喜好好有了了全方方位了了解，，對(duì)于于其貨貨品種種類、、庫存存、倉倉儲(chǔ)、、物流流、及及廣告告業(yè)務(wù)務(wù)上都都有著著極大大的效效益回回饋。。大數(shù)據(jù)據(jù)應(yīng)用用—國(guó)外：：被變革革的行行業(yè)與與產(chǎn)業(yè)業(yè)谷歌在在2009年，，甲型型H1N1流感感爆發(fā)發(fā)的幾幾周前前，互互聯(lián)網(wǎng)網(wǎng)巨頭頭谷歌歌公司司的工工程師師們?cè)谠凇蹲宰匀弧贰冯s志志上發(fā)發(fā)表了了一篇篇引人人注目目的論論文和疾控控中心心一樣樣，谷谷歌也也能判判斷出出流感感是從從哪里里傳播播出來來的，，而且且他們們的判判斷非非常及及時(shí)，，不會(huì)會(huì)像疾疾控中中心一一樣要要在流流感爆爆發(fā)一一兩周周之后后才可可以做做到谷歌公公司發(fā)發(fā)現(xiàn)能能夠通通過人人們?cè)谠诰W(wǎng)上上檢索索的詞詞條辨辨別出出其是是否感感染了了流感感后，，把5000萬條條美國(guó)國(guó)人最最頻繁繁檢索索的詞詞條和和美國(guó)國(guó)疾控控中心心在2003年年至2008年年間季季節(jié)性性流感感傳播播時(shí)期期的數(shù)數(shù)據(jù)進(jìn)進(jìn)行了了比較較通過一一個(gè)數(shù)數(shù)學(xué)模模型處處理后后，他他們的的預(yù)測(cè)測(cè)與官官方數(shù)數(shù)據(jù)的的相關(guān)關(guān)性高高達(dá)97%。2009年年甲型型H1N1流感感爆發(fā)發(fā)的時(shí)時(shí)候，，與習(xí)習(xí)慣性性滯后后的官官方數(shù)數(shù)據(jù)相相比，，谷歌歌成為為了一一個(gè)更更有效效、更更及時(shí)時(shí)的指指示標(biāo)標(biāo)。公公共衛(wèi)衛(wèi)生機(jī)機(jī)構(gòu)的的官員員獲得得了非非常有有價(jià)值值的數(shù)數(shù)據(jù)信信息。。大數(shù)據(jù)據(jù)應(yīng)用用—國(guó)內(nèi)：：兩會(huì)會(huì)大數(shù)數(shù)據(jù)關(guān)注度度集中中話題題關(guān)注兩兩會(huì)人人群分分布大數(shù)據(jù)據(jù)應(yīng)用用—國(guó)內(nèi)：：政府府在國(guó)內(nèi)，政政府各個(gè)部部門都握有有構(gòu)成社會(huì)會(huì)基礎(chǔ)的原原始數(shù)據(jù)，，比如，氣氣象數(shù)據(jù)，，金融數(shù)據(jù)據(jù)，信用數(shù)數(shù)據(jù)，電力力數(shù)據(jù)，煤煤氣數(shù)據(jù)，，自來水?dāng)?shù)數(shù)據(jù)，道路路交通數(shù)據(jù)據(jù)，客運(yùn)數(shù)數(shù)據(jù)，安全全刑事案件件數(shù)據(jù)，住住房數(shù)據(jù)，，海關(guān)數(shù)據(jù)據(jù)，出入境境數(shù)據(jù)，旅旅游數(shù)據(jù)，，醫(yī)療數(shù)據(jù)據(jù)，教育數(shù)數(shù)據(jù)，環(huán)保保數(shù)據(jù)等等等。單一的，靜靜態(tài)的。如果政府可可以將這些些數(shù)據(jù)關(guān)聯(lián)聯(lián)起來，并并對(duì)這些數(shù)數(shù)據(jù)進(jìn)行有有效的關(guān)聯(lián)聯(lián)分析和統(tǒng)統(tǒng)一管理，，這些數(shù)據(jù)據(jù)必定將獲獲得新生，，其價(jià)值是是無法估量量的。大數(shù)據(jù)應(yīng)用用—國(guó)內(nèi)：行業(yè)業(yè)城市規(guī)劃通過對(duì)城市市地理、氣氣象等自然然信息和經(jīng)經(jīng)濟(jì)、社會(huì)會(huì)、文化、、人口等人人文社會(huì)信信息的挖掘掘，可以為為城市規(guī)劃劃提供決策策，強(qiáng)化城城市管理服服務(wù)的科學(xué)學(xué)性和前瞻瞻性。交通管理通過對(duì)道路路交通信息息的實(shí)時(shí)挖挖掘，能有有效緩解交交通擁堵，，并快速響響應(yīng)突發(fā)狀狀況，為城城市交通的的良性運(yùn)轉(zhuǎn)轉(zhuǎn)提供科學(xué)學(xué)的決策依依據(jù)?；跓o錫錫移動(dòng)通通訊數(shù)據(jù)據(jù)平臺(tái)2013年年11月月至12月占無錫總總?cè)丝?8.4%的無無錫移動(dòng)動(dòng)505萬手機(jī)機(jī)用戶連續(xù)不間間斷追蹤蹤動(dòng)動(dòng)態(tài)采集集無錫城市市總體規(guī)規(guī)劃修編編軌道網(wǎng)擴(kuò)擴(kuò)編規(guī)劃劃重大規(guī)劃劃提供科科學(xué)依據(jù)據(jù)大數(shù)據(jù)應(yīng)應(yīng)用—國(guó)內(nèi)：行行業(yè)輿情監(jiān)控控通過網(wǎng)絡(luò)絡(luò)關(guān)鍵詞詞搜索及及語義智智能分析析，能提提高輿情情分析的的及時(shí)性性、全面面性，全全面掌握握社情民民意，提提高公共共服務(wù)能能力，應(yīng)應(yīng)對(duì)網(wǎng)絡(luò)絡(luò)突發(fā)的的公共事事件，打打擊違法法犯罪。。安防與防防災(zāi)通過大數(shù)數(shù)據(jù)的挖挖掘，可可以及時(shí)時(shí)發(fā)現(xiàn)人人為或自自然災(zāi)害害、恐怖怖事件，，提高應(yīng)應(yīng)急處理理能力和和安全防防范能力力。北京金融融街街道道與北京京移動(dòng)合合作，建建成區(qū)域域人流量量監(jiān)控分分析系統(tǒng)統(tǒng)，對(duì)金金融街核核心區(qū)的的人員流流動(dòng)情況況進(jìn)行時(shí)時(shí)