大數(shù)據(jù)技術(shù)應用

與智慧校園楊文川2014.4大數(shù)據(jù)推動各行業(yè)進入新時代一是關注社會民生，帶動管理服務創(chuàng)新二是促進信息消費，加快經(jīng)濟轉(zhuǎn)型升級數(shù)字化生活的重點

--將一切轉(zhuǎn)換為數(shù)據(jù)1995年美國MIT的NicholasNegroponte（尼古拉斯·尼葛洛龐帝）發(fā)表他的標志性著作BeingDigital（數(shù)字化生存）的時候，他的主題就是“從原子到比特”。20世紀90年代，我們主要對文本進行數(shù)字化。隨著過去的幾十年里存儲能力、處理能力和帶寬的提高，我們也能對圖像、視頻和音樂等類似的內(nèi)容執(zhí)行這種轉(zhuǎn)化了數(shù)字化是大數(shù)據(jù)的基礎量化一切、利用所有的數(shù)據(jù)

--大數(shù)據(jù)的基礎在數(shù)字化時代，獲取數(shù)據(jù)正變得比以往任何時候都簡單而不受限制文字、方位、社交關系等都變成了數(shù)據(jù)大數(shù)據(jù)重點

挖掘數(shù)據(jù)背后隱含的信息之前信息技術(shù)變革的重點在“T”（技術(shù)）上，而不是在“I”（信息）上。現(xiàn)代信息系統(tǒng)讓大數(shù)據(jù)成為了可能，是時候開始關注信息“I”本身了。大數(shù)據(jù)發(fā)展的核心動力來源于人類測量、記錄和分析世界的渴望。大數(shù)據(jù)應用于決策支持

以電影投資為例電影娛樂行業(yè)，開始采用大數(shù)據(jù)做投資決策劇情設置、演員、導演陣容，都以用戶在網(wǎng)站上的行為和使用數(shù)據(jù)做支撐精準定位觀眾人群，滿足其口味，并提供足夠的社交話題VS從《紙牌屋》說起

美國第一部大數(shù)據(jù)在線劇這是2013年Netflix基于大數(shù)據(jù)而投資拍攝的在線劇

劇情設置、演員導演，都以用戶在網(wǎng)站上的行為和數(shù)據(jù)做支撐；

從開發(fā)之日起便注定會受到觀眾的青睞。注意：Netflix是在線影片租賃公司大數(shù)據(jù)確定

劇情、演員Netflix上的電影和電視節(jié)目還被觀眾貼上了數(shù)以百計的標簽，包括影片的演員、情節(jié)、基調(diào)、類型等方面的描述。Netflix每天會對全美和世界的2700萬和3600萬注冊用戶的3000萬次“動作”（包括播放、暫停、倒退和快進等動作）、400萬次評級、300萬次搜索，以及一天中用戶觀看視頻的時間和設備進行觀測。

過去標簽用于根據(jù)用戶的喜好向用戶推薦節(jié)目現(xiàn)在Netflix開始根據(jù)用戶的偏好制作原創(chuàng)內(nèi)容主演為啥選凱文·史派西通過大數(shù)據(jù)及標簽分析Netflix知道，相當一部分觀眾喜歡大衛(wèi)·芬奇的作品，由凱文·史派西主演的電影通常很賣座，英國版的《紙牌屋》也很受歡迎。

有了這三個興趣人群，Netflix找到了一個維恩圖解交集，證明如此配置一部新版《紙牌屋》將穩(wěn)操勝券。與此同時，Netflix還根據(jù)精確的算法判定出為這樣一部電視劇付出多少投資是合理的?！都埮莆荨返诙緹岵ニ押曨l買下《紙牌屋》內(nèi)地播放版權(quán)，《紙牌屋》播放數(shù)顯示第一季13集播放次數(shù)達2000多萬次2月14日上線當天，第二季第1集播放數(shù)已經(jīng)超過145萬。新浪微博中，帶”紙牌屋“標簽的微博多達102萬條大數(shù)據(jù)影片帶動大收入Netflix花費1億美元制作的《紙牌屋》第一季受到了廣泛的好評，投資者也提高了對Netflix的熱情。除了《紙牌屋》，Netflix已經(jīng)投資數(shù)億美元來制作原創(chuàng)的系列電視劇——如《鐵杉樹叢》、《發(fā)展受阻》與夢工廠聯(lián)合出品的《極速蝸?！贰⒁约坝扇鹌妗峋S斯主演的《德里克》等。大數(shù)據(jù)影片，帶動2013Netflix營收較2012增長18%。單單是在美國市場上，Netflix的用戶人數(shù)就增加了200萬人。下雪了，怎么能沒有炸雞和啤酒《紙牌屋》和《來自星星的你》最近的火爆收視證明了：利用大數(shù)據(jù)對社交網(wǎng)絡話題進行分析，可為影視界帶來精準的對應人群，及票房貢獻力！大數(shù)據(jù)帶來的技術(shù)挑戰(zhàn)IT領域數(shù)據(jù)激增谷歌公司每天要處理超過24PB（250字節(jié)）的數(shù)據(jù)，這意味著其每天的數(shù)據(jù)處理量是美國國家圖書館所有紙質(zhì)出版物所含數(shù)據(jù)量的上千倍。YouTube每月多達8億的訪客，平均每一秒鐘就會有一段長度在一小時以上的視頻上傳。Facebook每天更新的照片量超過1000萬張，每天人們在網(wǎng)站上點擊Like按鈕或者寫評論大約有三十億次，為Facebook公司挖掘用戶喜好提供了大量的數(shù)據(jù)線索。Twitter上的信息量幾乎每年翻一番，目前統(tǒng)計是每天都會發(fā)布超過4億條微博海洋環(huán)境監(jiān)測與預報為監(jiān)測海洋環(huán)境，感知海表的高度和溫度變化每150平方海里海洋部署1個傳感器，每個傳感器都以每秒10次的速率傳回數(shù)據(jù)每次傳送的是4字節(jié)數(shù)據(jù)，每天產(chǎn)生的數(shù)據(jù)量為3.5MB環(huán)美洲的海洋需要100萬個傳感器，每天傳回的數(shù)據(jù)3.5TB全球海洋面積3.6億平方海里，需要360萬個，每天傳回10T以上的數(shù)據(jù)資源發(fā)展不平衡資源的分類計算能力，存儲能力，網(wǎng)絡速度瓶頸問題數(shù)據(jù)讀取能力的改進跟不上數(shù)據(jù)傳輸速度磁盤讀取速度100MB/s1T數(shù)據(jù)需要1000000/(100*60)=165min16Google遇到的問題數(shù)據(jù)來源種類多且量大需要高效可擴展處理綠色環(huán)保、價格適宜可靠性保證，充分利用帶寬資源17大數(shù)據(jù)提供了一種

廉價獲取海量計算和存儲能力

大數(shù)據(jù)處理之所以發(fā)生是因為：寬帶連接的普及使得人們時刻保持在線狀態(tài)廉價技術(shù)使大數(shù)據(jù)計算變成可能以前一個大型機，或者一個數(shù)據(jù)處理中心的事情，目前可以用一個Hadoop集群來完成大數(shù)據(jù)的四個特點大數(shù)據(jù)特點，業(yè)界通常用4個V來概括Volume、Variety、Value、Velocity第一，數(shù)據(jù)體量巨大從TB級別躍升到PB乃至EB級別。要知道目前的數(shù)據(jù)量有多大，我們先來看看一組公式。1024GB=1TB；1024TB=1PB；1024PB=1EB；1024EB=1ZB；1024ZB=1YB。到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，而歷史上全人類說過的所有的話的數(shù)據(jù)量大約是5EB。第二，數(shù)據(jù)類型繁多這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對于以往便于存儲的以文本為主的結(jié)構(gòu)化數(shù)據(jù)，越來越多的非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生給所有廠商都提出了挑戰(zhàn)。互聯(lián)網(wǎng)和通信技術(shù)近年來迅猛發(fā)展，如今的數(shù)據(jù)類型早已不是單一的文本形式，除了網(wǎng)絡日志、音頻、視頻、圖片、地理位置信息等等多類型的數(shù)據(jù)，對數(shù)據(jù)的處理能力提出了更高的要求。第三，價值密度低價值密度的高低與數(shù)據(jù)總量的大小成反比。以視頻為例，一部一小時的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題。第四，處理速度快這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。根據(jù)IDC的一份名為“數(shù)字宇宙”的報告，預計到2020年全球數(shù)據(jù)使用量將會達到35.2ZB。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。新技術(shù)變革由于需要處理的信息量過大，已經(jīng)超出了一般電腦的處理能力，必須改進處理數(shù)據(jù)的方法。這導致了新的處理技術(shù)的誕生，例如谷歌的MapReduce和開源Hadoop平臺。此外，這些數(shù)據(jù)不再需要用傳統(tǒng)的數(shù)據(jù)庫表格來整齊地排列——引入了消除數(shù)據(jù)結(jié)構(gòu)化和一致性的新型NoSQL技術(shù)。同時，互聯(lián)網(wǎng)公司成為最新處理技術(shù)的領頭實踐者，因為他們可以收集大量有價值的數(shù)據(jù)，而且有利用這些數(shù)據(jù)的強烈的利益驅(qū)動力Google搜索引擎基本處理流程25谷歌處理網(wǎng)頁的方法

形成倒排表由文章找詞—每次安排任務后，再布置執(zhí)行由詞找文章—后臺實時處理，以備隨時查詢

平時多流汗，戰(zhàn)時少出血Output:關鍵詞Key組成的倒排表Input:網(wǎng)上爬取的海量信息HelloWorldByeWorldHelloHadoopByeHadoopByeHadoopHelloHadoopBye3Hadoop4Hello3World2MapReduce對原始的數(shù)據(jù)進行分割（Split），得到N個不同的數(shù)據(jù)分塊WordCount-MapInput1,“HelloWorldByeWorld”2,“HelloHadoopByeHadoop”3,“ByeHadoopHelloHadoop”O(jiān)utput.Collecter<Hello,1><World,1><Bye,1><World,1><Hello,1><Hadoop,1><Bye,1><Hadoop,1><Bye,1><Hadoop,1><Hello,1><Hadoop,1>Map(K,V){ForeachwordwinVCollect(w,1);}MapMapMapMap過程WordCount-ReduceReduce(K,V[]){Intcount=0;ForeachvinVcount+=v;Collect(K,count);}InternalGrouping<Bye1,1,1><Hadoop2,2><Hello1,1,1><World2>ReduceOutput<Bye,3><Hadoop,4><Hello,3><World,2>ReduceReduceReduceReduceReduceInput<Hello,1><World,2><Bye,1><Hello,1><Hadoop,2><Bye,1><Bye,1><Hadoop,2><Hello,1>Reduce過程大數(shù)據(jù)和小數(shù)據(jù)的區(qū)別

大數(shù)據(jù)的關鍵技術(shù)混雜性是大數(shù)據(jù)標準途徑，大數(shù)據(jù)分析允許數(shù)據(jù)存在錯誤，但必須真實主要的關鍵技術(shù)包括：1)GFS/HDFS分布式文件系統(tǒng)2)MapReduce并行計算處理模式3)NoSQL云數(shù)據(jù)處理技術(shù)1分布式文件系統(tǒng)大數(shù)據(jù)環(huán)境下，非常看重的是數(shù)據(jù)的分布式處理能力和快速得出結(jié)果實時數(shù)據(jù)更多的采用分布式文件系統(tǒng)來存放，這就是谷歌的GFS和Hadoop的HDFS產(chǎn)生的原因更關心分布性和實時性大的數(shù)據(jù)庫一般分散在多個硬盤和多臺電腦上。為了確保其運行的穩(wěn)定性和速度，一個記錄可能會分開存儲在兩三個地方。如果一個地方的記錄更新了，其他地方的記錄則只有同步更新才不會產(chǎn)生錯誤。傳統(tǒng)的系統(tǒng)會一直等到所有地方的記錄都更新當數(shù)據(jù)廣泛地分布在多臺服務器上而且服務器每秒鐘都會接受成千上萬條搜索指令的時候，同步更新就比較不現(xiàn)實了。因此，多樣性是一種解決的方法2MapReduce

大數(shù)據(jù)的簡單算法更有效MapReduce是一個新的抽象模型，封裝并行處理、容錯處理、本地化計算、負載均衡的細節(jié)提供了一個簡單而強大的接口例子解釋MapReduce以郵政分信自動化為例子信封郵編—Key

信的內(nèi)容—Value分信–Map

撿信–Reduce瓶頸問題分信速度慢，忙時形成瓶頸無共享，可以快速增加人手！39增加志愿者-橫向擴展自動化分信-分布式實時處理Simplyisbest當我們擁有更多數(shù)據(jù)的時候，我們認為數(shù)據(jù)比算法系統(tǒng)更智能還要重要谷歌PeterNorvig說，“大數(shù)據(jù)基礎上的簡單算法比小數(shù)據(jù)基礎上的復雜算法更加有效。當數(shù)據(jù)只有500萬的時候，某些一種簡單的算法表現(xiàn)得很差，但當數(shù)據(jù)達10億的時候，它變成了表現(xiàn)最好的，準確率從原來的75%提高到了95%以上。與之相反地，在少量數(shù)據(jù)情況下運行得最好的算法，在大量數(shù)據(jù)條件下運行得最不好的。標簽當我們上傳照片到Flickr網(wǎng)站的時候，會給照片添加標簽。也就是說，我們會使用一組文本標簽來編組和搜索這些資源。大數(shù)據(jù)時代，清楚的分類被更靈活的機制所取代了。這些機制才能適應改變著的世界。人們用自己的方式創(chuàng)造和使用標簽，所以它是沒有標準、沒有預先設定的排列和分類，也沒有我們必須遵守的類別的。任何人都可以輸入新的標簽，標簽內(nèi)容事實上就成為了網(wǎng)絡資源的分類標準。3NoSQL云數(shù)據(jù)處理技術(shù)小數(shù)據(jù)時代--采用數(shù)據(jù)庫技術(shù)

追求數(shù)據(jù)的精確性對小數(shù)據(jù)而言，最基本、最重要的要求就是減少錯誤，保證質(zhì)量。因為收集的信息量比較少，所以我們必須確保記錄下來的數(shù)據(jù)盡量精確。在采樣的時候，對精確度的要求就更高更苛刻了。因為收集信息的有限意味著細微的錯誤會被放大，甚至有可能影響整個結(jié)果的準確性。為此出現(xiàn)了數(shù)據(jù)庫等技術(shù)手段，但問題是現(xiàn)實社會的數(shù)據(jù)量大，本身就是不精確和混亂的。大數(shù)據(jù)時代--并行實時處理

追求數(shù)據(jù)的真實性真實世界就是紛繁復雜，數(shù)據(jù)本身可能充滿混亂簡單地說就是隨著數(shù)據(jù)的增加，錯誤率也會相應增加。各類信息在整合的時候，因為來源不同，信息通常不一致，也會加大混亂程度。以往為達到格式一致，就需要在進行數(shù)據(jù)處理之前仔細地清洗數(shù)據(jù)，而這在大數(shù)據(jù)背景下很難做到。你們需要客戶端嗎？動態(tài)數(shù)據(jù)模式---谷歌和百度面臨的難題！回答者1：某著名IT公司老總馬總，請問“你們需要客戶端嗎？”回答者1：某著名IT公司老總“客戶端？我們有自己的云服務系統(tǒng)，不需要！”客戶端=clientnode回答者2：某餐飲公司代言人老孟，請問“你們需要客戶端嗎？”回答者2：某餐飲公司代言人“客戶端？一般是服務員端當然了，忙時可能自己端”客戶端=DIYBaidu面臨的難題翻譯成啥都不可能讓所有用戶同時滿意客戶端clientnode客戶端DIY…….干脆，讓用戶自己解釋誰都不得罪，愛啥啥Baidu只負責數(shù)據(jù)的采集！52Hadoop采用的數(shù)據(jù)處理方式Hadoop的輸出結(jié)果沒有關系型數(shù)據(jù)庫輸出結(jié)果那么精確，它不能用于處理銀行賬戶明細這種精確度要求很高的任務。但是對于不要求極端精確的任務，它就比其他系統(tǒng)運行得快很多，比如說把顧客分群，然后分別進行不同的營銷活動。信用卡公司VISA使用Hadoop，能夠?qū)⑻幚韮赡陜?nèi)730億單交易所需的時間，從一個月縮減至僅僅13分鐘。這樣大規(guī)模處理時間上的縮減足以變革商業(yè)了。也許Hadoop不適合正規(guī)記賬，但是當可以允許少量錯誤的時候它就非常實用。繁多的云數(shù)據(jù)庫大數(shù)據(jù)信息挖掘信息分析和挖掘的三個重要轉(zhuǎn)變首先，要分析與某事物相關的所有數(shù)據(jù)，而不是依靠分析少量的數(shù)據(jù)樣本。其次，我們樂于接受數(shù)據(jù)的紛繁復雜，而不再追求精確性。最后，我們不再探求難以捉摸的因果關系，轉(zhuǎn)而關注事物的相關關系。知道是什么就夠了之前專業(yè)的銷售人員需要深入了解，是什么讓客戶做出了選擇，要把握客戶做決定背后的真正原因，因此專業(yè)技能和多年的經(jīng)驗受到高度重視Amazon的推薦系統(tǒng)顯示，通過大數(shù)據(jù)梳理出的相關關系，更有用這就是：知道是什么就夠了，沒必要知道為什么。蛋撻與颶風沃爾瑪是世界上最大的零售商，擁有超過200萬的員工，銷售額近5000億美元，從20世紀90年代起，沃爾瑪通過建立數(shù)據(jù)倉庫徹底改變了零售行業(yè)，避免了存貨的風險也降低了成本。2004年，沃爾瑪與Teradata合作，對歷史交易記錄這個龐大的數(shù)據(jù)庫進行了觀察這個數(shù)據(jù)庫記錄的不僅包括每一個顧客的購物清單以及消費額，還包括購物籃中的物品、具體購買時間，甚至購買當日的天氣。沃爾瑪注意到，每當在季節(jié)性颶風來臨前，POPTarts蛋撻的銷量會增加。當季節(jié)性風暴來臨時，沃爾瑪會把庫存的蛋撻放在靠近颶風用品的位置，以方便顧客從而增加銷量UPS與汽車修理預測UPS國際快遞公司從2000年就開始使用預測性分析來監(jiān)測自己全美6萬輛的車車隊，及時地進行防御性的修理。如果車在路上拋錨損失會非常大，再派一輛車會造成延誤和再裝載的負擔，并消耗大量的人力物力以前UPS每兩三年就會對車輛的零件進行定時更換。但這不太有效，因為有的零件并沒有什么毛病就被換掉了。通過監(jiān)測車輛的各個部位，UPS如今只需要更換需要更換的零件，從而節(jié)省了好幾百萬美元。監(jiān)測系統(tǒng)甚至幫助UPS發(fā)現(xiàn)了一個新車的一個零件有問題，因此免除了可能會造成的困擾。大數(shù)據(jù)的價值創(chuàng)新數(shù)據(jù)冰山---數(shù)據(jù)的潛在價值數(shù)據(jù)的真實價值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，而絕大部分則隱藏在表面之下。那些創(chuàng)新型企業(yè)就能夠提取其潛在價值并獲得潛在的巨大收益?？傊?，判斷數(shù)據(jù)的價值需要考慮到未來它可能被使用的各種方式，而非僅僅考慮其目前的用途。Facebook價值多少2012年5月18日的Facebook在NASDAQ上市Facebook根據(jù)會計準則計算出價值約63億美元(大部分是有形資產(chǎn)的價值)上市的前一晚銀行對Facebook的定價是每股38美元，總估值1040億美元兩者之間為啥會產(chǎn)生如此巨大的差距呢？后者是Gartner研究了Facebook在IPO前一段時間內(nèi)的數(shù)據(jù)，估算出Facebook在2009年至2011年間收集了2.1萬億條“獲利信息”，比如用戶的“喜好”、發(fā)布的信息和評論等。這意味著每條信息都有約4美分的價值。也就是說，每一個Facebook用戶的價值約為100美元，因為他們是Facebook所收集信息的提供者Facebook收購WhatApp表面上，195億美金收購到了一個40多人的開發(fā)團隊暗地里，195億美金收購到了4.5億的龐大忠誠用戶群智慧校園

大數(shù)據(jù)變革教育在線教育Udacity、Coursera和EDX等在線教育課程通過跟蹤學生的Web交互來尋找最佳的教學方法。班級人數(shù)成千上萬，產(chǎn)生的數(shù)據(jù)也十分驚人。教授們現(xiàn)在可以看到，如果大部分學生需要再看一遍課程內(nèi)容，就可能表明某些地方他們還不太清楚。課程跟蹤斯坦福大學教授AndrewNg講授Coursera機器學習課他注意到約有2000名學生課外作業(yè)的答案是錯誤的，且錯誤答案居然是相同的。顯然，他們都犯了相同的錯誤？

調(diào)查后他發(fā)現(xiàn)，他們把一個算法里的兩個代數(shù)方程弄反了。電子書Barnes與

電子書閱讀器捕捉了大量關于文學喜好和閱讀人群的數(shù)據(jù)：讀者閱讀一頁或一節(jié)需要多長時間，讀者是略讀還是直接放棄閱讀，讀者是否畫線強調(diào)或者在空白處做了筆記，這些他們都會記錄下來。這就將閱讀這種長期被視為個人行為的動作轉(zhuǎn)換成了一種共同經(jīng)驗。一旦聚集起來，可以用量化的方式向出版商和作者展示一些他們可能永遠都不會知道的信息，如讀者的好惡和閱讀模式。NOOK快照

--幫助改進書籍內(nèi)容電子圖書出版公司可以將這些信息賣給出版商，從而幫助改進書籍的內(nèi)容和結(jié)構(gòu)。例如，Barnes通過分析Nook電子閱讀器的數(shù)據(jù)了解到，人們往往會棄讀長篇幅的非小說類書籍。Barnes推出“Nook快照”，加入了一系列健康和時事等專題的短篇作品。取得了更高的商業(yè)價值。大數(shù)據(jù)進入社區(qū)服務居家養(yǎng)老智能水表、電表等采集的實時數(shù)據(jù)，經(jīng)大數(shù)據(jù)技術(shù)處理后，可得到豐富的信息 -為居家養(yǎng)老，防火防盜等提供數(shù)據(jù)-為入戶調(diào)查，社區(qū)服務提供資料大數(shù)據(jù)在農(nóng)業(yè)產(chǎn)業(yè)中的應用

農(nóng)產(chǎn)品市場、預測預測建立農(nóng)產(chǎn)品智能標簽精細化整理顧客屬性標簽以及商品屬性標簽，細化到單株作物、單頭產(chǎn)品實現(xiàn)農(nóng)業(yè)生產(chǎn)的精細管理和準確預測回鍋肉和成華豬細化每頭豬生長情況、飼養(yǎng)狀態(tài)、健康情況出欄時間、對接商超、預期收益等遠期可發(fā)現(xiàn)豬的價格波動周期大數(shù)據(jù)在公共衛(wèi)生上的應用

谷歌預測流感在甲型H1N1流感爆發(fā)的幾周前，谷歌公司的工程師們在Nature雜志上發(fā)表了一篇引人注目的論文。它令公共衛(wèi)生官員們和計算機科學家們感到震驚。谷歌通過觀察人們在網(wǎng)上的搜索記錄來完成這個預測，谷歌保存了多年來所有的搜索記錄，而且每天都會收到來自全球超過30億條的搜索指令，如此龐大的數(shù)據(jù)資源足以支撐和幫助它完成這項工作。大數(shù)據(jù)總結(jié)

數(shù)據(jù)已經(jīng)成為了一種優(yōu)質(zhì)商業(yè)資本，一項重要的經(jīng)濟投入，可以創(chuàng)造新的經(jīng)濟利益。一旦思維轉(zhuǎn)變過來，數(shù)據(jù)就能被巧妙地用來激發(fā)新產(chǎn)品和新型服務。傳統(tǒng)行業(yè)結(jié)合大數(shù)據(jù)可以發(fā)現(xiàn)無限的商機，能夠預測未來。大數(shù)據(jù)將當今社會引入了名副其實的信息時代！謝謝!楊文川2014.4城市管理案例大數(shù)據(jù)對交管信息進行實時分析

目前城市管理各方面，采用攝像頭和實時監(jiān)控，采集了海量的視頻信息之前大量的數(shù)據(jù)無法實時處理，一般是事后對視頻進行倒帶查看一些應用需要對海量的視頻數(shù)據(jù)進行實時分析，對一些情況進行及時預警套牌車自動發(fā)現(xiàn)和現(xiàn)場抓扣套牌車(克隆車)，是指偽造或者非法套取其它車輛號牌，上路行駛的車輛目前防范和識別真假牌的方法：有“望、摸、問、查”四種方法來，遇到后及時向交警部門舉報但實際情況是：以北京為例，500多萬輛車，該方法實際無法及時發(fā)現(xiàn)。現(xiàn)今各個城市路口，配置了大量的高清攝像頭，有大量實時的交通數(shù)據(jù)?？梢岳么髷?shù)據(jù)技術(shù)來實現(xiàn)套牌車的自動發(fā)現(xiàn)和攔截9-77

套牌車自動發(fā)現(xiàn)與攔截直接利用視頻數(shù)據(jù)

開發(fā)套牌識別系統(tǒng)？之前有單位直接利用視頻數(shù)據(jù)，開發(fā)套牌識別系統(tǒng)，但難度很大有了大數(shù)據(jù)技術(shù)后，可以根據(jù)各城市實際交通情況，結(jié)合車牌識別等技術(shù)進行開發(fā)例如：一種簡單可行的方法就是，將實時的高清視頻數(shù)據(jù)進行定時截取，利用車牌識別技術(shù)獲取數(shù)據(jù)，結(jié)合交通網(wǎng)格化管理手段進行分析。采集的數(shù)據(jù)流（源）...201306131127京NTC223501132101401230...11771029......201306131127京P82112451131113210140...11770272......201306131129京F21245621112711321014..