1、 新知識(shí) 新能力 -大數(shù)據(jù)技術(shù)應(yīng)用最新思考 技術(shù)處 邵森主 要 內(nèi) 容一、大數(shù)據(jù)概念及背景意義一、大數(shù)據(jù)概念及背景意義三、大數(shù)據(jù)典型應(yīng)用現(xiàn)狀三、大數(shù)據(jù)典型應(yīng)用現(xiàn)狀四、大數(shù)據(jù)發(fā)展趨勢(shì)四、大數(shù)據(jù)發(fā)展趨勢(shì)二、大數(shù)據(jù)發(fā)展的相關(guān)技術(shù)二、大數(shù)據(jù)發(fā)展的相關(guān)技術(shù)五、檔案與大數(shù)據(jù)五、檔案與大數(shù)據(jù)大數(shù)據(jù)“浪潮洶涌”“人人都知道，都說(shuō)好，但究竟是什么，怎么做？” 有關(guān)大數(shù)據(jù)浪潮的貼切描述真有很“大”的數(shù)據(jù)么？到底是什么支撐起了大數(shù)據(jù)？“網(wǎng)上一分鐘，人間一萬(wàn)年！”大數(shù)據(jù)的背景意義 信息爆炸增長(zhǎng)商業(yè)模式驅(qū)動(dòng)（新壺裝舊酒）內(nèi)在需求驅(qū)動(dòng)（新酒裝新壺）“藍(lán)藍(lán)的天上白藍(lán)藍(lán)的天上白云云飄，白云下面飄，白云下面數(shù)據(jù)數(shù)據(jù)跑跑”云計(jì)算

2、技術(shù)是大數(shù)據(jù)發(fā)展的基礎(chǔ)和支撐云計(jì)算技術(shù)是大數(shù)據(jù)發(fā)展的基礎(chǔ)和支撐云計(jì)算大數(shù)據(jù)大數(shù)據(jù)的背景：來(lái)源于網(wǎng)絡(luò)互聯(lián)技術(shù)的發(fā)展、感知設(shè)備普及以及物聯(lián)網(wǎng)架構(gòu)成熟，并由社交網(wǎng)絡(luò)承載所引起的信息爆炸。云計(jì)算為其提供強(qiáng)大的支撐動(dòng)力！大數(shù)據(jù)的背景意義 云計(jì)算為支撐大數(shù)據(jù)的概念和內(nèi)涵 目前對(duì)大數(shù)據(jù)尚未有一個(gè)公認(rèn)的定義，不同的定義基本上是從特征出發(fā)，試圖給出大數(shù)據(jù)的定義。p 大數(shù)據(jù)很抽象，表示數(shù)據(jù)規(guī)模的龐大。p 大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中挖掘出有價(jià)值的信息而受到重視。p 大數(shù)據(jù)，是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉，管理的數(shù)據(jù)集合。 “大數(shù)據(jù)：或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨

3、大到無(wú)法通過(guò)人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為人類所能解讀的信息?！?維基百科成本。海量沙漠充滿雜質(zhì)只為粒金爭(zhēng)分奪秒大雜低快大數(shù)據(jù)的背景意義 大數(shù)據(jù)的4V特性 體量Volume多樣性Variety價(jià)值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)總數(shù)據(jù)量的8090%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無(wú)模式或者模式不明顯不連貫的語(yǔ)法或句義大量的不相關(guān)信息對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等）實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、

4、處理與丟棄立竿見(jiàn)影而非事后見(jiàn)效大雜低快大數(shù)據(jù)的背景意義 大數(shù)據(jù)的4V特性大數(shù)據(jù)發(fā)展相關(guān)技術(shù)數(shù)據(jù)采集數(shù)據(jù)儲(chǔ)存與管理數(shù)據(jù)分析與挖掘計(jì)算結(jié)果展示數(shù)據(jù)采集ETL （數(shù)據(jù)倉(cāng)庫(kù)技術(shù)）數(shù)據(jù)眾包（CrowdSouring）結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)分布式文件系統(tǒng)關(guān)系數(shù)據(jù)庫(kù)非關(guān)系數(shù)據(jù)（NoSQL）數(shù)據(jù)倉(cāng)庫(kù)云計(jì)算和云存儲(chǔ)實(shí)時(shí)流處理A/B Testing深度學(xué)習(xí)關(guān)聯(lián)規(guī)則分析聚類遺傳算法神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型模式識(shí)別時(shí)間序列分析回歸分析系統(tǒng)仿真機(jī)器學(xué)習(xí)優(yōu)化空間分析社會(huì)網(wǎng)絡(luò)分析自然語(yǔ)言分析R語(yǔ)言標(biāo)簽云（Tag Cloud）聚類圖 （Clustergram）空間信息流 （Spatial information flow）熱

5、圖 （Heatmap）熱圖空間信息流標(biāo)簽云聚類圖大數(shù)據(jù)可視化技術(shù)大數(shù)據(jù)在公共領(lǐng)域的應(yīng)用電力行業(yè)電力行業(yè)：智能電網(wǎng)優(yōu)化電的生產(chǎn)、分配以及電網(wǎng)安全檢測(cè)與控制智能交通：為公共交通信息化應(yīng)用系統(tǒng)、相關(guān)支撐系統(tǒng)、數(shù)據(jù)資源與交換系統(tǒng)建設(shè)提供支持電子政務(wù)：提高政府決策的科學(xué)性和精準(zhǔn)性，提高預(yù)測(cè)預(yù)警能力及應(yīng)急響應(yīng)能力，節(jié)約決策成本司法系統(tǒng)：公安市場(chǎng)大規(guī)模的信息化和裝備投資產(chǎn)生了海量的非結(jié)構(gòu)化數(shù)據(jù)，公安的實(shí)戰(zhàn)應(yīng)用是大數(shù)據(jù)的重要應(yīng)用領(lǐng)域互聯(lián)網(wǎng)與大數(shù)據(jù)電子商務(wù) 融合時(shí)間、地理位置、社交網(wǎng)絡(luò)多因素，進(jìn)行精準(zhǔn)推薦 有效地為商家推薦優(yōu)質(zhì)上下游業(yè)務(wù)網(wǎng)絡(luò)廣告 深入分析網(wǎng)絡(luò)廣告的效果及其對(duì)商品銷售等的影響、廣告“讀者”對(duì)之的反

6、應(yīng)等即時(shí)通信、社交網(wǎng)絡(luò) 發(fā)現(xiàn)民眾新的交往習(xí)慣與方式 發(fā)現(xiàn)民眾關(guān)注社會(huì)問(wèn)題與社會(huì)熱點(diǎn)旅行預(yù)訂 為游客提供旅游產(chǎn)品和旅游服務(wù) 更好布局和推動(dòng)旅游假日經(jīng)濟(jì)金融與大數(shù)據(jù)從數(shù)據(jù)角度看，金融無(wú)非是各種數(shù)據(jù)的排列組合，大數(shù)據(jù)時(shí)代，凡是擁有獨(dú)特?cái)?shù)據(jù)資產(chǎn)的公司，都可以涉及金融。阿里u 一是金融交易形式的電子化和數(shù)字化，具體表現(xiàn)為支付電子化、渠道網(wǎng)絡(luò)化、信用數(shù)字化，是運(yùn)營(yíng)效率的提升u 二是金融交易結(jié)構(gòu)的變化，其中一個(gè)重要表現(xiàn)便是交易中介脫媒化，服務(wù)中介功能弱化，是結(jié)構(gòu)效率的提升騰訊百度u 互聯(lián)網(wǎng)金融：利用互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)思維進(jìn)行的金融業(yè)務(wù)再造。u 利用新興的大數(shù)據(jù)技術(shù)，金融業(yè)的兩大根基征信與風(fēng)控，將可能發(fā)生革命

7、性的變化。（受限于政策因素）衛(wèi)生經(jīng)濟(jì)學(xué)與藥品定價(jià)疫情醫(yī)療統(tǒng)籌分析系統(tǒng) 醫(yī)療“大數(shù)據(jù)”（BigData）臨床實(shí)驗(yàn)數(shù)據(jù)分析醫(yī)療與大數(shù)據(jù) 應(yīng)用領(lǐng)域基本框架：n城市感知及數(shù)據(jù)捕獲n數(shù)據(jù)管理n城市數(shù)據(jù)分析n服務(wù)提供 改進(jìn)城市規(guī)劃 緩解交通堵塞 保護(hù)自然環(huán)境 節(jié)約能耗 智慧城市與大數(shù)據(jù) 城市計(jì)算（MSRA）1、區(qū)分識(shí)別城市的功能區(qū)域（如文教、商業(yè)和住宅區(qū)）軌跡數(shù)據(jù)包含乘客上車和下車地點(diǎn)的信息。人的移動(dòng)性數(shù)據(jù)可以很好地區(qū)分相同類別的興趣點(diǎn)的熱度，也可以揭示一個(gè)區(qū)域的功能2、搜尋城市道路網(wǎng)中不合理的規(guī)劃（擁堵）利用高速和環(huán)路等主干道將城市分割成區(qū)域，然后分析大規(guī)模車流軌跡數(shù)據(jù)在不同區(qū)域之間行駛的一些特征，便可

8、找到連通性較差的區(qū)域?qū)?，從而發(fā)掘現(xiàn)有城市道路網(wǎng)的不足之處北京市3萬(wàn)多 輛 出 租車3個(gè)月軌跡 智慧城市與大數(shù)據(jù) 城市計(jì)算（MSRA） 3、細(xì)粒度空氣質(zhì)量預(yù)測(cè) 利用地面監(jiān)測(cè)站有限的空氣質(zhì)量數(shù)據(jù)結(jié)合交通流道路結(jié)構(gòu)、興趣點(diǎn)分布、氣象條件和人流規(guī)律等大數(shù)據(jù)，基于機(jī)器學(xué)習(xí)算法建立數(shù)據(jù)和空氣質(zhì)量的映射關(guān)系，從而推斷空氣質(zhì)量4、加油站排隊(duì)時(shí)間及實(shí)時(shí)油耗估計(jì) 利用裝有GPS的出租車在加油站的等待時(shí)間來(lái)估計(jì)加油站的排隊(duì)長(zhǎng)度，估算出此時(shí)加油站內(nèi)的車輛數(shù)目及加油量。通過(guò)將全城的加油站數(shù)據(jù)匯總計(jì)算任意時(shí)刻消耗的燃油數(shù) 智慧城市與大數(shù)據(jù) 城市計(jì)算（MSRA）大數(shù)據(jù)發(fā)展趨勢(shì)最受矚目的應(yīng)用：1、網(wǎng)絡(luò)大數(shù)據(jù)；2、金融大數(shù)據(jù)；

9、3、健康醫(yī)療大數(shù)據(jù)；4、企業(yè)大數(shù)據(jù)；5、政府管理大數(shù)據(jù)；6、安全大數(shù)據(jù)；最受矚目的學(xué)科和技術(shù)：? 1、大數(shù)據(jù)學(xué)習(xí)與挖掘；?2、分布式計(jì)算架構(gòu) ；3、實(shí)時(shí)計(jì)算； 4、大數(shù)據(jù)分析與可視化；最先突破技術(shù)環(huán)節(jié)：1、分析挖掘； 2、存儲(chǔ)結(jié)構(gòu)和系統(tǒng)；3、數(shù)據(jù)采集和數(shù)據(jù)化；檔案大數(shù)據(jù)一、什么是檔案大數(shù)據(jù)？一、什么是檔案大數(shù)據(jù)？ 檔案大數(shù)據(jù)：在檔案方面涉及的信息量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為服務(wù)政治，經(jīng)濟(jì)，民生發(fā)展更加積極目的的信息。大數(shù)據(jù)，是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉，管理的數(shù)據(jù)集合。 檔案與大數(shù)據(jù) 大數(shù)據(jù)下的檔案變化 大數(shù)據(jù)背景下的

10、檔案管理理論，檔案大數(shù)據(jù)背景下的檔案管理理論，檔案技術(shù)手段，檔案業(yè)務(wù)環(huán)節(jié)都將發(fā)生變化技術(shù)手段，檔案業(yè)務(wù)環(huán)節(jié)都將發(fā)生變化： 在大數(shù)據(jù)時(shí)代檔案服務(wù)將朝著社會(huì)化、多元化、開(kāi)放性和先進(jìn)性發(fā)展，檔案服務(wù)范圍從最初的證據(jù)服務(wù)擴(kuò)展到資源服務(wù)，提供網(wǎng)絡(luò)化、智慧型，個(gè)性化服務(wù)。 在大數(shù)據(jù)時(shí)代，檔案管理將依托云平臺(tái)上，實(shí)現(xiàn)云存儲(chǔ)。將社會(huì)各類有價(jià)值的信息資源整合、分析、挖掘，形成檔案的智慧分析庫(kù)，為政治，經(jīng)濟(jì)，民生提供服務(wù)，創(chuàng)造價(jià)值。 在大數(shù)據(jù)時(shí)代下，“收”將是數(shù)據(jù)實(shí)時(shí)的、自動(dòng)歸集；“管”將采用云平臺(tái)存儲(chǔ)、計(jì)算、分析；“用”則是分析、發(fā)現(xiàn)與預(yù)測(cè)，為社會(huì)，民生，政治經(jīng)濟(jì)創(chuàng)造價(jià)值。www.ppthi-數(shù)字化 大數(shù)據(jù)： 檔案與大數(shù)據(jù)思考 檔案數(shù)字化建設(shè)能夠推動(dòng)檔案信息集合的收集和建立，進(jìn)而創(chuàng)新檔案服務(wù)模式及發(fā)展模式。 檔案數(shù)字化是建設(shè)檔案大數(shù)據(jù)的基礎(chǔ)。 隨著社會(huì)活動(dòng)快速加強(qiáng)、網(wǎng)絡(luò)信息化日益普遍，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)大大拓展了網(wǎng)絡(luò)的疆界和應(yīng)用領(lǐng)域，悄無(wú)聲息，大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨。我國(guó)的檔案數(shù)據(jù)廣泛存在于政府、企業(yè)的各行各業(yè)。我們正走向我國(guó)的檔案大數(shù)據(jù)時(shí)代。www.ppthi-檔案 大數(shù)據(jù)： 檔案與大數(shù)據(jù)展望 檔案大