1、大數(shù)據(jù)的基本概念與應(yīng)用前景,內(nèi) 容,一、大數(shù)據(jù)的重要性 二、大數(shù)據(jù)的基本特點 三、大數(shù)據(jù)的相關(guān)技術(shù)與概念 四、大數(shù)據(jù)的醫(yī)學(xué)應(yīng)用 五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn),不同國家的大數(shù)據(jù)戰(zhàn)略,Source: Nigel Holmes 2012 / Smolan & Erwitt: The Human Face of Big Data,內(nèi) 容,一、大數(shù)據(jù)的重要性 二、大數(shù)據(jù)的基本特點 三、大數(shù)據(jù)的相關(guān)技術(shù)與概念 四、大數(shù)據(jù)的醫(yī)學(xué)應(yīng)用 五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn),21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。 互聯(lián)網(wǎng)（社交、搜索、電商）、移動

2、互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。,“大數(shù)據(jù)”的誕生： 半個世紀(jì)以來，隨著計算機(jī)技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。 信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念。如今，這個概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。,大數(shù)據(jù)時代的演變,大數(shù)據(jù),大數(shù)據(jù)的4V特性,YB:2的80次方，ZB的1000倍,ZB:2的70次方，EB的1000倍,EB:2的60次方，PB的1000倍,PB:2

3、的50次方，TB的1000倍,TB:2的40次方，GB的1000倍,KB:2的10次方， 1024=1KB,MB:2的20次方，KB的1000倍,GB:2的30次方，MB的1000倍,一個英文字母=1字節(jié)（byte）,DB:2的110次方，NB的1000倍,NB:2的100次方，BB的1000倍,BB:2的90次方，YB的1000倍,全球數(shù)據(jù)量（ZB）,1980以來，每40個月翻一番 數(shù)據(jù)量增速，是GDP增速的4倍 數(shù)據(jù)處理能力，是GDP增速的9倍 2000年人類信息75%是模擬數(shù)據(jù)，2007年是6%，現(xiàn)在1%？,Value 價值,挖掘大數(shù)據(jù)的價值類似沙里淘金,從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息

4、. 價值密度低，是大數(shù)據(jù)的一個典型特征.,內(nèi) 容,一、大數(shù)據(jù)的重要性 二、大數(shù)據(jù)的基本特點 三、大數(shù)據(jù)的相關(guān)技術(shù)與概念 四、大數(shù)據(jù)的醫(yī)學(xué)應(yīng)用 五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn),大數(shù)據(jù)技術(shù)將被設(shè)計用于在成本可承受的條件下，通過非?？焖伲╲elocity）的采集、發(fā)現(xiàn)和分析，從大量化（volumes）、多類別（variety）的數(shù)據(jù)中提取價值（value）,數(shù)據(jù)、信息、知識與智能,Data,Information,Knowledge,Wisdom,39,39C,39= Fever,Take Tylenol,大數(shù)據(jù)的相關(guān)技術(shù),A/B Testing 關(guān)聯(lián)規(guī)則分析 分類 聚類 遺傳算法 神經(jīng)網(wǎng)絡(luò) 預(yù)測模型 模式

5、識別 時間序列分析 回歸分析 系統(tǒng)仿真 機(jī)器學(xué)習(xí) 優(yōu)化 空間分析 社會網(wǎng)絡(luò)分析 自然語言分析 MapReduce R語言,白云下面數(shù)據(jù)跑,藍(lán)藍(lán)的天上白云飄,如果數(shù)據(jù)是財富，那么大數(shù)據(jù)就是寶藏，而云計算就是挖掘和利用寶藏的利器。 沒有強(qiáng)大的計算能力，數(shù)據(jù)寶藏終究是鏡中花； 沒有大數(shù)據(jù)的積淀，云計算也只能是殺雞用的宰牛刀。,大數(shù)據(jù)與云計算（1）,云計算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。 數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。 當(dāng)前云計算更偏重海量存儲和計算，以及提供的云服務(wù)，運行云應(yīng)用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預(yù)測性分析，為政府、醫(yī)院等機(jī)構(gòu)、個人提供決策和服務(wù)，是大

6、數(shù)據(jù)核心議題，也是云計算的最終方向。,大數(shù)據(jù)與云計算（2）,Hadoop與Map Reduce的概念,Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。以一種可靠、高效、可伸縮的方式進(jìn)行處理。 Map Reduce則是一種可以用來并行處理大數(shù)據(jù)的編程模型。同一程序在Hadoop的框架下可以用各種不同的語言（Java, Ruby, Python等）按MapReduce的編程模型進(jìn)行編寫和運行。,R語言,R語言擅長在Hadoop分布式文件系統(tǒng)中存儲的非結(jié)構(gòu)化數(shù)據(jù)上進(jìn)行分析。R現(xiàn)在還可以運行在HBase這種非關(guān)系型的數(shù)據(jù)庫以及面向列的分布式數(shù)據(jù)存儲之上。,聚類圖,空間信息流,熱圖,內(nèi) 容,一

7、、大數(shù)據(jù)的重要性 二、大數(shù)據(jù)的基本特點 三、大數(shù)據(jù)的相關(guān)技術(shù)與概念 四、大數(shù)據(jù)的醫(yī)學(xué)應(yīng)用 五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn),大數(shù)據(jù)應(yīng)用,公共衛(wèi)生： 分析疾病模式和追蹤疾病暴發(fā)及傳播方式途徑，提高公共衛(wèi)生監(jiān)測和反應(yīng)速度。 臨床操作： 相對更有效的醫(yī)學(xué)研究，發(fā)展出臨床相關(guān)性更強(qiáng)和成本效益更高的方法用來診斷和治療病人。 科學(xué)研究與發(fā)展： 在藥品和醫(yī)療器械方面，建立更低磨損度，更精簡，更快速，更有針對性的研發(fā)產(chǎn)品線。提高臨床試驗設(shè)計和患者的招募，使得治療方法可以更好地匹配個體患者的病癥，從而降低臨床試驗失敗的可能和加快新的治療方法推向市場。,智慧醫(yī)療與大數(shù)據(jù),Science雜志于2014年底和2015年初分別刊

8、登了“公共衛(wèi)生遇上了大數(shù)據(jù)”和“將大數(shù)據(jù)納入公共衛(wèi)生系統(tǒng)”，指出：“強(qiáng)大的流行病學(xué)基礎(chǔ)、穩(wěn)健的知識整合、循證醫(yī)學(xué)原則以及拓展的轉(zhuǎn)化醫(yī)學(xué)研究議程”可以推動大數(shù)據(jù)在公共衛(wèi)生方面的應(yīng)用。,五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn),五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn),內(nèi) 容,一、大數(shù)據(jù)的重要性 二、大數(shù)據(jù)的基本特點 三、大數(shù)據(jù)的相關(guān)技術(shù)與概念 四、大數(shù)據(jù)的醫(yī)學(xué)應(yīng)用 五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn),我國衛(wèi)生信息化發(fā)展計劃35212工程,機(jī)遇,大數(shù)據(jù)賦予我們洞察未來的能力,人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻(xiàn)之一。大數(shù)據(jù)時代,挑戰(zhàn)1：大數(shù)據(jù)時代賦予統(tǒng)計人員重大責(zé)任,數(shù)據(jù)的管理分析并不僅僅是提取，檢索，匯總，

9、總結(jié)。統(tǒng)計專業(yè)人員的參與也是必不可少的。 數(shù)據(jù)本身的復(fù)雜性，使得分析的過程中充滿了種種陷阱，誤區(qū)。 數(shù)據(jù)異質(zhì)性（heterogeneity）。因素越多，建立普遍有效的統(tǒng)計模型的難度就越大。 偏倚疊加(Biasaccumulation) 虛假相關(guān)（spuriouscorrelation） 無意義顯著性(meaninglesssignificance) 羊群效應(yīng)（herdingeffect） 沒有一定統(tǒng)計方面的理論知識結(jié)構(gòu)，就會出現(xiàn)分析上的偏差，或者數(shù)據(jù)利用低效率。,挑戰(zhàn)2：大數(shù)據(jù)時代的個人能力要求,計算機(jī)科學(xué)/數(shù)據(jù)開發(fā)的專業(yè)技能：扎實的計算機(jī)科學(xué)基礎(chǔ)及運用能力，明了大數(shù)據(jù)的基礎(chǔ)框架設(shè)施 分析和建模能力：在了解數(shù)據(jù)的基礎(chǔ)上迅速分析并建立有效的統(tǒng)計模型。這不僅需要扎實的統(tǒng)計學(xué)，還需要有敏銳的思考和洞察力。 好奇心和創(chuàng)意的思考能力：這需要對數(shù)據(jù)有著一種渴望激情，