大數(shù)據(jù)技術(shù)如何應(yīng)用亍傳統(tǒng)信息系統(tǒng)提綱大數(shù)據(jù)技術(shù)研究背景和問題開源軟件Apache

Hadoop大數(shù)據(jù)處理系統(tǒng)關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)從互聯(lián)網(wǎng)走向傳統(tǒng)應(yīng)用背景：大規(guī)模數(shù)據(jù)計(jì)算

通信、網(wǎng)絡(luò)、存儲(chǔ)、傳感器等電子信息技術(shù)飛速發(fā)展導(dǎo)致數(shù)據(jù)規(guī)模極大增加–

Big

Data

傳統(tǒng)的存儲(chǔ)并處理這些數(shù)據(jù)的技術(shù)手段遇到瓶頸SearchEngineDataWarehousingLog

Processing/UserBehavior

AnalyzingProcessing

100TB

datasetsOnline/Realtime/StreamingDataAnalysis數(shù)據(jù)為王One

nodeScanning@50MB/s

=

35,000

min1000

nodeScanning@50MB/s=35

min背景–大數(shù)據(jù)的大問題2020年：數(shù)據(jù)量將達(dá)到35ZB，較2009年增大44倍來源：IDC

DigitalUniverse

Study,

May20102020年：60%以上的創(chuàng)造數(shù)據(jù)將因無法存儲(chǔ)而丟失。? Facebook用戶每天上傳3億張照片，超過500TB的數(shù)據(jù)增長量，100PB單集群存儲(chǔ)容量? Google索引的在線數(shù)據(jù)2002年是5EB，到2009年增長到280EB? 淘寶網(wǎng)注冊(cè)用戶達(dá)到3.7億，在線商品數(shù)達(dá)到9億，14PB海量數(shù)據(jù)存儲(chǔ)數(shù)據(jù)爆炸對(duì)數(shù)據(jù)存儲(chǔ)不

處理效能提出了挑戰(zhàn)！背景–大數(shù)據(jù)的大問題2020年：數(shù)據(jù)量將達(dá)到35ZB，較2009年增大44倍來源：IDC

DigitalUniverse

Study,

May20102020年：60%以上的創(chuàng)造數(shù)據(jù)將因無法存儲(chǔ)而丟失。? Facebook用戶每天上傳3億張照片，超過500TB的數(shù)據(jù)增長量，100PB單集群存儲(chǔ)容量? Google索引的在線數(shù)據(jù)2002年是5EB，到2009年增長到280EB? 淘寶網(wǎng)注冊(cè)用戶達(dá)到3.7億，在線商品數(shù)達(dá)到9億，14PB海量數(shù)據(jù)存儲(chǔ)數(shù)據(jù)爆炸對(duì)數(shù)據(jù)存儲(chǔ)不

處理效能提出了挑戰(zhàn)！?

高速發(fā)展的數(shù)據(jù)型互聯(lián)網(wǎng)企業(yè)需要連續(xù)的系統(tǒng)擴(kuò)展能力數(shù)據(jù)快速增長不數(shù)據(jù)中心擴(kuò)容周期緩慢的矛盾?

如何維持低成本曲線和高性能曲線是現(xiàn)實(shí)問題數(shù)據(jù)業(yè)務(wù)深度的丌斷加強(qiáng)和數(shù)據(jù)處理性能現(xiàn)狀的矛盾背景：解決大數(shù)據(jù)問題的思路背景：解決大數(shù)據(jù)問題的思路海量數(shù)據(jù)存儲(chǔ)海量數(shù)據(jù)計(jì)算提綱大數(shù)據(jù)研究背景和問題開源軟件Apache

Hadoop大數(shù)據(jù)處理系統(tǒng)關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)從互聯(lián)網(wǎng)走向傳統(tǒng)應(yīng)用HadoopApache

Nutch,

2002NDFS

+MapReduce,

2004Hadoop,

2006Apache

Hadoop,

2008http://hadoop.ap/Book:/catalog/9780596521998/index.htmll/catalog/9780596521998/index.htmlClone

of

Google’s

GFS

and

Written

in

JavaMapReduce ? Does

work

with

other

languagesCan

processlarge

scale

Web

pages

RunsonLinux,

Windows

andmoreCommodity

hardware

with

highfailure

rateDoug

Cutting，Apache軟件基金會(huì)主席Hadoop

isthemost

successful

open

sourcesoftwareafter

Linux.Hadoop

組成部分HadoopisthemostsuccessfulopensourcesoftwareafterLinux.MapReduceHDFSHBaseHiveHadoop組成部分HDFSftwareafterLinux.apReducemostsuccessfulopensourcesoMHBaseHiveHadoopistheHadoop組成部分HadoopHDFS體系結(jié)構(gòu)規(guī)模：10Knodes,100millionfiles,10PB特性：適合數(shù)據(jù)批批處理；最最大化吞吐吐率；允許計(jì)算向數(shù)數(shù)據(jù)遷移優(yōu)化：數(shù)據(jù)塊副本本、數(shù)據(jù)塊塊放置策略略、緩存策略等等SanjayGhemawat,et.al.,TheGoogleFileSystem,SOSP’’03HadoopMapReduce處理流程Dean&Ghemawat:“MapReduce:SimplifiedDataProcessingonLargeClusters”,OSDI2004提綱大數(shù)據(jù)研究究背景和問問題開源軟件ApacheHadoop大數(shù)據(jù)處理理系統(tǒng)關(guān)鍵鍵技術(shù)大數(shù)據(jù)技術(shù)術(shù)從互聯(lián)網(wǎng)網(wǎng)走向傳統(tǒng)統(tǒng)應(yīng)用Joblaun1ch6關(guān)系數(shù)據(jù)按按行序運(yùn)行行時(shí)重建16原始關(guān)系表表列式存儲(chǔ)結(jié)結(jié)構(gòu)(ApachePig，Zebra)行列混合式式存儲(chǔ)結(jié)構(gòu)構(gòu)(RCFile)JobScheduleTaskLaunch……TaskLaunchTaskLaunchRowConstructionRowConstructionRowConstructionReadDatafromDistributedFileSystemSubsequentProcessingSubsequentProcessingSubsequentProcessingRowReconstructionParallelTasks……RCFile將關(guān)系數(shù)據(jù)據(jù)水平分塊塊，塊內(nèi)按按列序存儲(chǔ)儲(chǔ)，實(shí)現(xiàn)文件級(jí)邏輯結(jié)構(gòu)構(gòu)優(yōu)化行式存儲(chǔ)結(jié)結(jié)構(gòu)(ApacheHive，SequenceFile)行列混合式式數(shù)據(jù)存儲(chǔ)儲(chǔ)技術(shù)RCFile18互補(bǔ)補(bǔ)式式聚聚簇簇索索引引技技術(shù)CCIndexCCIndex利用用冗余余的的副副本本數(shù)數(shù)據(jù)據(jù)塊塊為多多數(shù)數(shù)據(jù)據(jù)列列構(gòu)構(gòu)建建聚聚簇簇索索引引，，不不增增加加額額外外存存儲(chǔ)儲(chǔ)空空間間，實(shí)實(shí)現(xiàn)現(xiàn)數(shù)據(jù)據(jù)塊塊級(jí)級(jí)布布局局結(jié)結(jié)構(gòu)構(gòu)優(yōu)優(yōu)化化以及及分分布布式式實(shí)實(shí)時(shí)時(shí)查查詢?cè)兘y(tǒng)統(tǒng)計(jì)計(jì)能能力力CCIndex保持持了BigTable數(shù)據(jù)據(jù)模模型型高高可可擴(kuò)擴(kuò)展展和高吞吞吐吐率率特特性性，，同同時(shí)時(shí)具具有有關(guān)關(guān)系系數(shù)數(shù)據(jù)據(jù)模模型型的的查查詢?cè)兘y(tǒng)統(tǒng)計(jì)計(jì)能能力力CCIndex將二二級(jí)級(jí)索索引引變變?yōu)闉橐灰患?jí)級(jí)索索引引，，丌丌訪訪問問原原表表直直接接進(jìn)進(jìn)行行區(qū)區(qū)間間查查詢?cè)兒秃徒y(tǒng)統(tǒng)計(jì)計(jì)以CCIndex為核核心心的的系系統(tǒng)統(tǒng)支支持持多多維維區(qū)區(qū)間間實(shí)實(shí)時(shí)時(shí)查查詢?cè)兘y(tǒng)統(tǒng)計(jì)計(jì)示例例：selectcount(cl1)fromTABwherecl1<Aandcl2>BIr亙補(bǔ)式m古古古工？?CClndex利用冗余的的副副本數(shù)據(jù)塊為多多數(shù)數(shù)據(jù)據(jù)列構(gòu)建建聚聚簇索引，不增加加額額外存儲(chǔ)空間，實(shí)現(xiàn)數(shù)據(jù)據(jù)塊塊級(jí)布局結(jié)構(gòu)優(yōu)化以及分分布布式實(shí)時(shí)時(shí)查查詢統(tǒng)計(jì)計(jì)能能力力’UWM礫gaa－元噎領(lǐng)性”2··．'a"畸"帆，t吃草’酌』＂？暴阻。.，，邸，1111民Id·I飛Io,〔Cnd創(chuàng)盼到gTible措1前擴(kuò)前四二辛苦主，同ti＼主關(guān)系據(jù)膽frj鼓II自動(dòng)押回翩然回f:::i圓圓I／：，，iJ二；：IAt創(chuàng)口u:I.!解決7海量量數(shù)數(shù)據(jù)實(shí)時(shí)分析計(jì)期快性問題1/W電d（.制：，:1.."T!'嚀＂..；刷）-?＇h'If.I伊·麗E嚼訕＝t豆豆：歸路以（創(chuàng)喇圳j支持持施i司主l\fi袋lt一一一一一’Cl!nde精衛(wèi)生51＊袁世，＋E脅撞擊呂能｜司腦lt詞。由i〔ornt(cll)fromTMwheecll<Aandd;>B缸囂陽回國、問陽，，，，，.，，回.、白啊..U國：立｜白宮J囂瞿...曲陰陽mmm刷刷。擬出那就您叫陽剛剛放9陸“禽禽＂＂＂＇＇＂＇缸捐MdS..陽曬Scan...脅Scan陸Ml-dim刷sior四陽叫l(wèi)'臼捕捕魚??ThfOUJh膽＂My舍ιC陽....(301A)=崎s。Clu>I（四叫＝MyS。也Cluser(7”A）…C旬以以...(00叫c=:i優(yōu)lndex(70峭＝cc河內(nèi)de<陽攏’＞＞＝街dO舊γ陽臼＂＂＂＇＇19查詢?cè)冃阅苣苁浅Ｓ枚饕夹g(shù)的10倍以上tMySQLCluster內(nèi)存數(shù)據(jù)庫的多維區(qū)間間查詢?cè)冃阅苣芸?倍RCFile技術(shù)術(shù)性性能能優(yōu)優(yōu)勢(shì)和應(yīng)應(yīng)用情況況?ComparedwithSequenceFile,whichwasthedefaultrowstoretechnologyinApacheHive,RCFilecanachieveupto20%spacesavingswithoutaffectingqueryperformance.?ComparedwithcolumngrouptechnologyusedinApachePig,whichisanotherbigdataanalysissystem,RCFile’sdataloadingis23%fasterasfarasthediskspaceutilizationratioisalmostequal.?Obviously,RCFilehas becomethedefactostandardofdatastoragestructureinsidedistributedofflinedataanalysissystemssuchasApacheHive.CCIndex技術(shù)性能優(yōu)勢(shì)和應(yīng)用情況采用CCIndex后，在硬件規(guī)模保持丌變的前提下下，系統(tǒng)處理的數(shù)據(jù)時(shí)效范圍從原來來的7天增大到3個(gè)月，處理的數(shù)據(jù)規(guī)模增大了一個(gè)數(shù)量級(jí)，系統(tǒng)吞吐吐率增大了7倍，對(duì)原來延遲大大于1s的查詢請(qǐng)求響響應(yīng)時(shí)間平均降低了57.4%。CCIndex技術(shù)可以解決諸如HBase等當(dāng)前主主流的列簇式式NoSQL數(shù)據(jù)庫在多列查詢上的的功能缺失和性能低下的問題。技術(shù)指標(biāo)本項(xiàng)目國際領(lǐng)先系統(tǒng)統(tǒng)數(shù)據(jù)存儲(chǔ)空間間占用RCFile比行存儲(chǔ)節(jié)省約20%空間ApacheHive（SequenceFile）數(shù)據(jù)加載性能能RCFile比列存儲(chǔ)加載快23%以上ApachePig（Zebra）在線查詢分析析性能CCIndex是二級(jí)索引技術(shù)的11.4倍ApacheHBase（IndexTable）不國外同類技技術(shù)比較技術(shù)指標(biāo)本項(xiàng)目國際領(lǐng)先系統(tǒng)統(tǒng)數(shù)據(jù)存儲(chǔ)空間間占用RCFile比行存儲(chǔ)節(jié)省約20%空間ApacheHive（SequenceFile）數(shù)據(jù)加載性能能RCFile比列存儲(chǔ)加載快23%以上ApachePig（Zebra）在線查詢分析析性能CCIndex是二級(jí)索引技術(shù)的11.4倍ApacheHBase（IndexTable）實(shí)現(xiàn)PB級(jí)數(shù)據(jù)離線分析處理和百億記錄級(jí)數(shù)據(jù)實(shí)時(shí)查詢分分析，成為國際事實(shí)標(biāo)準(zhǔn)不國外同類技技術(shù)比較24自勱將文件分分割成多個(gè)個(gè)固定大小的的數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊單單獨(dú)壓縮每一個(gè)文件由由一個(gè)壓縮縮文件和索引引文件構(gòu)成成可應(yīng)用于Hadoop平臺(tái)上的文文件系統(tǒng)在不影響其它它文件系統(tǒng)的的情況下，以動(dòng)動(dòng)態(tài)、透明的的方式給文文件系統(tǒng)添加加壓縮功能能用戶透明的HDFS數(shù)據(jù)壓縮解壓縮-SwiftFS丌同壓縮解壓縮算法的性能對(duì)比客戶端數(shù)寫吞吐率（MB/s）Vs.最高Vs.最低nonehdw

acsnappyquicklzzlibSwiftFS19813714475461610%250%297267227144872477%184%4983133222631583260%106%8973263354022994510%51%16973123304014454750%52%32953123174045115620%80%64953063143755185830%91%128902592963325475890%127%256942232523025005830%161%提綱大數(shù)據(jù)研究背背景和問題開源軟件ApacheHadoop大數(shù)據(jù)管理系系統(tǒng)關(guān)鍵技術(shù)術(shù)大數(shù)據(jù)技術(shù)從從互聯(lián)網(wǎng)走向向傳統(tǒng)應(yīng)用淘寶數(shù)據(jù)魔方方應(yīng)用回國陽西叫川HBase:DataStorage,DataAggregationRegionSe「ver,DataStoragelndex+CataDataAggregationRegionSe『ver,DataStcraceIndex+DataDataAggregationR?gionServer,D丑taStoragelndex+CataD:ttaAgg「egation噩噩AggregationResultQuery吐酬，袖人左”仿制幢你衍’常嗖鍵矗.l"l;.J’”π”扣”?1'.U價(jià).而.(11'1?6司”‘，，吃.’.吃’哺盹刷刷棍’且，酬，··鳴””·”號(hào)JBossServer:DataAggregationRedis:ResultCachet單牟血lil..，，’‘0＇嶺＂先Z＠’”警衍3．a(chǎn)而‘主」〉‘’··5024＂＂，1'甜地喝！2調(diào)υ，??.u、開缸，E電‘·，、衍’S陽＇－O＇l"、部比揭飛ain、t\1'(+匯”F幡函，織割眩’tJ:'lf-:J:llU’“笨”貌..?！?,.’,a靈”m..,:...酬，寡＂＂嗡釗，擒獲’略決決符，民俗，”份’”份銷”:>)1411'<1'·黛司院幣＂＂＂＂咎由警怠戴氯咱’且.'I"?a’宅’”’巳氣，，ι回夜竅，電陽酬···H丁TPRequest“叫掬§戶、＼副產(chǎn)”（回國It::mi;;a:＼－‘i:·.－??，..每曲’”－翁翩翩FrontEnd酬’陽旦百公且咀＆??1,'1!1,;'0t1”姐姐?！泵靼傺驭印保⒑藓扌?；；；；：晤’‘·“盟”...，側(cè)側(cè)lll;ut.'lltll事””tt‘民弱，．?fit:令基于全網(wǎng)父易記錄的數(shù)據(jù)據(jù)可視化工工具／服務(wù)令掌握商商品交易情況〈·洞察行業(yè)業(yè)熱點(diǎn)及商機(jī)回H：丁工4二m緩」：；霄忑二？．”叫叫令30萬付費(fèi)用戶乙，：苦奮（＼出／＼／飛＼，I叩二二二王令6TB數(shù)據(jù)／100億條記記錄數(shù)據(jù)實(shí)時(shí)統(tǒng)計(jì)查詢噩噩盟叫，..礎(chǔ)帽拿給忻國酣四寬??？”’m'"'"''·-a』·一立’…←回她站脯’能桐’.，』『』←”氫統(tǒng)篇?！憋L(fēng)”·il:明嗎俐.,..·加州時(shí)吳剛以??＜l蟲””．..?..'"""敬酒軍墨一一一～淘寶數(shù)據(jù)據(jù)魔方–全屬性實(shí)實(shí)時(shí)計(jì)算算數(shù)據(jù)裝載載云梯HBaseHBaseHBase……全網(wǎng)交易易數(shù)據(jù)張軒丞丞（朋春春），淘寶寶海海量數(shù)數(shù)據(jù)據(jù)產(chǎn)品品的的技術(shù)術(shù)架架構(gòu)，iDataForum2011淘寶數(shù)據(jù)據(jù)魔方–全屬性實(shí)實(shí)時(shí)計(jì)算算數(shù)據(jù)裝載載云梯HBaseHBase……交易1（二進(jìn)制制，定長長）HBase交易2索引：交交易id列表屬性對(duì)對(duì)全網(wǎng)交易易數(shù)據(jù)數(shù)據(jù)查詢?cè)儚堒庁┴ㄅ蟠捍海?，淘寶寶海海量?shù)數(shù)據(jù)據(jù)產(chǎn)品品的的技術(shù)術(shù)架架構(gòu)，iDataForum2011節(jié)點(diǎn)1 1,2,4,9節(jié)點(diǎn)2 1,4,7查索引求交集節(jié)點(diǎn)21,4本地SUM運(yùn)算（HBase擴(kuò)展）匯總計(jì)算算寫入入緩存求SUM(alipay)屬性屬性值筆記本尺寸13寸筆記本定位商務(wù)定位取原系統(tǒng)統(tǒng)查詢?nèi)杖罩荆?0天），所所有查詢?cè)儼丛迪到y(tǒng)的響響應(yīng)時(shí)間分分為三類統(tǒng)計(jì)平均均響應(yīng)時(shí)時(shí)間；測(cè)試前清清空cache；測(cè)試時(shí)新新庫中有有25天數(shù)據(jù)，，200G左右；可查詢時(shí)時(shí)間從7天拓展到到至少30天。采用CCIndex后新舊系統(tǒng)性能對(duì)比分析系統(tǒng)統(tǒng)后臺(tái)支持全表表統(tǒng)計(jì)服務(wù)端統(tǒng)統(tǒng)計(jì)速度度15~50W R/S/Serveror400WR/S/Server。支持sum、avg、count、groupby、sortselect算子(F:C)where條件groupby(F:C),sortby(F:C)查詢。條條件[F:C>|<(rang)]and|or[F:C>|<(rang)]銀行：冠冠字號(hào)查查詢測(cè)試結(jié)論論：在在并發(fā)200的情況下下，依然然能夠提提供秒級(jí)級(jí)的數(shù)據(jù)據(jù)訪問效效率，可可以預(yù)預(yù)見完全全能夠滿滿足冠字字信息查查詢的性性能需求求。數(shù)據(jù)規(guī)則按照冠字信息數(shù)據(jù)模擬測(cè)試記錄數(shù)81億測(cè)試文件大小610G導(dǎo)入后大小2.4T索引后大小4.7T測(cè)試并發(fā)數(shù)200查詢模式單項(xiàng)查詢、組合查詢測(cè)試環(huán)境IP配置02*Intel

Xeon

E5-2650

8核/2.00GHZ

64GB內(nèi)存

52TB12*Intel

Xeon

E5-2650

8核/2.00GHZ

64GB內(nèi)存

52TB22*Intel

Xeon

E5-2650

8核/2.00GHZ

64GB內(nèi)存

52TB32*Intel

Xeon

E5-2650

8核/2.00GHZ

64GB內(nèi)存

52TB網(wǎng)絡(luò)6G網(wǎng)絡(luò)查詢性能數(shù)據(jù)量查詢并發(fā)（查詢內(nèi)容） 平均完成耗時(shí) 最快完成耗時(shí) 最慢完成耗時(shí)（ms） （ms） （ms）81億200（地區(qū)號(hào)單項(xiàng)）83411166581億200（網(wǎng)點(diǎn)號(hào)單項(xiàng)）81617160981億200（錯(cuò)誤碼單項(xiàng)）6042139081億200（冠字號(hào)碼單項(xiàng)）11493206981億200（等于某個(gè)地區(qū)號(hào)+等于某個(gè)錯(cuò)誤碼+等于某個(gè)種類，單條）92415177981億200（等于某個(gè)地區(qū)號(hào)+等于某個(gè)錯(cuò)誤碼+等于某個(gè)種類，100條）1763320393981億200（等于某個(gè)地區(qū)號(hào)+小于某個(gè)錯(cuò)誤碼+等于某個(gè)種類，單條）88719174081億200（等于某個(gè)地區(qū)號(hào)+小于某個(gè)錯(cuò)誤碼+等于某個(gè)種類，100條）2077664625互聯(lián)網(wǎng)應(yīng)應(yīng)用不傳傳統(tǒng)信息息系統(tǒng)應(yīng)用的區(qū)別互聯(lián)網(wǎng)應(yīng)應(yīng)用自行開發(fā)發(fā)系統(tǒng)、、快速迭迭代，持持續(xù)交付付，持續(xù)續(xù)維護(hù)直接到達(dá)達(dá)客戶端端，對(duì)接接Mass用戶業(yè)務(wù)逡輯輯簡單，Straightforward，一致致性要求求較低系統(tǒng)內(nèi)部部模塊間間可以無無標(biāo)準(zhǔn)（REST），性性能/用戶體驗(yàn)驗(yàn)至上上（KISS）傳統(tǒng)信息息系統(tǒng)多方開發(fā)發(fā)，依賴賴集成商商，基于于版本交交付和維維護(hù)Vendor對(duì)接集成成商，集集成商對(duì)對(duì)接最終終用戶業(yè)務(wù)逡輯輯復(fù)雜，，系統(tǒng)要要求穩(wěn)定定可靠，，安全性要求較高高系統(tǒng)模塊塊間依靠靠工業(yè)標(biāo)標(biāo)準(zhǔn)耦合合，如應(yīng)應(yīng)用逡輯輯和數(shù)據(jù)據(jù)庫系系統(tǒng)通過過SQL耦合源于互聯(lián)聯(lián)網(wǎng)的大大數(shù)據(jù)技技術(shù)特征以ApacheHadoop為例分布式計(jì)計(jì)算系統(tǒng)統(tǒng)，用軟軟件代替替硬件保證系統(tǒng)可靠（HDFS、ZooKeeper）面向超大大規(guī)模機(jī)機(jī)群（千千臺(tái)服務(wù)務(wù)器以上）；超大規(guī)模存儲(chǔ)（（百PB級(jí)）；高高通量（（幾十GB/秒）；高并并發(fā)（（數(shù)萬請(qǐng)請(qǐng)求/秒）簡化丌必必要的功功能（運(yùn)運(yùn)維、管管控、安全等）編程模型型、語言言多樣化化（MapReduce、Job/Task/Instance、PigLatin、SQL/HiQL、Script、Jason/PB、Java/C/C++）解決之道道標(biāo)準(zhǔn)化可控可管管化小型化軟硬一體體化生態(tài)化優(yōu)先級(jí)低低優(yōu)先級(jí)高高天璣Base(ICTBase)極高的性性能，高高通量數(shù)數(shù)據(jù)存取取，分布布實(shí)時(shí)分分析計(jì)算算，TB級(jí)數(shù)數(shù)據(jù)支持持，百倍優(yōu)于傳傳統(tǒng)關(guān)系系型