大數(shù)據(jù)引發(fā)的變革與企業(yè)面臨的挑戰(zhàn)EricChenSYSEX精誠(chéng)集團(tuán)BigData事業(yè)資深總監(jiān),mobile:1個(gè)人的一些經(jīng)歷在IT產(chǎn)業(yè)第17個(gè)年頭從程序員開(kāi)始第一份工作,逐漸轉(zhuǎn)移到銷售與售前、產(chǎn)品經(jīng)理、產(chǎn)品與技術(shù)管理、事業(yè)發(fā)展、新事業(yè)規(guī)劃與開(kāi)發(fā)主要經(jīng)驗(yàn)都是以軟件為基礎(chǔ)，含括數(shù)據(jù)庫(kù)解決方案、電子商務(wù)解決方案、中間件(Middleware)、嵌入式系統(tǒng)(EmbeddedSystem)、安全解決方案(Security)、云操作系統(tǒng)(CloudOS)、大數(shù)據(jù)一體機(jī)(BigDataAppliance)2006年，開(kāi)始參與大數(shù)據(jù)項(xiàng)目計(jì)劃，引進(jìn)Hadoop…………..2009年，開(kāi)始參與兩岸云計(jì)算云操作系統(tǒng)項(xiàng)目計(jì)劃2010年，開(kāi)始參與臺(tái)灣云端運(yùn)算聯(lián)盟，為創(chuàng)會(huì)會(huì)員之一2BigData時(shí)代來(lái)臨BigDataPeopleDevicesSensors移動(dòng)互聯(lián)網(wǎng)Mobile

Internet物聯(lián)網(wǎng)InternetofThings3新量級(jí)、新處理模式、新企業(yè)智能不同“看”數(shù)據(jù)的方式5可視：結(jié)構(gòu)化資料15%未視：半/非結(jié)構(gòu)化數(shù)據(jù)85%DB/DW主管們看的戰(zhàn)情數(shù)位儀表板，其實(shí)是殘缺的…10萬(wàn)GB10萬(wàn)TB需要更高性價(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存方式6數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)計(jì)算更快

存儲(chǔ)更省85%半/非結(jié)構(gòu)化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

不同的數(shù)據(jù)管理策略當(dāng)我們想要擴(kuò)充時(shí)，才發(fā)覺(jué)：架構(gòu)只能scale-up，

scale-out不易處理時(shí)間過(guò)長(zhǎng)，

time-to-value受限成本過(guò)高，

cost-efficiency受限15%結(jié)構(gòu)化的DB/DW遺憾殘缺79并行模式簡(jiǎn)單、編成較易為程序員屏蔽通性、并發(fā)、同步與一致性等問(wèn)題計(jì)算與存儲(chǔ)一體，計(jì)算向數(shù)據(jù)靠攏，高效專用存儲(chǔ)模式任務(wù)之間無(wú)依賴(share-nothing)，具有高系統(tǒng)延展性(scale-out)并行計(jì)算匡架分布式檔案存儲(chǔ)10大規(guī)模分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)HBase–HadoopDatabase，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)利用

HDFS作為其文件存儲(chǔ)系統(tǒng)–HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持利用

MapReduce來(lái)處理其中的海量數(shù)據(jù)–MapReduce為HBase提供了高性能的計(jì)算能力11企業(yè)運(yùn)用數(shù)據(jù)的流程13r14DistributedSearchr15DistributedSearch企業(yè)并不像互聯(lián)網(wǎng)公司，如何掌握這么