盤點(diǎn)：大數(shù)據(jù)“流言”：Hadoop和云分析七誤解

如今，數(shù)據(jù)量在以驚人的速度增長(zhǎng)，從IDC分析師報(bào)告中2013年數(shù)據(jù)存儲(chǔ)上的增長(zhǎng)速度將達(dá)到53.4%，AT&T更是聲稱無(wú)線數(shù)據(jù)的流量在過(guò)去的5年內(nèi)增長(zhǎng)200倍，從互聯(lián)網(wǎng)內(nèi)容、電子郵件、應(yīng)用通知、社交消息以及每天接收的消息都在顯著的增長(zhǎng)，這也是眾多大企業(yè)都聚焦大數(shù)據(jù)的原因所在。毫無(wú)疑問(wèn)，Hadoop成為解決大數(shù)據(jù)需求的主要投資領(lǐng)域之一，而類似Facebook等互聯(lián)網(wǎng)巨頭在都公開(kāi)的吹捧Hadoop上取得的成功，同樣初入大數(shù)據(jù)領(lǐng)域的公司也必先著眼于Hadoop。但對(duì)于Hadoop技術(shù)而言，是一個(gè)多維的解決方案，可以通過(guò)不同的方式進(jìn)行部署和使用。下面就了解一些關(guān)于Hadoop和大數(shù)據(jù)的七大錯(cuò)誤理念：1.大數(shù)據(jù)僅僅是容量對(duì)大數(shù)據(jù)來(lái)說(shuō)，除了指體積之外，還經(jīng)常提到Variety(多樣)、Variability(可變)、Velocity(速度)和Value(價(jià)值)。關(guān)鍵點(diǎn)在于大數(shù)據(jù)并不是體積上的增長(zhǎng)，更多是未來(lái)的實(shí)時(shí)分析、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的發(fā)展，并被企業(yè)CIO用于更好的決策。綜上所述，并不是只有分析大數(shù)據(jù)才會(huì)獲得價(jià)值。舉個(gè)例子，存儲(chǔ)和分析1PB的超時(shí)限數(shù)據(jù)的價(jià)值可能比不上實(shí)時(shí)分析1GB的數(shù)據(jù)，而從“新鮮”的數(shù)據(jù)上獲得價(jià)值比解剖過(guò)時(shí)的數(shù)據(jù)更具價(jià)值。2.傳統(tǒng)SQL不能在Hadoop上使用眾多廠商在Hadoop上投入精力，布局市場(chǎng)戰(zhàn)略時(shí)，十分清楚HDFS和MapReduce受限于處理類似SQL語(yǔ)言的能力，這也是Hive、Pig和Sqoop最終得以推廣的原因。更多企業(yè)通過(guò)Hadoop和SQL兼容來(lái)管理大量的數(shù)據(jù)，PivotalHD是結(jié)合SQL并行處理資料庫(kù)與Hadoop2.0，針對(duì)企業(yè)資料分析需求而優(yōu)化的Hadoop強(qiáng)化版本。3.Hadoop是唯一的新IT數(shù)據(jù)平臺(tái)談到數(shù)據(jù)平臺(tái)，大型機(jī)在IT投資組合里有是一個(gè)長(zhǎng)期投資，與ERP、CRM和SCM這些系統(tǒng)一樣演變至今。而面對(duì)大數(shù)據(jù)時(shí)代，大型機(jī)不想被架構(gòu)遺棄，必須展示在現(xiàn)有IT投資環(huán)境中的價(jià)值，而許多客戶遇到速度、規(guī)模和成本的問(wèn)題，通過(guò)vFabricSQLFire這樣的內(nèi)存大數(shù)據(jù)網(wǎng)絡(luò)去解決高速數(shù)據(jù)存取，促進(jìn)大型機(jī)批處理或?qū)崟r(shí)分析報(bào)告這些問(wèn)題。4.虛擬化會(huì)導(dǎo)致性能下降Hadoop最初的設(shè)計(jì)只是運(yùn)行實(shí)體服務(wù)器上，然而隨著云計(jì)算發(fā)展，許多企業(yè)都希望能作為云數(shù)據(jù)中心提供服務(wù)。之所以虛擬化Hadoop，企業(yè)首先要考慮管理基礎(chǔ)設(shè)施的擴(kuò)展性，認(rèn)識(shí)到擴(kuò)展計(jì)算資源，比如虛擬Hadoop節(jié)點(diǎn)在數(shù)據(jù)和計(jì)算分開(kāi)時(shí)會(huì)對(duì)性能有所幫助，否則如果你關(guān)閉某個(gè)Hadoop節(jié)點(diǎn)將丟失上面的所有數(shù)據(jù)或者添加一個(gè)沒(méi)有數(shù)據(jù)的空節(jié)點(diǎn)。5.Hadoop只可以在數(shù)據(jù)中心運(yùn)行對(duì)于在SaaS云服務(wù)解決方案，許多云服務(wù)允許云端運(yùn)行Hadoop、SQL，這無(wú)疑可以幫助企業(yè)省下數(shù)據(jù)中心建造投資的時(shí)間和金錢。特別是對(duì)于公有云情況下，Java開(kāi)發(fā)者可以從SpringDataforHadoop以及一些其它的GitHub用例中獲益。6.Hadoop對(duì)虛擬化無(wú)經(jīng)濟(jì)價(jià)值Hadoop被很多人認(rèn)為，盡管在商用服務(wù)器上運(yùn)行，添加一個(gè)虛擬層在帶來(lái)額外支出的同時(shí)并不會(huì)有額外的價(jià)值收益，但其實(shí)這個(gè)說(shuō)法并沒(méi)有考慮到數(shù)據(jù)和數(shù)據(jù)分析事實(shí)上都是動(dòng)態(tài)的。虛擬化基礎(chǔ)設(shè)施同樣可以減少物理硬件數(shù)量，讓CAPEX(資本支出)直接等于商用硬件成本，而通過(guò)自動(dòng)以及高效利用共享基礎(chǔ)設(shè)施同樣可以減少OPEX(運(yùn)營(yíng)成本)。7.Hadoop不能運(yùn)行在SAN或NAS上盡管Hadoop