大數(shù)據(jù)的存儲1、了解大數(shù)據(jù)存儲的相關(guān)知識

1、大數(shù)據(jù)的存儲問題

2、存儲體系結(jié)構(gòu)

3、新型數(shù)據(jù)庫集群

4、數(shù)據(jù)倉庫

大數(shù)據(jù)的存儲問題

大數(shù)據(jù)的存儲和管理任何機(jī)器都會有物理上的限制:內(nèi)存容量、硬盤容量、處理器速度等等,

需要在這些硬件的限制和性能之間做出取舍,比如內(nèi)存的讀取速度比硬盤快得多,因此內(nèi)存數(shù)據(jù)庫比硬盤數(shù)據(jù)庫性能好,但是內(nèi)存為2GB的機(jī)器不可能將大小為100GB的數(shù)據(jù)全部放入內(nèi)存中,也許內(nèi)存大小為128GB的機(jī)器能夠做到,但是數(shù)據(jù)增加到200GB時就無能為力了。數(shù)據(jù)不斷增長造成單機(jī)系統(tǒng)性能不斷下降,即使不斷提升硬件配置也難以跟上數(shù)據(jù)的增長速度。大數(shù)據(jù)的存儲存儲體系結(jié)構(gòu)

存儲體系結(jié)構(gòu)MPP架構(gòu)的新型數(shù)據(jù)庫集群

重點面向行業(yè)大數(shù)據(jù)，采用SharedNothing架構(gòu)，通過列存儲、粗粒度索引等多項大數(shù)據(jù)處理技術(shù)，再結(jié)合MPP架構(gòu)高效的分布式計算模式，完成對分析類應(yīng)用的支撐，運(yùn)行環(huán)境多為低成本PCServer，具有高性能和高擴(kuò)展性的特點，在企業(yè)分析類應(yīng)用領(lǐng)域獲得極其廣泛的應(yīng)用。大數(shù)據(jù)存儲MPP架構(gòu)的新型數(shù)據(jù)庫集群新型數(shù)據(jù)庫集群新型MPP數(shù)據(jù)庫的價值

技術(shù)：基于列存儲+MPP架構(gòu)的新型數(shù)據(jù)庫在核心技術(shù)上跟傳統(tǒng)數(shù)據(jù)庫有巨大差別，是為面向結(jié)構(gòu)化數(shù)據(jù)分析設(shè)計開發(fā)的，能夠有效處理PB級別的數(shù)據(jù)量。在技術(shù)上為很多行業(yè)用戶解決了數(shù)據(jù)處理性能問題。

用戶價值：新型數(shù)據(jù)庫是運(yùn)行在x-86PC服務(wù)器之上的，可以大大降低數(shù)據(jù)處理的成本（1個數(shù)量級）。新型數(shù)據(jù)庫集群MPP與Hadoop技術(shù)融合的產(chǎn)品架構(gòu)圖新型數(shù)據(jù)庫集群數(shù)據(jù)倉庫的重要性

在互聯(lián)網(wǎng)高速發(fā)展之前，無論是電信運(yùn)營商，還是大銀行，保險公司等都花費(fèi)了巨額資金建立了自己的企業(yè)級數(shù)據(jù)倉庫。這些倉庫主要是為企業(yè)決策者生成企業(yè)的一些關(guān)鍵指標(biāo)（KPI），有的企業(yè)有幾千張、甚至上萬張KPI報表，有日表，周表，月表等等。數(shù)據(jù)倉庫1