Hadoop大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)——HBase概述目錄content02MapReduce優(yōu)化方法01MapReduce運(yùn)行效率瓶頸HBase簡(jiǎn)介HBase是一個(gè)面向列、高性能、高可靠、可伸縮的分布式存儲(chǔ)系統(tǒng)。可在廉價(jià)計(jì)算機(jī)上搭建起大規(guī)模的結(jié)構(gòu)化存儲(chǔ)集群。HBase是以HDFS為文件存儲(chǔ)系統(tǒng)。以MapReduce為海量數(shù)據(jù)處理框架，以ZooKeeper為協(xié)同服務(wù)工具。HBase簡(jiǎn)介HBase是一個(gè)非關(guān)系型數(shù)據(jù)庫(kù)。非常適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。數(shù)據(jù)以列族形式存儲(chǔ)，HBase基于列的而不是基于行的模式。HBase支持在海量數(shù)據(jù)上隨機(jī)、實(shí)時(shí)讀寫(xiě)數(shù)據(jù)。HBase特點(diǎn)它彌補(bǔ)了Hadoop不能進(jìn)行實(shí)時(shí)數(shù)據(jù)處理的缺陷。它采用了稀疏矩陣的存儲(chǔ)方式。它可以通過(guò)增加節(jié)點(diǎn)的方式進(jìn)行線性擴(kuò)展。HBase的特點(diǎn)它彌補(bǔ)了Hadoop不能進(jìn)行實(shí)時(shí)數(shù)據(jù)處理的缺陷。它采用了稀疏矩陣的存儲(chǔ)方式。它可以通過(guò)增加節(jié)點(diǎn)的方式進(jìn)行線性擴(kuò)展。HBase與傳統(tǒng)數(shù)據(jù)庫(kù)的區(qū)別HBase的數(shù)據(jù)存儲(chǔ)類(lèi)型單一。HBase僅具有簡(jiǎn)單的操作。HBase的更新操作實(shí)際上是插入了新的數(shù)據(jù)且仍保留舊的數(shù)據(jù)。HBase的查詢(xún)只能通過(guò)行鍵進(jìn)行，表的設(shè)計(jì)難度較大。HBase與Hive的區(qū)別Hive支持SQL查詢(xún)，而HBase不支持SQL。Hive不支持行級(jí)別的更新，而HBase支持?jǐn)?shù)據(jù)的增、刷、改、查。Hive本身不存儲(chǔ)數(shù)據(jù)，而HBase可以聯(lián)機(jī)實(shí)時(shí)處理數(shù)據(jù)，是一種分布式數(shù)據(jù)庫(kù)。HBase邏輯視圖HBase中的表一般由行鍵（rowkey）、時(shí)間戳（timestamp）、列族（columnfamily）、列（column）組成。在使用表之前，需要先定義列族，而行、列和時(shí)間戳可動(dòng)態(tài)擴(kuò)展。行鍵：行鍵以字節(jié)數(shù)組來(lái)存儲(chǔ)，沒(méi)有特定的數(shù)據(jù)類(lèi)型，可以是任意字符串，但最大長(zhǎng)度為64KB。它是用于檢索的主鍵。列族：在定義表結(jié)構(gòu)時(shí)，必須預(yù)先定義列族，并且不可以隨意修改。列：列在定義表時(shí)不需要定義，因?yàn)樗皇窃獢?shù)據(jù)的一部分，只需在插入數(shù)據(jù)時(shí)再指定。時(shí)間戳：通過(guò)行鍵和列可以確定一個(gè)存儲(chǔ)單元。每個(gè)存儲(chǔ)單元中可能保存著一個(gè)數(shù)據(jù)的多個(gè)版本，它們通過(guò)時(shí)間戳索引。HBase邏輯視圖HBase存儲(chǔ)原理HBase由1個(gè)或者多個(gè)HMaster和多個(gè)RegionServer組成的集群。其中HMaster和RegionServer的狀態(tài)存儲(chǔ)在ZooKeeper上，HBase的數(shù)據(jù)存儲(chǔ)在HFile的文件上。HRegion內(nèi)部架構(gòu)圖本章小結(jié)本節(jié)介紹了HBase、HBase邏輯視圖和HBas