1、概概2.3HBase與RDBMS對(duì) RegionServer上下線過4.HBase提供的接應(yīng)用示小參考資1. 1.1HBase1.21. 1.1HBase1.2HBase HBaseHadoopDatabase，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase 技術(shù)可在廉價(jià)PC Server 上搭建起大規(guī)模結(jié)構(gòu)化HBase是 Bigtable的開源實(shí)現(xiàn)，類似 BigtableGFS 作為其文件存儲(chǔ)系統(tǒng)，HBase利用HadoopHDFS作為其文件 系統(tǒng)； MapReduce來處Bigtable中的海量數(shù)據(jù)，HBase同樣利用HadoopMapReduce來處理HBase中

2、的海量數(shù)據(jù)； Bigtable 利用 Chubby 作為協(xié)同服務(wù)，HBase Zookeeper 作為對(duì)應(yīng)。上圖描述了 Hadoop EcoSystem 中的各層系統(tǒng)，其中 HBase 位于結(jié)構(gòu)化Hadoop HDFS 為HBase 提供了高可靠性的底層提供了高性能的計(jì)算能力，Zookeeper 為HBase 提供了穩(wěn)定服務(wù)和failover 機(jī)制。此外， Pig 和Hive 還為HBase 提供了語言支持，使得在HBase 上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變的非常簡單。 Sqoop 則為HBase 提供了方便的RDBMS 數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù) 的數(shù)據(jù)可直接通過Hadoop2.3HBaseRDB

3、MShadoop 一樣，Hbase 目標(biāo)主要依靠橫向擴(kuò)展，通過不斷增加廉價(jià)的 每個(gè) cell 中的數(shù)據(jù)可以有多個(gè)版本，默認(rèn)情況下版本號(hào)自動(dòng)分配，是單元格 2HBase如上表所示，key1,key2,key3 是三條的唯一的 row key 值，columnFamily1、 2HBase如上表所示，key1,key2,key3 是三條的唯一的 row key 值，columnFamily1、 這個(gè)列族下包括兩列，名字是column1和column2，t1:value1,t2:value2是由rowkey1和 columnFamily1、column1唯一確定的一個(gè)單元cell。這個(gè)cell中有兩

4、個(gè)數(shù)據(jù)，value1和 value2。兩個(gè)值的時(shí)間戳不一樣，分別是 t1、t2，HBase 會(huì)返回Rownosql數(shù)據(jù)庫們一樣,rowkey是用來檢索 的主鍵。 hbasetable中的行，只Row key (Row key)可以是任意字符串(64KB，實(shí)際應(yīng)用中長度一般10-100bytes)hbase ，row key 保存為字節(jié)數(shù)組。 時(shí)，數(shù)據(jù)按照Row key的字典序(byte order)排序 。設(shè)計(jì) key 時(shí)，要充分排序 這個(gè)特性，將經(jīng)常一起的行 放到一起。(位置相關(guān)性 以RowKey+ColumnFamily+ColumnQualifier+Time來定位ValueRowkey

5、keykey ,字典序?qū)?行的一次讀寫是原子操作 courses ,字典序?qū)?行的一次讀寫是原子操作 coursesHBaserowcolumnscellcell一份數(shù)據(jù)的多個(gè)版本。版本通過時(shí)間戳來索引。時(shí)間戳的類型是 64hbase()cell(包括存貯和索引)負(fù)擔(dān)，hbase 由row key,column(=+), 唯一確定的單元。cell 中的數(shù)據(jù)3HBase3.1HBase下圖 3.1 是 HBase 系統(tǒng)架構(gòu)圖， 主要是由 nt、Zookeeper、HMaster ZookeeperQuorum ZookeeperQuorum中除了 了ROOTHMaster的地址，HRegionS

6、erver也會(huì)把自己 ZookeeperHMasterHRegionServer的健康狀態(tài)。此外，也可以使用 Zookeeper 解決 HMaster 的單點(diǎn)問題。 所有Region實(shí) Election 機(jī)制保證總有一個(gè) Master 運(yùn)行，HMaster 在功能上主要負(fù)責(zé)Table Region 的管理類操作，C nt與HMasterRPC；對(duì)于數(shù)據(jù)讀寫類操作，C nt與HRegionServerRPC。3.2原 3.2原 中最 的模塊，具體組成請看下圖 3.2HRegionServer HRegion 對(duì)象，每個(gè)HRegion對(duì)應(yīng)了Table中的一個(gè)Region，HRegion中由多個(gè)HS

7、tore組成。每個(gè) HStore對(duì)應(yīng)了Table中的一個(gè)ColumnFamily的 ，可以看出每個(gè) ColumnFamily其實(shí)就是一個(gè)集中的 IO 特性的column放在一個(gè)Column Family管理HRegionServer的負(fù)載均衡，調(diào)整RegionRegionSplit后，負(fù)責(zé)新Region 來越多的HRegion來越多的HRegionHRegion 是HBase 中分布式和負(fù)載均衡的最小單元，如下圖 3.4 所示，不同 HRegion可以分布在不同的HRegionServer上，但一個(gè)HRegion不會(huì)拆分到多個(gè)Server3.4Region圖HRegion 雖然是分布式 的最小

8、單元，但不是 的最小單元。如下圖 3.5 所示，事實(shí)上，HRegionHStoreHStoreColumnFamily，StoreMemStoreStoreFile StoreFile HFile格式保存在 過一定閾值后，會(huì)觸發(fā)Split操作，同時(shí)把當(dāng)前RegionSplit2個(gè)RegionRegion3.3HBase 在HadoopHDFSHFileHBase中KeyValue格式，HFileHadoopStoreFile3.3HBase 在HadoopHDFSHFileHBase中KeyValue格式，HFileHadoopStoreFileHFile做了輕量級(jí)包裝，即StoreFile底

9、層就是HLogFile，HBase中WAL（WriteAheadLog）格式，物理上是的Sequence3.3.1DataBlock1個(gè)Region2Region3.6描述了CompactionSplit在理解了上述HStore 的基本原理后，還必須了解一下WAL（Write Ahead Log）的功 無法避免系統(tǒng)出錯(cuò)或者宕機(jī)，因此一旦HRegionServer 意外退出，MemStore 中的內(nèi)存數(shù)是一個(gè)實(shí)現(xiàn)WALMemStore的同時(shí)，也會(huì)寫一份數(shù)據(jù)到HLog文件中（HLog文件格式見后續(xù)），HLog文件定期會(huì)滾動(dòng)出新的，并刪除舊的文件（已持分別放到相應(yīng)region 的 region re

10、gion 的 HLog中的數(shù)據(jù)到MemStore中，然后flush到StoreFiles的keyMetaBlockIndex(可選的)：MetaBlockTrailer的keyMetaBlockIndex(可選的)：MetaBlockTrailer 段一個(gè) key3.7 , 了每個(gè)Data塊和Meta3.3.2 HLog（WAL 3.3.2 HLog（WAL 號(hào)的BlockScanBlockData以外就是一個(gè)個(gè)KeyValue 對(duì)拼接而成,壞。后面會(huì)詳細(xì)介紹每個(gè)KeyValue 對(duì)的開始是兩個(gè)固定長度的數(shù)值，分別表示Key 的長度和 Value 的長度。緊接著是 Key，開始是固定長度的數(shù)值

11、，表示RowKey 的長度，緊接著是 RowKey，然后是固定長度的數(shù)值，表示FamilyFamilyQualifier，然后是兩個(gè)固定長度的數(shù)值，表示TimeSt KeyType（Put/Delete）。Value3.4 關(guān)鍵算法/3.4.1Region定3.10 Region 上圖 3.9 中示意了 HLog 文件的結(jié)構(gòu)，其實(shí)HLog 文件就是一個(gè)普通的 Hadoop Sequence File，Sequence File 的Key 是HLogKey 對(duì)象，HLogKey 中歸屬信息，除了table 和 region 名字外，同時(shí)還包括 sequence number 和 timest H

12、able 3.4.2 Store StoreFile region檢查數(shù)據(jù)是否與schema將更新寫入WAL Store中全部的StoreFileMemStore3.4.3RegionServer1. regionserverregionserverregion server 2. regionserver 1. master，獲得當(dāng)前可用的regionserver 1. master，獲得當(dāng)前可用的regionserver 2master split region server 參與)群中總是有一個(gè)master在提供服務(wù)，還有一個(gè)以上的master 4.HBase 處理HBase令行工具，最

13、簡單的接口，適合HBase， 5. 應(yīng)用 簡單講解下HBase help hbase 提供了一個(gè) 5. 應(yīng)用 簡單講解下HBase help hbase 提供了一個(gè) 54建立一個(gè)表格 查看當(dāng)前HBase這里grad 對(duì)于表來說是一個(gè)列,course 對(duì)于表來說是一個(gè)列族, 這個(gè)列族由兩個(gè)列 math 和art 組成，當(dāng)然的需要在 course 中建立computer,physics等相應(yīng)的列添加入course列族，需要注意的是列族下面的列也是可以沒有名字的，如 grad 列族。 加入一行數(shù)據(jù),zkbgrad的列名為” （8）查看scores表中所有數(shù)據(jù)courses加入一行數(shù)據(jù),zkbgrad的列名為” （8）查看scores表中所有數(shù)據(jù)courses（9）刪除scores 常用的操作命令有6. 小 7. 參考HBaseTheDefinitiveGuideHBase HBase in Action（HBas