主講：張義0102目錄簡介數(shù)據(jù)模型03體系架構(gòu)簡介1選舉機制

HBase–HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮、實時讀寫的分布式數(shù)據(jù)庫

；利用HadoopHDFS作為其文件存儲系統(tǒng),利用HadoopMapReduce來處理HBase中的海量數(shù)據(jù),利用Zookeeper作為其分布式協(xié)同服務；主要用來存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。數(shù)據(jù)模型2數(shù)據(jù)模型在下圖中，以關(guān)系型數(shù)據(jù)的思維下會感覺，表格是一個5列4行的數(shù)據(jù)表格，但是在HBase中這種理解是錯誤的，其實在HBase中上面的表格只是一行數(shù)據(jù)；

RowKey:

–決定一行數(shù)據(jù)的唯一標識

–RowKey是按照字典順序排序的。

–Rowkey最多只能存儲64k的字節(jié)數(shù)據(jù)。

數(shù)據(jù)模型ColumnFamily列族（CF1、CF2、CF3）&qualifier列：

–HBase表中的每個列都歸屬于某個列族，列族必須作為表模式(schema)定義的一部分預先給出。如create‘test’,‘course’；

–列名以列族作為前綴，每個“列族”都可以有多個列成員(column，每個列族中可以存放幾千~上千萬個列)；如CF1:q1,CF2:qw,新的列族成員（列）可以隨后按需、動態(tài)加入，F(xiàn)amily下面可以有多個Qualifier，所以可以簡單的理解為，HBase中的列是二級列，也就是說Family是第一級列，Qualifier是第二級列。兩個是父子關(guān)系。

–權(quán)限控制、存儲以及調(diào)優(yōu)都是在列族層面進行的；

–HBase把同一列族里面的數(shù)據(jù)存儲在同一目錄下，由幾個文件保存。

–目前為止HBase的列族能能夠很好處理最多不超過3個列族。

數(shù)據(jù)模型Timestamp時間戳：

–在HBase每個cell存儲單元對同一份數(shù)據(jù)有多個版本，根據(jù)唯一的時間戳來區(qū)分每個版本之間的差異，不同版本的數(shù)據(jù)按照時間倒序排序，最新的數(shù)據(jù)版本排在最前面。

–時間戳的類型是64位整型。

–時間戳可以由HBase(在數(shù)據(jù)寫入時自動)賦值，此時時間戳是精確到毫秒的當前系統(tǒng)時間。

–時間戳也可以由客戶顯式賦值，如果應用程序要避免數(shù)據(jù)版本沖突，就必須自己生成具有唯一性的時間戳。

數(shù)據(jù)模型Cell單元格：

–由行和列的坐標交叉決定；

–單元格是有版本的（由時間戳來作為版本）；

–單元格的內(nèi)容是未解析的字節(jié)數(shù)組（Byte[]），cell中的數(shù)據(jù)是沒有類型的，全部是字節(jié)碼形式存貯。由{rowkey，column(=<family>+<qualifier>)，version}唯一確定的單元。

體系架構(gòu)3體系架構(gòu)

體系架構(gòu)Client包含訪問HBase的接口并維護cache來加快對HBase的訪問Zookeeper

保證任何時候，集群中只有一個master存貯所有Region的尋址入口。實時監(jiān)控Regionserver的上線和下線信息。并實時通知Master存儲HBase的schema和table元數(shù)據(jù)Master

為Regionserver分配region

負責Regionserver的負載均衡發(fā)現(xiàn)失效的Regionserver并重新分配其上的region

管理用戶對table的增刪改操作體系架構(gòu)RegionServer

Regionserver維護region，處理對這些region的IO請求

Regionserver負責切分在運行過程中變得過大的region

HLog(WALlog)：

HLog文件就是一個普通的HadoopSequenceFile，SequenceFile的Key是HLogKey對象，HLogKey中記錄了寫入數(shù)據(jù)的歸屬信息，除了table和region名字外，同時還包括sequencenumber和timestamp，timestamp是”寫入時間”，sequencenumber的起始值為0，或者是最近一次存入文件系統(tǒng)中sequencenumber。

HLogSequeceFile的Value是HBase的KeyValue對象，即對應HFile中的KeyValue。Region

HBase自動把表水平劃分成多個區(qū)域(region)，每個region會保存一個表里面某段連續(xù)的數(shù)據(jù)；每個表一開始只有一個region，隨著數(shù)據(jù)不斷插入表，region不斷增大，當增大到一個閥值的時候，region就會等分會兩個新的region（裂變）；

當table中的行不斷增多，就會有越來越多的region，這樣一張完整的表被保存在多個Regionserver上。體系架構(gòu)Memstore與storefile

一個region由多個store組成，一個store對應一個CF（列族）store包括位于內(nèi)存中的memstore和位于磁盤的storefile寫操作先寫入memstore，當memstore中的數(shù)據(jù)達到某個閾值，hregionserver會啟動flashcache進程寫入storefile，每次寫入形成單獨的一個storefile當storefile文件的數(shù)量增長到一定閾值后，系統(tǒng)會進行合并（minor、majorcompaction），在合并過程中會進行版本合并和刪除工作（majar），形成更大的storefile。當一個region所有storefile的大小和超過一定閾值后，會把當前的region分割為兩個，并由hmaster分配到相應的regionserver服務器，實現(xiàn)負載均衡。客戶端檢索數(shù)據(jù)，先在memstore找，找不到再找storefileHRegion是HBase中分布式存儲和負載均衡的最小單元。最小單元就表示不同的HRegion可以分布在不同的HRegionserver上。