細(xì)細(xì)品味Hadoop-Hadoop集群（第11期）-HBase簡介及安裝_第1頁
細(xì)細(xì)品味Hadoop-Hadoop集群（第11期）-HBase簡介及安裝_第2頁
細(xì)細(xì)品味Hadoop-Hadoop集群（第11期）-HBase簡介及安裝_第3頁
細(xì)細(xì)品味Hadoop-Hadoop集群（第11期）-HBase簡介及安裝_第4頁
細(xì)細(xì)品味Hadoop-Hadoop集群（第11期）-HBase簡介及安裝_第5頁
已閱讀5頁，還剩42頁未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

——Hadoop集群(第11期)精華集錦csAxp蝦皮工作室ogscomxiapi河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮1Hadoop集群(第11期)HBase裝e夠處理由成千上萬的行和列所組成的大型數(shù)據(jù)。pS上來看就像一張很大的表，并且它的數(shù)據(jù)列可以根據(jù)需要動態(tài)增加。除此之外，每個cell (由行和列所確定的位置)中的數(shù)據(jù)又可以具有多個版本(通過時間戳來區(qū)別)。河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮2HBase的服務(wù)器體系結(jié)構(gòu)遵從簡單的主從服務(wù)器架構(gòu)，它由HRegin服務(wù)器(HRegionServer)群和HBaseMaster服務(wù)器(HBaseMasterServer)構(gòu)成。HBaseMaster服務(wù)器負(fù)ientookeeper也會把自己以Ephemeral方式注冊到Zookeeper中，使得HMaster可以隨時感知到各個ster河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮3nnlegionegion含所有行的一個子集。對用戶來說，每個表是一堆數(shù)據(jù)的集合，靠主鍵來區(qū)分。從物理上HRegionServerHRegionServer獲取這些數(shù)據(jù)，一臺機(jī)器上面一般只運(yùn)行一個HRegionServer，且每一個區(qū)河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮4amilyele合并過程中會進(jìn)行版本合并和數(shù)據(jù)刪除，因此可以看出HBase其實(shí)只有增加數(shù)據(jù)，所有的更新和刪除操作都是在后續(xù)的compact過程中進(jìn)行的，這使得用戶的寫操作只要進(jìn)入內(nèi)存HBaseIOStoreFilesCompact，會逐步形成越河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮5HLog動出新的，并刪除舊的文件(已持久化到StoreFile中dHBase格式HBaseHadoopHDFS要包括上述提出的兩peileR河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮6eyRowKeyRowKey固定長度的數(shù)e2)HLogFile詳細(xì)描述ceFileSequenceFileKeyHLogKeyionrT先訪問ZooKeeper獲得-ROOT-的位置，然后訪河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮7KB則詢問-ROOT-表相關(guān)的.META.表在哪里。最后，如果前面的信息全部失效，則通過ZooKeeperRegion需要進(jìn)行6MapReduceOnHBaseHBase是MapReduce，如下圖：河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮8HBase是一個類似于BigTable的分布式數(shù)據(jù)庫，它是一個稀疏的長期存儲的(存在硬的數(shù)據(jù)都是字符串，沒有類型。，所以同一張表里面的每行數(shù)據(jù)都可以由截然不同的列。amilyqualifier但是限定符(qualifier)的值相對于每一行來說都是可以改變的。HBase數(shù)據(jù)存儲在同一個目錄底下，并且HBase的寫操作時鎖行3.1邏輯模型我們可以將一個表想象成一個大的映射關(guān)系，通過行健、行健+時間戳或行健+列(列HBase某些列可以空出其所屬的列族。健“n.www”tachor:=”CNN”tachor:my.lock.ca=”CNN.com”tcontents:html=”<html>…”mime:type=”text/html”tcontents:html=”<html>…”tcontents:html=”<html>…”HBase行 3.2概念模型HBase是按照列存儲的稀疏行/列矩陣，物理模型實(shí)際上就是把概念模型中的一行進(jìn)行河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮9切割，并按照列族存儲，這點(diǎn)在進(jìn)行數(shù)據(jù)設(shè)計(jì)和程序開發(fā)的時候必須牢記。健“n.www”tcontents:html=”<html>…”tcontents:html=”<html>…”tcontents:html=”<html>…”健“n.www”tachor:=”CNN”tachor:my.lock.ca=”CNN.com”健“n.www”tmime:type=”text/html”4.1先決條件HBase解中，我們axp他節(jié)點(diǎn)(包括本地節(jié)點(diǎn))。因?yàn)?，我們需要使用Hadoop來管理遠(yuǎn)程的Hadoop和aselib河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮10.2集群環(huán)境iHBase版本：hbase-0.92.0pHadoop集群：稱IP地址ppp稱IP地址Masterppp安裝HBase河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮11cp/home/hadoop/hbase-0.92.0.tar.gz/usrhbasehadoop“hbase-0.92.0.tar.gz”dusrtar–zxvfhbase-0.92.0.tar.gzmvhbase-0.92.0hbasechown–Rhadoop:hadoophbase/usr”目錄gz#將“hbase-0.92.0”文件夾重命名“hbase”河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮12rm–rfhbase-0.92.0.tar.gz#刪除“hbase-0.92.0.tar.gz”安裝包河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮13gz1)配置hbase-env.sh部添加下面的內(nèi)容sethbaseenvironmenttHBASEMANAGESZKtruehadoopconfJava位置HBase類路徑河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮14h2)配置hbase-site.xmlhbaseconfnfigurationropertynamehbasemaster</name>lueMasterHadoopvalueproperty>ropertysemastermaxclockskewnameproperty>ropertynamehbase.rootdir</name>valuehdfsMasterHadoophbasevalueproperty>ropertyseclusterdistributednamevaluetrue</value>property>ropertysezookeeperquorumnamevalueSlaveHadoop,Slave2.Hadoop,Slave3.Hadoop</value>property>ropertyropertydataDirnamealuehomeusernametmpzookeepervalueproperty>configuration河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮15itexmlfsdefaultnameHadoophdfseHBasehbasesitexml”中某些選項(xiàng)并不識別機(jī)器IP，為了保險(xiǎn)起見都設(shè)成3)配置regionserversconfppp河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮16在“/etc/profile”文件的尾部添加以下內(nèi)容，并使其有效(source/etc/profile)：sethbaseenvironmentxportHBASEHOMEusrhadoopaHadoopMaster的hadoop所在文件夾“/usr/hbase”復(fù)制到所有的Slave的“/usr”河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮17SlaveHadoop務(wù)器的“/usr”目錄下是否已經(jīng)存在“hbase”文件夾，確認(rèn)ot我們現(xiàn)在要給“Slave1.Hadoop”服務(wù)器上的用戶hadoop添加對“/usr/hbase”權(quán)限。chown-Rhadoop:hadoop(用戶名：用戶組)hbase(文件夾)sourceetcprofile。到此為此在一臺Slave機(jī)器上的HBase配置就結(jié)束了。剩下的事兒就是照葫蘆畫瓢把剩余的幾臺Slave機(jī)器按照《從“Master.Hadoop”到啟動HBase河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮18aseshHBase示你該命/usr/hbase/bin/start-hbase.sh“Master.Hadoop”機(jī)器“Slave*.Hadoop”機(jī)器河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮19關(guān)閉HBaseeshsterums河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮20(3)用戶表信息給出了HBase中的表信息及相關(guān)屬性。(4)Region服務(wù)器信息給出了所有Region服務(wù)器的地址。eeperMaster頁面中用戶表信息提供的鏈接，可以進(jìn)入用戶表頁面，如下圖所示。該頁Region同時還提供了根據(jù)行健合并Region器頁面河北工業(yè)大學(xué)——軟件工程與理論實(shí)驗(yàn)室編輯：蝦皮21性民性民專男漢基本信息xieyaowei986@163.com河北工業(yè)大學(xué)(211工程)求職意向編程語編程語言個個人經(jīng)歷1)擔(dān)任職務(wù)：學(xué)生會生活部部長、生活委員、團(tuán)支書2)獲得獎項(xiàng)：二等獎學(xué)金(2次)、三好學(xué)生(1次)1)擔(dān)任職務(wù)：班長2)獲得獎項(xiàng)：優(yōu)秀班干部(1次)工工作經(jīng)歷個個人評價(jià)，上進(jìn)心強(qiáng)，品德優(yōu)秀，吃苦耐勞，喜歡團(tuán)隊(duì)合作，能積極寄寄言【1】Hadoop實(shí)戰(zhàn)——陸嘉恒——機(jī)械工業(yè)出版社【3】Hadoop+Hbase0.90.4完全分布式配置html【4】Hbase安裝配置(含分布式ZooKeeper)【5】HBase分布式模式

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論