1、HCNP,FusionInsight,R2CXX,1.0,于少鵬/285037,2015.10,張偉/301377,新開發(fā),Hue 架構(gòu)原理,學(xué)完本課程后，您將能夠： 了解Hue應(yīng)用場(chǎng)景 了解Hue的實(shí)現(xiàn)原理和架構(gòu) 理解Hue的HA機(jī)制 掌握Hue的安裝配置,Hue簡介及應(yīng)用場(chǎng)景 Hue架構(gòu)及基本概念 Hue可靠性 Hue安裝與配置,Hue Hadoop User Experience,Hue匯聚了與大多數(shù)Apache Hadoop組件交互的接口，致力于Hadoop組件的用戶體驗(yàn)。Hue組件讓用戶輕松使用Hadoop，不用擔(dān)心底層的復(fù)雜實(shí)現(xiàn)，不使用命令行操作。用戶可以輕松快捷的獲取到結(jié)果。,W

2、eb Server,Hadoop,Browser,Hue File Browser,HDFS是文件系統(tǒng)，Hue中的File Browser模塊則是這個(gè)文件系統(tǒng)的UI?？梢允褂肏ue的File Browser模塊，對(duì)HDFS中的文件和文件夾做如下操作： 新建文件或文件夾，上傳或下載文件，上傳zip文件 重命名、移動(dòng)、復(fù)制、刪除一個(gè)文件或文件夾， 修改文件或文件夾的權(quán)限 以文本或二進(jìn)制方式查看或修改文件,Hue Beeswax & Metastore Manager,通過Beeswax模塊可以在Hive上執(zhí)行query語句，包括： 新建數(shù)據(jù)庫，刪除數(shù)據(jù)庫 新建表、刪除表、查詢表數(shù)據(jù) 新建、執(zhí)行、管

3、理Hive SQL語句 查詢并導(dǎo)出查詢結(jié)果為excel 通過模板文件創(chuàng)建表,Hue簡介 Hue架構(gòu)及基本概念 Hue可靠性 Hue安裝與配置,Hue 架構(gòu)圖,Browser,Hue Web Server,Backend Services,HDFS Python API,Hue與組件交互 REST API,以HDFS為例: Hue 通過 HDFS 提供的 REST API 調(diào)用接口。 Hue 和 HDFS 之間使用了Kerberos認(rèn)證,Create Http Client with Kerberos,Revoke Functions,Browser,Hue Web Server,HDFS,HT

4、TP Request,Response Data,Revoke Method,HDFS REST API,Response Data,Response Data,Thrift(HiveServer/Metastrore),Hue與組件交互 Thrift API,以Hive為例 Hue 通過 Thrift 接口調(diào)用Hiveserver和metastore Hue 和 Hiveserver、metastore之間使用了Kerberos認(rèn)證,Create ThriftClient with Kerberos,Revoke Functions,Browser,Hue Web Server,HiveSe

5、rver/Metastore,HTTP Request,Response Data,Revoke Method,Thrift API,Response Data,Response Data,Hue 組件解耦,Hue自動(dòng)檢測(cè)組件是否安裝，從而自動(dòng)安裝或者卸載在Hue中對(duì)應(yīng)的模塊。以Hive模塊為例： 如果Hue檢測(cè)到Hive模塊的配置項(xiàng)的值為空，Hue則會(huì)卸載Hue中對(duì)應(yīng)的beeswax和metastore模塊。 如果檢測(cè)到Hive模塊的配置項(xiàng)有值，Hue則會(huì)安裝Hue中對(duì)應(yīng)的beeswax和metastore模塊，從而實(shí)現(xiàn)組件在Hue中的自動(dòng)化安裝和卸載。,Hue簡介 Hue架構(gòu)及基本概念 H

6、ue可靠性 Hue安裝與配置,Standby Hue 2,Active Hue 2,Hue可靠性,unknown Hue 1,unknown Hue 2,Active Hue 1,Standby Hue 2,Bad Hue 1,Active Hue 1,Hue-可靠性常見問題,DBService不可用導(dǎo)致Hue狀態(tài)不可用 Hue所在節(jié)點(diǎn)連接DBService服務(wù)浮動(dòng)IP失敗 DBService的連接資源被其他服務(wù)全部占用 在組網(wǎng)隔離環(huán)境下，DBService和Hue服務(wù)的浮動(dòng)IP未配置在業(yè)務(wù)平面，導(dǎo)致Hue連接DBService失敗,Hue簡介 Hue架構(gòu)及基本概念 Hue可靠性 Hue安裝與

7、配置,Hue 安裝與配置,利用FusionInsight Manager安裝Hue組件時(shí)，需注意： Hue組件的浮動(dòng)IP唯一、且必須配置在業(yè)務(wù)平面 Hue組件的主備節(jié)點(diǎn)可以安裝到集群中任意兩個(gè)節(jié)點(diǎn) 安全模式下，Hue強(qiáng)依賴于DBService、KrbServer。安裝Hue前，需確保上述兩個(gè)服務(wù)已啟動(dòng)且正常,Hue 安裝與配置,FusionInsight Manager為組件提供了統(tǒng)一的配置界面，通過Manager可以配置： Hue浮動(dòng)IP、端口 Hue Web服務(wù)所產(chǎn)生的日志級(jí)別 Hue Web服務(wù)產(chǎn)生的單個(gè)日志的最大值（默認(rèn)5MB） Hue Web服務(wù)的日志最大備份數(shù)（默認(rèn)20份）,Hue 安裝與配置常見問題,Python版本不兼容，F(xiàn)usionInsight Hue組件支持的Python版本為.9 浮動(dòng)IP沖突或者默認(rèn)端口21200被占用，導(dǎo)致Hue Web服務(wù)進(jìn)程異常退出 Hue連接DBServi