GBase

8a

MPP

Cluster管理工具南大通用數(shù)據(jù)技術(shù)GBASE?2004-2015目標(biāo)掌握下面工具的功能和操作方法GBase8aMPP加載工具dispatch企業(yè)管理器導(dǎo)出數(shù)據(jù)語句導(dǎo)出工具

ump工具備份恢復(fù)工具了解8a集群SQL特性orato8a工具演示流程分析ssbm模型理解8a數(shù)據(jù)模型建庫建表企業(yè)管理器使用從oracle中導(dǎo)出數(shù)據(jù)orato8a的使用將數(shù)據(jù)導(dǎo)入8a集群加載工具的使用工具查看數(shù)據(jù)分布工具的使用從8a集群中導(dǎo)出表結(jié)構(gòu)ump工具的使用從8a集群中導(dǎo)出表數(shù)據(jù)導(dǎo)出語句的使用備份8a當(dāng)前實例備份恢復(fù)工具的使用3企業(yè)管理器的使用—數(shù)據(jù)抽取加載工具使用二數(shù)據(jù)庫結(jié)構(gòu)和數(shù)據(jù)導(dǎo)出四集群備份和恢復(fù)五工具使用三45管理集群中的節(jié)點(diǎn)服務(wù)器?？梢暬芾砑涵h(huán)境中的數(shù)據(jù)庫、表等數(shù)據(jù)對象?？梢暬癁榧涵h(huán)境創(chuàng)建用戶、編輯用戶和刪除用戶?？梢暬榭醇涵h(huán)境的日志。管理集群數(shù)據(jù)表中的數(shù)據(jù)記錄。執(zhí)行SQL功能。企業(yè)管理器—功能企業(yè)管理器—界面菜單欄已服務(wù)器對象資源管理器模板資源管理器SQL歷史記錄6企業(yè)管理器—演示7企業(yè)管理器—案例分析SSBM是Star

Schema

ben

ark（星形模型基準(zhǔn)）的縮寫，是為了評估數(shù)據(jù)庫系統(tǒng)的星形架構(gòu)數(shù)據(jù)倉庫的查詢性能而被設(shè)計出來的，目前已經(jīng)被廣泛的應(yīng)用于一些主流的商業(yè)數(shù)據(jù)庫在linux系統(tǒng)下評估新產(chǎn)品表名說明備注lineorder訂單明細(xì)表事實表customer表維度表dwdate日期維度表維度表part商品信息表維度表r供應(yīng)商信息表維度表8企業(yè)管理器—案例分析問題SSBM中的5張表分別應(yīng)該創(chuàng)建成什么類型的表？分布表的分布列應(yīng)該選擇哪一列？9lo_orderkey訂單KEYlo_linenumber航線號lo_custkey客戶KEYlo_partkey商品KEYlo_suppkey供應(yīng)商KEYlo_orderdate訂單日期lo_orderpriority訂單優(yōu)先級lo_shippriority優(yōu)先級lo_

ty數(shù)量lo_extendedprice訂單總價格lo_ordtotalprice訂單全價格lo_discount折扣lo_revenue稅金lo_supplycost成本lo_tax稅率mitdate交付日期lo_shipmode方式企業(yè)管理器—案例分析等值查詢條件列重復(fù)值少的列Join關(guān)聯(lián)列g(shù)roupby列不允許update必須varchar、int分布列的選擇10企業(yè)管理器—案例演示建表完成后查詢SSBM各表類型select

*

from

gbase.table_distribution

where

dbname=‘ssbm’;11SQL特性8a集群數(shù)據(jù)模型表類型分布節(jié)點(diǎn)入庫大小分布表所有節(jié)點(diǎn)，每個節(jié)點(diǎn)管理一部分表數(shù)據(jù)表大小×組內(nèi)節(jié)點(diǎn)數(shù)表所有節(jié)點(diǎn)，每個節(jié)點(diǎn)都有相同的表數(shù)據(jù)表大小×節(jié)點(diǎn)數(shù)nocopies表所有節(jié)點(diǎn)，每個節(jié)點(diǎn)管理一部分表數(shù)據(jù)，無副本表大小臨時表可以為 表或分布表，連接斷開即自動清除綜合示例：gbase>

CREATE

TEMPORARY

TABLE

t1

(a

int,b

varchar(10))

DISTRIBUTEDBY

('a')

NOCOPIES;Query

OK,

0

rows

affected12SQL特性綜合介紹DDL、DML、DCL符合SQL

92標(biāo)準(zhǔn)支持創(chuàng)建、修改、刪除庫和表、視圖的DDL支持創(chuàng)建、刪除用戶和賦權(quán)、回收權(quán)限的DCL支持增刪改查DML支持創(chuàng)建、刪除hash索引擁有系統(tǒng)數(shù)據(jù)類型和系統(tǒng)函數(shù)（含OLAP函數(shù)）支持自定義函數(shù)和

過程過程中支持變量定義、結(jié)構(gòu)化流程、異常捕獲、游標(biāo)、預(yù)處理13數(shù)據(jù)抽取和加載工具使用二14數(shù)據(jù)抽取加載工具簡介GBase

8a數(shù)據(jù)庫文件TXTOracle數(shù)據(jù)庫數(shù)據(jù)加載gbloader數(shù)據(jù)抽取orato8aDB2數(shù)據(jù)庫數(shù)據(jù)抽取DB2to8a15數(shù)據(jù)抽取工具-orato8a功能：可以快速、高效的從Oracle數(shù)據(jù)庫中抽取數(shù)據(jù)的

工具部署：orato8a是一個獨(dú)立運(yùn)行的數(shù)據(jù)抽取工具，需要將此工具部署在可以

到oracle的機(jī)器上，或者直接與oralce

server部署在一臺服務(wù)器上。執(zhí)行orato8a的用戶，必須是可以

oracle數(shù)據(jù)庫的用戶。16數(shù)據(jù)抽取工具-orato8aorato8a環(huán)境部署：安裝Oracle數(shù)據(jù)庫或客戶端非安裝用戶需要：加入Oracle安裝用戶組，正確設(shè)置ORACLE_BASE,ORACLE_HOME,ORACLE_SID變量，將$ORACLE_HOME/bin加入到PATH變量，將$ORACLE_HOME/lib加入LD_LIBRARY_PATH變量1718數(shù)據(jù)抽取工具-orato8a安裝包：orato8a_26794_Redhat6.2_x86_64.tar.bz2#

tarxfj

orato8a_26794_Redhat6.2_x86_64.tar.bz2語法：orato8a

--參數(shù)=值示例1: 導(dǎo)出文本格式數(shù)據(jù)[test@gbase555

~]$

orato8a

--user=ssbm/ssbm@maya

--query="select

*

from

lineorder"

--file=/home/linna/lineorder.txt

--field=";"

--format=3支持select

statement語句導(dǎo)出和全表導(dǎo)出兩種模式數(shù)據(jù)抽取工具-案例演示案例：從oracle

server中抽取lineorder表數(shù)據(jù)到本地文本文件19..Interconnect數(shù)據(jù)庫節(jié)點(diǎn)20數(shù)據(jù)分發(fā)節(jié)點(diǎn)ftp,

nfsetc外部數(shù)據(jù)來源數(shù)據(jù)分布策略Hash,Random數(shù)據(jù)加載工具-dispatch加載示意圖數(shù)據(jù)加載工具-dispatchdispserver原始數(shù)據(jù)文件負(fù)責(zé)原始數(shù)據(jù)文件切分?jǐn)?shù)據(jù)文件的下發(fā)等待gbloaderdispcli?加載任務(wù)文件將加載任務(wù)發(fā)送給dispserver程序包：dispatch_server--build28197-redhat6.2-x86_64.tar.bz2工具為C/S架構(gòu)，包含dispserver和dispcli兩個程序下發(fā)任務(wù)GBase

8a數(shù)據(jù)庫節(jié)點(diǎn)gbloader領(lǐng)取dispserver下發(fā)的文件21數(shù)據(jù)加載工具-dispatchdispserver啟動gbloader切分好的文件保存切分好的文件保存切分好的文件保存在buffer中2.解析任務(wù)文件，啟動各節(jié)點(diǎn)的gbloader4.從buffer中數(shù)據(jù)文件5.發(fā)送gbloader加載的進(jìn)度和提交狀態(tài)3.根據(jù)分布策略，切分?jǐn)?shù)據(jù)文件dispcli啟動1.發(fā)送加載任務(wù)文件6.發(fā)送gbloader加載的進(jìn)度Gnode7.等全部節(jié)點(diǎn)接收數(shù)據(jù)完成后，commit入庫8.完成退出9.Dispcli進(jìn)程結(jié)束返回值1—成功0---失敗原理圖22數(shù)據(jù)加載工具-dispatch加載步驟分析數(shù)據(jù)文件（文本/二進(jìn)制/定長，分隔符，字段個數(shù)，字段類型，日期格式，空值）表，壓縮，distributed列）建表（分布表，編寫加載任務(wù)文件進(jìn)行加載導(dǎo)入操作啟動數(shù)據(jù)分發(fā)服務(wù)器dispserver數(shù)據(jù)分發(fā)客戶端dispcli5.

檢查加載是否成功（條數(shù)，查看日志，是否有未導(dǎo)入數(shù)據(jù)，分析原因，再次導(dǎo)入，直至全部導(dǎo)入）23數(shù)據(jù)加載工具-案例分析$

cat

lineorder.ctl[test_lineorder]disp_server=1:6666file_list=/home/lineorder1.tbl,/home/lineorder2.tblformat=3

（格式：0-文本文件3-無轉(zhuǎn)義的文本文件4-定長文本文件）db_name=testtable_name=lineorderdelimiter=‘|‘socket=/tmp/gbase_8a_5050.sock（節(jié)點(diǎn)上gnode使用的套接字）extra_loader_args=--parallel=4

--def_date_format="%Y%c%d"（調(diào)用gbloader時的參數(shù)，多個參數(shù)直接用空格分隔）24數(shù)據(jù)加載工具-案例分析11.4版本集群dispcli啟動時，允許指定多個ip，開啟高可用$

./dispcli

–t

300

–h

3,4

,5

-lcase10.log1

-L4

/home/gbase/dataloader/mission.lst-t

設(shè)置超時時間。單位：秒，默認(rèn)值300。啟動數(shù)據(jù)分發(fā)服務(wù)器（建議用gbase帳號操作）$

./dispserver

--log-file=/home/gbase/dispatcher.log

--port=6666

&--log-file

設(shè)置分發(fā)服務(wù)器的日志文件參數(shù)將服務(wù)放到運(yùn)行查看是否存在dispserver

進(jìn)程$

ps

aux

|

grep

dispserver啟動數(shù)據(jù)分發(fā)客戶端25數(shù)據(jù)加載工具-案例演示26數(shù)據(jù)加載工具-常用參數(shù)控制文件常用參數(shù)：日期格式參數(shù)—def_datetime_format當(dāng)原始文件 期格式跟標(biāo)準(zhǔn)格式不同時，需設(shè)置日期格式才能導(dǎo)入標(biāo)準(zhǔn)日期格式：2013-01-30

16:35:32示例：文本文件 期格式 20150609

23:35:32.324控制文件中加參數(shù) def_datetime_format

=“%Y%c%d

%H:%i:%S.%f”2728數(shù)據(jù)加載工具-dispatch控制文件常用特殊參數(shù)table_fields使用場景1：原始數(shù)據(jù)文件中含有多種日期格式table_fields=‘t_no,st_sex,st_regdatetime

date

“%Y-%b-%d

%H:%i:%S",clttime

date

“%H:%i:%S"

'要寫上所有字段名稱，日期型字段后加date來說明具體日期格式使用場景2：原始數(shù)據(jù)文件中列數(shù)或順序與數(shù)據(jù)庫表的列數(shù)、順序不同示例：數(shù)據(jù)文件：數(shù)據(jù)1|數(shù)據(jù)2|數(shù)據(jù)3|數(shù)據(jù)4|數(shù)據(jù)5|數(shù)據(jù)6表結(jié)構(gòu)：

列1，列2，列3，列4，列5對應(yīng)關(guān)系：問題：

table_fields=‘列？，列？，列？，列？，列？，列？‘表結(jié)構(gòu)列1列2列3列4列5數(shù)據(jù)文件數(shù)據(jù)2數(shù)據(jù)3數(shù)據(jù)1數(shù)據(jù)4數(shù)據(jù)629數(shù)據(jù)加載工具-dispatch加載日志總結(jié)日志名稱日志說明dispserver服務(wù)端日志默認(rèn)日志文件路徑：“./dispsvr.log”?？芍付ㄈ罩疚募Q和日志級別./dispserver

--log-file=/tmp/dispsvr.log

--log-level=2

&gbloader單機(jī)加載日志dispserver收集各節(jié)點(diǎn)的gbloader日志和錯誤數(shù)據(jù)日志日志文件默認(rèn)

：“$HOME/loader_logs/”?？芍付ㄈ罩?/p>

：./dispserver

--loader-log-dir=/tmp/loaderlog/

&錯誤數(shù)據(jù)日志在此

中，**_error_data.log文件為錯誤數(shù)據(jù)。dispcli客戶端日志默認(rèn)日志文件路徑：“/tmp/dispcli.log”可指定日志文件名和日志級別：./dispcli

--log-file=/home/gbase/dispcli.log

--log-level=4工具使用三30集群

工具可視化

工具提供

的

數(shù)據(jù)及時的 功能直觀的趨勢展示可靠的數(shù)據(jù)分布視圖數(shù)據(jù)庫連接線程的狀態(tài)展示GBase

8a

Cluster

系統(tǒng)以

為

用戶接口31集群

工具…

…ssRPCRPCRPCHTTPJDBCJDBCJDBCJDBC中心1n信息資源數(shù)據(jù)庫集群節(jié)點(diǎn)n集群節(jié)點(diǎn)1操作系統(tǒng)操作系統(tǒng)客戶端瀏覽器?系統(tǒng)架構(gòu)32集群

工具?（Agent）當(dāng)前系統(tǒng)、硬件及網(wǎng)絡(luò)信息當(dāng)前集群節(jié)點(diǎn)的運(yùn)行狀態(tài)和節(jié)點(diǎn)進(jìn)程運(yùn)行情況中心（Center）?持久化

信息到傳遞 信息接收用戶對的管理指令?節(jié)點(diǎn)準(zhǔn)實 警以及歷史 信息的審計功能展示集群中數(shù)據(jù)庫連接線程的相關(guān)信息圖形化集群和各節(jié)點(diǎn)的運(yùn)行狀態(tài)，直觀展示集群的數(shù)據(jù)分布情況提供對集群 的管理功能中心1中心2中心n1n33集群

工具

登錄http://[ip]:[port]/gcmonitor/例如:系統(tǒng)默認(rèn)超戶為admin，為admin。34集群

工具—案例演示案例：查看lineorder表數(shù)據(jù)在集群的各節(jié)點(diǎn)分布情況35數(shù)據(jù)庫結(jié)構(gòu)和數(shù)據(jù)導(dǎo)出四36數(shù)據(jù)庫結(jié)構(gòu)導(dǎo)出ump工具導(dǎo)出數(shù)據(jù)庫對象結(jié)構(gòu)：（

/opt/gcluster/server/bin/）導(dǎo)出表結(jié)構(gòu)導(dǎo)出 過程導(dǎo)出自定義函數(shù)示例：[gbase@localhost

~]$

/opt/gcluster/server/bin/ump

-ugbase

-pgbase20110531

-B

-R

ssbm

>/home/gbase/ssbm.sql參數(shù)完整參數(shù)描述-u--user=name登錄集群的用戶名-p--password[=name]登錄集群的-h--host=name集群使用的IP地址-P--port=#集群使用的端-R--routines輸出 過程和函數(shù)。-B--databases數(shù)據(jù)庫名37數(shù)據(jù)庫結(jié)構(gòu)導(dǎo)出—案例演示案例：導(dǎo)出ssbm數(shù)據(jù)庫的庫表結(jié)構(gòu)到指定文件中3839數(shù)據(jù)庫數(shù)據(jù)導(dǎo)出使用select…into

outfile語句將查詢結(jié)果導(dǎo)出到文本舉例：select

*

from

nation

into

outfile

‘/home/gbase/new.txt’

FIELDSTERMINATED

BY

‘|’

ENCLOSED

BY

‘”’

;注意事項:1、如果導(dǎo)出的路徑不存在或沒有寫權(quán)限，則提示“Can't

create/write

tofile'####'”。2、如果導(dǎo)出文件已存在，則報“File'####'already

exists”。3、TERMINATED

BY和ENCLOSED

BY指定的符號不能相同。4、TERMINATED

BY如果不寫明，默認(rèn)為tab分隔\t，

ENCLOSEDBY如果不寫，默認(rèn)為不加界定符。數(shù)據(jù)庫數(shù)據(jù)導(dǎo)出—案例演示案例：導(dǎo)出ssbm數(shù)據(jù)庫中l(wèi)ineorder數(shù)據(jù)表的數(shù)據(jù)到本地文本文件中40集群備份和恢復(fù)五41集群備份恢復(fù)備份恢復(fù)工具：gcrcman.py工具路徑：/opt/gcluster/server/bin支持實例級別的全備和增備使用gbase賬號執(zhí)行備份恢復(fù)操作在各節(jié)點(diǎn)需要一個建立同樣的備份在每個節(jié)點(diǎn)下面，都要有備份路徑，且要求gbase賬號有寫權(quán)限。42集群備份恢復(fù)43集群備份恢復(fù)本地備份恢復(fù)：同一個組中只在一個節(jié)點(diǎn)上備份數(shù)據(jù)，恢復(fù)前先手工把備份數(shù)據(jù)拷貝到未備份的節(jié)點(diǎn)上，恢復(fù)時將備份數(shù)據(jù)恢復(fù)到本節(jié)點(diǎn)上。44集群備份恢復(fù)異地備份恢復(fù)同一個組中備份

跟異地服務(wù)器的一個份數(shù)據(jù)，恢復(fù)時直接恢復(fù)到節(jié)點(diǎn)即可45連接，備份時在一個節(jié)點(diǎn)上備46集群備份恢復(fù)語法格式：gcrcman.py

[-h|--help]

[-V|--version]

<-d|--path

BACKUP_DIR>[-e|--execute

command]主要參數(shù)：path -d：該參數(shù)用于設(shè)定備份數(shù)據(jù)的存放路徑，必選參數(shù)。execute

-e：按命令行的方式執(zhí)行備份恢復(fù)操作，可選參數(shù)。version

-v：查看版本信息。help

-h：顯示幫助信息。備份恢復(fù)命令：backup

level

<

0

|

1

>recover

[<cycle_id>

[point_id]]集群備份恢復(fù)—案例分析案例：備份當(dāng)前實例集群的狀態(tài)切換到readonly模式gcadmin

swit ode

readonly進(jìn)入備份恢復(fù)工具環(huán)境gcrcman.py-d

/home/gbase/backup/數(shù)據(jù)庫實例備份BACKUP

LEVEL

0

/1查看備份點(diǎn)信息show