1、云數(shù)據(jù)庫方案設(shè)計(jì)一、 云數(shù)據(jù)庫的云化改造面向云化環(huán)境，數(shù)據(jù)庫在多個(gè)方面需要進(jìn)行改造，包括快捷的安裝部署，提供數(shù)據(jù)庫的動(dòng)態(tài)伸縮和資源隔離，以及監(jiān)控、遷移、備份等一體化管理，以適應(yīng)云環(huán)境中自動(dòng)安裝部署、一體化監(jiān)控管理，資源動(dòng)態(tài)分配等需求。1. 快速安裝及部署1.1 一鍵部署和分鐘級(jí)實(shí)例的創(chuàng)建:1. 準(zhǔn)備好預(yù)置數(shù)據(jù)庫的docker鏡像 a. 初始化好空數(shù)據(jù)目錄（也支持根據(jù)場(chǎng)景預(yù)置數(shù)據(jù)） b. 數(shù)據(jù)庫配置文件放置在docker鏡像之外，通過映射的方式進(jìn)入鏡像內(nèi)部2. 用戶選擇實(shí)例資源后（CPU、內(nèi)存），系統(tǒng)自動(dòng)計(jì)算最佳設(shè)置 a. 用戶選擇實(shí)例的內(nèi)存、CPU數(shù)量，使用場(chǎng)景（OLTP、OLAP） b. 根

2、據(jù)用戶選擇，自動(dòng)調(diào)整、優(yōu)化參數(shù)（共享緩存、work_mem、等等） 3. 使用docker鏡像加載外置配置文件啟動(dòng)數(shù)據(jù)1.2 多種部署方式 1. 單機(jī)（單獨(dú)的docker鏡像）2. 主備 和 負(fù)載均衡 a). 配置好的三個(gè)獨(dú)立docker鏡像，分別扮演主機(jī)、備機(jī)、讀寫分離節(jié)點(diǎn) b). 三個(gè)節(jié)點(diǎn)配置文件都在外部，映射到內(nèi)部運(yùn)行 c). 啟動(dòng)時(shí)，根據(jù)用戶的資源選擇和網(wǎng)絡(luò)場(chǎng)景，自動(dòng)規(guī)劃配置文件內(nèi)容3. KADB 集群 a). 根據(jù)角色配置好獨(dú)立的docker鏡像，分別扮演數(shù)據(jù)節(jié)點(diǎn)、協(xié)調(diào)器節(jié)點(diǎn)等 b). 節(jié)點(diǎn)的配置文件都放在外部，映射到內(nèi)部運(yùn)行 c). 根據(jù)用戶設(shè)置的資源，場(chǎng)景，自動(dòng)分配節(jié)點(diǎn)數(shù)量，配置

3、節(jié)點(diǎn)參數(shù).2. 在線伸縮云環(huán)境中，支持在線調(diào)整任何一個(gè)實(shí)例使用的資源。對(duì)于數(shù)據(jù)庫而言，若分配的資源，包括CPU、內(nèi)存、磁盤等資源發(fā)生變化，數(shù)據(jù)庫同樣需要對(duì)于資源的變化實(shí)施生效。CPU變化時(shí)，主要影響數(shù)據(jù)庫的并發(fā)連接數(shù)和并行參數(shù)，在金倉云數(shù)據(jù)庫中，并發(fā)連接數(shù)和并行參數(shù)可以動(dòng)態(tài)調(diào)整。內(nèi)存發(fā)生變化時(shí)，數(shù)據(jù)庫的共享內(nèi)存，排序內(nèi)存等內(nèi)存分配支持動(dòng)態(tài)調(diào)整，動(dòng)態(tài)擴(kuò)展。磁盤發(fā)生變化時(shí)，數(shù)據(jù)庫可以配置表空間的存儲(chǔ)，以及表存儲(chǔ)，分區(qū)的存儲(chǔ)，動(dòng)態(tài)使用新增資源。另外，隨著實(shí)際業(yè)務(wù)的增長(zhǎng)，數(shù)據(jù)庫集群的負(fù)載可能超出初始設(shè)計(jì)的承受能力，使得處理能力下降，不再滿足業(yè)務(wù)需求，所以數(shù)據(jù)庫集群支持在線擴(kuò)展能力，即在不影響系統(tǒng)正常使

4、用的情況下，增加數(shù)據(jù)庫的數(shù)據(jù)處理能力。3. 資源隔離KingbaseES云數(shù)據(jù)庫支持多租戶模式，以實(shí)現(xiàn)多個(gè)租戶之間的資源隔離。每個(gè)租戶創(chuàng)建自己的數(shù)據(jù)庫，各自的數(shù)據(jù)庫從元信息、用戶數(shù)據(jù)到內(nèi)存、以及日志信息，都是彼此隔離的。每個(gè)租戶的數(shù)據(jù)庫不可以彼此訪問。各個(gè)租戶的數(shù)據(jù)庫可以方便的遷移和加載，支持各自的備份和恢復(fù)。4. 一體化管理使用 KEM 監(jiān)控?cái)?shù)據(jù)庫運(yùn)行狀態(tài) a). 支持自主監(jiān)控（由KEM主動(dòng)呈現(xiàn)） b). 支持將收集的數(shù)據(jù)匯集到其他管理平臺(tái)使用 WEB 對(duì)象管理工具管理數(shù)據(jù)庫對(duì)象a). 單機(jī)形式的數(shù)據(jù)庫對(duì)象管理b). 主備形式的數(shù)據(jù)庫對(duì)象管理c). KADB集群數(shù)據(jù)庫對(duì)象管理二、向非關(guān)系型存

5、儲(chǔ)、大數(shù)據(jù)處理進(jìn)行擴(kuò)展1. 通用數(shù)據(jù)庫通用數(shù)據(jù)庫按照處理業(yè)務(wù)的類型，分為交易型數(shù)據(jù)庫和分析型數(shù)據(jù)庫。1. 交易數(shù)據(jù)庫主要用于交易類型的業(yè)務(wù)處理，例如：業(yè)務(wù)流程電子化，其他業(yè)務(wù)系統(tǒng)。面向所有參與業(yè)務(wù)流程的人員。對(duì)數(shù)據(jù)的操作特點(diǎn)是：大量短、頻、快的增刪改操作。2. 分析型數(shù)據(jù)庫主要用于統(tǒng)計(jì)分析，數(shù)據(jù)挖掘應(yīng)用。面向決策者和分析人員。對(duì)數(shù)據(jù)庫的操作特點(diǎn)是：大量數(shù)據(jù)入庫，大量復(fù)雜查詢。云上的數(shù)據(jù)庫需要有這兩種數(shù)據(jù)庫，來應(yīng)對(duì)更多的用戶應(yīng)用需求。2. 與大數(shù)據(jù)平臺(tái)的互訪大數(shù)據(jù)計(jì)算平臺(tái)，例如Spark、HIVE等，需要支持大數(shù)據(jù)計(jì)算平臺(tái)與數(shù)據(jù)庫互訪。以大數(shù)據(jù)計(jì)算平臺(tái)為中心，建立分析平臺(tái)。1. 大數(shù)據(jù)計(jì)算平臺(tái)訪

6、問數(shù)據(jù)庫a)大數(shù)據(jù)計(jì)算平臺(tái)Spark：可以提供JdbcRDD來訪問單機(jī)數(shù)據(jù)庫系統(tǒng)，并且根據(jù)某列對(duì)表進(jìn)行分區(qū)，并行讀取，提升效率。對(duì)于集群數(shù)據(jù)庫，Spark工作進(jìn)程可以對(duì)每一個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)讀取，通過這種并行的方式提升效率。b)大數(shù)據(jù)計(jì)算平臺(tái)HIVE：需要在HIVE中注冊(cè)數(shù)據(jù)庫表信息，將數(shù)據(jù)庫的表映射成HIVE表，通過Hive-SQL進(jìn)行數(shù)據(jù)讀取，并在HIVE中進(jìn)行運(yùn)算。2. 數(shù)據(jù)庫訪問大數(shù)據(jù)計(jì)算平臺(tái)大數(shù)據(jù)計(jì)算平臺(tái)可以將數(shù)據(jù)，例如計(jì)算結(jié)果，寫入到數(shù)據(jù)庫中，再在數(shù)據(jù)庫中，利用SQL對(duì)數(shù)據(jù)進(jìn)行分析。3. 云數(shù)據(jù)集成3.1 與RDS的數(shù)據(jù)集成數(shù)據(jù)庫使用外部表技術(shù)，可以訪問RDS中的其他數(shù)據(jù)。支持多種格式的數(shù)據(jù)；支持訪問和更新數(shù)據(jù)。同時(shí)，使用遷移工具實(shí)現(xiàn)到RDS的數(shù)據(jù)集成。3.2.與大數(shù)據(jù)存儲(chǔ)平臺(tái)的數(shù)據(jù)集成數(shù)據(jù)庫提供外部表技術(shù)，可以將交易型和分析型數(shù)據(jù)庫與其他存儲(chǔ)平臺(tái)對(duì)接，在數(shù)據(jù)庫內(nèi)部，通過外部表訪問大數(shù)據(jù)存儲(chǔ)平臺(tái)中的數(shù)據(jù)，包括：a)與HDFS對(duì)接：外部表訪問引擎（讀寫模塊），通過調(diào)用HDFS的訪問接口（InputFormat，OutputFormat），對(duì)Textfile，Avrofile，ParquetFile的文件進(jìn)行讀寫?？梢栽跀?shù)據(jù)庫中對(duì)H