打造多元數(shù)據(jù)庫部署新范式引領(lǐng)一體化資源池創(chuàng)新之路_第1頁
打造多元數(shù)據(jù)庫部署新范式引領(lǐng)一體化資源池創(chuàng)新之路_第2頁
打造多元數(shù)據(jù)庫部署新范式引領(lǐng)一體化資源池創(chuàng)新之路_第3頁
打造多元數(shù)據(jù)庫部署新范式引領(lǐng)一體化資源池創(chuàng)新之路_第4頁
打造多元數(shù)據(jù)庫部署新范式引領(lǐng)一體化資源池創(chuàng)新之路_第5頁
已閱讀5頁,還剩16頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

打造多元數(shù)據(jù)庫部署新范式,引領(lǐng)一體化資源池創(chuàng)新之路行業(yè)挑戰(zhàn):

多元、國產(chǎn)、上核心國產(chǎn)數(shù)據(jù)庫百花齊放,據(jù)墨天輪統(tǒng)計,品類總數(shù)近300行業(yè)經(jīng)驗上,客戶往往會選擇部署3種以上的國產(chǎn)、開源、商業(yè)數(shù)據(jù)庫政策驅(qū)動,全棧國產(chǎn)自主可控國產(chǎn)軟硬件適配復雜,管理成本高,問題頻發(fā)本地盤等部署方式,系統(tǒng)可靠性難以支撐國產(chǎn)數(shù)據(jù)庫上核心的訴求核心系統(tǒng)的基礎(chǔ)設(shè)施平臺需要同時滿足高可靠、高性能多元數(shù)據(jù)庫百花齊放自主可控部署要求國產(chǎn)數(shù)據(jù)庫上核心多資源池,管理難硬件架構(gòu)多,適配難國產(chǎn)上核心,要求高性能高可靠客戶轉(zhuǎn)型:

集中化、云化規(guī)范業(yè)務、打通流程,離散業(yè)務集中化、標準化外部壓力不變,內(nèi)部壓力倍增高性能、靈活擴展應對外部爆炸式的業(yè)務并發(fā)和數(shù)據(jù)增長系統(tǒng)A系統(tǒng)B系統(tǒng)C統(tǒng)一資源池云資源池7.5X計費系統(tǒng)話單量(每百萬用戶)1.2億

>>

7.5億10X高密度網(wǎng)元提升運維數(shù)據(jù)量(某省)13.7PB>>

111.5PB2-4周銀行業(yè)務辦理秒級集中化云化產(chǎn)業(yè)升級:

軟硬協(xié)同已成趨勢,

新技術(shù)/

新硬件潛力有待挖掘CPU網(wǎng)絡硬盤10-20核30-60核10GE100GE/200GE數(shù)百IOPS數(shù)百M帶寬10+毫秒時延數(shù)十萬IOPS數(shù)G帶寬幾十微妙時延數(shù)倍數(shù)十倍數(shù)百倍IT棧硬件全線升級,性能倍增《數(shù)據(jù)庫發(fā)展研究報告》(2023)

提到數(shù)據(jù)庫未來發(fā)展方向之一,是軟硬協(xié)同一體化提升系統(tǒng)性能:硬件技術(shù)的創(chuàng)新或產(chǎn)品成本變化,不僅會給傳統(tǒng)的計算機體系結(jié)構(gòu)和系統(tǒng)帶來影響,也給數(shù)據(jù)庫系統(tǒng)帶來了新的機遇。過去,硬件慢,軟件慢點無所謂現(xiàn)在,硬件快,軟件慢點大問題利用新技術(shù),軟硬件深度整合,充分挖掘整機性能成為當務之急現(xiàn)狀問題:

傳統(tǒng)部署范式難以應對企業(yè)發(fā)展新挑戰(zhàn)單機服務器傳統(tǒng)集成架構(gòu)ERP系統(tǒng)報表系統(tǒng)SCM系統(tǒng)FC交換機FC交換機磁盤陣列ERP系統(tǒng)報表系統(tǒng)SCM系統(tǒng)小型機小型機小型機本地盤本地盤本地盤傳統(tǒng)部署范式不夠快不夠穩(wěn)不好用集中化、云化,要求極致性能數(shù)據(jù)庫種類多,要有海納百川式的高性能本地盤雖快,但犧牲了穩(wěn)定性(盤故障,數(shù)據(jù)庫節(jié)點切換20秒,業(yè)務中斷;硬盤卡IO,系統(tǒng)掛起幾分鐘)硬件無監(jiān)控,運維靠人工0.5+0.5<1:國產(chǎn)數(shù)據(jù)庫本身還在夯實穩(wěn)定性,基礎(chǔ)設(shè)施容錯能力弱,上核心難的的??的的的的本地盤、集中式存儲擴展性弱(盤故障本地盤盤位有限,無法擴容)分層適配國產(chǎn)化,適配周期長,問題多多元數(shù)據(jù)庫,運維難(DBA對國產(chǎn)數(shù)據(jù)庫技能還在學習中)的的??的的的的范式創(chuàng)新:

面向數(shù)據(jù)庫,

提供快、穩(wěn)、易的一體化資源池快極速車組,無論VIP乘客、普通乘客還是貨物,都可極速送達目的地每節(jié)車廂都提供動力,車廂越多,跑得越快易車組彈性擴展,滿足承運高峰期開放多元,拉人亦拉貨監(jiān)控中心全面管控,動車狀態(tài)實時掌握穩(wěn)運行平穩(wěn)不顛簸,乘客體驗好,貨物保護好緊急情況,快速制動處理,保障運輸安全滿足各類業(yè)務負載的領(lǐng)先性能保障數(shù)據(jù)庫運行的穩(wěn)定可靠面向多元數(shù)據(jù)庫的開放易用恩墨思路:

z

Data

X多元數(shù)據(jù)庫最佳運行平臺高速交換機存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點……zStorage分布式存儲軟件存儲節(jié)點……計算節(jié)點計算節(jié)點計算節(jié)點計算節(jié)點數(shù)據(jù)庫層計算節(jié)點RoCE交換機全自研分布式架構(gòu)滿足關(guān)鍵業(yè)務負載的業(yè)界領(lǐng)先性能多重可靠性保護機制,全棧國產(chǎn)保障數(shù)據(jù)庫運行穩(wěn)定可靠領(lǐng)先性能

穩(wěn)定可靠靈活彈性,全棧全生命周期管理面向多元數(shù)據(jù)庫的開放易用架構(gòu)開放易用一體機全棧管理平臺軟件數(shù)據(jù)庫管理自動化部署監(jiān)控告警智能巡檢高可用管理性能容量分析設(shè)備管理硬件管理資源管理領(lǐng)先性能:

數(shù)據(jù)庫一體機產(chǎn)業(yè)性能TOP

1提供產(chǎn)業(yè)TOP1的極致性能,滿足數(shù)據(jù)庫各類嚴苛的負載要求領(lǐng)先性能 穩(wěn)定可靠

開放易用280萬IOPS

@0.3ms60萬IOPS

@

1ms15萬IOPS@

3ms友商Ceph典配3節(jié)點存儲性能對比4K

隨機讀寫zData

X領(lǐng)先性能:

全面優(yōu)化,

30

+

項專利,

提供極致性能軟件瘦身專為數(shù)據(jù)庫設(shè)計,相比傳統(tǒng)架構(gòu)(支持多協(xié)議),軟件架構(gòu)更精簡,性能更強數(shù)據(jù)處理單元由變長改為定長,處理機制更簡單;寫IO處理流程減少1/3高速協(xié)議支持NVMe-oF、RDMA高速協(xié)議,充分發(fā)揮高速硬件性能調(diào)度優(yōu)化專核專用,保障關(guān)鍵業(yè)務資源無鎖化設(shè)計,核心綁定資源對象驅(qū)動用戶態(tài),處理流程更短輪詢調(diào)度框架,降低切換時延數(shù)據(jù)庫分布式存儲Atomic

WriteHigh-priorityLog-writeiSCSINVMe-oFNVMe

overTCPEnhancedRaft(consensus

algorithm)CloneSnapshotCompressSlowFaildetectionSub-healthdetectionData

ScrubEuler

OS2/3

rep ChecksumTRIM THINEnhancedTask

SchedulerUserSpace

DriverKunpengRDMA

NICRoCE

v2

一體機管理平臺DBManagerDeviceManagerhttphttpsServicePrometheusEtcdMogDBMySQLDMKingbaseopenGauss關(guān)鍵挑戰(zhàn)架構(gòu)優(yōu)化,充分發(fā)揮硬件潛能多并發(fā)下,保證數(shù)據(jù)一致性多線程無鎖內(nèi)存頁管理方

法種增強Raft的三副本模

式一種多線程無鎖緩存方

案分布式存儲種leader重均衡

控制種保證快照一致性的方

法基于RDMA的PM的一致性算

法。。

。zData

X申請專利30+項領(lǐng)先性能 穩(wěn)定可靠

開放易用領(lǐng)先性能:

無鎖化設(shè)計的挑戰(zhàn)及解決50%時延縮短實現(xiàn)原理:核心綁定資源對象,避免資源爭搶,引起性能下降CPU1 CPU2 CPU3硬盤1PG1Cache1網(wǎng)絡2挑戰(zhàn):如何解決資源均衡分配的問題資源分配不均會影響性能CPU核心數(shù)越來越多,分配不均問題更為突顯故障場景下,如何重新均衡成為難題解決:自研調(diào)度算法,確保資源分配盡量均勻CPU1CPU2CPU3CPU4

CPU5算法優(yōu)化:自研調(diào)度算法,采用局部優(yōu)化,多次迭代,逼近最優(yōu)均衡;已申請專利《一種非對稱分布的負載均衡方法》自動化看護:資源均衡性超過3%的偏差時,用例不通過,需人工分析解決,確保實現(xiàn)效果無誤優(yōu)化后,每IO節(jié)省30-50微秒Cache5PG5硬盤5網(wǎng)絡5Cache6硬盤6PG6網(wǎng)絡6Cache3硬盤3PG3網(wǎng)絡3Cache4硬盤4PG4網(wǎng)絡4Cache2硬盤2PG2網(wǎng)絡2領(lǐng)先性能 穩(wěn)定可靠

開放易用行勝于言:

z

Data X助力某財政局數(shù)據(jù)庫性能提升10

+

倍zData

X數(shù)據(jù)庫一體機InfiniBand交換機一體化平臺改造建設(shè)預算系統(tǒng)會計核算財政一體化平臺存儲節(jié)點原IBM小型機環(huán)境FC交換機FC交換機磁盤陣列AIX計算節(jié)點非稅收入……050

11.9 150100IOPSzData

X上線前 zData

X上線后zData

X上線后,數(shù)據(jù)庫訪問效率明顯提升,通過遷移前后的性能指標對比:152620000100000MBPSzData

X上線前 zData

X上線后隨機讀性能提升13倍數(shù)據(jù)庫IOPS性能值(萬)200

165.5 并行讀性能提升16倍數(shù)據(jù)庫帶寬性能值(MB/s)30000

26486 領(lǐng)先性能 穩(wěn)定可靠

開放易用某財政局一體化將財政局所屬的各個部門、各個業(yè)務系統(tǒng)進行整合,形成一個統(tǒng)一的、高效的財政管理平臺,目標是為了提高財政管理的效率和水平,實現(xiàn)財政管理的現(xiàn)代化但是系統(tǒng)和數(shù)據(jù)集中后,財政系統(tǒng)業(yè)務量大、用戶數(shù)量多、訪問集中的問題,對基礎(chǔ)設(shè)施的性能、擴展性、穩(wěn)定性方面提出了新的挑戰(zhàn),現(xiàn)網(wǎng)老舊IBM小型機難以有效地支撐財政業(yè)務的持續(xù)演進客戶痛點穩(wěn)定可靠:

多重可靠性保護機制,

全面保障數(shù)據(jù)庫運行環(huán)境③

解決方案級高可靠數(shù)據(jù)庫高可用管理②

部件級高可靠硬件冗余設(shè)計、故障切換亞健康檢測節(jié)點級/機柜級安全①

IO級高可靠快照/克隆/保護組數(shù)據(jù)校驗及數(shù)據(jù)一致性巡檢極速重構(gòu)機柜組件數(shù)據(jù)節(jié)點領(lǐng)先性能 穩(wěn)定可靠

開放易用穩(wěn)定可靠:

無損快照和雙模克隆,

滿足各類業(yè)務場景需求領(lǐng)先性能 穩(wěn)定可靠

開放易用基于ROW構(gòu)建快照數(shù)據(jù)對象在某一時間點的只讀“虛擬”副本,為業(yè)務快速提供在線備份恢復與可用數(shù)據(jù)副本源卷快照1 2 3實測性能:連續(xù)對同一個卷執(zhí)行2000次快照后,性能平穩(wěn),基本無下降持續(xù)快照,性能平穩(wěn)性能無損秒級快照克隆快照/克隆保護組定時快照/克隆快照與源卷共享索引,空間開銷小基于ROW,性能損耗小索引共享 空間利用最大化雙模克隆 級聯(lián)快照/克隆穩(wěn)定可靠:

針對亞健康組件,

提前預警,

事前預防領(lǐng)先性能 穩(wěn)定可靠

開放易用運行時間故障亞健康健康節(jié)點亞健康亞健康:組件尚未故障,但出現(xiàn)慢速、壽命不足等降級問題,影響業(yè)務性能,有中斷業(yè)務的風險系統(tǒng)風險度網(wǎng)絡亞健康硬盤亞健康IB降速亞健康處理①

檢測并告警:系統(tǒng)發(fā)現(xiàn)IB降速,并給出告警②

可視化查看:監(jiān)控中可以查到IB降速情況③

亞健康處理:網(wǎng)口組件處于亞健康狀態(tài),為保證系統(tǒng)不降速,自動禁用該網(wǎng)口,系統(tǒng)正常運行④

處理后告警:禁用網(wǎng)口時,觸發(fā)告警業(yè)界認可:

全棧國產(chǎn),

金獎方案,

打造業(yè)務第二平面領(lǐng)先性能 穩(wěn)定可靠

開放易用單平面第一平面第二平面國產(chǎn)他國OracleWindows/Linuxx86業(yè)務系統(tǒng)業(yè)務系統(tǒng)Oracle國產(chǎn)數(shù)據(jù)庫Windows/Linux國產(chǎn)OSx86鯤鵬/海光業(yè)務層數(shù)據(jù)庫層OS層服務器層網(wǎng)絡層榮獲華為

主辦“2023鯤鵬應用創(chuàng)新大賽”鯤鵬一體機解決方案創(chuàng)新(泛政府)賽道

金獎國產(chǎn)生態(tài)圈獲得鯤鵬最高級別Validated認證行勝于言:

助力某省衛(wèi)健委構(gòu)建全棧國產(chǎn)數(shù)據(jù)庫資源池18臺國產(chǎn)架構(gòu)服務器

+

zData

X構(gòu)建全棧國產(chǎn)數(shù)據(jù)庫資源池高速互聯(lián)交換機升級替換磁盤陣列原系統(tǒng)數(shù)據(jù)庫環(huán)境FC交換機基衛(wèi)醫(yī)療基衛(wèi)綜合基衛(wèi)醫(yī)療基衛(wèi)綜合……Kunpeng Kunpeng

… Kunpeng

…zData

X數(shù)據(jù)庫一體機Hygon

… Hygon

…高速互聯(lián)交換機Kunpeng Kunpeng Kunpeng

……zData

X數(shù)據(jù)庫一體機Hygon

… Hygon

…主備容災客戶痛點差設(shè)備老舊滯后(10年)原有設(shè)備使用已10年,故障頻發(fā),系統(tǒng)運行風險極高,設(shè)備替換迫在眉睫;慢難性能難以滿足(高并發(fā))業(yè)務壓力倍增,系統(tǒng)并發(fā)高,要求新的架構(gòu)必須滿足高性能的要求;國產(chǎn)信創(chuàng)要求(重點需求)要求實現(xiàn)全棧國產(chǎn)化,對整個系統(tǒng)改造難度極大;既要滿足系統(tǒng)高性能、高可用的改造需求,又要滿足國產(chǎn)信創(chuàng)的要求領(lǐng)先性能 穩(wěn)定可靠

開放易用客戶收益:性能超預期,方案獲大獎性能全面提升IOPS

157萬

帶寬

31GB/s2023第六屆智慧醫(yī)療創(chuàng)新大賽全國總決賽“醫(yī)療信創(chuàng)賽道一等獎”“最佳實踐應用獎”行勝于言:

池化整合多元數(shù)據(jù)庫,

助力某信托創(chuàng)新升級數(shù)據(jù)庫種類多核心業(yè)務采用傳統(tǒng)數(shù)據(jù)庫,部分業(yè)務系統(tǒng)逐步采用國產(chǎn)數(shù)據(jù)庫承載傳統(tǒng)架構(gòu)性能差數(shù)據(jù)庫量爆炸式增長,傳統(tǒng)架構(gòu)無法滿足需求,嚴重時會影響部分業(yè)務性能。資源利用率低各個業(yè)務系統(tǒng)形成煙囪式體系,優(yōu)質(zhì)資源無法整合,IT成本居高不下;集中式存儲架構(gòu),無法橫向擴容客戶痛點高速互聯(lián)交換機X86X86X86X86X86X86X86X86zData

X

構(gòu)建多元數(shù)據(jù)庫資源池承載Oracle、MySQL、OB等X86X86在整體性能上遠超X86+集中存儲架構(gòu),IOPS超過百萬統(tǒng)一資源池建設(shè),彈性擴展,資源整合,大幅降低成本領(lǐng)先性能 穩(wěn)定可靠

開放易用靈活擴展全分布式架構(gòu),可輕松擴展至1024節(jié)點性能隨容量線性增長,滿足客戶數(shù)據(jù)量的爆發(fā)式增長開放兼容多元異構(gòu):支持Oracle、MySQL、OB等多元數(shù)據(jù)庫標準硬件,開放兼容全棧管理全棧全生命周期管理提升運維效率開放易用:

數(shù)據(jù)庫DBPaa

S平臺,

事前事中事后全面管控統(tǒng)一監(jiān)控,精準告警100%問題0%問

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論