2025萬字總結(jié):運(yùn)營商核心系統(tǒng)數(shù)據(jù)庫分布式升級實踐-加速核心升級、布局AI引擎白皮書_第1頁
2025萬字總結(jié):運(yùn)營商核心系統(tǒng)數(shù)據(jù)庫分布式升級實踐-加速核心升級、布局AI引擎白皮書_第2頁
2025萬字總結(jié):運(yùn)營商核心系統(tǒng)數(shù)據(jù)庫分布式升級實踐-加速核心升級、布局AI引擎白皮書_第3頁
2025萬字總結(jié):運(yùn)營商核心系統(tǒng)數(shù)據(jù)庫分布式升級實踐-加速核心升級、布局AI引擎白皮書_第4頁
2025萬字總結(jié):運(yùn)營商核心系統(tǒng)數(shù)據(jù)庫分布式升級實踐-加速核心升級、布局AI引擎白皮書_第5頁
已閱讀5頁,還剩55頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

?üOi??J??'L?ü????Ere?14?-?t'L??? oM%°i1I?—I I—“海量記錄筆筆算數(shù)”目錄Contents前言 營數(shù)智化轉(zhuǎn)型進(jìn)入鍵段 02政策驅(qū)動加速國產(chǎn)升級進(jìn)程 03技術(shù)演進(jìn)催生新型基礎(chǔ)設(shè)施 03市場需求牽引推動角色重塑 04營數(shù)智化轉(zhuǎn)型三難題 05關(guān)鍵業(yè)務(wù)負(fù)載難題:集中式架構(gòu)局限性,國產(chǎn)升級待提速 06海量數(shù)據(jù)實時分析難題:傳統(tǒng)數(shù)倉帶來低時效,影響業(yè)務(wù)敏捷性 07AI應(yīng)用落地難題:“視力”不全、“思考”緩慢,制約數(shù)據(jù)要素價值釋放 08級09IT架構(gòu)向“以數(shù)據(jù)和智能為中心”升級 10“三域”核心系統(tǒng)構(gòu)筑運(yùn)營商業(yè)務(wù)基石 11承上啟下:數(shù)據(jù)庫是“數(shù)據(jù)×AI”融合的操作平臺 12戰(zhàn) 業(yè)務(wù)復(fù)雜度高,代碼依賴深,遷移風(fēng)險大 14影響范圍廣,實施周期緊,資源壓力大 15架構(gòu)轉(zhuǎn)型剛性,從集中式走向分布式成必然 15營商系要樣的分布式數(shù)? 立足當(dāng)下:“根自研”數(shù)據(jù)庫,穩(wěn)定負(fù)載關(guān)鍵業(yè)務(wù) 18著眼未來:面向AI的一體化數(shù)據(jù)庫,加速數(shù)智化轉(zhuǎn)型 19系統(tǒng)分布升級最佳實踐 23三條路徑:云平臺遷移、平替升級、分布式改造 24“評、建、策、控”前期準(zhǔn)備,保障遷移無憂 28“驗、測、同、切、保”五步走,實現(xiàn)平滑遷移 31典型平滑升級實踐 33踐 B域核心CRM&BOSS場景:廣東移動近乎零改造分布式升級,存儲節(jié)省80% 38域核心BASS場景:江蘇移動數(shù)倉分布式升級提升數(shù)據(jù)分析實效性 40M域財務(wù)系統(tǒng)多租戶整合場景:中國移動集團(tuán)財務(wù)核心分布式升級穩(wěn)定支撐年結(jié)峰值 42B域核心酬金庫場景:河北移動基于分布式酬金月結(jié)效率提升5倍 44O域亞信核心網(wǎng)工作臺場景:從MySQL分布式升級保障7X24h穩(wěn)定運(yùn)行 46創(chuàng)新營景實踐 48開源共建場景:中國聯(lián)通軟研院打造“分布式CUDB”,引領(lǐng)開源共建國產(chǎn)數(shù)據(jù)庫新范式 49AI向量場景:中國聯(lián)通基于OceanBase打造RAG應(yīng)用破解大模型落地難題 50超大規(guī)模數(shù)據(jù)分析場景:廣東移動分布式升級達(dá)成小時級高效數(shù)據(jù)分析 52異地多活場景:中國電信翼支付核心系統(tǒng)分布式升級達(dá)金融級容災(zāi)標(biāo)準(zhǔn) 54后記 56聯(lián)合發(fā)布OceanBase中國聯(lián)通軟研院江蘇移動河北移動中移金科亞信新炬專家委員會楊冰梁敬彬陳浩張海平王爽王毅李楠編寫委員會張炳濤騰威房瑞鄒家強(qiáng)馮瑞清曾靚羅輝張思偉馬磊宋子成羅蘭瑞婧前言Preface我們正站在一個時代的交匯點。每秒事務(wù)處理量)的它們?nèi)缤瑪?shù)字社會的“老英雄,功勛卓著卻漸感疲憊;另一側(cè),則是第四AI它遠(yuǎn)不止是一次技術(shù)的“換裝,而是運(yùn)營商在OceanBase2020OceanBaseCRM/BOSS根自研的原生分布式數(shù)據(jù)庫搭載5OceanBase20400OceanBase之上;模超000核心系統(tǒng)超300基于OcnBse社區(qū)版創(chuàng)新的“分布式CUD”已在OceanBase作為運(yùn)營商可信賴基石”RAG我們試圖將散落它不僅能成為一份可行的“,運(yùn)AI01進(jìn)入關(guān)鍵階段02 運(yùn)營商數(shù)智化轉(zhuǎn)型進(jìn)入關(guān)鍵階段選項”轉(zhuǎn)變?yōu)椤氨剡x項,政策驅(qū)動加速國產(chǎn)升級進(jìn)程通信運(yùn)營商肩負(fù)著保障國家信息安全和社會穩(wěn)定運(yùn)行的重大責(zé)任。在此政策導(dǎo)向下,運(yùn)營商網(wǎng)絡(luò)信令等核心資產(chǎn)的“中樞神經(jīng)系統(tǒng),其安全穩(wěn)定直接關(guān)系到國家安全與社會運(yùn)行。推進(jìn)數(shù)據(jù)庫國產(chǎn)升級不僅是響應(yīng)國家戰(zhàn)略的必技術(shù)演進(jìn)催生新型基礎(chǔ)設(shè)施數(shù)據(jù)庫國產(chǎn)并非簡單的“替換,而是一次對運(yùn)營商核心數(shù)據(jù)資產(chǎn)的全面重構(gòu)與能力躍遷。AI”。市場需求牽引推動角色重塑服務(wù)科技公司轉(zhuǎn)型。在政企市場,千行百業(yè)的數(shù)智化轉(zhuǎn)型進(jìn)入深水區(qū),在政企市場,千行百業(yè)的數(shù)智化轉(zhuǎn)型進(jìn)入深水區(qū),客戶不再滿足于單一的網(wǎng)絡(luò)連接或云資源,而是迫切需要融合AI能力、可快速部署的綜合解決方案。運(yùn)營商依托數(shù)據(jù)庫國產(chǎn)升級過程中構(gòu)建的數(shù)據(jù)整合與治理能力,能夠深度挖掘用戶行為、業(yè)在個人市場,用戶對數(shù)字生活體驗的要求日益提升。在個人市場,用戶對數(shù)字生活體驗的要求日益提升。AIAIXR能”向的跨越。02三大核心難題OceanBase 海量記錄筆筆算數(shù) 05AI關(guān)鍵業(yè)務(wù)負(fù)載難題:集中式架構(gòu)局限性,國產(chǎn)升級待提速以下簡稱“核心系統(tǒng))展中統(tǒng)籌考慮數(shù)據(jù)安全的潛在影響。一方面,當(dāng)前國外傳統(tǒng)集中式架構(gòu)的局限性,一方面,當(dāng)前國外傳統(tǒng)集中式架構(gòu)的局限性,在一定程度上帶來了采購與運(yùn)維成本較高、技術(shù)路線靈活性受限等問題。由于核心技術(shù)主導(dǎo)權(quán)掌握在外部廠商手中,系統(tǒng)在性能優(yōu)化、功能迭代及新業(yè)務(wù)支撐方面的響應(yīng)效率受到一定制約,影響了面向快速變化需求的敏捷演進(jìn)能力。另一方面,隨著數(shù)據(jù)安全和網(wǎng)絡(luò)安全監(jiān)管體系不斷完善,另一方面,隨著數(shù)據(jù)安全和網(wǎng)絡(luò)安全監(jiān)管體系不斷完善,行業(yè)主管部門對信息系統(tǒng)國產(chǎn)升級、數(shù)據(jù)主權(quán)保障和供應(yīng)鏈安全等方面提出了更具前瞻性的指導(dǎo)要求。重要課題。運(yùn)營商的核心系統(tǒng)具有CRM&BOSS)海量數(shù)據(jù)實時分析難題:傳統(tǒng)數(shù)倉帶來低時效,影響業(yè)務(wù)敏捷性在個人市場,競爭焦點已從資源規(guī)模轉(zhuǎn)向體驗經(jīng)濟(jì)。5G在更具戰(zhàn)略意義的政企市場,實時性需求則更為嚴(yán)苛。都要求數(shù)據(jù)分析從“批量”走向“流式,從“小時級”壓縮至“秒級。ETL流程。在每日業(yè)務(wù)低峰期,BSSOSSOLTPOLAPOceanBase 海量記錄筆筆算數(shù) 07AI“思考”緩慢,制約數(shù)據(jù)要素價值釋放5G發(fā)生顯著變化——客服語音記錄等高度異構(gòu)的數(shù)據(jù)源。AI無人區(qū)難題:AI的流通價值和倍增效應(yīng)。業(yè)務(wù)部門期望實現(xiàn)的AI場景—“精準(zhǔn)營銷”或“用戶體驗保障,要準(zhǔn)確識別一個VIPAPPAI整的數(shù)據(jù)視圖,導(dǎo)致A“視力”傳統(tǒng)數(shù)據(jù)庫擅長精確匹配=,≈。當(dāng)AI應(yīng)用需要將業(yè)務(wù)屬性過濾如“查找上海地區(qū)的VIP)與語義搜索“)必須進(jìn)行跨系統(tǒng)交互,導(dǎo)致響應(yīng)延遲高、資源消耗大、數(shù)據(jù)冗余存儲、A“”變慢。AI提供“全域數(shù)據(jù)視野”;可支持向量搜索、關(guān)鍵詞檢索等混合檢索,提升03成為關(guān)鍵環(huán)節(jié)OceanBase 海量記錄筆筆算數(shù) 09、價值釋放的可信載體;更是“數(shù)據(jù)×AI”融合創(chuàng)新的物理入口和運(yùn)行底座。數(shù)據(jù)庫IT/AIITIT中國移動采用“省集中”依托“算力網(wǎng)絡(luò)”構(gòu)建4+NX”AI2025”BOSS“元景大模型布式數(shù)據(jù)庫集群AI中國電信持續(xù)推進(jìn)“云網(wǎng)融合.0,打造“一云一網(wǎng)一底座”體系?!跋⑷馈笨鐚蛹壵{(diào)度,“星海AI”AI應(yīng)用落地。5GAIIT”向”AI神經(jīng)突觸。它不僅是“突觸,更是實現(xiàn)算網(wǎng)資源智能調(diào)度與數(shù)據(jù)要素高效流轉(zhuǎn)的“中央控制器。通過、用戶行為未來,隨著AIAgent?!叭颉焙诵南到y(tǒng)構(gòu)筑運(yùn)營商業(yè)務(wù)基石運(yùn)營商普遍采用架構(gòu):O)M樞紐。BBCRMBOSSITBASSOM域B域與OM集約化運(yùn)營邁進(jìn)。其7×24小時不間斷運(yùn)行。一旦發(fā)生故障,OceanBase 海量記錄筆筆算數(shù) 11決定整個系統(tǒng)演進(jìn)的成敗。承上啟下:數(shù)據(jù)庫是“數(shù)據(jù)×AI”融合的操作平臺AIAI——SQL讓數(shù)據(jù)庫成為AI原生應(yīng)用的“,實現(xiàn)從“數(shù)據(jù)搬運(yùn)”到“就地智AIAgent。又要BOSSOSS等關(guān)鍵系統(tǒng)高可靠——數(shù)據(jù)庫必須滿足9999%毫秒級響服務(wù)不降級AI誰掌握數(shù)據(jù)與AI合應(yīng)用要創(chuàng)新”被動替代”走向釋放。04升級挑戰(zhàn)OceanBase 海量記錄筆筆算數(shù) 13數(shù)據(jù)庫作為運(yùn)營商核心系統(tǒng)的“中樞神經(jīng),最關(guān)重構(gòu)的“深水區(qū)”與“硬骨頭,其成敗直接決定運(yùn)營商數(shù)智化轉(zhuǎn)型與國產(chǎn)升級的全局進(jìn)程。當(dāng)前,運(yùn)營商核心系統(tǒng)數(shù)據(jù)庫升級主要面臨三大核心挑戰(zhàn):SQL業(yè)務(wù)阻斷等重大生產(chǎn)問題。OCISQLPL/SQL)實現(xiàn),并與Oracle以某省級運(yùn)營商典型OLAPPBSQL債務(wù)積累這些代碼不僅數(shù)量龐大(通常達(dá)數(shù)萬行以上),且高度耦合于原數(shù)據(jù)庫的技術(shù)棧,在向國產(chǎn)數(shù)據(jù)庫遷移時面臨嚴(yán)峻挑戰(zhàn):邏輯難等效:復(fù)雜的業(yè)務(wù)規(guī)則在重構(gòu)過程中易出現(xiàn)語義偏差;性能難保障:SQL是整個遷移過程中最當(dāng)前國產(chǎn)推進(jìn)中最嚴(yán)峻的技術(shù)與管理挑戰(zhàn)。BOSSCRM與此同時,工程實施周期被高度壓縮,時間窗口臨近。省份已制定2025年非核心系統(tǒng)替代、20262027年全面完成”段性目標(biāo)。然而,這一緊迫的改造任務(wù)必須在的前提下同步推進(jìn)。IT。運(yùn)營商核心系統(tǒng)數(shù)據(jù)庫普遍構(gòu)建于OacleRAC+高端小型機(jī)+共享存儲/高端一體機(jī)”的長期支撐關(guān)鍵系統(tǒng)實現(xiàn)”但在國產(chǎn)升級背景下,繼續(xù)依賴高端專用硬件已不可持續(xù):x86或小型機(jī);通用型服務(wù)器的可用率、平均年停機(jī)時間等穩(wěn)定性指標(biāo)無法與高端的小型機(jī)相比;QPS/TPS級響應(yīng)的核心業(yè)務(wù)壓力;OceanBase 海量記錄筆筆算數(shù) 15、Raft/Paxos)理,實現(xiàn)化整為零、集沙成塔。轉(zhuǎn)移,實現(xiàn)秒級故障恢復(fù)且零數(shù)據(jù)丟業(yè)務(wù)無感運(yùn)維;結(jié)合智能監(jiān)控與AI被動響應(yīng)到的演進(jìn)。一致性協(xié)議Paxos1960s集中式架構(gòu)典型產(chǎn)品Oracle,DB21990s1960s集中式架構(gòu)典型產(chǎn)品Oracle,DB21990s嵌入業(yè)務(wù)的分布式架構(gòu)基于傳統(tǒng)集中式架構(gòu)業(yè)務(wù)層負(fù)責(zé)解決分布式事務(wù)問題2000s中間件方案的分布式架構(gòu)典型產(chǎn)品Cobar,MyCATDRDS2010s新數(shù)據(jù)模型的分布式架構(gòu)典型產(chǎn)品Spanner,OceanBase分布式架構(gòu)以替代它不僅是它不僅是更是的關(guān)鍵一步;它不僅關(guān)乎“能否替代,更決定“能否領(lǐng)先——誰率先建成自主掌控、智能敏捷的數(shù)據(jù)誰就將在“數(shù)據(jù)×AI”時代掌握主動權(quán)?!吧钏畢^(qū)“攻堅戰(zhàn)。05運(yùn)營商核心系統(tǒng)需要OceanBase 海量記錄筆筆算數(shù) 17技術(shù)替換”7×24庫選型標(biāo)準(zhǔn)。我們認(rèn)為,理想的國產(chǎn)分布式數(shù)據(jù)庫應(yīng)具備“兩個維度、雙重能力”:——著眼未來,必須是“AI的一體化數(shù)據(jù)庫——支撐敏捷創(chuàng)新、驅(qū)動智能升級唯有兼具這兩大特質(zhì),方能真正成為運(yùn)營商數(shù)智化轉(zhuǎn)型的可信賴、可持續(xù)、可進(jìn)化的數(shù)據(jù)底座。01的第一個其余產(chǎn)品能力皆為其后的0沒有這個,一切性能、功能與穩(wěn)定性都可能建立在不可控的基礎(chǔ)之上?;蛭粗收蠒r極易淪為因此,運(yùn)營商必須選擇真正“掌握全部源碼、掌握核心技術(shù)路徑”的根自研數(shù)據(jù)庫。唯有如此,才能具備:問題精準(zhǔn)定位能力:問題精準(zhǔn)定位能力:缺陷快速修復(fù)能力:架構(gòu)持續(xù)演進(jìn)能力:廠商與運(yùn)營商形成“命運(yùn)共同體,共擔(dān)核心系統(tǒng)穩(wěn)定之責(zé)。OceanBase從2010年立項研發(fā)分布式數(shù)據(jù)庫,始用于淘寶收藏夾,逐步深入至支付寶的核心系統(tǒng),并成功拓展至廣闊的外部市場,最終在性能與高可用性上實現(xiàn)重大突破,并邁向全面開源。其產(chǎn)品歷經(jīng)從內(nèi)核到架構(gòu)的完全自主研發(fā),不依賴任何外部技術(shù)。特征一:高度Oracle語法兼容,保障遷移平滑OceanBaseOraclePL/SQLSQL98和業(yè)務(wù)邏輯出錯風(fēng)險。結(jié)合自動化遷移工具特征二:跨城自動容災(zāi)架構(gòu),實現(xiàn)電信級高可用基于PaxosOceanBase支持乃至的部RPO=0零數(shù)據(jù)丟失)RTO<8支撐高峰期百萬QPS特征三:在線無感彈性擴(kuò)展,應(yīng)對業(yè)務(wù)波動OceanBase特征四:多租戶與存儲壓縮,實現(xiàn)降本增效OceanBase在運(yùn)營商行業(yè)通過內(nèi)核級多租戶架構(gòu)與LSM-TreeMySQL/OracleLSM-Tree如某運(yùn)營商核心系統(tǒng)從10TB縮減至TCO。著眼未來:面向AI的一體化數(shù)據(jù)庫,加速數(shù)智化轉(zhuǎn)型一體化”2020一體化產(chǎn)品一體化產(chǎn)品多工作負(fù)載(TP+AP)一個數(shù)據(jù)庫TP&AP多模(SQL+NoSQL)原生支持多種數(shù)據(jù)類型全面兼容包括KV、HBase、等多種NoSQL向量融合(SQL+AI)基于一體化數(shù)據(jù)庫提供向量能力實現(xiàn)Al+多模的深度融合,簡化AI技術(shù)棧一體化存儲一體化引擎推出全新的列存引擎行存、列存、行列混存一體化SQL2.0優(yōu)化器執(zhí)行器一體化事務(wù)同一架構(gòu)分布式事務(wù)單機(jī)分布式一體化多云原生一體化架構(gòu)從單機(jī)到分布式,從分布式到單機(jī)靈活適應(yīng)業(yè)務(wù)從小規(guī)模到大規(guī)模的增長需求一套架構(gòu)同時支持存算分離和存算一體SQL、多模一體化、向。一、TP&AP一體化,提升實時分析效率一、TP&AP一體化,提升實時分析效率傳統(tǒng)核心系統(tǒng)通常將與TP&APOLAP無需依賴ETLLAP“,的新型業(yè)5二、多模一體化,為AI提供“全域數(shù)據(jù)視野”二、多模一體化,為AI提供“全域數(shù)據(jù)視野”AI原生支持多種NoSQLAI16000AIAI提供“,三、向量融合(SQL+AI),提升AI“思考”速度三、向量融合(SQL+AI),提升AI“思考”速度了AI思考”RAG構(gòu)建的AI應(yīng)用)RAG為了更好的支撐運(yùn)營商AI提供了PowerRAG)RAG多種AISQLAI通過————降低系統(tǒng)復(fù)雜度:可維護(hù)性;降低系統(tǒng)復(fù)雜度:可維護(hù)性;提升數(shù)據(jù)時效性:消除ETL延遲與跨系統(tǒng)同步開銷,實現(xiàn)“數(shù)據(jù)產(chǎn)生即可用、事務(wù)完成即可見”;加速AI創(chuàng)新閉環(huán):AI“”。國DevOpsAI06最佳實踐OceanBase 海量記錄筆筆算數(shù) 23三條路徑:云平臺遷移、平替升級、分布式改造一、云平臺遷移路徑:依托國產(chǎn)云基座整體升級一、云平臺遷移路徑:依托國產(chǎn)云基座整體升級)平臺遷移路徑"成為運(yùn)營商數(shù)據(jù)庫轉(zhuǎn)型升級的最優(yōu)選擇。OceanBasePaaSOceanBaseIaaSOceanBaseCPUIOPSOceanBaseSQL應(yīng)用1Oracle應(yīng)用1Oracle應(yīng)用2MySQL應(yīng)用3Oracle資源隔離、數(shù)據(jù)隔離、彈性調(diào)整OceanBase集群CPU內(nèi)存存儲CPU內(nèi)存存儲CPU內(nèi)存存儲每個應(yīng)用租戶擁有專屬的資源池聯(lián)通云在數(shù)據(jù)遷移方面,我們采用在線灰度切換方案確保業(yè)務(wù)平滑過渡。通過全量加增量的數(shù)據(jù)同OracleMySQL采用分階段驗證機(jī)制,先切分讀流量驗證,再在業(yè)務(wù)低峰期完成最終切換,并配備完善的回滾預(yù)案控制風(fēng)險。通過將OceanBase據(jù)底座。二、平替升級路徑:集中式數(shù)據(jù)庫向分布式升級,二、平替升級路徑:集中式數(shù)據(jù)庫向分布式升級,同時實現(xiàn)架構(gòu)和基礎(chǔ)能力的升級該路徑是運(yùn)營商核心系統(tǒng)數(shù)據(jù)庫轉(zhuǎn)型中最務(wù)實、最高效的路徑之一。它旨在不進(jìn)行大規(guī)模應(yīng)如如Oracle乎無感地完成架構(gòu)從集中式到分布式的跨越式升級。架構(gòu)升級無感。河南移動擁有超過600080TB數(shù)據(jù)的核心營業(yè)系統(tǒng),其原有OracleOracleC應(yīng)用適配移后系統(tǒng)SQL毫秒降至1.62635OceanBase的高效數(shù)據(jù)壓縮技術(shù),使得在三副本SQL執(zhí)行性能對比通過跟蹤業(yè)務(wù)整體運(yùn)行、高峰時段運(yùn)行,對比Oracle與OceanBaseSQL平均執(zhí)行時長,由平均2.515毫秒降低為1.626毫秒,性能整體提升35.35%。通過跟蹤核心CBOSS業(yè)務(wù)運(yùn)行情況,對比多天Oracle與OceanBaseSQLSQL執(zhí)行性能對比通過跟蹤業(yè)務(wù)整體運(yùn)行、高峰時段運(yùn)行,對比Oracle與OceanBaseSQL平均執(zhí)行時長,由平均2.515毫秒降低為1.626毫秒,性能整體提升35.35%。通過跟蹤核心CBOSS業(yè)務(wù)運(yùn)行情況,對比多天Oracle與OceanBaseSQL1161142數(shù)據(jù)庫性能對比10760+4765214045.4%替換完成后,經(jīng)歷多個賬期,整體業(yè)務(wù)運(yùn)行穩(wěn)定,數(shù)據(jù)庫集群的平均資源利用率從7%-10%,提升至12%-20%。OceanBase高度兼容OracleDBA系統(tǒng)持續(xù)保持穩(wěn)定運(yùn)行,成功支撐了月結(jié)、年結(jié)等周期性業(yè)務(wù)高峰,數(shù)據(jù)庫集群資源利用率總結(jié)而言,平替升級路徑通過“高度兼容”實現(xiàn)“平滑替換三、分布式改造路徑:采用分布式數(shù)據(jù)庫重構(gòu)架構(gòu),三、分布式改造路徑:采用分布式數(shù)據(jù)庫重構(gòu)架構(gòu),替代集中式數(shù)據(jù)庫,實現(xiàn)架構(gòu)級自主掌控如集中式到多AB2功能副本,在城市C14F1A8秒內(nèi)自動完成切換且確保零數(shù)據(jù)丟失比例分配至主Oracle用戶中心與MySQLOceanBaseCPUOceanBaseOracle/MySQL10ms20業(yè)務(wù)入口(90%)業(yè)務(wù)入口(10%)DNSobproxyobproxyobproxyobproxy業(yè)務(wù)入口(90%)業(yè)務(wù)入口(10%)DNSobproxyobproxyobproxyobproxyOBServerARB(仲裁副本)observer金融中心(Mysql租戶)zone1zone2zone3zone4AB城資源池OceanBaseC主副本 從副本1.3ms主城市備城市60msobserverobserver用戶中心(Oracle租戶)支付中心(Oracle租戶)用戶中心(Oracle租戶)observer用戶中心(Oracle租戶)observer支付中心(Oracle租戶)observer金融中心(Mysql租戶)observer用戶中心(Oracle租戶)observer支付中心(Oracle租戶)observer金融中心(Mysql租戶)observer用戶中心(Oracle租戶)observer支付中心(Oracle租戶)observer金融中心(Mysql租戶)observer保障遷移無憂OceanBase第一,“評”——深度現(xiàn)狀梳理與評估第一,“評”——深度現(xiàn)狀梳理與評估OceanBase工具能夠精準(zhǔn)識別SQL數(shù)據(jù)庫基本信息數(shù)據(jù)庫名數(shù)據(jù)庫版本使用到的數(shù)據(jù)庫組件數(shù)據(jù)庫字符集部署方式Oracle:11g/12c/18c/19cMySQL:5.6/5.7/8.0GIS/XML/Json/OLAP等GBK/UTF8等多租戶/獨(dú)占服務(wù)器/共享服務(wù)器數(shù)據(jù)庫基本信息服務(wù)器操作系統(tǒng)和版本服務(wù)器類型CPU物理核數(shù)CPU邏輯核數(shù)CPU類型CPU型號CPU使用率(平均)CPU使用率(峰值)內(nèi)存存儲類型存儲硬件類型AIX/HP-UX/Linux/Windows等物理機(jī)/虛擬機(jī)/一體機(jī)超線埋后的總邏輯核數(shù)X86/ARM/POWER/SPARC等具體CPU型號CPU的平均利用率CPU的平均峰值率服務(wù)器內(nèi)存大小集中存儲/本機(jī)存儲SSD/機(jī)械盤/混合數(shù)據(jù)庫容量總數(shù)據(jù)量(G)日最大歸檔量(G)表總數(shù)量最大表數(shù)據(jù)量(G)最大表行數(shù)最多列表的列數(shù)分區(qū)總數(shù)量占用總存儲空間每天產(chǎn)生的日志歸檔總量數(shù)據(jù)庫的分區(qū)總量,到二級分區(qū)數(shù)據(jù)庫高可用高可用類型高可用架構(gòu)備份方式備份工具災(zāi)備方式災(zāi)備工具集群/主備等如:2節(jié)點集群/1主1備/4節(jié)點集群等全量/增量/邏輯商用軟件(具體產(chǎn)品)/RMAN/存儲快照等同城/異地/2地3中心等ADG/OGG/MHA/MGR/應(yīng)用基本信息應(yīng)用業(yè)務(wù)域應(yīng)用名稱應(yīng)用客戶群終端客戶群數(shù)量應(yīng)用類型應(yīng)用支撐業(yè)務(wù)應(yīng)用使用場景應(yīng)用架構(gòu)如:營銷/管理/運(yùn)行等內(nèi)部/外部千/萬/十萬/百萬/千萬等OLTP/OLAP/HATP如:支撐某個業(yè)務(wù)子模塊如:用戶開戶,用戶繳費(fèi)等B/5或C/5應(yīng)用開發(fā)開發(fā)語言及版本開發(fā)框架及版本連接地及版本中間件及版本數(shù)據(jù)庫開發(fā)接口Java/Python/PHP/Perl/C/C++/C#/.Net等Spring/MyBatis/Struts/Hibernate等Druid/dbcp/C3P0等Tomcat/Weblogic/Tuxedo/東方通/寶藍(lán)德等Pro*C/OCI/ODBC/JDBC等第二,“建”——專業(yè)團(tuán)隊組建第二,“建”——專業(yè)團(tuán)隊組建運(yùn)維保障;OceanBase項目管理委員會甲方OceanBase項目經(jīng)理 架構(gòu)師 實施交付研發(fā)運(yùn)維支持項目管理委員會甲方OceanBase項目經(jīng)理 架構(gòu)師 實施交付研發(fā)運(yùn)維支持應(yīng)用開發(fā) 數(shù)據(jù)庫運(yùn)維 硬件支持應(yīng)用開發(fā) 數(shù)據(jù)庫運(yùn)維 硬件支持上線后數(shù)據(jù)庫德整體運(yùn)維支持上線后數(shù)據(jù)庫德整體運(yùn)維支持運(yùn)維支持SQL研發(fā)數(shù)據(jù)遷移、性能測試、功能測試、切割上線OceanBase 實施交付需求調(diào)研、方案制定、架構(gòu)規(guī)劃、應(yīng)用適配架構(gòu)師負(fù)責(zé)項目進(jìn)展和質(zhì)量德整體管理和把控項目經(jīng)理測試和生產(chǎn)環(huán)境服務(wù)器,網(wǎng)絡(luò)等硬件實施和變更硬件支持甲方應(yīng)用信息獲取,應(yīng)用適配和改造,應(yīng)用測試應(yīng)用開發(fā)負(fù)責(zé)數(shù)據(jù)庫遷移項目的整體管理和把控整體把控 項目管理委員會現(xiàn)狀和規(guī)劃和改造和遷移演資源評估準(zhǔn)備 驗證和上線職責(zé)描述預(yù)估人數(shù)人員角色數(shù)據(jù)庫運(yùn)維 現(xiàn)有環(huán)境德信息獲取和相關(guān)操,后續(xù)數(shù)據(jù)庫運(yùn)維支撐第三,“策”——嚴(yán)謹(jǐn)?shù)募夹g(shù)方案設(shè)計第三,“策”——嚴(yán)謹(jǐn)?shù)募夹g(shù)方案設(shè)計OceanBase數(shù)據(jù)庫集群:513C2583GUnit規(guī)格用途157C287G1:40COceanBase數(shù)據(jù)庫集群:513C2583GUnit規(guī)格用途157C287G1:40C128G457C287G1:40C128G757C287G1:40C128GUNIT18C32G中小型租戶使用UNIT216C64G中型租戶使用UNIT340C128G大型租戶使用257C287G應(yīng)用2:16C257C287G應(yīng)用2:16C64G3:8C32G557C287G應(yīng)用2:16C64G3:8C32G857C287G2:16C64G3:8C32G應(yīng)用 Unite類別ZoneUnit357C287G應(yīng)用 Unite類別ZoneUnit357C287G4:8C32G5:8C32G657C287G4:8C32G5:8C32G957C287G4:8C32G5:8C32G應(yīng)用1UNIT11應(yīng)用2UNIT11應(yīng)用3UNIT11應(yīng)用4UNIT21應(yīng)用5UNIT31

Zone2

Zone3 第四,“控”——全面的風(fēng)險評估與預(yù)案第四,“控”——全面的風(fēng)險評估與預(yù)案應(yīng)用兼容性風(fēng)險應(yīng)用兼容性風(fēng)險架構(gòu)風(fēng)險資源和性能風(fēng)險高可用風(fēng)險上線割接風(fēng)險運(yùn)維和技能風(fēng)險多維度兼容性評估

數(shù)據(jù)庫架構(gòu)的設(shè)計

高可用和容災(zāi)架構(gòu)規(guī)劃

規(guī)劃

數(shù)據(jù)庫支持和沿用和體系搭建實現(xiàn)平滑遷移數(shù)據(jù)庫遷移過程遵循經(jīng)過大量實踐驗證的四步標(biāo)準(zhǔn)化流程,確保每個環(huán)節(jié)可控可測:第一步,“驗”——精準(zhǔn)驗證:測試環(huán)境深度適配OceanBaseOMASQL兼容性評估首次評估 優(yōu)化調(diào)整 二次評估發(fā)現(xiàn) 用兼容性評估首次評估 優(yōu)化調(diào)整 二次評估發(fā)現(xiàn) 用戶針對SQL 符合數(shù)不兼容SQL 進(jìn)行改造或優(yōu)化 遷移要求性能評估數(shù)據(jù)遷移發(fā)現(xiàn)優(yōu)化調(diào)整 二次回放用戶針對SQL 回放進(jìn)行優(yōu)化 符合要求準(zhǔn)備階段第二步,“測”——全面驗證:真實環(huán)境壓力測試第三步,“同”——數(shù)據(jù)同步:雙軌運(yùn)行確保一致割接執(zhí)行流程:在業(yè)務(wù)系統(tǒng)停機(jī)維護(hù)窗口內(nèi),首先完成最后的增量數(shù)據(jù)追平,確保兩端數(shù)據(jù)完全一致。隨后將應(yīng)用程序的數(shù)據(jù)連接配置切換至OceanBase數(shù)據(jù)庫,完成系統(tǒng)割接。數(shù)據(jù)校驗方案:根據(jù)實際數(shù)據(jù)量和測試結(jié)果,提供兩種校驗方案:AB源庫

結(jié)構(gòu)遷移 Schema讀取與轉(zhuǎn)換 Schema同步全量遷移增量同步 OceanBase增日志讀取 增日志解析 增日志回放全量校驗第四步,“切”——平穩(wěn)割接:有序切換保障業(yè)務(wù)APPAPP割接前割接后APPOceanBaseOMS實時同步ORACLEOceanBaseORACLE租戶OMS實時同步ORACLEOceanBaseORACLE租戶第五步,“?!薄潞蟊U希簩<椰F(xiàn)場值守保障應(yīng)用安全48安全。典型平滑升級實踐山東移動:采用“由大化小、逐個擊破、持續(xù)迭代”方案2020CRM&BOSS選擇2023ORAORA1庫ORA4A城Oracle庫A/拆庫ORA2ORA3城市AC實例B城Oracle庫 遷移 B城集群/租戶C城Oracle庫 C城集群/租戶D城Oracle庫 D城集群/租戶CRM資源庫(全省)資源集群/租戶ORA1庫ORA4A城Oracle庫A/拆庫ORA2城市AC實例B城OracleCOracleOracle遷移B/C/租戶ORA3D/BOSS計費(fèi)庫(全?。┻w移計費(fèi)集群/租戶該方案具備四大優(yōu)勢:一、高隔離性,保障系統(tǒng)穩(wěn)定與遷移安全一、高隔離性,保障系統(tǒng)穩(wěn)定與遷移安全OceanBase程的可控性與業(yè)務(wù)連續(xù)性。二、強(qiáng)復(fù)制性,實現(xiàn)遷移過程標(biāo)準(zhǔn)化與快速迭代二、強(qiáng)復(fù)制性,實現(xiàn)遷移過程標(biāo)準(zhǔn)化與快速迭代OMS應(yīng)急預(yù)案等。后續(xù)地市可“一鍵復(fù)制、批量推進(jìn),提升遷移效率,實現(xiàn)三、輕量化架構(gòu),優(yōu)化性能與資源利用率三、輕量化架構(gòu),優(yōu)化性能與資源利用率(Remote四、遷移可控,工具支撐強(qiáng),周期易管理四、遷移可控,工具支撐強(qiáng),周期易管理5TB,適合使用OMS等工具進(jìn)行精細(xì)化同步。OMS監(jiān)控、可回退。支持“邊驗證、分步切換,有效降低業(yè)務(wù)江蘇移動:采用“整庫升級、穩(wěn)中提速、全省躍進(jìn)”的方案為應(yīng)對大規(guī)模、一體化運(yùn)營的省級業(yè)務(wù)需求,江蘇移動在推進(jìn)CRM&BOSS系統(tǒng)向OceanBase不拆庫、整庫升級的技術(shù)路徑。CRMCRM實施范式。截至2025年初,江蘇移動已經(jīng)完成全部CRM&BOSS核心庫的升級工作。ORAORACRM2ORACRM3ORACRM4ORACRM1庫城市ABCD實例拆庫城市AOracle庫ORACRM1庫城市BCD實例遷移城市A集群/租戶CRM1三地市租戶資源庫(全?。┙灰讕欤ㄈ?quán)益庫(全省遷移///CRMORA2ORA3ORA4ORA1庫1集群城市ABCD實例遷移四地市租戶錯單庫(全?。?遷移 錯單集群/租戶BOSS該方案具備四大優(yōu)勢:一、業(yè)務(wù)影響范圍小,降低應(yīng)用層適配成本一、業(yè)務(wù)影響范圍小,降低應(yīng)用層適配成本整庫平遷二、資源集約化,提升利用率二、資源集約化,提升利用率物理集中、邏輯隔離CPUSLA2040。三、上線節(jié)奏快,迭代效率高三、上線節(jié)奏快,迭代效率高多次復(fù)用,顯著提升遷移效率。四、運(yùn)維與管理復(fù)雜度低四、運(yùn)維與管理復(fù)雜度低“不拆庫”模式下租戶07場景實踐OceanBase 海量記錄筆筆算數(shù) 37BCRM&BOSS動近乎零改造分布式升級,存儲節(jié)省80%場景簡介場景簡介CRM/2000業(yè)務(wù)挑戰(zhàn)業(yè)務(wù)挑戰(zhàn)替換難度高:替換風(fēng)險大:解決方案解決方案POD9類應(yīng)用壓力測試、OLAP批處理類壓力測試、OMA滅慢OBProxy3OBProxy業(yè)務(wù)系統(tǒng)(城市A/B)業(yè)務(wù)系統(tǒng)(城市A/B)ZONE1ZONE2ZONE3ZONE1ZONE2ZONE3業(yè)務(wù)系統(tǒng)(城市C)ZONE1ZONE2ZONE3ZONE1ZONE2ZONE3業(yè)務(wù)系統(tǒng)(城市D)ZONE1ZONE2ZONE3ZONE1ZONE2ZONE3OBproxy OBproxy OBproxy 備OBproxy 備OBproxy 備OBproxyOBproxy OBproxy OBproxy 備OBproxy 備OBproxy 備OBproxyOBproxy OBproxy OBproxy 備OBproxy 備OBproxy 備OBproxy案例成效案例成效由于高度兼容7050%CRM/。BBASS布式升級提升數(shù)據(jù)分析實效性場景簡介場景簡介BASS)業(yè)務(wù)挑戰(zhàn)業(yè)務(wù)挑戰(zhàn)性能平替挑戰(zhàn):In-Memory)對國產(chǎn)庫的SQL6PL/SQL解決方案解決方案AP200SQL響應(yīng)時間可控。使用高度兼容SQL90。80數(shù)據(jù)應(yīng)用A庫B庫C庫DF應(yīng)用數(shù)據(jù)管理平臺,用于跨庫數(shù)據(jù)分發(fā)心A庫 核心數(shù)倉...大數(shù)據(jù)平臺HDFS文件系統(tǒng)集團(tuán)公司系統(tǒng)BBSMSSOSS業(yè)務(wù)平臺外部數(shù)據(jù)案例成效實現(xiàn)省級及9080如復(fù)雜PLM支撐年結(jié)峰值場景簡介場景簡介業(yè)務(wù)挑戰(zhàn)業(yè)務(wù)挑戰(zhàn)由于財務(wù)存在年結(jié)、月結(jié)業(yè)務(wù)高峰期,集團(tuán)共50w解決方案解決方案POD)63APPF5F5proxyproxyproxyproxyzone1日志流同步zone1zone主集群zone3zone2 zone3備集群pod6(intel) 報賬集群 pod10(Hygon)proxyproxyproxyproxyzone1日志流同步zone1zone2主集群Azone3zone2 zone3備集群流程平臺集群B城資源池(kunpeng)案例成效案例成效QPS運(yùn)維一體化:通過一套OCPCPUBHTAP5場景簡介場景簡介HTAP業(yè)務(wù)挑戰(zhàn)業(yè)務(wù)挑戰(zhàn)解決方案解決方案A/BA/BARM3A/B2...應(yīng)用...應(yīng)用DNS+JDBCloadbalanceOBProxy分別部署在observer上代理OBProxy1OBProxy2OBProxy3…OBProxy9酬金A(主ZONE1) 酬金B(yǎng)(主ZONE2) 弱讀節(jié)點(ZONE3)OBServerOBServerOBServerOBServerOBServerOBServerOBServerOBServerOBServerNASA城主集群集群管理平臺案例成效案例成效%,性能無損:3A/B35CPUCPU28805495OMySQL7X24h場景簡介場景簡介O域資源、編排、運(yùn)維、MySQL升級至”業(yè)務(wù)挑戰(zhàn)業(yè)務(wù)挑戰(zhàn)MySQL單機(jī)存在單點故障:MySQLMySQL性能瓶頸:MySQL(TP)和復(fù)雜分析查詢(AP)MySQL解決方案解決方案數(shù)據(jù)遷移:借助OMS全量比對+增量校驗”的數(shù)0第一階段數(shù)據(jù)切割(提前三天)第一階段數(shù)據(jù)切割(提前三天)OMSMySQL OceanBase第二階段數(shù)據(jù)增量同步,保持一致OMS第二階段數(shù)據(jù)增量同步,保持一致OMSMySQL OceanBaseMySQL反向同步OceanBase預(yù)期成效預(yù)期成效系統(tǒng)穩(wěn)定運(yùn)行:PB“,In?uxDB支持HTAP08場景實踐48 創(chuàng)新運(yùn)營商場景實踐開源共建場景:中國聯(lián)通軟研院打造“分布式CUDB”,引領(lǐng)開源共建國產(chǎn)數(shù)據(jù)庫新范式業(yè)務(wù)背景業(yè)務(wù)背景6MySQLCUDB技術(shù)創(chuàng)新技術(shù)創(chuàng)新自研MySQL和CUDB采用MySQL5.5MySQL5.6MySQL5.7MySQL和CUDB萬條OMS的3DataX5配套完善運(yùn)維工具,降低DBA運(yùn)維門檻:CUDB平臺配套完善的SQLDBA合作成效合作成效202236CUDB225400能用盡用”戰(zhàn)略、了”AIOceanBaseRAG破解大模型落地難題場景簡介場景簡介RAGAIRAG業(yè)務(wù)背景業(yè)務(wù)背景,通過RAGDBA解決方案解決

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論