）：03032.1數(shù)據(jù)庫(kù)技術(shù)路線選擇052.2數(shù)據(jù)庫(kù)部署架構(gòu)路線選擇082.3數(shù)據(jù)存儲(chǔ)選型112.4容災(zāi)高可用13153.2數(shù)據(jù)庫(kù)遷移實(shí)踐174.1蘇州農(nóng)商行存貸匯業(yè)務(wù)數(shù)據(jù)庫(kù)轉(zhuǎn)型實(shí)踐224.2廣發(fā)銀行支付業(yè)務(wù)國(guó)產(chǎn)化數(shù)據(jù)庫(kù)實(shí)踐244.3江南農(nóng)商行國(guó)產(chǎn)化數(shù)據(jù)庫(kù)實(shí)踐2503區(qū)域性銀行數(shù)據(jù)庫(kù)改造需求現(xiàn)狀區(qū)域性銀行作為金融體系的重要組成部分，在支持地方經(jīng)濟(jì)發(fā)展與產(chǎn)業(yè)從2019年開(kāi)始，國(guó)有大型銀行和股份制銀行率先啟動(dòng)包括數(shù)據(jù)庫(kù)在內(nèi)的信息技術(shù)應(yīng)用創(chuàng)新工作，部分區(qū)域性銀行也逐步開(kāi)展了數(shù)據(jù)庫(kù)改造探索與實(shí)踐，國(guó)內(nèi)銀行數(shù)據(jù)庫(kù)改造已從“試點(diǎn)”進(jìn)入“全面攻區(qū)域性銀行因?yàn)闃I(yè)務(wù)規(guī)模、成本效益、運(yùn)維復(fù)雜度或技術(shù)熟悉度等因素其優(yōu)秀的系統(tǒng)穩(wěn)定性、良好的軟硬適配能力受到青睞，集中式數(shù)據(jù)庫(kù)在中小金融機(jī)構(gòu)仍占據(jù)主導(dǎo)地位，其實(shí)例數(shù)占比仍有80%（數(shù)據(jù)來(lái)源于《金融業(yè)數(shù)據(jù)庫(kù)創(chuàng)新發(fā)展報(bào)告（2024）》展現(xiàn)出不可替代的在金融行業(yè)加速變革的當(dāng)下，區(qū)域銀行在我國(guó)金融體系中占據(jù)著重要地位。其地域性特點(diǎn)使得區(qū)域銀行的業(yè)務(wù)模式通常相對(duì)集中，雖然隨著市場(chǎng)需求的變化，部分區(qū)域銀行已開(kāi)始向外拓展業(yè)務(wù)，進(jìn)入其他地域市場(chǎng)，業(yè)務(wù)體量也不斷上升，但其整體用戶量和交易頻繁程度與大型全國(guó)性銀行仍有差距。例如，單一小微企業(yè)貸款服務(wù)的數(shù)據(jù)量通常在10TB以內(nèi)，這與大型銀行在同類業(yè)務(wù)中處理的數(shù)據(jù)量相比此外，區(qū)域銀行的客戶基礎(chǔ)主要集中在本地企業(yè)和個(gè)人客戶，其業(yè)務(wù)雖然更貼近客戶，但非結(jié)構(gòu)化特點(diǎn)突出（如農(nóng)產(chǎn)品收成、商戶流水等），且數(shù)據(jù)通常分布在不同的政府部門(mén)，缺乏相對(duì)規(guī)范的財(cái)務(wù)數(shù)據(jù)。因此，盡管這些銀行在服務(wù)本地客戶方面具備優(yōu)勢(shì)，但其業(yè)務(wù)的多樣性和復(fù)雜性相對(duì)較低，導(dǎo)致數(shù)據(jù)生成速度也相對(duì)緩慢。在可預(yù)見(jiàn)的未來(lái)幾年中，區(qū)域銀行的數(shù)據(jù)量趨向平穩(wěn)，預(yù)計(jì)不會(huì)出現(xiàn)大幅增當(dāng)前在數(shù)據(jù)庫(kù)創(chuàng)新的時(shí)代背景下，國(guó)有大行、股份制銀行核心業(yè)務(wù)已陸續(xù)完成創(chuàng)新改造，為匹配創(chuàng)新目標(biāo)，區(qū)域銀行正大力加速數(shù)據(jù)庫(kù)創(chuàng)新改造。區(qū)域銀行積極進(jìn)行數(shù)據(jù)庫(kù)轉(zhuǎn)型創(chuàng)新，一方面是出于自身安全可控的考量，降低對(duì)單一技術(shù)的依賴；另一方面，也是順應(yīng)金融科技發(fā)展趨勢(shì)，提升自身技術(shù)實(shí)然而，數(shù)據(jù)庫(kù)創(chuàng)新之路困難重重。首當(dāng)其沖的是技術(shù)難題。區(qū)域銀行85%以上長(zhǎng)期依賴傳統(tǒng)IOE架構(gòu)，在向創(chuàng)新技術(shù)棧遷移時(shí)，面臨著新舊技術(shù)難以兼容的困境。例如，傳統(tǒng)架構(gòu)下的業(yè)務(wù)系統(tǒng)與新的國(guó)產(chǎn)數(shù)據(jù)庫(kù)、服務(wù)器等可能存在適配問(wèn)題，導(dǎo)致系統(tǒng)運(yùn)行不穩(wěn)定，影響日常業(yè)務(wù)開(kāi)展。并且，新技術(shù)整體成熟度仍有待考證，在性能、穩(wěn)定性等關(guān)鍵指標(biāo)上可能難以完全滿足銀行復(fù)雜業(yè)務(wù)的高要求，因此選同時(shí)，在轉(zhuǎn)型過(guò)程中，技術(shù)債務(wù)是關(guān)鍵挑戰(zhàn)。多數(shù)區(qū)域銀行核心系統(tǒng)平均使用年限超10年，78%未完成分布式改造（據(jù)IDC2024年金融行業(yè)IT架構(gòu)調(diào)研），難以快速響應(yīng)市場(chǎng)變化，對(duì)接新興業(yè)務(wù)場(chǎng)景。而且歷史遺留的“系統(tǒng)煙囪”問(wèn)題嚴(yán)重，平均每家區(qū)域銀行存在15-20個(gè)獨(dú)立業(yè)務(wù)系統(tǒng)，數(shù)據(jù)打通和整合成本平均高達(dá)數(shù)千萬(wàn)，數(shù)據(jù)價(jià)值難以充分發(fā)揮，制約了基于數(shù)據(jù)的創(chuàng)新應(yīng)用，如通過(guò)精準(zhǔn)營(yíng)銷、智能風(fēng)控等數(shù)字化的手段來(lái)提升其競(jìng)爭(zhēng)力、拓展業(yè)務(wù)邊界?？傮w而言，區(qū)域性銀行交易型數(shù)據(jù)庫(kù)正處于快速發(fā)展與變革時(shí)期。在政策護(hù)航、行業(yè)趨勢(shì)推動(dòng)與穩(wěn)步推進(jìn)交易型數(shù)據(jù)庫(kù)的升級(jí)與轉(zhuǎn)型，為金融業(yè)務(wù)的高質(zhì)量05區(qū)域性銀行數(shù)據(jù)庫(kù)改造技術(shù)路線選擇2.1數(shù)據(jù)庫(kù)技術(shù)路線選擇數(shù)據(jù)庫(kù)是信息系統(tǒng)的核心，從技術(shù)路線上可分為集集中式數(shù)據(jù)庫(kù)在過(guò)去幾十年中一直是企業(yè)數(shù)據(jù)存儲(chǔ)的主流解決方案。其經(jīng)典的客戶端-數(shù)據(jù)庫(kù)-計(jì)算-交換機(jī)-存儲(chǔ)模型簡(jiǎn)單、成熟且穩(wěn)定。分布式數(shù)據(jù)庫(kù)通過(guò)將數(shù)據(jù)拆成多分片分散存儲(chǔ)到多個(gè)物理節(jié)點(diǎn)，并通過(guò)網(wǎng)絡(luò)同步協(xié)同工作，旨在滿足敏態(tài)應(yīng)用對(duì)數(shù)據(jù)庫(kù)容量APP讀寫(xiě)讀主節(jié)點(diǎn)備節(jié)點(diǎn)數(shù)據(jù)副本日志同步全量數(shù)據(jù)讀寫(xiě)APP讀寫(xiě)讀主節(jié)點(diǎn)備節(jié)點(diǎn)數(shù)據(jù)副本日志同步全量數(shù)據(jù)讀寫(xiě)讀寫(xiě)中間件或協(xié)調(diào)節(jié)點(diǎn)節(jié)點(diǎn)2分片n副本...節(jié)點(diǎn)n分片1副本...節(jié)點(diǎn)1數(shù)據(jù)分片1分片2副本...數(shù)據(jù)分片2數(shù)據(jù)分片n全量數(shù)據(jù)APP讀寫(xiě)...集中式數(shù)據(jù)庫(kù)是將所有數(shù)據(jù)存儲(chǔ)在一套集群上，通過(guò)提升單機(jī)性能（更強(qiáng)的CPU、更大的內(nèi)存、更快的磁盤(pán)）來(lái)擴(kuò)展。其特點(diǎn)為：?jiǎn)螜C(jī)或主從架構(gòu)，為防止單點(diǎn)故障，生產(chǎn)系統(tǒng)一般按一主多從架構(gòu)建設(shè)。集中式數(shù)據(jù)庫(kù)所采用的數(shù)據(jù)存儲(chǔ)，所有數(shù)據(jù)在一套存儲(chǔ)系統(tǒng)上（一套存儲(chǔ)可能采用雙活方式保障系統(tǒng)可用性）其擴(kuò)展方式為通過(guò)升級(jí)硬件（CPU、內(nèi)存、擴(kuò)展存儲(chǔ)系統(tǒng)等）來(lái)提升性能和容量?！螏?kù)解決問(wèn)題，不需要拆分成多個(gè)子庫(kù)或者多分片，避免了分布式事務(wù)跨分片訪問(wèn)的問(wèn)題，適合銀·簡(jiǎn)單易用，技術(shù)成熟，生態(tài)完善，開(kāi)發(fā)、運(yùn)維、管理的工具·上限容量有限，一般來(lái)說(shuō)集中式數(shù)據(jù)庫(kù)單庫(kù)的數(shù)據(jù)量在40TB-100TB。該能力滿足大多數(shù)核心交易業(yè)務(wù)的訴求，但較難應(yīng)對(duì)更高容量的敏態(tài)應(yīng)用或者·上限性能有限：高并發(fā)讀寫(xiě)集中在一臺(tái)機(jī)器上，可能成為系統(tǒng)的瓶頸，性能規(guī)格在100萬(wàn)tpmC。集中式數(shù)據(jù)庫(kù)的典型代表有：MySQL,PostgreSQL,Oracle,SQLServer，openGauss，GaussDB集中式。分布式數(shù)據(jù)庫(kù)將數(shù)據(jù)拆分多分片分散存儲(chǔ)在多個(gè)服務(wù)器（節(jié)點(diǎn)）上，這些節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)連接協(xié)同工作，通過(guò)增加機(jī)器數(shù)量來(lái)擴(kuò)展。其特點(diǎn)為在架構(gòu)上采用多節(jié)點(diǎn)集群方式，數(shù)據(jù)被分片（Sharding）存儲(chǔ)在不同的節(jié)點(diǎn)上，通過(guò)擴(kuò)展分片和服務(wù)器節(jié)點(diǎn)來(lái)提升整體性能和容量。分布式數(shù)據(jù)庫(kù)的優(yōu)勢(shì)主要為以·擴(kuò)展能力，分布式數(shù)據(jù)庫(kù)理論上可以通過(guò)不斷增加分片和節(jié)點(diǎn)來(lái)線性提升系統(tǒng)的存儲(chǔ)容量和處理能·高可用性與容錯(cuò)性：數(shù)據(jù)通常有多個(gè)副本存放在不同節(jié)點(diǎn)上，單個(gè)或多個(gè)節(jié)點(diǎn)故障不會(huì)導(dǎo)致整個(gè)·高并發(fā)性能：將負(fù)載分散到多個(gè)節(jié)點(diǎn)上，可應(yīng)對(duì)極高的·復(fù)雜性高，引入了協(xié)調(diào)節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)、事務(wù)節(jié)點(diǎn)、管理節(jié)點(diǎn)等各類節(jié)點(diǎn)。部署、運(yùn)維、監(jiān)控和故·一致性挑戰(zhàn)大，在分布式環(huán)境下，強(qiáng)一致性會(huì)嚴(yán)重影響性能。因此很性（BASE理論），可能讀到舊數(shù)據(jù)，需要應(yīng)用層處理一致性問(wèn)題?！た绻?jié)點(diǎn)的分布式事務(wù)訪問(wèn)時(shí)延開(kāi)銷大，甚至有些數(shù)據(jù)庫(kù)直接不支持或支持·單筆交易來(lái)看，時(shí)延較大，分布式數(shù)據(jù)庫(kù)節(jié)點(diǎn)間需要頻繁跨節(jié)點(diǎn)轉(zhuǎn)發(fā)，增加了協(xié)調(diào)/代理節(jié)點(diǎn)-數(shù)據(jù)分布式數(shù)據(jù)庫(kù)的典型代表為：TiDB、OceanBase、TDSQL、GoldenDB、GaussDB分布基于集中式數(shù)據(jù)庫(kù)和分布式數(shù)據(jù)庫(kù)在架構(gòu)上的差異，區(qū)域性銀行需結(jié)合業(yè)務(wù)特點(diǎn)來(lái)進(jìn)行數(shù)據(jù)庫(kù)的技1）數(shù)據(jù)一致性。應(yīng)用要求強(qiáng)一致性的（如：核心交易系統(tǒng)、銀行賬戶系統(tǒng)）建議選擇集中式數(shù)據(jù)庫(kù)。應(yīng)用可以接受最終一致性的（如：社交網(wǎng)絡(luò)點(diǎn)贊、評(píng)論、用戶2）基于數(shù)據(jù)容量和性能評(píng)估，數(shù)據(jù)容量<40TB，評(píng)估性能大小，普遍沒(méi)觸及集中部署的性能瓶頸，建議選擇集中式數(shù)據(jù)庫(kù)，數(shù)據(jù)量>40TB可考慮選用數(shù)據(jù)庫(kù)分布式部署，或者通過(guò)對(duì)應(yīng)用進(jìn)行單元07區(qū)域性銀行數(shù)據(jù)庫(kù)改造技術(shù)路線選擇存儲(chǔ)過(guò)程或復(fù)雜SQL使用量存儲(chǔ)過(guò)程或復(fù)雜SQL使用量分片、分布式事務(wù)影響性能指標(biāo)分片、分布式事務(wù)影響性能指標(biāo)對(duì)穩(wěn)定性、備份等對(duì)穩(wěn)定性、備份等運(yùn)維高要求是并發(fā)性能/單庫(kù)容量指標(biāo)滿足并發(fā)性能/單庫(kù)容量指標(biāo)滿足是可拆庫(kù)/瘦身否集中式部署（優(yōu)先）分布式部署3）考慮業(yè)務(wù)的增長(zhǎng)情況，比如某個(gè)系統(tǒng)預(yù)期年業(yè)務(wù)未來(lái)增長(zhǎng)很快，未來(lái)5年，數(shù)據(jù)量會(huì)超過(guò)40T，優(yōu)先考慮選用分布式。4）考慮業(yè)務(wù)復(fù)雜度，業(yè)務(wù)系統(tǒng)有大量的多表關(guān)聯(lián)的復(fù)雜SQL、或者存儲(chǔ)過(guò)程、package、函數(shù)等對(duì)象，這類系統(tǒng)分布式改造難度大，優(yōu)先選用集中式，可幫助應(yīng)5）讀寫(xiě)并發(fā)，TPS一般在20000左右，超過(guò)該業(yè)務(wù)負(fù)載，考慮選用數(shù)據(jù)庫(kù)分布式部署或者通過(guò)6）IT團(tuán)隊(duì)技能，如果IT團(tuán)隊(duì)熟悉傳統(tǒng)SQL，缺乏分布式系統(tǒng)運(yùn)維經(jīng)驗(yàn)，建議從集中式數(shù)據(jù)庫(kù)開(kāi)始。團(tuán)隊(duì)擁有深厚的分布式系統(tǒng)開(kāi)發(fā)和運(yùn)維能力，總之，要加強(qiáng)分布式架構(gòu)轉(zhuǎn)型的統(tǒng)籌管理，明確分布式架構(gòu)的適用范圍，基于業(yè)務(wù)規(guī)模、應(yīng)用場(chǎng)景、數(shù)據(jù)容量等維度，合理選擇系統(tǒng)架構(gòu)，要統(tǒng)籌規(guī)劃重要系統(tǒng)和一般系統(tǒng)的轉(zhuǎn)型方向和推進(jìn)節(jié)奏。對(duì)于性能、容量要求較小的系統(tǒng)，要加強(qiáng)集中式和分布式技術(shù)路線選擇評(píng)估，控制好系統(tǒng)復(fù)雜度，實(shí)事求·數(shù)據(jù)量大（平均每個(gè)省大約5TB），系統(tǒng)總數(shù)據(jù)量超過(guò)100TB。·高負(fù)載高吞吐（平均每個(gè)省大約2W），系統(tǒng)總TPS超過(guò)50W?！I(yè)務(wù)邏輯比較復(fù)雜，即有TP類的實(shí)時(shí)交易業(yè)務(wù)，對(duì)交易響應(yīng)時(shí)延要求較高，又有復(fù)雜的分析類查·大數(shù)據(jù)量，大并發(fā)高吞吐的系統(tǒng)從特點(diǎn)上看更適合選用分布式，用戶也有意向做這方面探索和嘗試。但是該業(yè)務(wù)系統(tǒng)存在較多的復(fù)雜查詢的AP類SQL，以及大量的存儲(chǔ)過(guò)程，選用分布式不僅應(yīng)用改造難度很大，而且可能很難充分發(fā)揮分布式本身的能力，反而會(huì)限制系統(tǒng)的性能和吞吐量。綜·無(wú)論從數(shù)據(jù)量還是吞吐量來(lái)說(shuō)，單個(gè)集中式實(shí)例很難承載整個(gè)業(yè)務(wù)的業(yè)務(wù)量，建議應(yīng)用系統(tǒng)采用微·應(yīng)用考慮采用讀寫(xiě)分離架構(gòu)，把包含復(fù)雜查詢?cè)趦?nèi)的只讀業(yè)務(wù)放到備庫(kù)，降低主庫(kù)的壓力?！づ芘悩I(yè)務(wù)建議放到晚上進(jìn)行，避開(kāi)白天的業(yè)務(wù)高峰期，避免對(duì)關(guān)鍵的交易類業(yè)務(wù)產(chǎn)生影響。2.2數(shù)據(jù)庫(kù)部署架構(gòu)路線選擇數(shù)據(jù)庫(kù)系統(tǒng)的架構(gòu)選擇一直是企業(yè)技術(shù)決策中的核心問(wèn)題，尤其是存算一體與存算分離兩種架構(gòu)模式的抉擇。隨著數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng)和業(yè)務(wù)需求的日益復(fù)雜從歷史演進(jìn)角度看，數(shù)據(jù)庫(kù)架構(gòu)經(jīng)歷了多次存算一體與存算分離的反復(fù)。早期的IT系統(tǒng)由于體量小，多以存算一體為主，1961年通用電氣公司開(kāi)發(fā)的第一款數(shù)據(jù)庫(kù)管理系統(tǒng)IDS（IntegratedDataStore，集成數(shù)據(jù)存儲(chǔ)），只能運(yùn)行在通用電氣的主機(jī)上，且只有一個(gè)文件存儲(chǔ)在本地盤(pán)上，由本機(jī)的CPU、內(nèi)存依據(jù)手工編碼的指令來(lái)讀寫(xiě)。當(dāng)時(shí)的數(shù)據(jù)庫(kù)屬于高端應(yīng)用，和各種大型機(jī)、中型機(jī)緊密綁定在一起，數(shù)據(jù)量也相對(duì)較?。ㄈ绠?dāng)時(shí)銀行信貸管理系統(tǒng)的數(shù)據(jù)量只有10GB左右），使用大型機(jī)的本隨著互聯(lián)網(wǎng)技術(shù)的興起，數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)量開(kāi)始激增，傳統(tǒng)的單機(jī)數(shù)據(jù)庫(kù)服務(wù)器無(wú)法滿足不斷增長(zhǎng)的大量數(shù)據(jù)的存儲(chǔ)和訪問(wèn)，UNIX系統(tǒng)也開(kāi)始大行其道，而幾乎所有的UNIX主機(jī)都具備了連接外置存儲(chǔ)的能力。在這一時(shí)期，存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）和網(wǎng)絡(luò)附加存儲(chǔ)（NAS）方案開(kāi)始占據(jù)主導(dǎo)，數(shù)據(jù)庫(kù)架構(gòu)由存算一體轉(zhuǎn)向了存算分離架構(gòu)，數(shù)據(jù)庫(kù)+計(jì)算+外置企業(yè)存儲(chǔ)存算分離架構(gòu)開(kāi)始流行，至今已經(jīng)30年+。商業(yè)數(shù)據(jù)庫(kù)巨頭Oracle從9i版本開(kāi)始，推出了基于共享存儲(chǔ)的RAC（RealApplicationClusters），各計(jì)算節(jié)點(diǎn)與共享存儲(chǔ)分離，計(jì)算節(jié)點(diǎn)支持橫向擴(kuò)展2,4,8節(jié)點(diǎn)等提升并發(fā)處理能力，存儲(chǔ)也支持橫向擴(kuò)展2節(jié)點(diǎn)，4節(jié)點(diǎn)，8節(jié)點(diǎn)，甚至更多，提升并發(fā)性能和容量，整體架構(gòu)解決了數(shù)據(jù)庫(kù)算力橫向擴(kuò)展和容量擴(kuò)展。外置存儲(chǔ)除了解決容量橫向擴(kuò)展，更重要的是通過(guò)企業(yè)存儲(chǔ)軟件操作系統(tǒng)和硬件的協(xié)同實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)空間的極致高可靠、高可用，對(duì)眾多的硬盤(pán)進(jìn)行統(tǒng)一池化管理，RAID冗余管理，部件故障快速隔離，品控質(zhì)量管理等，大幅減少故障概率，達(dá)成99.9999%可靠性要求。同時(shí)集群內(nèi)數(shù)據(jù)庫(kù)節(jié)點(diǎn)實(shí)現(xiàn)單副本數(shù)據(jù)的共享訪問(wèn)，避免的頻繁跨節(jié)點(diǎn)同步數(shù)據(jù)帶來(lái)的性能和時(shí)延進(jìn)入21世紀(jì)10、20年代，伴隨著web2.0、3.0的飛速發(fā)展，越來(lái)越多的業(yè)務(wù)成為互聯(lián)網(wǎng)業(yè)務(wù)，業(yè)務(wù)訪問(wèn)并發(fā)量的升級(jí)帶來(lái)了數(shù)據(jù)量指數(shù)級(jí)激增。這使得存算一體架構(gòu)再次受到關(guān)注，尤其是在大數(shù)據(jù)和實(shí)時(shí)分析場(chǎng)景中。然而，隨著云計(jì)算技術(shù)的成熟和金融行業(yè)數(shù)字化轉(zhuǎn)型的深入，存算分離架構(gòu)因其獨(dú)09區(qū)域性銀行數(shù)據(jù)庫(kù)改造技術(shù)路線選擇時(shí)期1960s-1980sIDS、IBM大型機(jī)1990s-2010sOracleRAC、SAN/NAS2010s-2020sHadoop、NoSQL2020s存算分離架構(gòu)是一種現(xiàn)代且靈活的數(shù)據(jù)庫(kù)設(shè)計(jì)模式，其核心思想是將計(jì)算處理與數(shù)據(jù)存儲(chǔ)解耦，使它們能夠獨(dú)立擴(kuò)展和管理。在這種架構(gòu)中，數(shù)據(jù)持久化到共享存儲(chǔ)，計(jì)算節(jié)點(diǎn)無(wú)狀態(tài)化，實(shí)現(xiàn)存儲(chǔ)與1)企業(yè)存儲(chǔ)的可靠性高于服務(wù)器本地盤(pán)，盤(pán)的故障不會(huì)導(dǎo)致節(jié)點(diǎn)切換，減少數(shù)據(jù)庫(kù)節(jié)點(diǎn)切換概率。存儲(chǔ)統(tǒng)一管理硬盤(pán)的可靠性、RAID管理、冗余管理，慢盤(pán)、超時(shí)盤(pán)、故障盤(pán)等快速隔離，硬盤(pán)的品控質(zhì)量管理，盤(pán)的FW質(zhì)量和升級(jí)管理。2)獨(dú)立彈性伸縮，計(jì)算擴(kuò)容可以快速增加節(jié)點(diǎn)應(yīng)對(duì)流量高峰，存儲(chǔ)擴(kuò)容可以使存儲(chǔ)容量按需擴(kuò)當(dāng)今企業(yè)面臨的技術(shù)環(huán)境更加復(fù)雜，數(shù)據(jù)規(guī)模、業(yè)務(wù)需求和技術(shù)生態(tài)都在快速變化。存算一體架構(gòu)在自主創(chuàng)新方案不足的情況下，已逐漸暴露彈性與可靠性短板。而存算分離架構(gòu)則通過(guò)共享企業(yè)存儲(chǔ)隔離硬件故障，結(jié)合虛擬化技術(shù)，將物理服務(wù)器切換時(shí)間從分鐘縮短至秒級(jí)，顯著提升了業(yè)這種演進(jìn)使得架構(gòu)選擇不再是簡(jiǎn)單的技術(shù)決策，而是關(guān)系一、技術(shù)深度分析：存算一體vs存算分離存算一體架構(gòu)是一種傳統(tǒng)但成熟的數(shù)據(jù)庫(kù)設(shè)計(jì)模式，其核心特點(diǎn)是數(shù)據(jù)存儲(chǔ)與計(jì)算處理緊密耦合在相同的物理節(jié)點(diǎn)上。在這種架構(gòu)中，每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)都配備了自己的計(jì)算資源和存儲(chǔ)資源，數(shù)據(jù)分布式存儲(chǔ)在各個(gè)節(jié)點(diǎn)的本地磁盤(pán)上，計(jì)算任務(wù)也盡可4 SSD4 SSD…2同步從節(jié)點(diǎn)4, SSD…2)執(zhí)行計(jì)算時(shí)，計(jì)算節(jié)點(diǎn)可直接訪問(wèn)本地存儲(chǔ)數(shù)據(jù)，充分利用機(jī)器的IO、減少不必要的網(wǎng)絡(luò)開(kāi)然而，存算一體架構(gòu)也存在明顯的局限性。首先計(jì)算服務(wù)器部件隨著年限增加，故障率上升，任何部件帶來(lái)的節(jié)點(diǎn)故障都會(huì)殃及本地盤(pán)存儲(chǔ)的數(shù)據(jù)，新?lián)Q節(jié)點(diǎn)帶來(lái)數(shù)據(jù)重構(gòu)時(shí)間長(zhǎng)。本地盤(pán)的故障、慢盤(pán)、超時(shí)等會(huì)導(dǎo)致節(jié)點(diǎn)頻繁切換，業(yè)務(wù)hang住幾十秒甚至數(shù)分鐘后，帶來(lái)交易失敗，切換后恢復(fù)重建節(jié)點(diǎn)數(shù)據(jù)帶來(lái)復(fù)雜的運(yùn)維操作。其次，存儲(chǔ)與計(jì)算綁定，容量不夠，擴(kuò)容需擴(kuò)計(jì)算節(jié)點(diǎn)和存儲(chǔ)資源，操作不靈活，成本反而高。最后，溫冷數(shù)據(jù)成本偏高，歷史數(shù)據(jù)仍需占用CPU和內(nèi)存要求高的計(jì)算節(jié)點(diǎn)，成本高，但是業(yè)務(wù)量其實(shí)很小，CPU利用率低。此外，存算一體架構(gòu)在故障恢復(fù)和搬遷時(shí)都要全量恢復(fù)數(shù)據(jù)，不僅降低了可靠性，也增加了運(yùn)維工作量和成本，同時(shí)遷移擴(kuò)容時(shí)間不可控，需要更多資2、存算分離架構(gòu)的技術(shù)特點(diǎn)3)降低成本，存儲(chǔ)介質(zhì)分層分級(jí)，冷數(shù)據(jù)存儲(chǔ)在低廉的介質(zhì)上，成本下降70%。4)快速故障恢復(fù)，節(jié)點(diǎn)宕機(jī)后，新節(jié)點(diǎn)直接掛載共享存儲(chǔ)，無(wú)需全量數(shù)據(jù)重構(gòu)。3、性能表現(xiàn)對(duì)比分析在實(shí)際性能表現(xiàn)上，兩種架構(gòu)各有特點(diǎn)。存算一體架構(gòu)由于數(shù)據(jù)本地化存儲(chǔ)，尤其NVMeSSD通常具有幾十us級(jí)的超低延時(shí)優(yōu)勢(shì)。而存算分離架構(gòu)通過(guò)FC/ROCE高速時(shí)延網(wǎng)絡(luò)，IO讀寫(xiě)到存儲(chǔ)緩存，實(shí)現(xiàn)極低的IO時(shí)延，接近存算一體。CN計(jì)算節(jié)點(diǎn)1SSD…同步同城從節(jié)點(diǎn)3但是數(shù)據(jù)庫(kù)主備是要寫(xiě)本地節(jié)點(diǎn)，同時(shí)同步要跨網(wǎng)絡(luò)寫(xiě)備節(jié)點(diǎn)，甚至同城網(wǎng)絡(luò)同步寫(xiě)備節(jié)點(diǎn)，而這個(gè)時(shí)延占比很大，大量的時(shí)延消耗在網(wǎng)絡(luò)傳輸上。如下圖，數(shù)據(jù)庫(kù)事務(wù)的時(shí)庫(kù)節(jié)點(diǎn)1+同步寫(xiě)數(shù)據(jù)庫(kù)從節(jié)點(diǎn)2或者3的時(shí)延累加，都是Xms級(jí)，而盤(pán)時(shí)延4的0.1ms的時(shí)延占比就很CN計(jì)算節(jié)點(diǎn)1SSD…同步同城從節(jié)點(diǎn)3CNCN計(jì)算節(jié)點(diǎn)44, SSD…SSDSSD…數(shù)據(jù)庫(kù)Node2SSDSSD…數(shù)據(jù)庫(kù)Node1數(shù)據(jù)庫(kù)Node3從某用戶數(shù)據(jù)庫(kù)性能測(cè)試數(shù)據(jù)看，數(shù)據(jù)庫(kù)低并發(fā)壓力下，存算一體有優(yōu)勢(shì)，但是隨著大，存算分離性能更好，時(shí)延也更穩(wěn)定，因?yàn)橥庵么鎯?chǔ)是幾十甚至上百塊SSD盤(pán)池化，多盤(pán)提供性能11區(qū)域性銀行數(shù)據(jù)庫(kù)改造技術(shù)路線選擇綜合讀寫(xiě)測(cè)試結(jié)果(本地盤(pán)NVMe,Do-rado存儲(chǔ))類型并發(fā)TPSQPS平均時(shí)延(ms)95%時(shí)延(ms)本地盤(pán)484165.2366643.7411.5231.94965247.2183955.3318.2939.659465.85151453.5720.2841.1038411915.89190654.3232.2253.8576813889.05222224.7555.2889.16存儲(chǔ)盤(pán)483048.4548775.2615.7422.69965180.5382888.4718.5326.688382.18134114.9322.9032.5338413415.28214644.4928.6240.3776818056.45288903.1542.5261.08.業(yè)務(wù)場(chǎng)景無(wú)需彈性擴(kuò)縮容。.高可靠、高可用、高性能要求的重要生產(chǎn)系統(tǒng)?！ば枰獦O致的彈性擴(kuò)縮容，隨著業(yè)務(wù)規(guī)模的增長(zhǎng)，算力、存力可分別靈活擴(kuò)容，提升資源利用率。2.3數(shù)據(jù)存儲(chǔ)選型2.3.1吞吐性能區(qū)域性銀行生產(chǎn)業(yè)務(wù)峰值交易量約幾百~5000TPS，單次交易平均SQL請(qǐng)求數(shù)約為30-50次，每次SQL請(qǐng)求涉及約10次以上的存儲(chǔ)IO讀寫(xiě)，時(shí)延0.5ms，峰值業(yè)務(wù)處理所需的存儲(chǔ)IO請(qǐng)求能力約為每秒1.5-2.5百萬(wàn)次讀寫(xiě)，時(shí)延1ms。1)存儲(chǔ)響應(yīng)時(shí)間：存儲(chǔ)設(shè)備對(duì)請(qǐng)求的響應(yīng)時(shí)間，包括讀取數(shù)據(jù)、寫(xiě)入數(shù)據(jù)等操作的響儲(chǔ)可支撐部署多套數(shù)據(jù)庫(kù)實(shí)例，提供穩(wěn)定時(shí)延小于0.1ms的存儲(chǔ)性能。2)存儲(chǔ)吞吐量：存儲(chǔ)設(shè)備在一定時(shí)間內(nèi)處理的數(shù)據(jù)量，包括讀取數(shù)據(jù)、寫(xiě)入數(shù)據(jù)等操作的吞吐量。全讀場(chǎng)景，提供不低于20GB/s的存儲(chǔ)性能。3)存儲(chǔ)并發(fā)數(shù)：同時(shí)訪問(wèn)存儲(chǔ)設(shè)備的用戶數(shù)量。2.3.2可靠性指標(biāo)銀行重要系統(tǒng)對(duì)系統(tǒng)可用性提出了高要求，區(qū)域銀行要求業(yè)務(wù)可用性99.999%，因此數(shù)據(jù)中心基礎(chǔ)架構(gòu)中的存儲(chǔ)可靠性需提升至99.9999%以上。1)數(shù)據(jù)正確性：數(shù)據(jù)庫(kù)記錄的信息始終保持與描述對(duì)象一致，在多個(gè)實(shí)例間不會(huì)出現(xiàn)2)數(shù)據(jù)一致性：在多個(gè)副本和不同節(jié)點(diǎn)之間，數(shù)據(jù)保持一致的程度。3)數(shù)據(jù)完整性：數(shù)據(jù)在存儲(chǔ)、處理和傳輸過(guò)程中保持其正確性和一致性。4)數(shù)據(jù)持久性：存儲(chǔ)設(shè)備故障或其他異常情況下，避免出現(xiàn)數(shù)據(jù)丟失，數(shù)據(jù)保持不變且可恢復(fù)。2.系統(tǒng)可靠性2)自動(dòng)故障切換：在存儲(chǔ)節(jié)點(diǎn)發(fā)生故障時(shí)，系統(tǒng)自動(dòng)切換到備用節(jié)點(diǎn)，以保障數(shù)據(jù)庫(kù)服3)網(wǎng)絡(luò)鏈路冗余：鏈路端到端故障秒級(jí)切換，存儲(chǔ)IO不歸零，數(shù)據(jù)庫(kù)業(yè)務(wù)不中斷。13區(qū)域性銀行數(shù)據(jù)庫(kù)改造技術(shù)路線選擇3.硬盤(pán)可靠性1)SSD盤(pán)壽命提升：具備SSD盤(pán)磨損均衡和全局反磨損均衡能力。2)最大可容忍3盤(pán)同時(shí)故障，3盤(pán)故障業(yè)務(wù)不歸零，性能無(wú)明顯影響。避免一個(gè)RAID組內(nèi)3塊SSD同時(shí)失效導(dǎo)致的數(shù)據(jù)丟失，提高系統(tǒng)整體硬盤(pán)的可靠性。3)故障預(yù)防：硬盤(pán)故障提前識(shí)別，提前告警，提醒用戶進(jìn)行更換。4)故障檢測(cè)&容錯(cuò)：提供硬盤(pán)在線診斷能力，檢測(cè)硬盤(pán)潛在故障，識(shí)別盤(pán)故障，主動(dòng)啟動(dòng)數(shù)據(jù)拷貝。避免慢盤(pán)進(jìn)行寫(xiě)操作，盡量不讀慢盤(pán)。出現(xiàn)慢盤(pán)5)盤(pán)故障修復(fù)：?jiǎn)伪P(pán)故障數(shù)據(jù)重構(gòu)速度高于5TB/h。2.4容災(zāi)高可用金融業(yè)對(duì)系統(tǒng)業(yè)務(wù)連續(xù)性有著嚴(yán)格要求，其中數(shù)據(jù)庫(kù)集群尤為重要，用戶通常按照災(zāi)備建設(shè)的兩《信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》Share78RPORTO等保2.0技術(shù)要求Tier6-0數(shù)據(jù)丟失，Tier7-0數(shù)據(jù)丟失，0Tier5-0數(shù)據(jù)丟失Tier6-0數(shù)據(jù)丟失Tier4-電子傳輸和完Tier5-災(zāi)備中心有Tier4-活動(dòng)狀態(tài)的Tier3-電子傳輸和部Tier3-電子鏈接24HrTier2-備用場(chǎng)地支持Tier2-PTAM卡車Tier1-基本支持Tier1-PTAM卡車Tier0-Nooff-site圖2-4：中國(guó)和國(guó)際的信息系統(tǒng)災(zāi)備恢復(fù)標(biāo)準(zhǔn)區(qū)域性銀行核心業(yè)務(wù)對(duì)應(yīng)5-6級(jí)核心類業(yè)務(wù)，除了要求數(shù)據(jù)本身的高可用外，對(duì)業(yè)務(wù)連續(xù)性也有（1）同城雙集群：基于共享存儲(chǔ)的高可用方案，提供性能更高，可靠性更強(qiáng)的高可用方案。支持同城雙集群數(shù)據(jù)庫(kù)強(qiáng)同步，實(shí)現(xiàn)RPO=0，RTO＜120S。（2）兩地三中心：支持同城雙數(shù)據(jù)中心，多地容災(zāi)，實(shí)例可以在多個(gè)地域間進(jìn)行遷移。實(shí)例跨地域故障切換指標(biāo)，兩地三中心異地高可用方案實(shí)現(xiàn)RPO＜1分鐘，RTO＜10分鐘。（1）備份效率：支持LanFree級(jí)備份，數(shù)據(jù)備份流量走存儲(chǔ)網(wǎng)絡(luò)，降低對(duì)主機(jī)的影響，備份速率可達(dá)2GB/s。（2）恢復(fù)時(shí)間：數(shù)據(jù)恢復(fù)所需的時(shí)間。支持任意時(shí)間點(diǎn)恢復(fù)，百TB級(jí)數(shù)據(jù)庫(kù)分鐘級(jí)恢復(fù)。（3）數(shù)據(jù)丟失點(diǎn)：數(shù)據(jù)恢復(fù)時(shí)允許的數(shù)據(jù)丟失量。支持分鐘級(jí)最小保護(hù)周期，通過(guò)備份數(shù)據(jù)恢復(fù)數(shù)據(jù)庫(kù)實(shí)例允許丟失的數(shù)據(jù)量最小可達(dá)到5分區(qū)域性銀行數(shù)據(jù)庫(kù)存算分離解決方案是指基于數(shù)據(jù)庫(kù)+計(jì)算+網(wǎng)絡(luò)+存儲(chǔ)+備份為基礎(chǔ)構(gòu)建RPO=0的高可靠解決方案，該方案采用數(shù)據(jù)庫(kù)存算分離及雙數(shù)據(jù)中心架構(gòu)部署，雙數(shù)據(jù)中心之間采用存儲(chǔ)雙活/同步復(fù)制保證RPO=0，主數(shù)據(jù)庫(kù)中心提供讀寫(xiě)業(yè)務(wù)，災(zāi)備數(shù)據(jù)中心提供查詢業(yè)務(wù)，提高數(shù)據(jù)中心的整體服務(wù)能力和系統(tǒng)資源利用率，同時(shí)采用存儲(chǔ)本地快照+備份軟件（Lan-free方式）雙重備份，保證該方案采用數(shù)據(jù)庫(kù)存算分離雙數(shù)據(jù)中心部署，數(shù)據(jù)中心之間首次部署初始化通過(guò)數(shù)據(jù)庫(kù)跨集群全量building，后續(xù)業(yè)務(wù)主集群節(jié)點(diǎn)寫(xiě)xlog共享日志，通過(guò)存儲(chǔ)同步復(fù)制將xlog日志數(shù)據(jù)同步到備集群xlog共享卷，備集群各節(jié)點(diǎn)將日志回放實(shí)現(xiàn)跨集群容災(zāi)兩個(gè)數(shù)據(jù)中心均處于運(yùn)行狀態(tài)，邏輯架構(gòu)圖如圖3-1所示。圖3-1：區(qū)域銀行數(shù)據(jù)庫(kù)存算分離解決方案邏輯架構(gòu)圖主生產(chǎn)中心Region同城生產(chǎn)中心Region主集群備集群1讀GaussDB備節(jié)點(diǎn)鯤鵬服務(wù)器4讀GaussDB備節(jié)點(diǎn)鯤鵬服務(wù)器讀GaussDB備節(jié)點(diǎn)鯤鵬服務(wù)器4讀GaussDB備節(jié)點(diǎn)鯤鵬服務(wù)器GaussDB備節(jié)點(diǎn)GaussDB備節(jié)點(diǎn)GaussDB備節(jié)點(diǎn)鯤鵬服務(wù)器鯤鵬服務(wù)器鯤鵬服務(wù)器鯤鵬服務(wù)器鯤鵬服務(wù)器5NoF+存儲(chǔ)交換機(jī)*NoF+NoF+存儲(chǔ)交換機(jī)*NoF+存儲(chǔ)交換機(jī)*NoF+存儲(chǔ)交換機(jī)*存儲(chǔ)交換機(jī)*2RedoLogDataFileShareRedoRedoLogDataFileShareRedoLogRedoLogDataFileShareRedoLogShareRedoLogOceanStorDorado存儲(chǔ)池OceanStorOceanStorDorado存儲(chǔ)池Region1Region2該方案?jìng)浞莶捎昧舜鎯?chǔ)無(wú)損快照+備份軟件進(jìn)行備份，本誤操作情況下，可以通過(guò)存儲(chǔ)快照快速進(jìn)行恢復(fù)，百TB數(shù)據(jù)分鐘級(jí)恢復(fù)；備份軟件采用LAN-FREE方式進(jìn)行備份，通過(guò)訪問(wèn)存儲(chǔ)及數(shù)據(jù)卷快照間的差異數(shù)據(jù)，從存儲(chǔ)讀取備份數(shù)據(jù)，生成數(shù)據(jù)副本性能可達(dá)2GB/s。如圖3-2所示。TPOPSNoF+交換機(jī)GaussDBGaussDB備節(jié)點(diǎn)GaussDB備節(jié)點(diǎn)副本恢復(fù)日志備份副本T0快照備份OceanProtect副本復(fù)制圖3-2區(qū)域銀行數(shù)據(jù)庫(kù)存算分離解決方案?jìng)浞葸壿嫾軜?gòu)圖TPOPSNoF+交換機(jī)GaussDBGaussDB備節(jié)點(diǎn)GaussDB備節(jié)點(diǎn)副本恢復(fù)日志備份副本T0快照備份OceanProtect副本復(fù)制數(shù)據(jù)卷快照激活快照T快照T…快照T生產(chǎn)集群數(shù)據(jù)卷快照激活快照T快照T…快照TTPOPSTPOPSGaussDBGaussDBGaussDBGaussDB備節(jié)點(diǎn)GaussDB備節(jié)點(diǎn)NoFNoF+交換機(jī)副本歸檔64Core@2.6HZ，內(nèi)存512GB，系統(tǒng)盤(pán)2*960SATA（raid10）648*10Gb/25Gb以太網(wǎng)絡(luò)848*25Gb以太網(wǎng)絡(luò)448*25Gb，36*100Gb以太網(wǎng)絡(luò)4四控（總計(jì)1TB緩存），21*7.68TBNVMeSSD，（支持雙活/復(fù)制）2備份服務(wù)器（含備份軟件）裸容量400TB或者按需配置13.2數(shù)據(jù)庫(kù)遷移實(shí)踐隨著國(guó)內(nèi)金融業(yè)數(shù)據(jù)庫(kù)升級(jí)改造進(jìn)程的不斷加速，越來(lái)越多金融機(jī)構(gòu)的存量業(yè)務(wù)系統(tǒng)產(chǎn)數(shù)據(jù)庫(kù)平臺(tái)上。對(duì)已經(jīng)穩(wěn)定運(yùn)行的業(yè)務(wù)系統(tǒng)進(jìn)行跨數(shù)據(jù)庫(kù)遷移，是一項(xiàng)工作量巨大的工程，具有較高的復(fù)雜度和風(fēng)險(xiǎn)，這不僅要求數(shù)據(jù)庫(kù)廠商不斷完善其數(shù)據(jù)庫(kù)產(chǎn)品與存量數(shù)據(jù)庫(kù)之間的兼容性，也要求數(shù)據(jù)庫(kù)升級(jí)改造責(zé)任主體仔細(xì)評(píng)估存量業(yè)務(wù)所采用的SQL語(yǔ)句和數(shù)據(jù)庫(kù)相關(guān)配置，確保應(yīng)用成功上線。提供一站式遷移解決方案、一系列完整的遷移改造工具和遷移專業(yè)服務(wù)，（短期）對(duì)象遷移1全量遷移對(duì)象遷（短期）對(duì)象遷移1全量遷移對(duì)象遷觸發(fā)器/事件/應(yīng)用應(yīng)用SQL轉(zhuǎn)化對(duì)象遷移1全量遷移對(duì)象遷移2增量遷移對(duì)象遷移3對(duì)象遷移1全量遷移對(duì)象遷移2增量遷移對(duì)象遷移3觸發(fā)器/事件/圖3-3：數(shù)據(jù)庫(kù)遷移最佳實(shí)踐一個(gè)應(yīng)用系統(tǒng)發(fā)展到一定程度后，可能應(yīng)用開(kāi)發(fā)人員或DBA無(wú)法完全了解數(shù)據(jù)庫(kù)中包含哪些對(duì)象，以及應(yīng)用代碼中有多少SQL。遷移前進(jìn)行遷移評(píng)估可以幫助用戶梳理數(shù)據(jù)庫(kù)對(duì)象和應(yīng)用代碼SQL，并識(shí)別其中需要進(jìn)行改造的對(duì)象，給出改造建議，讓業(yè)務(wù)做到心中有數(shù)，降低應(yīng)用改造成本。遷移過(guò)程中配合遷移工具將數(shù)據(jù)庫(kù)對(duì)象、數(shù)據(jù)進(jìn)行完整遷移，并進(jìn)行數(shù)據(jù)校驗(yàn)、仿真驗(yàn)證、業(yè)務(wù)驗(yàn)證，提供的數(shù)據(jù)庫(kù)遷移工具集，主要包含兩個(gè)工具，分為別UGO和DRS。其中UGO是專注于異構(gòu)數(shù)據(jù)庫(kù)對(duì)象和應(yīng)用遷移的專業(yè)化工具，包含四大核心功能：預(yù)遷移評(píng)估、結(jié)構(gòu)遷移、應(yīng)用遷移和SQL審核。DRS用于數(shù)據(jù)庫(kù)實(shí)時(shí)遷移和實(shí)時(shí)同步，支持在線遷移、離線遷移、數(shù)據(jù)校驗(yàn)、錄制回放等功能。結(jié)合UGO和DRS遷移工具，實(shí)現(xiàn)主流數(shù)據(jù)庫(kù)到某廠商數(shù)據(jù)庫(kù)的自動(dòng)化搬遷。((UGO)(UGO)(DRS)(DRS)SQL審核(UGO)PostgreSQLPostgreSQLMySQLMySQL(DRS)(DRS)DDSDDS云上RDS3云上RDS3RDGaussDB提前識(shí)別SQL規(guī)范、設(shè)計(jì)、性能問(wèn)題…………持續(xù)采集應(yīng)用SQL持續(xù)采集應(yīng)用SQLSQL采集DDLSQL采集DDL遷移PLSQL遷移SQL轉(zhuǎn)換PLSQL遷移SQL轉(zhuǎn)換圖3-4：數(shù)據(jù)庫(kù)遷移整體解決方案及工具集數(shù)據(jù)庫(kù)遷移是一項(xiàng)復(fù)雜的系統(tǒng)工程，不僅需要高效和成熟的專業(yè)遷移工具和遷移方法論，面對(duì)遷移場(chǎng)景復(fù)雜、缺乏專業(yè)人員等問(wèn)題，還需要專業(yè)服3.2.1數(shù)據(jù)庫(kù)對(duì)象遷移從業(yè)務(wù)視角看數(shù)據(jù)庫(kù)遷移，考慮的是整個(gè)業(yè)務(wù)系統(tǒng)的搬遷過(guò)程中有哪些環(huán)節(jié)需要遷移和改造。展現(xiàn)層不包含數(shù)據(jù)庫(kù)對(duì)象，因此不需要考慮改造和遷移。業(yè)務(wù)邏輯層作為業(yè)務(wù)邏輯和數(shù)據(jù)庫(kù)交互的模塊，最常見(jiàn)的使用持久層框架如MyBatis等，或者直接使用SQL語(yǔ)句，其中包含了大量的SQL語(yǔ)句，因此需 改造點(diǎn)分析改造后 改造點(diǎn)分析改造后√無(wú)需修改√√√數(shù)據(jù)遷移集成驗(yàn)證對(duì)象 TopLinkopenJPA展現(xiàn)層展現(xiàn)層應(yīng)用遷移業(yè)務(wù)邏輯業(yè)務(wù)邏輯源代碼中的sql腳本中的sql代碼中SQL配置文件SQL動(dòng)態(tài)JDBCSQL… 轉(zhuǎn)換后sqlMybatis配置文件…程序運(yùn)行時(shí)，實(shí)際存在的sql持久化持久化對(duì)象遷移轉(zhuǎn)換后對(duì)象對(duì)象對(duì)比對(duì)象采集對(duì)象轉(zhuǎn)換協(xié)議兼容性評(píng)估對(duì)象遷移JDBC協(xié)議對(duì)象數(shù)據(jù)存儲(chǔ)CshellJava…JDBCMybatisPlusHibernateSpringData對(duì)象 TopLinkopenJPA展現(xiàn)層展現(xiàn)層應(yīng)用遷移業(yè)務(wù)邏輯業(yè)務(wù)邏輯源代碼中的sql腳本中的sql代碼中SQL配置文件SQL動(dòng)態(tài)JDBCSQL… 轉(zhuǎn)換后sqlMybatis配置文件…程序運(yùn)行時(shí)，實(shí)際存在的sql持久化持久化對(duì)象遷移轉(zhuǎn)換后對(duì)象對(duì)象對(duì)比對(duì)象采集對(duì)象轉(zhuǎn)換協(xié)議兼容性評(píng)估對(duì)象遷移JDBC協(xié)議對(duì)象數(shù)據(jù)存儲(chǔ)CshellJava…JDBCMybatisPlusHibernateSpringData ODBC OpenAPIHTMLCSSJavascript圖3-5：數(shù)據(jù)庫(kù)遷移業(yè)務(wù)視角數(shù)據(jù)庫(kù)評(píng)估可以評(píng)估異構(gòu)數(shù)據(jù)庫(kù)語(yǔ)法轉(zhuǎn)換率，提前識(shí)別遷移風(fēng)險(xiǎn)，可以連接源庫(kù)進(jìn)行數(shù)據(jù)庫(kù)對(duì)象采集，性能采集等，基于采集的信息分析語(yǔ)法兼容性和到各個(gè)目標(biāo)庫(kù)之間的兼容性，用戶可以結(jié)合評(píng)估出來(lái)的數(shù)據(jù)進(jìn)行目標(biāo)庫(kù)類型和規(guī)格的選型以及遷移人力安排， 對(duì)象兼容性語(yǔ)法解析UGOTOP不兼容特性O(shè)bjectTypeValueCountModificationSuggestion語(yǔ)法解析UGOTOP不兼容特性O(shè)bjectTypeValueCountModificationSuggestionTableREVERSE100XXXXXXXFunctionxxx90xxxTableBITMAP80XXXXXXXGaussDB改造工作量評(píng)估DBA工作量(人天)20開(kāi)發(fā)工作量(人天)5DBA工作量(人天)20開(kāi)發(fā)工作量(人天)5(人天)20圖3-6：數(shù)據(jù)庫(kù)評(píng)估圖示對(duì)象遷移可以根據(jù)評(píng)估結(jié)果用戶自行遷移方案的配置，且轉(zhuǎn)換前可以過(guò)濾對(duì)象，因?yàn)椴⒎撬胁杉鰜?lái)的對(duì)象都需要進(jìn)行遷移，用戶可以結(jié)合業(yè)務(wù)進(jìn)行過(guò)濾，然后進(jìn)行自動(dòng)轉(zhuǎn)換。這也是異構(gòu)數(shù)據(jù)庫(kù)遷移的核心訴求，用戶在要進(jìn)行實(shí)際的數(shù)據(jù)庫(kù)對(duì)源數(shù)據(jù)庫(kù)DB源數(shù)據(jù)庫(kù)DB云數(shù)據(jù)庫(kù)本地?cái)?shù)據(jù)庫(kù)DB云數(shù)據(jù)庫(kù)本地?cái)?shù)據(jù)庫(kù)源庫(kù)采集語(yǔ)法轉(zhuǎn)換對(duì)象校正驗(yàn)證上線DBDB預(yù)遷移評(píng)估循環(huán)校正轉(zhuǎn)換計(jì)劃持續(xù)驗(yàn)證源庫(kù)采集語(yǔ)法轉(zhuǎn)換對(duì)象校正驗(yàn)證上線DBDB預(yù)遷移評(píng)估循環(huán)校正轉(zhuǎn)換計(jì)劃持續(xù)驗(yàn)證圖3-7：對(duì)象遷移圖示3.2.2應(yīng)用改造遷移應(yīng)用遷移可以提取并分析應(yīng)用程序中的SQL語(yǔ)句，用戶在需要改造業(yè)務(wù)應(yīng)用時(shí)可以使用遷移工具的應(yīng)用遷移功能。借助遷移工具，數(shù)據(jù)庫(kù)升級(jí)改造責(zé)任主體可以快速評(píng)估應(yīng)用改造工作量及改造難度，以工具評(píng)估結(jié)果為基礎(chǔ)合理安排應(yīng)用改造計(jì)劃和資源投入，可以確保應(yīng)用改造有序開(kāi)展并取得最終的成遷移工具需采集業(yè)務(wù)代碼MybatisXML、Java代碼、SQL腳本等文件中的SQL語(yǔ)句，對(duì)采集到的SQL語(yǔ)句進(jìn)行評(píng)估和轉(zhuǎn)換。不兼容語(yǔ)法點(diǎn)評(píng)估報(bào)告SQL評(píng)估 需要改造SQL列表 需要改造源碼列表…改造提示改造確認(rèn)不兼容語(yǔ)法點(diǎn)評(píng)估報(bào)告SQL評(píng)估 需要改造SQL列表 需要改造源碼列表…改造提示改造確認(rèn)輔助人工改造源碼改造…源、目標(biāo)對(duì)比SQL改造列表SQL改造位置轉(zhuǎn)換報(bào)告SQL轉(zhuǎn)換…SQL采集JAVAJAVATomcatTomcatJBossJBossSpringSpring-bootC#……圖3-8：應(yīng)用遷移圖示針對(duì)應(yīng)用改造，主要圍繞整個(gè)業(yè)務(wù)系統(tǒng)的業(yè)務(wù)邏輯層和數(shù)據(jù)庫(kù)連接層來(lái)開(kāi)展，重點(diǎn)審視三類對(duì)象中的SQL語(yǔ)句：HTMLCSSJavascript·代碼中內(nèi)嵌的SQL語(yǔ)句·配置文件中的SQL語(yǔ)句·動(dòng)態(tài)生成的HTMLCSSJavascript CC++Pythongo CC++Pythongo shellJava…應(yīng)用遷移源代碼中的sql腳本中的sqlMybatis配置文件…程序運(yùn)行時(shí)，實(shí)際存在的sql…展現(xiàn)層代碼中SQL業(yè)務(wù)代碼中SQL業(yè)務(wù)邏輯配置文件SQL配置文件SQLJDBCMybatisPlusJDBCMybatisPlusHibernateSpringDataOpenAPITopLinkopenJPA動(dòng)態(tài)JDBC動(dòng)態(tài)JDBCSQL持久化ODBCODBCGAUSGAUSSMYSQLPG…協(xié)議協(xié)議對(duì)象對(duì)象數(shù)據(jù)存儲(chǔ)存儲(chǔ)圖3-9：應(yīng)用遷移圍繞業(yè)務(wù)邏輯和數(shù)據(jù)庫(kù)連接開(kāi)展在某大型銀行的應(yīng)用改造實(shí)踐中，數(shù)據(jù)庫(kù)工具成功支撐了對(duì)該銀行上億行SQL語(yǔ)句的改造，其中超過(guò)95%的SQL語(yǔ)句為數(shù)據(jù)庫(kù)自身兼容或通過(guò)遷移工具轉(zhuǎn)換而兼容，極大降低了人力投入，提升了兼3.3.3數(shù)據(jù)庫(kù)數(shù)據(jù)遷移對(duì)象遷移完成后進(jìn)行業(yè)務(wù)數(shù)據(jù)遷移，數(shù)據(jù)遷移分為存量數(shù)據(jù)遷移和增量數(shù)據(jù)實(shí)時(shí)同步。相關(guān)工具可解決如何在業(yè)務(wù)近乎不停機(jī)的情況下快速將用戶的存量數(shù)據(jù)和增量數(shù)據(jù)遷移過(guò)來(lái)，并保證數(shù)據(jù)在任何情況下不丟、不錯(cuò)、不亂，同時(shí)提供靈活、多樣的數(shù)據(jù)比對(duì)和修復(fù)能力，降低數(shù)據(jù)庫(kù)之間數(shù)據(jù)流通的復(fù)雜21區(qū)域性銀行數(shù)據(jù)庫(kù)改造實(shí)踐減少業(yè)務(wù)停機(jī)時(shí)間。全量數(shù)據(jù)遷移通過(guò)查詢?cè)磶?kù)表數(shù)據(jù)，并將查詢結(jié)果寫(xiě)入目標(biāo)庫(kù)實(shí)現(xiàn)數(shù)據(jù)遷移，增量數(shù)據(jù)遷移通過(guò)CDC技術(shù)實(shí)時(shí)解析數(shù)據(jù)庫(kù)日志，并將解析到的數(shù)據(jù)實(shí)時(shí)寫(xiě)入目標(biāo)庫(kù)。圖3-10：數(shù)據(jù)遷移圖示整個(gè)遷移過(guò)程需提供向?qū)竭w移，進(jìn)入數(shù)據(jù)庫(kù)復(fù)制服務(wù)控制臺(tái)->開(kāi)始創(chuàng)建遷移任務(wù)->選擇遷移鏈路和類型->配置源庫(kù)、目標(biāo)庫(kù)和任務(wù)配置信息->預(yù)檢查及任務(wù)確認(rèn)->查看遷移任務(wù)狀態(tài)。4.1蘇州農(nóng)商行存貸匯業(yè)務(wù)數(shù)據(jù)庫(kù)轉(zhuǎn)型實(shí)踐◆發(fā)展現(xiàn)狀簡(jiǎn)介：總部位于蘇州市吳江區(qū)，截至2025年上半年資產(chǎn)總額2232億元，擁有95家網(wǎng)點(diǎn)，是服務(wù)戰(zhàn)略愿景：推動(dòng)規(guī)模、效益與質(zhì)量均衡發(fā)展，“5年再造一個(gè)科技投入：截至2025年6月，全行員工1953人，科技員工157人，年科技投入高于行業(yè)3%平均水平（24年，5.4%）?！魳I(yè)務(wù)挑戰(zhàn)科技挑戰(zhàn)：核心系統(tǒng)承載在老舊的Power小機(jī)+IBM存儲(chǔ)，性能和穩(wěn)定性存在風(fēng)險(xiǎn)。存貸匯業(yè)務(wù)是銀行最核心、最基礎(chǔ)的三項(xiàng)業(yè)務(wù)，是銀行生存和發(fā)展的根基，也被形象地稱為銀行業(yè)的“三大基石”，負(fù)責(zé)全行存貸款業(yè)務(wù)，對(duì)于數(shù)據(jù)庫(kù)的性能、高可用性、穩(wěn)定性等方面都有嚴(yán)格的要1.平滑替換DB2，提升性能及安全等級(jí)，持續(xù)推動(dòng)業(yè)務(wù)穩(wěn)定運(yùn)行。雙集群強(qiáng)一致方案規(guī)避數(shù)據(jù)丟失風(fēng)險(xiǎn)、提升了管理效率、聯(lián)機(jī)響應(yīng)時(shí)間縮短至30毫秒，日終批處理時(shí)間由80分鐘壓縮至18分鐘，關(guān)2.熱點(diǎn)數(shù)據(jù)沖突，突破熱點(diǎn)賬戶并發(fā)控制、歷史數(shù)據(jù)遷移校驗(yàn)等技術(shù)難題，日均交易承載能力提3.極簡(jiǎn)運(yùn)維，業(yè)務(wù)長(zhǎng)穩(wěn)測(cè)試TPS峰值抖動(dòng)率<6%，容災(zāi)演練及高可用（RTO<90s）要求通過(guò)◆轉(zhuǎn)型實(shí)踐早在2020年，該行便以敏捷交付模式啟動(dòng)分布式技術(shù)布局；2023年，在人行支付系統(tǒng)率先應(yīng)用國(guó)產(chǎn)高斯數(shù)據(jù)庫(kù)，并通過(guò)銀聯(lián)業(yè)務(wù)系統(tǒng)、核心歷史庫(kù)系統(tǒng)等樣板工程驗(yàn)證國(guó)產(chǎn)技術(shù)可行性。這場(chǎng)核心系統(tǒng)升級(jí)并非一蹴而就，而是歷經(jīng)3年，在渠道服務(wù)、風(fēng)險(xiǎn)管理、基礎(chǔ)設(shè)施等領(lǐng)域?qū)崿F(xiàn)階梯式躍遷：云原生分布式架構(gòu)打破數(shù)據(jù)孤島，A類超網(wǎng)系統(tǒng)創(chuàng)新實(shí)踐積累適配經(jīng)驗(yàn)，最終形成“試點(diǎn)驗(yàn)證—流程優(yōu)化—23區(qū)域性銀行數(shù)據(jù)庫(kù)改造案例核心庫(kù)采用集中式存算分離強(qiáng)一致方案部署，備節(jié)點(diǎn)開(kāi)啟只讀模式，提供讀寫(xiě)分離，下游取數(shù)庫(kù)通·生產(chǎn)庫(kù)主、備集群都有完整的數(shù)據(jù)，主集群異常情況下可實(shí)現(xiàn)自動(dòng)容災(zāi)切·核心庫(kù)采用集中式一主兩備部署方案。主集群與備集群之間采用同步復(fù)制進(jìn)行數(shù)據(jù)同步，保證RPO=0?！は掠稳?shù)庫(kù)通過(guò)存儲(chǔ)快照快速構(gòu)建近實(shí)時(shí)數(shù)據(jù)（生產(chǎn)庫(kù)）供下游數(shù)據(jù)庫(kù)讀取數(shù)據(jù)，分?jǐn)傊鲙?kù)的負(fù)◆轉(zhuǎn)型效果1000680034倍100現(xiàn)網(wǎng)GaussDB現(xiàn)網(wǎng)GaussDB聯(lián)機(jī)響應(yīng)時(shí)間(毫秒)3倍1004倍8030現(xiàn)網(wǎng)GaussDB現(xiàn)網(wǎng)GaussDB通過(guò)與華為GaussDB+企業(yè)存儲(chǔ)存算分離整體方案的合作，蘇州農(nóng)商行在存貸匯核心系統(tǒng)上取得了顯著的成果。從硬件服務(wù)器到高斯數(shù)據(jù)庫(kù)，再到應(yīng)用層，實(shí)現(xiàn)全棧創(chuàng)新替代，搭建起自主可控的金融科技底層架構(gòu)?；贕aussDB的分布式架構(gòu)，新系統(tǒng)性能實(shí)現(xiàn)跨越式提升：日均交易量承載能力從100萬(wàn)筆躍升至1000萬(wàn)筆，系統(tǒng)交易峰值處理能力從200筆/秒到可達(dá)6800筆/秒，聯(lián)機(jī)響應(yīng)時(shí)間縮短1000680034倍100現(xiàn)網(wǎng)GaussDB現(xiàn)網(wǎng)GaussDB聯(lián)機(jī)響應(yīng)時(shí)間(毫秒)3倍1004倍8030現(xiàn)網(wǎng)GaussDB現(xiàn)網(wǎng)GaussDB4.2廣發(fā)銀行支付業(yè)務(wù)數(shù)據(jù)庫(kù)創(chuàng)新實(shí)踐◆發(fā)展現(xiàn)狀隨著科技轉(zhuǎn)型的不斷提速，行里重要系統(tǒng)數(shù)據(jù)庫(kù)需進(jìn)行創(chuàng)新改造，以應(yīng)對(duì)業(yè)務(wù)發(fā)展對(duì)◆業(yè)務(wù)挑戰(zhàn)隨著國(guó)內(nèi)數(shù)據(jù)庫(kù)改造的持續(xù)演進(jìn)，金融重要交易系統(tǒng)對(duì)數(shù)據(jù)庫(kù)整體架構(gòu)提出了明確要據(jù)庫(kù)架構(gòu)要求極致的高可靠，穩(wěn)定、可靠的軟硬件架構(gòu)，硬件冗余，各個(gè)組件故障能夠快速隔離，不能導(dǎo)致業(yè)務(wù)受影響，敏感數(shù)據(jù)不能丟失，數(shù)據(jù)安全得到保障。其次，算力資源和存儲(chǔ)資源可要獨(dú)立便捷擴(kuò)容，提升資源利用率，節(jié)省成本。第三，交易時(shí)延低而且穩(wěn)定均衡。第四，運(yùn)維簡(jiǎn)單高效，硬件的故◆轉(zhuǎn)型實(shí)踐GaussDB數(shù)據(jù)庫(kù)作為數(shù)據(jù)庫(kù)創(chuàng)新改造的主路線，采用GaussDB+OceanStorDorado的數(shù)據(jù)庫(kù)存算分離方案進(jìn)行數(shù)據(jù)庫(kù)系統(tǒng)的創(chuàng)新改造。數(shù)據(jù)庫(kù)架構(gòu)采用生產(chǎn)中心和同城1主3備+1仲裁單集群拉遠(yuǎn)部署，各節(jié)點(diǎn)的存儲(chǔ)資源采用OceanStorDorado存儲(chǔ)池劃分的LUN資源，生產(chǎn)到同城實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群內(nèi)雙活，數(shù)據(jù)庫(kù)主備節(jié)點(diǎn)同步復(fù)制，確保RPO=0。生產(chǎn)中心同城中心災(zāi)備中心應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用應(yīng)用備GaussDB備GaussDB主集群主主備ETCD備備GaussDBGaussDBGaussDBGaussDBGaussDBoOOONOF/IPNOF/IPNOF/IPoOOONOF/IPNOF/IPOceanStorDoradoOceanStor