大模型在超大規(guī)模數(shù)據(jù)庫運(yùn)維

中的研究與應(yīng)用分享人：中國銀聯(lián)[中國銀聯(lián)信息總中心數(shù)據(jù)庫專家高級工程師，擁有13年數(shù)據(jù)庫管理經(jīng)驗，管理的

數(shù)據(jù)庫容器規(guī)模數(shù)萬，在數(shù)據(jù)庫架構(gòu)設(shè)計、性能

優(yōu)化與故障恢復(fù)以及數(shù)據(jù)庫云平臺建設(shè)、智能化

運(yùn)維方面具有深厚的專業(yè)知識和實踐經(jīng)驗。個人簡介數(shù)據(jù)庫運(yùn)維難題數(shù)據(jù)庫運(yùn)維智能化大模型應(yīng)用實踐未來展望GOPS2024Shanghai目錄數(shù)據(jù)庫運(yùn)維難題01隨著企業(yè)業(yè)務(wù)的發(fā)展，數(shù)據(jù)庫數(shù)量不斷增加，給運(yùn)維工作帶來了

巨大的壓力。關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、

分布式數(shù)據(jù)庫等，每種數(shù)據(jù)庫都

有其獨(dú)特的特點(diǎn)和適用場景。每種數(shù)據(jù)庫都有多個版本，每個

版本都有不同的功能和性能，需

要運(yùn)維人員根據(jù)實際需求進(jìn)行選擇和維護(hù)。實例數(shù)量數(shù)據(jù)庫種類數(shù)據(jù)庫版本超大規(guī)模數(shù)據(jù)庫運(yùn)維難題一多200倍10倍5倍數(shù)據(jù)庫申請業(yè)務(wù)上線周期越來越短，數(shù)據(jù)庫資源供給時效要求越來越

高，交付周期從月縮短到周，再縮短到天甚至小時。數(shù)據(jù)庫擴(kuò)縮容各類秒殺、營銷活動對支付業(yè)務(wù)提出更高的

要求，數(shù)據(jù)庫擴(kuò)縮容變的更加頻繁。03

數(shù)據(jù)庫日常運(yùn)維數(shù)據(jù)庫日常運(yùn)維操作越來越頻繁，包括修改參數(shù)、備份還原等，并且對操作的效率要求越來越高。超大規(guī)模數(shù)據(jù)庫運(yùn)維難題二架構(gòu)復(fù)雜現(xiàn)在的數(shù)據(jù)庫需要高效地處理大規(guī)模并發(fā)訪問、確保數(shù)據(jù)一致性與安全性，以及實現(xiàn)故障恢復(fù)等方面，架構(gòu)越來越復(fù)雜，概念也越來

越多。數(shù)據(jù)庫分散數(shù)據(jù)庫分散在不同地區(qū)、不同部門，給運(yùn)維工作帶來了管理和協(xié)調(diào)的困難。運(yùn)維工具多樣企業(yè)缺乏有效且統(tǒng)一的運(yùn)維工具和系統(tǒng)，導(dǎo)致運(yùn)維人員工作效率低下，難以應(yīng)對復(fù)雜的運(yùn)維任務(wù)。超大規(guī)模數(shù)據(jù)庫運(yùn)維難題三數(shù)據(jù)庫運(yùn)維智能化02ni

數(shù)據(jù)庫云Database

CloudSAI

NAS

0S

物理機(jī)

容器

端口

集群

交換機(jī)√

故障自愈√

數(shù)據(jù)庫評分√

健康報告√

SQL

審

核√

SQL優(yōu)化建議

√

高可用切換√自動擴(kuò)縮容

√

一鍵診斷維服務(wù)管理

系統(tǒng)畫像

診斷優(yōu)化

備份恢復(fù)

監(jiān)控告警

智能化運(yùn)維基于容器的智能化數(shù)據(jù)庫云平臺

(DBaaS)數(shù)

據(jù)

庫

全

生

命

周

期

管

理功能亮點(diǎn)資源管理服務(wù)化PULSARUPFOceanBasesU

ase劃數(shù)據(jù)庫運(yùn)維發(fā)展階段中國銀聯(lián)數(shù)據(jù)庫云平臺(DBaaS)已經(jīng)進(jìn)入智能化的初級階段·

IT架構(gòu)簡單，管理“對象”少·手動寫腳本即可滿足訴求·這種方式響應(yīng)速度低，人工錯誤多典型應(yīng)用場景·人工完成數(shù)據(jù)庫部署、SQL上線、故障處理等·運(yùn)維操作腳本化，通過腳本+預(yù)案

的方式輔助管理·企業(yè)通過工具將運(yùn)維管理自動化，

提升效率·但自動化是單點(diǎn)的、割裂的、非標(biāo)準(zhǔn)化的典型應(yīng)用場景·數(shù)據(jù)庫運(yùn)維工具具備基礎(chǔ)管控能

力自動化，如自動化部署、監(jiān)控、

故障切換、災(zāi)備等·互聯(lián)網(wǎng)發(fā)展，數(shù)據(jù)庫運(yùn)維借助云的

能力，以服務(wù)化平臺的方式去統(tǒng)一管

理不同部署模式、數(shù)據(jù)格式、工作負(fù)

載的數(shù)據(jù)庫典型應(yīng)用場景·數(shù)據(jù)庫運(yùn)維平臺具備高級管控能力

自動化，如容量管理、異常診斷、數(shù)

據(jù)審計、優(yōu)化分析等·管理運(yùn)維智能化，實現(xiàn)自治

·數(shù)據(jù)庫經(jīng)驗代碼化，循環(huán)迭代典型應(yīng)用場景·服務(wù)完全由管理平臺接管，自適

應(yīng)、自修復(fù)、自決策等自治管理能

力，幾乎不需要人工處理2.0

工具化3.0云化、平臺化、服務(wù)化1.0

人

工

/

腳

本

化4.0

智能化當(dāng)前階段交付周期長，質(zhì)量低業(yè)務(wù)更新頻繁，出現(xiàn)不斷上下線部署不規(guī)范，交付質(zhì)量因人而異頻繁出現(xiàn)因不規(guī)范交付需要救火申請資源審批流程長，滿足不了業(yè)務(wù)上線要求數(shù)據(jù)庫按需橫向和縱向的彈擴(kuò)能力數(shù)據(jù)庫全生命周期管理能力初級管理員管理10種以上數(shù)據(jù)庫能力人均管理10000個數(shù)據(jù)庫的能力1小時部署1000套數(shù)據(jù)庫的能力

1分鐘內(nèi)數(shù)據(jù)庫在線擴(kuò)縮能力維護(hù)多個產(chǎn)品，管理復(fù)雜

√對技術(shù)人員要求高大量重復(fù)性工作

√被動運(yùn)維、難以實現(xiàn)精細(xì)化管理數(shù)據(jù)庫云平臺應(yīng)用效果資源分配率提升

數(shù)據(jù)庫管理效率

數(shù)據(jù)庫管理能力資源利用率低，成本高資源分散在多個機(jī)房小型業(yè)務(wù)系統(tǒng)獨(dú)占服務(wù)器管理復(fù)雜，效率低為降低影響不同業(yè)務(wù)分開部署

資源彈性擴(kuò)展性較差交付周期縮短

周-->天降本增效提質(zhì)√

√大模型應(yīng)用實踐03大模型技術(shù)特點(diǎn)大模型技術(shù)具有強(qiáng)大的自然語言處理能力，能夠理解和生成人類語言，具有廣泛的應(yīng)用場景。abase

Techno大模型技術(shù)

概述大模型技術(shù)是指通過深度學(xué)習(xí)、

自然語言處理等技術(shù)，訓(xùn)練出能

夠理解和生成人

類語言的大型語

言模型。大模型技術(shù)

應(yīng)用大模型技術(shù)在數(shù)

據(jù)庫運(yùn)維中的應(yīng)

用，可以幫助運(yùn)維人員更好地理

解和處理數(shù)據(jù)庫

問題，提高運(yùn)維

效率。大模型技術(shù)概述引入大模型技術(shù)的必要性挑戰(zhàn)與困難隨著數(shù)據(jù)量的不斷增長，傳統(tǒng)的數(shù)據(jù)庫運(yùn)維方法已經(jīng)難以滿足需

求，需要尋求新的解決方案。數(shù)據(jù)庫運(yùn)維現(xiàn)狀數(shù)據(jù)庫運(yùn)維面臨數(shù)據(jù)量龐大、數(shù)

據(jù)庫產(chǎn)品種類多，運(yùn)維人員數(shù)量

不足，運(yùn)維操作效率低下等問題。大模型技術(shù)的優(yōu)勢大模型技術(shù)具有強(qiáng)大的數(shù)據(jù)處理

能力和智能決策能力，能夠有效解決數(shù)據(jù)庫運(yùn)維中的各種挑戰(zhàn)。g大模型應(yīng)用場景1知識問答通過大模型實時數(shù)據(jù)庫運(yùn)維知識問答。此頁有動態(tài)效果演示GOPS

全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2024·上海站參數(shù)解釋此頁有動態(tài)效果演示GOPS

全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2024·

上海站通過大模型完成—鍵解釋數(shù)據(jù)庫參數(shù)，提高用戶滿意度。大模型應(yīng)用場景2大模型應(yīng)用場景3參數(shù)優(yōu)化使用大模型對數(shù)據(jù)庫的參數(shù)進(jìn)行優(yōu)化。此頁有動態(tài)效果演示GOPS

全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2024·上海站大模型應(yīng)用場景4配置文件格式檢查使用大模型對數(shù)據(jù)庫的yaml、json、toml等文件進(jìn)行格式檢查。

此頁有動態(tài)效果演示GOPS

全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2024·

上海站大模型應(yīng)用場景5慢SQL優(yōu)

化通過大模型—鍵分析查詢慢的語句，快速優(yōu)化耗時較長、資源消耗較大的語句。

此頁有動態(tài)效果演示GOPS

全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2024·上海站大模型應(yīng)用場景6自然語言轉(zhuǎn)SQL通過大模型實時實現(xiàn)自然語言轉(zhuǎn)成SQL

語句。此頁有動態(tài)效果演示GOPS

全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2024·上海站大模型應(yīng)用場景7解釋SQL

語

句利用大模型對SQL

語句解釋，將

SQL

語句轉(zhuǎn)換為自然語言。此頁有動態(tài)效果演示GOPS全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2024·上海站大模型應(yīng)用場景8優(yōu)化SQL語句大模型可以優(yōu)化SQL語句，提高查詢效率。此頁有動態(tài)效果演示GOPS

全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2024·上海站大模型應(yīng)用場景9告警處理大模型可以根據(jù)告警推薦處理步驟，提供告警處理的效率。此頁有動態(tài)效果演示的語句。語言模型能夠識別出潛在的問題模式，并給出相應(yīng)的診斷建議。GOPS

全球運(yùn)維大會暨研運(yùn)數(shù)智化技術(shù)峰會2024·上海站資源預(yù)測通過訓(xùn)練和優(yōu)化，模型可以學(xué)習(xí)到資源利用率與各種因素之間的關(guān)系。

預(yù)測未來一段時間內(nèi)數(shù)據(jù)庫資源的

利用率。參數(shù)優(yōu)化利用大模型收集數(shù)據(jù)庫運(yùn)行日志、查詢語句、性能指標(biāo)等數(shù)據(jù)，對數(shù)據(jù)庫參數(shù)進(jìn)行優(yōu)化。表結(jié)構(gòu)優(yōu)化通過大模型分析表上索引是否合理，

并且提供優(yōu)化建議和添加、刪除索引故障診斷通過分析數(shù)據(jù)庫的錯誤日志、性能

數(shù)據(jù)以及用戶反饋等文本信息，大大模型應(yīng)用場景10、11、12.....模型評估數(shù)據(jù)質(zhì)量應(yīng)用場景通過大模型評估系統(tǒng)回答與正確答案的相似度數(shù)據(jù)質(zhì)量直接影響智能問答系統(tǒng)的準(zhǔn)確性不同應(yīng)用場景下，準(zhǔn)確性判斷標(biāo)準(zhǔn)不同用戶反饋循環(huán)收集用戶反饋，持續(xù)優(yōu)化問答

系統(tǒng)模型訓(xùn)練優(yōu)化調(diào)整參數(shù)，如學(xué)習(xí)率、批次大

小，優(yōu)化模型性能大模型在數(shù)據(jù)庫運(yùn)維中提升準(zhǔn)確性的方法快在數(shù)據(jù)庫云平臺端建

設(shè)若干場景，用戶可

以一鍵就將問題發(fā)送

到大模型。另外，大

模型的反饋的結(jié)果可

以直接應(yīng)用或者經(jīng)過

較少路徑得到應(yīng)用。準(zhǔn)在數(shù)據(jù)庫云平臺建設(shè)

若干場景，補(bǔ)充這些

場景問題的上下文以

及提示詞，引導(dǎo)大模

型回答的方向，讓用

戶第一次就可以得到

準(zhǔn)確的答案大模型在數(shù)據(jù)庫運(yùn)維中應(yīng)用的關(guān)鍵Al資源不足用戶習(xí)慣很難改變企業(yè)缺乏足夠的大模型計算資源，將無法高效處理數(shù)據(jù)，影響訓(xùn)練

速度和結(jié)果準(zhǔn)確性，限制了資源

預(yù)測、日志分析等運(yùn)維場景應(yīng)用。大模型在處理某些復(fù)雜問題時，可能無法準(zhǔn)確理解語境，導(dǎo)致提

供的答案與實際情況有所出入，

不能直接應(yīng)用于生產(chǎn)操作。用戶通常習(xí)慣了一套特定的工作流程和工具，對這些流程和工具產(chǎn)生

依賴，因此他們對于新技術(shù)或新方法的接受度和改變意愿往往較低。大模型在數(shù)據(jù)庫運(yùn)維中應(yīng)用的難點(diǎn)未來展望04大模型可以滿足用戶不同的運(yùn)維需求，提供個性化的運(yùn)維方案，提高客戶滿意度。大模型可以分析數(shù)據(jù)庫運(yùn)行數(shù)據(jù)，提供智能化的運(yùn)維決策建議，提高運(yùn)維質(zhì)量。大模型可以自動檢測和修復(fù)數(shù)據(jù)庫問題，減少人工

干預(yù)，提高運(yùn)維效率。自動化運(yùn)維智能化決策個性化服務(wù)大模型對數(shù)據(jù)庫運(yùn)維行業(yè)的深遠(yuǎn)影響技術(shù)挑戰(zhàn)與應(yīng)對

策略預(yù)測大模型在數(shù)據(jù)庫運(yùn)維中

可能面臨的技術(shù)挑戰(zhàn)，如數(shù)

據(jù)安全、模型穩(wěn)定性等，需要關(guān)注和解決。未來數(shù)據(jù)庫運(yùn)維

應(yīng)用場景預(yù)測大模型在數(shù)據(jù)庫運(yùn)維的

應(yīng)用場景將更深入，如智能

監(jiān)控、資源預(yù)測等，這些場

景需要消耗大量計算資源。大模型在數(shù)據(jù)庫

運(yùn)維的應(yīng)用預(yù)測大模型將在數(shù)據(jù)庫運(yùn)維中發(fā)揮重要作用，提高運(yùn)維

效率和準(zhǔn)確性。數(shù)據(jù)庫運(yùn)維技術(shù)發(fā)展趨勢與預(yù)測數(shù)據(jù)庫運(yùn)維大模型在數(shù)據(jù)庫運(yùn)維中的應(yīng)用，如智能監(jiān)控、故障預(yù)測、性能

優(yōu)化等。人才培養(yǎng)培