高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)About

me?

吳炳錫

知數(shù)堂

聯(lián)合創(chuàng)始人，

MySQL中國用戶組聯(lián)合發(fā)起人

。?

專注MySQL教學(xué)，同時(shí)以MySQL入手為企業(yè)提供上云及全棧技術(shù)支持。?

擅長MySQL大規(guī)模運(yùn)維管理優(yōu)化、高可用方案、多IDC架構(gòu)設(shè)計(jì)，以及企業(yè)應(yīng)用數(shù)據(jù)庫設(shè)計(jì)等經(jīng)驗(yàn)。?

知數(shù)堂是我和葉金榮老師創(chuàng)辦的一個(gè)Online在線教育，專注Linux，MySQL，Python，大數(shù)據(jù)相關(guān)培訓(xùn)。高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

高并發(fā)問題?

異常

-網(wǎng)絡(luò)抖動(dòng)?

共享存儲(chǔ)問題?

浮點(diǎn)數(shù)運(yùn)算問題?

更新合并?

連接池問題

–

程序小Bug引發(fā)大血案高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

高并發(fā)問題

-

百千萬級(jí)的并發(fā)處理高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

高并發(fā)問題

-

百千萬級(jí)的并發(fā)處理?

案例：百千萬級(jí)的并發(fā)，如何處理？?

分庫分表，緩存，隊(duì)例,過載保護(hù)?

讀寫分離?

大的寫業(yè)務(wù)單獨(dú)拆分?

案例:

平時(shí)也許只有200萬用戶在線，但一年有一次300萬或是500萬在線的一天的業(yè)務(wù)，要不要為這一天業(yè)務(wù)買單硬件。?

成本，服務(wù)成本（降級(jí)），機(jī)房成本?

服務(wù)過載保護(hù)?

拉長服務(wù)時(shí)間高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

高并發(fā)問題

-

百千萬級(jí)的并發(fā)處理?

案例：

DB優(yōu)化到什么程度算是優(yōu)化到位，是一天在不斷的調(diào)整那些參數(shù)做優(yōu)化嗎？?

定位技術(shù)邊界?

注重整體結(jié)構(gòu)優(yōu)化，定位瓶頸?

優(yōu)化希望達(dá)到：四兩博千斤高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

異常

-網(wǎng)絡(luò)抖動(dòng)一個(gè)線路用戶掉線上線?

案例：

某運(yùn)營商線路閃斷，忽然百萬級(jí)并發(fā)重新打到DB，把DB壓掛。?

DB掛?

硬件負(fù)載設(shè)備掛?

案例：

核心交換機(jī)切換?

DB高可用切換?

大量會(huì)話重試高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

共享存儲(chǔ)問題

-

一個(gè)業(yè)務(wù)影響全局?

案例：

線上幾個(gè)DB忽然響應(yīng)時(shí)間增長。

大量的服務(wù)出錯(cuò)?

全線排查業(yè)務(wù)沒有突增?

細(xì)心的DB發(fā)現(xiàn)磁盤的%util

都是100%高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

共享存儲(chǔ)問題

-

一個(gè)業(yè)務(wù)影響全局?

共享好處：?

錯(cuò)開高峰時(shí)間充分利用機(jī)器資源?

如：

單機(jī)多實(shí)例，

共享存儲(chǔ)?

共享缺點(diǎn)：?

業(yè)務(wù)高峰一樣?

業(yè)務(wù)特點(diǎn)一樣?

…高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

浮點(diǎn)數(shù)運(yùn)算?

案例：

一個(gè)月交易在5千萬這樣的規(guī)模的業(yè)務(wù)中，出現(xiàn)帳上和實(shí)際銀行帳上一個(gè)月要么多100-500元或是少100-500元?

程序Bug？

No?

機(jī)制問題？

No?

分析?

用戶記帳相關(guān)使用了

decimal(10,2)

字段?

浮點(diǎn)數(shù)在計(jì)算機(jī)的世界里不是一個(gè)精確值?

處理辦法

decimal(10,2)

改成

int

unsigned

單位用分存儲(chǔ)高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

浮點(diǎn)數(shù)運(yùn)算?

應(yīng)急處理辦法：?

對帳基金（500元左右從基金里出）?

請勞記：浮點(diǎn)數(shù)在計(jì)算機(jī)不是精確值?

最終處理：?

需要精確運(yùn)算，請轉(zhuǎn)成整型運(yùn)算。以分為單位存儲(chǔ)高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

更新合并睡醒了去偷個(gè)菜在睡J高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

更新合并?

案例

：某短信業(yè)務(wù)，逢年過節(jié)必掛高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

更新合并?

用戶的某一個(gè)行為過于密集?

提示：?

同一行記錄多個(gè)會(huì)話更新?

大量更新某個(gè)字段?

同樣一條SQL多個(gè)會(huì)話發(fā)送高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

連接池server1server2server3server4server5server6Server..連接過多：DB

too

many

connection連接過少：

get

connection

timeoutDB高并發(fā)系統(tǒng)MySQL遇到的挑戰(zhàn)?

連接池?

在沒使用thread-pool的情況下，隨著連接數(shù)上升性能急局下降?

5.1

64個(gè)連接