1、企業(yè)級(jí)開源數(shù)據(jù)庫(kù)災(zāi)備體系,OSS,DB Team 2009-3-18,概述,企業(yè)級(jí)數(shù)據(jù)庫(kù)特點(diǎn),一般來(lái)說(shuō)大中型企業(yè)的數(shù)據(jù)庫(kù)特點(diǎn)有 數(shù)據(jù)量龐大 數(shù)據(jù)庫(kù)機(jī)器眾多 不止一處的數(shù)據(jù)庫(kù)機(jī)房 免費(fèi)與收費(fèi)數(shù)據(jù)庫(kù)并存,開源數(shù)據(jù)庫(kù)災(zāi)備特點(diǎn),傳統(tǒng)的災(zāi)備體系一定離不開IBM,Oracle這些軟件巨鱷,它們?cè)跒?zāi)備領(lǐng)域經(jīng)驗(yàn)豐富,技術(shù)成熟,同時(shí)費(fèi)用昂貴.而隨著近期的金融危機(jī),越來(lái)越多的傳統(tǒng)企業(yè)開始考慮使用開源產(chǎn)品降低成本,數(shù)據(jù)庫(kù)方面尤其以MySQL突出,而MySQL相比Oracle成熟應(yīng)用于企業(yè)級(jí)的數(shù)據(jù)庫(kù)災(zāi)備體系還少之又少,災(zāi)備重要性,數(shù)據(jù)丟失對(duì)大小企業(yè)來(lái)說(shuō)都是個(gè)惡夢(mèng)，業(yè)務(wù)數(shù)據(jù)與企業(yè)日常業(yè)務(wù)運(yùn)作唇齒相依，損失這些數(shù)據(jù)，即使

2、是暫時(shí)性，亦會(huì)威脅到企業(yè)辛苦賺來(lái)的競(jìng)爭(zhēng)優(yōu)勢(shì)，更可能摧毀你公司的聲譽(yù)，或可能引致昂貴的訴訟和索償費(fèi)用。,美國(guó)“911”恐怖事件發(fā)生后，在世貿(mào)大廈金融界巨頭摩根士丹利公司全球營(yíng)業(yè)部第二天可以照常工作,你的公司有災(zāi)難恢復(fù)呢?,2008.11.2. 德克薩斯州27GB的檔案數(shù)據(jù)沒(méi)有進(jìn)行及時(shí)備份,導(dǎo)致數(shù)據(jù)丟失,負(fù)責(zé)該災(zāi)備體系的IBM被罰90萬(wàn)美金,災(zāi)備技術(shù),災(zāi)備定義,所謂數(shù)據(jù)災(zāi)備，就是指建立一個(gè)異地的數(shù)據(jù)系統(tǒng)，該系統(tǒng)是本地關(guān)鍵應(yīng)用數(shù)據(jù)的一個(gè)可用復(fù)制。在本地?cái)?shù)據(jù)及整個(gè)應(yīng)用系統(tǒng)出現(xiàn)災(zāi)難時(shí)，系統(tǒng)至少在本地或者異地保存有一份可用的關(guān)鍵業(yè)務(wù)的數(shù)據(jù)。該數(shù)據(jù)可以是與本地生產(chǎn)數(shù)據(jù)的完全實(shí)時(shí)復(fù)制，也可以比本地?cái)?shù)據(jù)略微落后

3、，但一定是可用的。采用的主要技術(shù)是數(shù)據(jù)備份和數(shù)據(jù)復(fù)制技術(shù)。 根據(jù)央行和銀監(jiān)會(huì)的要求，總行數(shù)據(jù)中心的災(zāi)備系統(tǒng)應(yīng)按照“兩地三中心”的架構(gòu)建設(shè)，在周邊地域建立同城數(shù)據(jù)中心，在其他一個(gè)城市建立異地?cái)?shù)據(jù)中心。,體系演變,災(zāi)備技術(shù),備份一致性,什么是備份一致性?,停止正在運(yùn)行的數(shù)據(jù)庫(kù)或者鎖住正在運(yùn)行的數(shù)據(jù)庫(kù)備份 用MySQL的Replication機(jī)制,制作一個(gè)slave,在slave進(jìn)行備份 采用Transaction的存儲(chǔ)引擎和文件系統(tǒng),利用Transaction的特性進(jìn)行備份,如何實(shí)現(xiàn)備份一致性?,備份對(duì)業(yè)務(wù)的影響,備份對(duì)業(yè)務(wù)有那些影響?,盡量在Slave是進(jìn)行備份 可以在一個(gè)服務(wù)器上啟多個(gè)slav

4、e實(shí)例節(jié)約備份成本 盡量在凌晨備份 看清楚備份目的地 規(guī)劃好備份空間,做好監(jiān)控,如何降低這些影響?,降低性能 增加成本 磁盤空間 鎖表,阻塞業(yè)務(wù),全量備份,7 LVM/ZFS,全量備份,全量備份是災(zāi)難恢復(fù)的重要保證 備份方式必須要滿足備份一致性為前提,還能不影響業(yè)務(wù)或者可以忽略對(duì)業(yè)務(wù)的影響的情況下,則重點(diǎn)從備份和恢復(fù)的速度,存儲(chǔ)空間,易操作性來(lái)衡量 Oracle & MySQL,全量備份,MySQL備份方式對(duì)比 以下對(duì)比必須是保證一致性為前提,mysqldump,適應(yīng)引擎:MyISAM.InnoDB 適應(yīng)角色:Master,Slave 鎖表:MyISAM備份需要鎖表保證一致性,InnoDB使用

5、-master-date和-single-transaction來(lái)保證數(shù)據(jù)一致性 備份恢復(fù)速度:一般 存儲(chǔ)空間:少 評(píng)價(jià):mysqldump作為MySQL當(dāng)前備份恢復(fù)不可替代的工具,能支持全部模式下的備份,而且備份出數(shù)據(jù)為文本文件,因此壓縮后存儲(chǔ)空間最優(yōu),但由于文本文件需要重新load后才能恢復(fù)數(shù)據(jù),因而數(shù)據(jù)恢復(fù)速度視數(shù)據(jù)的多少,但依然值得推薦,mysqldump,1.Master為InnoDB的備份方式,2.Slave為InnoDB的備份方式,3.Slave為MyISAM的備份方式,ibbackup,適應(yīng)引擎:InnoDB 適應(yīng)角色:Master,Slave 鎖表:不需要 備份恢復(fù)速度:較快

6、 存儲(chǔ)空間:多 評(píng)價(jià): ibbackup是innodb自身提供的一款收費(fèi)軟件,備份不鎖表,但是它會(huì)備份原始的表空間,盡管支持壓縮,但不能排除沒(méi)有使用的表空間的備份,特別是對(duì)于預(yù)分配的表空間,不論使用沒(méi)使用ibbackup都會(huì)備份,這點(diǎn)跟Oracle還有差距.所以ibbackup的恢復(fù)速度取決于表空間的大小以及在整個(gè)備份過(guò)程中undo日志的多少 1.Master為InnoDB的備份方式,cp,適應(yīng)引擎:InnoDB,MyISAM 適應(yīng)角色:Master,Slave 鎖表:需要 備份恢復(fù)速度:最快 存儲(chǔ)空間:多 評(píng)價(jià): cp其實(shí)就是鎖表直接拷貝數(shù)據(jù)了,因?yàn)閕nnodb的存儲(chǔ)空間是myisam的23

7、倍,再加上innodb還有共享表空間,從空間上看,直接拷貝數(shù)據(jù)目錄不太適用innodb引擎,但比較適合myisam引擎,特別是對(duì)myisam引擎的鎖表后的直接tar包備份速度又快,恢復(fù)又快.所以采用異構(gòu)體系,也就是master是innodb,slave是myisam這類,特別適合 1.Slave為MyISAM的備份方式,mysqlhotcopy,適應(yīng)引擎:MyISAM 適應(yīng)角色:Master,Slave 鎖表:需要 備份恢復(fù)速度:快 存儲(chǔ)空間:少 評(píng)價(jià): mysqlhotcopy是早期的mysql備份工具,只使用與myisam,是一個(gè)表一個(gè)文件類型,可惜速度上沒(méi)有直接拷貝數(shù)據(jù)來(lái)得快,基本上已經(jīng)

8、沒(méi)有太大價(jià)值.,select/load,適應(yīng)引擎:MyISAM,InnoDB 適應(yīng)角色:Master,Slave 鎖表:需要 備份恢復(fù)速度:快 存儲(chǔ)空間:少 評(píng)價(jià):應(yīng)該說(shuō)select/load不是一種標(biāo)準(zhǔn)的備份方式,但有其適用的環(huán)境,比如說(shuō)將HASH分散的mysql數(shù)據(jù)庫(kù)提取部分字段,制作集中數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)時(shí)候,采用select/load往往恢復(fù)速度最快,由于這不是標(biāo)準(zhǔn)的備份恢復(fù)方式,也就不給出使用方法,在我經(jīng)歷的使用mysql做數(shù)據(jù)倉(cāng)庫(kù)的時(shí)候,使用比較多,因此給出這個(gè)思路.,LVM/ZFS,適應(yīng)引擎:MyISAM,InnoDB 適應(yīng)較色:Master,Slave 鎖表:不需要 備份恢復(fù)

9、速度:快 存儲(chǔ)空間:少 評(píng)價(jià):基于文件系統(tǒng)的備份方式是解決mysql備份很好的思路,特別是對(duì)于myisam引擎的數(shù)據(jù)庫(kù)備份,而且這種備份模式是基于物理備份,而mysqldump是基于邏輯導(dǎo)出.這注定兩者在數(shù)據(jù)備份和恢復(fù)的可靠度上是不一樣的.但lvm需要額外的分配快照分區(qū)為備份使用,所以使用lvm會(huì)浪費(fèi)一部分磁盤,更重要的是,這部分分配出來(lái)的空間不易再調(diào)整.因而對(duì)于長(zhǎng)期備份需求來(lái)說(shuō)變動(dòng)很不靈活.這點(diǎn)ZFS有改進(jìn).采用Lvm和XFS的結(jié)合有一個(gè)非常大的優(yōu)勢(shì),就是Lvm會(huì)忽略write barriers,這個(gè)將能使你的文件系統(tǒng)快20倍,可以參見(jiàn)http:/dammit.lt/2008/11/03/x

10、fs-write-barriers/的相關(guān)介紹,全量備份,小結(jié): Master為InnoDB:mysqldump,ibbackup Master為MyISAM:Lvm/ZFS Slave為InnoDB: mysqldump,ibbackup Slave為MyISAM:cp,災(zāi)備技術(shù),1 備份一致性,2 備份對(duì)業(yè)務(wù)的影響,3 全量備份,5 備份恢復(fù),增量備份,MySQL增量備份跟Oracle的增量備份有本質(zhì)的區(qū)別 mysql進(jìn)行增量備份,從機(jī)制上決定了它不能保證數(shù)據(jù)的完整性和安全性 MySQL Binlog VS Oracle ARCHIVELOG 全備份+binlog理論上是可以指定恢復(fù)到具體

11、時(shí)間的,災(zāi)備技術(shù),1 備份一致性,2 備份對(duì)業(yè)務(wù)的影響,3 全量備份,災(zāi)備功能,災(zāi)備功能,所有備份方式以保證數(shù)據(jù)一致性和不中斷(或盡可能少中斷)業(yè)務(wù)流程為前提 手動(dòng)備份和自動(dòng)備份并存 全量備份和增量備份 邏輯備份和物理備份 多DB并發(fā)備份,多實(shí)例DB串行備份 同時(shí)支持MySQL備份和Oracle備份 滿足在Master和Slave上不同角色的備份 滿足不同存儲(chǔ)引擎InnoDB,MyISAM,Heap上的備份 備份力度控制在庫(kù)級(jí),既能全庫(kù)備份,也能備份部分庫(kù), 配置調(diào)整靈活,能對(duì)備份地,備份時(shí)間根據(jù)不同的業(yè)務(wù)特性進(jìn)行配置,災(zāi)備功能,表結(jié)構(gòu)和數(shù)據(jù)分離,可以只備份表結(jié)構(gòu)或者全數(shù)據(jù) 備份間隔可以根據(jù)業(yè)務(wù)重要程度不同進(jìn)行每小時(shí),每天,每月,半月的配置 依據(jù)業(yè)務(wù)數(shù)據(jù)量大小和重要程度進(jìn)行備份后清除策略的配置 給出每天備份報(bào)告,知曉那些機(jī)器備份,那些沒(méi)有備份,備份成功和失敗的情況,以及存儲(chǔ)地址 給出備份機(jī)磁盤增長(zhǎng)情況,預(yù)算磁盤寫滿時(shí)間,及早做出擴(kuò)容預(yù)算 能自動(dòng)根據(jù)備份恢復(fù)到指定的服務(wù)器上 記錄每