1、基于GoldenGate的數(shù)據(jù)分發(fā)設(shè)計(jì)技術(shù)創(chuàng)新，變革未來(lái)需求背景核心系統(tǒng)財(cái)務(wù)系統(tǒng)客服系統(tǒng)精算系統(tǒng)移動(dòng)保險(xiǎn) 系統(tǒng)報(bào)表查詢(xún)數(shù)據(jù)平臺(tái)建議書(shū) 系統(tǒng)各類(lèi)報(bào)送 系統(tǒng)物化視圖物化視圖DBLinkDBLinkDBLinkDBLinkDBLinkDBLinkDBLinkDBLinkDBLinkDBLink系統(tǒng)較多數(shù)據(jù)交換較凌亂耦合性較強(qiáng)較難管理容易出現(xiàn)性能問(wèn)題保險(xiǎn)行業(yè)IT現(xiàn)狀對(duì)原有系統(tǒng)影響較小或無(wú)影響實(shí)現(xiàn)及管理較容易提升數(shù)據(jù)流向的清晰度降低系統(tǒng)間的耦合度提升整體系統(tǒng)的性能核心系統(tǒng)財(cái)務(wù)系統(tǒng)客服系統(tǒng)精算系統(tǒng)移動(dòng)保險(xiǎn) 系統(tǒng)增量 抽取增量 抽取增量 抽取增量 抽取增量 抽取統(tǒng) 一 數(shù) 據(jù) 分 發(fā)報(bào)表查詢(xún)數(shù)據(jù)平臺(tái)建議書(shū)

2、系統(tǒng)移動(dòng)保險(xiǎn) 系統(tǒng)各類(lèi)報(bào)送 系統(tǒng)客服系統(tǒng)歸納成圖 就是系統(tǒng)建設(shè)原則要有較高的可用性數(shù)據(jù)準(zhǔn)確性要高容易管理和監(jiān)控能集成到大數(shù)據(jù)平臺(tái)中可用性的實(shí)現(xiàn)自動(dòng)重啟Extract或Replicat進(jìn)程在網(wǎng)絡(luò)不穩(wěn)定或網(wǎng)絡(luò)短暫中斷后 特別有用 需要保證Manager進(jìn)程正常運(yùn)行Checkpoint FileTrail File采用ACFS用來(lái)安裝GoldenGate軟件用來(lái)存儲(chǔ)Trail File可以配置GoldeGate VIP實(shí)現(xiàn)故障轉(zhuǎn)移原先的架構(gòu)-比較重型實(shí)施較繁瑣，且比較容易出錯(cuò)容易導(dǎo)致錯(cuò)誤累積容易導(dǎo)致數(shù)據(jù)延遲雙向復(fù)制比較困難輕量化架構(gòu)不會(huì)導(dǎo)致錯(cuò)誤累積數(shù)據(jù)延遲更小雙向復(fù)制更加容易實(shí)現(xiàn)DBFS + Dat

3、aGuardTRAILCHECKPOINT FILEVIPDataGuardDBFS保證數(shù)據(jù)準(zhǔn)確性 本身沒(méi)有機(jī)制來(lái)保證數(shù)據(jù)準(zhǔn)確性 本身沒(méi)有提供數(shù)據(jù)校驗(yàn)的方法基于J2EE的B/S架構(gòu)數(shù)據(jù)校驗(yàn)在內(nèi)存中完成數(shù)據(jù)會(huì)先取到Veridata服務(wù)器上 再進(jìn)行校驗(yàn)運(yùn)算，對(duì)數(shù)據(jù)庫(kù)壓力 較小可以進(jìn)行數(shù)據(jù)修復(fù)2*6 Core CPU +32GB，能達(dá)到5 萬(wàn)-10萬(wàn)條每秒的 校驗(yàn)速度Shell腳本 + Cron job監(jiān)控GoldenGateEM + GoldenGate Plugin進(jìn)程狀態(tài)監(jiān)控 和告警數(shù)據(jù)延遲監(jiān)控 和告警大數(shù)據(jù)平臺(tái)集成*核心系統(tǒng)財(cái)務(wù)系統(tǒng)客服系統(tǒng)精算系統(tǒng)移動(dòng)保險(xiǎn) 系統(tǒng)增量 抽取增量 抽取增量 抽取增量 抽取增量 抽取統(tǒng) 一 數(shù) 據(jù) 分 發(fā)需求：數(shù)據(jù)能 實(shí)時(shí)更新到Hive中JMSTRAILJMSHandlerMessage Capture VAMExtract讀取JMS，將消息輸出到Trail中JMSHandler讀取Trail，將事務(wù)寫(xiě)入到目標(biāo)庫(kù) 或Flat File或消息中間件中(如 ActiveMQ)JMSTRAILJava User ExitJMSHandlerReplicat目標(biāo)庫(kù)Flat FileGoldenGate Adapter的擴(kuò)展支持將事務(wù)輸出到HDFS、HBase、 Fl