文檔版本2024-08-用于傳遞設(shè)備或環(huán)境安全警示信息，若不避免，可能會(huì)導(dǎo)對(duì)正文中重點(diǎn)信息的補(bǔ)充說明?！罢f明”不是安全警示信perties新增參數(shù)dis-able.binlogisMax.binlog產(chǎn)品概 軟件簡 產(chǎn)品構(gòu) 軟件架 核心指 軟件功 增量數(shù)據(jù)實(shí)時(shí)同 增量數(shù)據(jù)歸 增量數(shù)據(jù)kafka集 DDL和大對(duì)象同 事務(wù)支 元數(shù)據(jù)管 斷點(diǎn)續(xù) 數(shù)據(jù)過 運(yùn)行日 配置文 安裝部 運(yùn)行環(huán) 部署模 安裝與配 源端配 XuguSyncer配 啟動(dòng)運(yùn) 同步配 Binlog同步至數(shù)據(jù) 使用Web端配置啟 使用jar配置啟 同步至 使用Web端配置啟 使用jar包配置啟 Kafka同步至數(shù)據(jù) 使用Web端配置啟 使用jar包配置啟 校驗(yàn)程序配 主備配 日常運(yùn) binlog日志管 開啟binlog日 關(guān)閉binlog日 查詢binlog日 訂閱管 創(chuàng)建訂閱 刪除訂閱 消費(fèi)查 系統(tǒng)表查 同步軟件日志查 Kafka查 Kafka數(shù)據(jù)驗(yàn) Kafka偏移推 常見問 啟動(dòng)報(bào) 線程異 11ETL的解決方案存在的技術(shù)壁壘、數(shù)據(jù)管理、DDL同步、增量數(shù)據(jù)歸檔、KAFKA集成和腳本化運(yùn)行等。XuguSyncerJava開發(fā)，產(chǎn)品包中主要包含軟件主程序以及基礎(chǔ)運(yùn)行環(huán)境和基礎(chǔ)配置文1-1B/Sweb管理頁面和支持服務(wù)器后臺(tái)部署運(yùn)行的控制臺(tái)1-21-1binlog事務(wù)、DDLKafka1s,10000條/kafka20000條/binlog日志文件進(jìn)行實(shí)時(shí)數(shù)據(jù)同步，對(duì)源庫零侵入性。采用多線程實(shí)時(shí)binlogbinlog日志結(jié)合對(duì)應(yīng)表的元binlog日志讀取解析器生成的數(shù)據(jù)向目標(biāo)數(shù)據(jù)庫按事務(wù)序批量寫入。Oracle、MySQLbinlogbinlog日志生命binlogbinlog日志壓縮后以SQL操作語句進(jìn)行保存，SQL語句歸檔kafkabinlog在服務(wù)端以庫為單位進(jìn)行管理記載，即同一個(gè)邏輯庫下所有對(duì)象的變更binlogbinlog解析分發(fā)同步的需求，虛谷數(shù)據(jù)庫binlogkafka上如1-3。用戶kafka上的虛谷數(shù)據(jù)庫增量數(shù)據(jù)，因此虛谷數(shù)據(jù)庫同步軟件可為大數(shù)據(jù)集成業(yè)務(wù)提binlogkafka消息中間件，kafkatopicbinlogtopictopic[庫名.表名]DDLDDLSQL語句。若目標(biāo)端為關(guān)系型數(shù)據(jù)庫，DDL語句也可在目標(biāo)庫進(jìn)行同步。由DDLDDL同步不予開啟，規(guī)避刪除表、清理數(shù)據(jù)等破1-3Binlog針對(duì)含大對(duì)象（clob、blob）binlog10binlog(虛谷分布式數(shù)據(jù)庫binlog日志為提交時(shí)寫盤)binlog(不論是小事務(wù)還是大事務(wù)進(jìn)行binlog日志事務(wù)順序執(zhí)行保證同步后數(shù)據(jù)事務(wù)一致性。binlogDDL(如新建表、修改表結(jié)構(gòu)、添加約束、添加索引等)binlog日志，將解析新表結(jié)構(gòu)字段詳細(xì)信息并加入元數(shù)DMLbinlogSQL(斷電、斷網(wǎng)等)，軟件設(shè)計(jì)完善的斷點(diǎn)續(xù)傳機(jī)制，保證軟件重啟后同步數(shù)據(jù)的零丟失零重(savepoint)的機(jī)制，在寫入目標(biāo)庫、kafka后記binlog日志的起始位置，同時(shí)針對(duì)不同目標(biāo)進(jìn)行kafkakafka拉取最后一條發(fā)送成功的消binlog日志中對(duì)應(yīng)的偏移量，同步程序結(jié)合保存點(diǎn)和該偏kafkabinlogbinlog日志數(shù)據(jù)不重復(fù)不丟失。(savepoint)和關(guān)系型數(shù)據(jù)庫唯Json格式數(shù)據(jù)發(fā)送到第三方運(yùn)維系統(tǒng)，為用戶統(tǒng)一運(yùn)維監(jiān)控提供服務(wù)。222-1#typein#binlogsource源端用戶名密碼（Encryption.jar加密后同步過濾表達(dá)式,過濾指定表。格式：模式名:表名，多個(gè)表之間以&符號(hào)分割。例：同步過濾表達(dá)式同步過濾表達(dá)式同步過濾表達(dá)式與source.log.filter配合使用，若為true，source.log.filter中所配置的表。若為false,source.log.filter中所配置的true同步過濾表達(dá)式DDL數(shù)據(jù)庫重連次數(shù)，為-1truebinlog不記錄同步的數(shù)據(jù)，falsefalsebinlog原始位置開始讀取，true從最0偏移量開始讀取#kafkasourcekafkatopictopic名，以”\\用于同步至kafkatopic的大小寫控false，則創(chuàng)建topic名全為小寫#toKafkazookeeperKafkatopicKafka用于同步至kafkatopic的大小寫控false，則創(chuàng)建topic名全為小寫#to同步時(shí)寫入線程數(shù)（建議和目標(biāo)庫類型指定目標(biāo)端模式名（嚴(yán)格區(qū)分大小寫#toEIbinlog日志庫信息配置，如表2-22-2pertiestarget-target-通過Encryption.jar加密后的db.jdbcUrl=jdbc:xugu://192binlog-binlog-通過Encryption.jar加密后的db.jdbcUrl=jdbc:xugu://192Kafka消費(fèi)者參數(shù)配置如表2-3Kafka2-3KafkaKafka生產(chǎn)者參數(shù)配置如表2-4Kafka2-4KafkapollbinlogKafka提取數(shù)據(jù)使用的消費(fèi)者配置文件如表2-52-5Kafka2-6config.jsonstaticIPIP，perties文件中一致的端口號(hào)，如圖2-1所示。2-1333-1Windows、2G1GJavaJDK1.8WindowsLinuxweb界面化的操作模式，通過界面配置同步文可直接手動(dòng)修改配置文件（binlog源端信息、目標(biāo)寫入端信息等），javajarjarbinlogbinlogSYSDBA登錄到指定的用戶庫進(jìn)行操作。使用控制臺(tái)工具登錄SYSDBA用戶，執(zhí)行命令如下：execexecselectselectdb\_name,reg\_modifyfromdba\_databaseswhere3-1binlogSYSDBASYSDBA來操SYSDBAdb_test庫，執(zhí)行創(chuàng)建和刪除訂閱者。使用控制臺(tái)工具登錄SYSDBA用戶，執(zhí)行命令如下：execexecselectds.subs\_name,du.user\_namefromdba\_subscribersdsjoindba\_usersduusing(user\_id)wheredu.user\_name='U\selectds.subs\_name,du.user\_namefromdba\_subscribersdsjoindba\_usersduusing(user\_id)wheredu.user\_name='U\XuguSperties（全局運(yùn)行時(shí)參數(shù)）perties（數(shù)據(jù)庫連接信息）3-2全局運(yùn)行時(shí)參數(shù)配置，文件內(nèi)分為五個(gè)部分：同步類型、源端數(shù)據(jù)庫配置、Kafka消息中間件數(shù)據(jù)庫密碼加密（web啟動(dòng)界面化配置的則不需要加密，直接在界面輸入明文密碼）：Encryption.jar對(duì)數(shù)據(jù)庫密碼進(jìn)行加密，如圖3-3所示。3-33-2#typein#binlogsource源端用戶名密碼（Encryption.jar加密后同步過濾表達(dá)式,過濾指定表。格式：模式名:表名，多個(gè)表之間以&符號(hào)分割。例：同步過濾表達(dá)式同步過濾表達(dá)式同步過濾表達(dá)式與source.log.filter配合使用，若為true，source.log.filter中所配置的表。若為false,source.log.filter中所配置的true同步過濾表達(dá)式DDL數(shù)據(jù)庫重連次數(shù)，為-1truebinlog不記錄同步的數(shù)據(jù)，falsefalsebinlog原始位置開始讀取，true從最0偏移量開始讀取#kafkasourcekafkatopictopic名，以”\\用于同步至kafkatopic的大小寫控false，則創(chuàng)建topic名全為小寫#toKafkazookeeperKafkatopicKafka用于同步至kafkatopic的大小寫控false，則創(chuàng)建topic名全為小寫#to同步時(shí)寫入線程數(shù)（建議和目標(biāo)庫類型指定目標(biāo)端模式名（嚴(yán)格區(qū)分大小寫#toEIbinlog日志庫信息配置，根據(jù)實(shí)際情況配置源端和目3-3JDBCtarget-target-通過Encryption.jar加密后的db.jdbcUrl=jdbc:xugu://192binlog-binlog-通過Encryption.jar加密后的db.jdbcUrl=jdbc:xugu://192json格式，支持單表多列的指定，表列值僅支持單表cata_case_sensitivesfalse，配置文件中模式名、表名、列true，則配置文件中模式名、表名、列名需要和系統(tǒng)表中一致。通過執(zhí)行sql:showcata_case_sensitive查詢。（int、varchar、boolean、numric、smallint、datetime類型的數(shù)據(jù)篩選。僅支持單列數(shù)據(jù)過濾篩選。）配置文件格式datetime指定格式，僅支持秒后一位：”2021-02-22time指定格式，僅支持秒后一位boolean類型數(shù)據(jù)格式：”true“schemaName1.table1”:{"type":"table","data":（schemaName1.table1的ab為準(zhǔn)）."SYSDBA.test\_a.a":"data":"2020-10-1000:00:00.0,2021-10-10"SYSDBA.test\_a.a":"data":"2020-10-1000:00:00.0,2021-10-102b1<=b<=46<=b<=9(同一字段或條件用分號(hào)"SYSDBA.test\_a.b":{"data":"1,4;6,9","SYSDBA.test\_a.b":{"data":"1,4;6,9","SYSDBA.test\_a.a":{"data":"a\&b",a的值為”a"SYSDBA.test\_a.a":{"data":"a\&b","SYSDBA.test\_a.a":{"data":"a\&b",a的值為”a"SYSDBA.test\_a.a":{"data":"a\&b",a的值包含”a"SYSDBA.test\_a.a":{"data":"a","SYSDBA.test\_a.a;b":"data":"a|\&|1\&3",}"SYSDBA.test\_a.a;b":"data":"a|\&|1\&3",}test\_a表的a,ba字段需固定值a,bbinlog日志文件是否已經(jīng)存在，日志位于安裝目XHOME/XMODI/DB0000000DMFbinlog日志文件，則binlog日志記載的庫，SQLbinlog日志記載后，若沒有任何數(shù)據(jù)變更，系統(tǒng)不會(huì)SQL語句，生成日志文件。aim.typejar./xgsyn.sh./xgsyn.shWebWeb./xgsyn.sh./xgsyn.shpertiesWeb頁面進(jìn)行配置,Web頁面如圖3-43-4Web頁面./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.sh44BinlogWeb./xgsyn.sh./xgsyn.sh4-1WebBinlog同步至數(shù)據(jù)庫，需要在源端類型和目標(biāo)端類型均選擇“庫”，并配置同步軟件配置信息4-1binlog訂閱者名字，與配置文件保與表級(jí)同步過濾表達(dá)式配合使用，若選擇“啟用”，則同步表級(jí)同步過濾表達(dá)式中所配置的表。若為“關(guān)閉”，則不同步表級(jí)同步過濾表達(dá)式中所配置的表。默認(rèn)為“啟源端數(shù)據(jù)變更收集節(jié)點(diǎn)（G節(jié)點(diǎn)binlogBinlogDDL啟用同步DDLDML操作，關(guān)閉只同步DML選擇啟用，同步軟件初次啟動(dòng)按照數(shù)據(jù)庫binlog記載位置續(xù)傳。選擇關(guān)閉，則按照本redo記載位置續(xù)傳數(shù)據(jù)庫重連次數(shù)，為-1EI4-2#binlog#binlog#binlog源端用戶名密碼（web端使用#binlogIP#binlog#目標(biāo)庫類型####IPIP##同步時(shí)寫入線程數(shù)，需要與Binlog#4-3列過濾，指定表的某些列同步。例：同步SYSDBA.TEST1_1a列值的范圍過濾，針對(duì)時(shí)間和數(shù)字，閉區(qū)SYSDBA.ABCa的值為1<=a<=3的數(shù)據(jù)SYSDBA.AA等于”aa”SYS-DBA.ALL_TYPE字段A的值為”bSYS-DBA.TEST1_2字段A的值包含”c4-4xlsx4-24-34-44-5xlsxexcelxlsxxlsx文件格式分為兩列，一列為模式名稱，一列名表名稱（需要區(qū)分大小寫，與4-6xlsx4-74-84-9redo：redo為同步軟件本地所記載的讀取位置信息。若位置出現(xiàn)偏差可刪除后重啟binlog最開始的記載位置同步。4-10pertiespertiesperties(同步類型、源端數(shù)據(jù)庫配置和寫入數(shù)據(jù)庫)如表4-54-5perties#typein#binlogsource源端用戶名密碼（Encryption.jar加密后同步過濾表達(dá)式,過濾指定表。格式：模式名:表名，多個(gè)表之間以&符號(hào)分割。例：同步過濾表達(dá)式同步過濾表達(dá)式同步過濾表達(dá)式source.log.filtertrue，則同步source.log.filter中所配置的表。若為false,source.log.filter中所配置的true同步過濾表達(dá)式DDL數(shù)據(jù)庫重連次數(shù)，為-1truebinlog不記錄同步的數(shù)據(jù)，falsefalsebinlog原始位置開始讀取，true從最0偏移量開始讀取#kafkasourcekafkatopictopic名，以”\\用于同步至kafkatopic的大小寫控false，則創(chuàng)建topic名全為小寫#toKafkazookeeperKafkatopicKafka用于同步至kafkatopic的大小寫控false，則創(chuàng)建topic名全為小寫#to同步時(shí)寫入線程數(shù)（建議和目標(biāo)庫類型指定目標(biāo)端模式名（嚴(yán)格區(qū)分大小寫#toEIaim.typeaim.type：此參數(shù)為目標(biāo)端類型，可選參數(shù)為db、kafka、file，此處配置為db即：兩個(gè)參數(shù)根據(jù)實(shí)際情況進(jìn)行修改，分別為source.log.ipsbinlog日志記載節(jié)點(diǎn)的IP，支持多IP配置，可以根據(jù)實(shí)際情況修改IP，多個(gè)IP之間用逗號(hào)隔開。source.log.partion：參數(shù)為源端虛谷數(shù)據(jù)庫binlog日志分區(qū)數(shù)，此參數(shù)需要和數(shù)據(jù)庫配置文件xugu.ini中的參數(shù)modify_log_parti_num保持一致，使用時(shí)根據(jù)實(shí)際配置修改此參數(shù)的值，數(shù)據(jù)配置默認(rèn)為8。另外，writer.thd.num參數(shù)的值建議和source.log.partion保持一致。perties4-6perties詳細(xì)配置（虛谷target-target-通過Encryption.jar加密后的db.jdbcUrl=jdbc:xugu://192binlog-binlog-通過Encryption.jar加密后的db.jdbcUrl=jdbc:xugu://192MySQL數(shù)據(jù)庫，如表4-74-7perties詳細(xì)配置target-target-通過Encryption.jar加密后的binlog-binlog-通過Encryption.jar加密后的db.jdbcUrl=jdbc:xugu://192Oracle數(shù)據(jù)庫，如表4-84-8perties詳細(xì)配置通過Encryption.jar加密后的binlog-binlog-通過Encryption.jar加密后的db.jdbcUrl=jdbc:xugu://192perties中訂閱者綁pertiesperties./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.shWeb./xgsyn.shWebbinlogkafka，需要在源端類型選擇“庫”，目標(biāo)端類型選擇“kafkaBinlog同步至,4-114-9#binlog#binlog#binlog源端用戶名密碼（web端使用#binlogIP#binlogkafkazookeeper地址加端case的大小寫控制。若為啟用，則topic名大小寫按照源閉，則創(chuàng)建的topic名全為小kafkaKafka數(shù)據(jù)進(jìn)行斷點(diǎn)IPIP4-124-10pertiesKafka4-134-11pertiesKafkajarjarKafkaperties、perties具體配置如表4-124-12perties#typein#binlogsource源端用戶名密碼（Encryption.jar加密后同步過濾表達(dá)式,過濾指定表。格式：模式名:表名，多個(gè)表之間以&符號(hào)分割。例：同步過濾表達(dá)式,同步過濾表達(dá)式,同步過濾表達(dá)式,source.log.filter配合使用，若為true，source.log.filter中所配置的表。若為false,則不同步source.log.filter中所配置的true同步過濾表達(dá)式,DDL數(shù)據(jù)庫重連次數(shù)，為-1truebinlog不記錄同步的數(shù)據(jù)，falsefalsebinlog原始位置開始讀取，true從最0偏移量開始讀取#kafkasourcekafkatopictopic名，以”\\用于同步至kafkatopic的大小寫控false，則創(chuàng)建topic名全為小寫#toKafkazookeeperKafka用于同步至kafkatopic的大小寫控false，則創(chuàng)建topic名全為小寫#to同步時(shí)寫入線程數(shù)（建議和目標(biāo)庫類型指定目標(biāo)端模式名（嚴(yán)格區(qū)分大小寫#toEIKafka需要修改perties中的源端數(shù)據(jù)庫信息和Kafka中間件信息。配aim.typeKafka(#binlogsourceconfig)配置和源端配置一致，只需按照實(shí)際情況修改庫名、訂閱者、過濾表達(dá)式和日志記載節(jié)點(diǎn)IP即可。然后，Kafka根據(jù)生產(chǎn)環(huán)境的配置，將zk.connectzookeeper的IP端口，數(shù)據(jù)庫連s_2kafkau_2kafkaIP即可。4-13pertiesKafkabootstrap.serversKafkaIP和端口，其余參數(shù)保4-14pertiesKafka./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.shKafkaweb./xgsyn.sh./xgsyn.shKafka為源端同步至數(shù)據(jù)庫，需要在源端類型選擇“Kafka”，目標(biāo)端類型選擇“庫”，并配置4-144-15kafkatopic需要同步的topic 例:test.d2.tclob\\test.u2.t14-16pertiesKafka4-17pertiesKafkabootstrap.serversKafkaIP和端口，其余參數(shù)保4-154-154-18目標(biāo)庫類型目標(biāo)端密碼（web端使用明文密碼ipIPBinlog分區(qū)數(shù)對(duì)jarKafkaBinlogkafka消息隊(duì)列。除了pertiesKafka的消費(fèi)者和生產(chǎn)者，對(duì)應(yīng)的配置文件pertiesperties。還需要配置目標(biāo)端數(shù)據(jù)庫信息perties具體配置如表4-194-19perties#typein#binlogsource源端用戶名密碼（Encryption.jar加密后同步過濾表達(dá)式,過濾指定表。格式：模式名:表名，多個(gè)表之間以&符號(hào)分割。例：同步過濾表達(dá)式同步過濾表達(dá)式同步過濾表達(dá)式source.log.filtertrue，則同步source.log.filter中所配置的表。若為false,source.log.filter中所配置的true同步過濾表達(dá)式DDL數(shù)據(jù)庫重連次數(shù)，為-1truebinlog不記錄同步的數(shù)據(jù)，falsefalsebinlog原始位置開始讀取，true從最0偏移量開始讀取#kafkasourcekafkatopictopic名，以”\\#toKafkazookeeperKafkatopicKafka用于同步至kafkatopic的大小寫控false，則創(chuàng)建topic名全為小寫#to同步時(shí)寫入線程數(shù)（建議和目標(biāo)庫類型指定目標(biāo)端模式名（嚴(yán)格區(qū)分大小寫#toEIbootstrap.serversKafkaIP和端口，其余參數(shù)保4-20pertiesKperties4-21perties詳細(xì)配置（虛谷target-target-通過Encryption.jar加密后的db.jdbcUrl=jdbc:xugu://192MySQL數(shù)據(jù)庫，如表4-224-22perties詳細(xì)配置target-target-通過Encryption.jar加密后的Oracle數(shù)據(jù)庫，如表4-234-23perties詳細(xì)配置通過Encryption.jar加密后的./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.sh./xgsyn.shKafkaKafkaSQLperties，配置如表4-244-24pertiesKafkabootstrap.serversKafkaIP和端口，其余參數(shù)默認(rèn)即Kafka校驗(yàn)程序，程序執(zhí)行時(shí)需要兩個(gè)參數(shù)：1：topic2：topic拉取數(shù)據(jù)直接在控制臺(tái)輸出javajava-jarPollBinlog.jar1sql.txtjavajava-jarPollBinlog.jar12>pertiesredo.offset.servertrue，其他配置項(xiàng)均主備相同。當(dāng)主服務(wù)器不可55binlogbinlog在對(duì)象上啟用備份后相應(yīng)對(duì)象系統(tǒng)表（dba_databases、dba_schemas、REG_MODIFYTbinlog記binlogDBMS\_REPLICATION.DROP\_MODIFY\_SOURCEDBMS\_REPLICATION.DROP\_MODIFY\_SOURCEDBMS\_REPLICATION.DROP\_MODIFY\_SOURCEDBMS\_REPLICATION.DROP\_MODIFY\_SOURCEDBMS\_REPLICATION.DROP\_MODIFY\_SOURCE('schemaname','DBMS\_REPLICATION.DROP\_MODIFY\_SOURCE('schemaname','在對(duì)象上關(guān)閉備份后相應(yīng)對(duì)象系統(tǒng)表（dba_databases、dba_schemas、REG_MODIFYF5-1binlogbinlog記binlogbinlog日志查詢。binlog（6.2訂閱管理）binlog(G角色所在節(jié)點(diǎn)才能進(jìn)行查詢，并且查詢的結(jié)果以結(jié)果集的方式返回（SQL語句）。查分區(qū)號(hào)（0 execdbms\_replication.poll\_modify\_data('test',0,'obj\_id=1048577execdbms\_replication.poll\_modify\_data('test',0,'obj\_id=10485770010M1048577的日志，查詢結(jié)果如圖5-3(Linux下執(zhí)行)：touchtouchexpbinlog.sh\&\&chmod+xvimexpbinlog.shxgconsolenssl225138db1SYSDBASYSDBA<<EOFexecdbms\_replication.poll\_modify\_data('test'