Insight 實(shí)時(shí)數(shù)據(jù)復(fù)制 CDC產(chǎn)品介紹 Slide 2 Copyright 2005 Insight - All Rights Reserved BI技術(shù)的領(lǐng)導(dǎo)者 BI服務(wù)的領(lǐng)導(dǎo)者 廣泛的合作伙伴 產(chǎn)品架構(gòu)師：數(shù)據(jù)倉(cāng)庫(kù)之父 Bill Inmon 商務(wù)智能開(kāi)創(chuàng)者 關(guān)于 Insight 商務(wù)中心：倫敦 研發(fā)中心：愛(ài)爾蘭 意大利 領(lǐng)域：咨詢服務(wù) 支撐中心遍布全球：歐洲、北美、亞太、中國(guó) Slide 3 Copyright 2005 Insight - All Rights Reserved 電信四大運(yùn)營(yíng)商 中國(guó) BI應(yīng)用先行者 中國(guó)電信 電信集團(tuán)數(shù)據(jù)門戶系統(tǒng) 電信集團(tuán)財(cái)務(wù)分析系統(tǒng) 浙江電信企業(yè)數(shù)據(jù)應(yīng)用門戶 杭州電信日?qǐng)?bào)系統(tǒng) 青海電信 CRM 中國(guó)移動(dòng) 中國(guó)移動(dòng)集團(tuán) BAM系統(tǒng) 中國(guó)移動(dòng)集團(tuán) DMBI系統(tǒng) 中國(guó)移動(dòng)集團(tuán) BOSS分析監(jiān)控系統(tǒng) 上海、廣東、山東等 7省移動(dòng) BOSS分析監(jiān)控系統(tǒng) 中國(guó)網(wǎng)通 浙江網(wǎng)通網(wǎng)上營(yíng)業(yè)廳報(bào)表分析系統(tǒng) 海南網(wǎng)通 網(wǎng)通國(guó)際 內(nèi)蒙網(wǎng)通財(cái)務(wù)分析系統(tǒng) 中國(guó)聯(lián)通 中國(guó)聯(lián)通 UNI BI系統(tǒng) 廣東聯(lián)通網(wǎng)格化 BI系統(tǒng) Insight CDC Insight CDC 獨(dú)有的 Oracle數(shù)據(jù)庫(kù) LOGO文件解析技術(shù)，在對(duì)生產(chǎn)庫(kù)幾乎沒(méi)有影響情況下，把數(shù)據(jù)實(shí)時(shí)復(fù)制出來(lái)，做分析和查詢用。 強(qiáng)大的跨平臺(tái)數(shù)據(jù)復(fù)制解決方案，支持任何平臺(tái)上的數(shù)據(jù)庫(kù)。 支持幾乎所有主流數(shù)據(jù)庫(kù)的雙向、實(shí)時(shí)復(fù)制傳輸 。 獨(dú)立的軟件運(yùn)行平臺(tái)。 友好的用戶管理和配置界面 輕量級(jí)的程序，安裝方便、快捷。 較低成本，較短投資回報(bào)周期 Insight CDC工作流程 分析日志 重做日志 /歸檔日志 源引擎和元數(shù)據(jù) 目標(biāo)引擎和元數(shù)據(jù) TCP/IP 基于 JAVA GUI的管理配置圖形界面 數(shù)據(jù)庫(kù) ODS JMS 業(yè)務(wù)流程 平面文件 審計(jì) 直連到已有的 ETL Insight CDC應(yīng)用領(lǐng)域 數(shù)據(jù)復(fù)制應(yīng)用 ODS系統(tǒng) 數(shù)據(jù)倉(cāng)庫(kù) 生產(chǎn)報(bào)表系統(tǒng) 數(shù)據(jù)接口系統(tǒng) 數(shù)據(jù)集中 數(shù)據(jù)分發(fā) 從源系統(tǒng)上實(shí)時(shí)抽取增量數(shù)據(jù)； 目標(biāo)系統(tǒng)數(shù)據(jù)（開(kāi)狀態(tài)）可被實(shí)時(shí)查詢和使用。 Insight CDC產(chǎn)品特點(diǎn)一 Insight CDC產(chǎn)品特點(diǎn)二 Oracle IBM DB2 for i5/OS IBM DB2 for z/OS IBM DB2 UDB Microsoft SQL Server Microsoft Access Sybase ASE Sybase SQL Anywhere MySQL SolidDB for MySQL Cloudscape Teradata Netezza Informix Ingres PostgreSQL EnterpriseDB Gupta SQLBase Firebird Solid ANTs 目標(biāo)端支持多種數(shù)據(jù)庫(kù) Insight CDC產(chǎn)品特點(diǎn)三 單向 1:1復(fù)制 ,可實(shí)現(xiàn)完全復(fù)制和選擇性復(fù)制 N:1復(fù)制 ,可實(shí)現(xiàn)企業(yè)數(shù)據(jù)整合 統(tǒng)一報(bào)表 統(tǒng)一經(jīng)營(yíng)分析 數(shù)據(jù)統(tǒng)一稽核等 1:N復(fù)制 ,可實(shí)現(xiàn)企業(yè)數(shù)據(jù)分發(fā) 數(shù)據(jù)共享 企業(yè)應(yīng)用集成 數(shù)據(jù)分布式查詢等 雙向 1:1復(fù)制 ,實(shí)現(xiàn)雙數(shù)據(jù)中心 ,實(shí)現(xiàn)業(yè)務(wù)分擔(dān) 層級(jí)遞進(jìn)，多極機(jī)構(gòu)的實(shí)時(shí)數(shù)據(jù)獲取 Insight CDC產(chǎn)品特點(diǎn)四 Vertical partitioning Horizontal partitioning H & V partitioning 選擇表抽取 表內(nèi)指定數(shù)據(jù)抽取 按需獲取數(shù)據(jù) Insight CDC產(chǎn)品特點(diǎn)五 部署方式靈活 源機(jī)（生產(chǎn)機(jī)） 目標(biāo)機(jī)（如 ODS/DW） 第三服務(wù)器 Insight CDC產(chǎn)品部署于獨(dú)立一臺(tái)服務(wù)器上，不需要在生產(chǎn)機(jī)或者目標(biāo)機(jī)上裝任何產(chǎn)品。 對(duì)生產(chǎn)機(jī)沒(méi)有任何潛在威脅。 大大減少部署的難度和維護(hù)的成本。 Insight CDC產(chǎn)品特點(diǎn)六 圖形化的復(fù)制配置向?qū)?(生成 XML配置文件 )，使用和維護(hù)方便 以其它方式編輯 XML文件 Insight CDC產(chǎn)品特點(diǎn)七 特殊對(duì)象的優(yōu)化處理 CLOB、 BLOB 壓縮表 Merge MAP方式 PK表 /無(wú) PK表 Slide 13 Copyright 2005 Insight - All Rights Reserved 關(guān)注點(diǎn) 可靠性 高性能 低影響 日志分析速度的壓力 浙江電信： 日志分析峰值可達(dá)每小時(shí) 200-400G 目標(biāo)端數(shù)據(jù)裝載壓力 浙江電信：每秒鐘完成 30000條 update操作 每秒鐘完成 100000條 insert操作 高性能 Insight CDC確保正常情況下的源端 CPU占用在 0-5%左右 不會(huì)造成源端系統(tǒng)的業(yè)務(wù)處理能力的大幅度下降 對(duì)源系統(tǒng)性能的影響 故障情況包括 網(wǎng)絡(luò)中斷 服務(wù)器宕機(jī) 數(shù)據(jù)庫(kù)關(guān)閉 Insight CDC保證數(shù)據(jù)不丟失 網(wǎng)絡(luò)傳輸控制 裝載控制 審計(jì)功能確保源和目標(biāo)一致性 開(kāi)放接口便于調(diào)用 故障環(huán)境下如何保證系統(tǒng)的可靠性 CDC在 BOSS實(shí)時(shí)報(bào)表中的應(yīng)用 Continuous OLTP Native Log DB 中間庫(kù) 中間庫(kù) BOSS系統(tǒng) 實(shí)時(shí)展現(xiàn) 本地?cái)?shù)據(jù)庫(kù)日志 現(xiàn)狀：直接對(duì) BOSS生產(chǎn)庫(kù)出報(bào)表，嚴(yán)重影響 BOSS系統(tǒng)的效率。 使用 CDC產(chǎn)品后，在對(duì) BOSS系統(tǒng)幾乎沒(méi)有影響的情況下，通過(guò) CDC產(chǎn)品實(shí)時(shí)把數(shù)據(jù)抽取到中間庫(kù)，通過(guò)中間庫(kù)實(shí)時(shí)出報(bào)表。 CDC在 ODS里的應(yīng)用 ODS OLTP Native Log DB OLTP Native Log DB BOSS、 計(jì)費(fèi)系統(tǒng) CRM、營(yíng)銷支撐系統(tǒng) ODS系統(tǒng) CDC在數(shù)據(jù)倉(cāng)庫(kù)里的應(yīng)用 Continuous OLTP Native Log DB EDW Stage ETL ETL服務(wù)器 BOSS、計(jì)費(fèi)、 CRM等生產(chǎn)系統(tǒng) Scheduled Batch 數(shù)據(jù)倉(cāng)庫(kù) 本地?cái)?shù)據(jù)庫(kù)日志 CDC在電信 ITSM里的應(yīng)用 IT 服務(wù)管理 Web / 語(yǔ) 音服 務(wù)臺(tái) / 語(yǔ) 音服 務(wù)臺(tái) IT 運(yùn)維報(bào)表與數(shù)據(jù)展現(xiàn) IT 運(yùn)維報(bào)表與數(shù)據(jù)展現(xiàn) 信息公告 信息公告 IT 知識(shí)庫(kù)管理 IT 知識(shí)庫(kù)管理 IT 基礎(chǔ)設(shè)施監(jiān)控 IT 專網(wǎng) IT 專網(wǎng) 操作系統(tǒng) 操作系統(tǒng) 數(shù)據(jù)庫(kù) 數(shù)據(jù)庫(kù) 桌面 桌面 環(huán)境與 動(dòng)力 環(huán)境與 動(dòng)力 主機(jī) 主機(jī) 安全設(shè)施 安全設(shè)施 應(yīng)用軟件監(jiān)控 CRM CRM 計(jì)費(fèi)結(jié)算 綜合管理 服務(wù)開(kāi)通 服務(wù)開(kāi)通 網(wǎng)絡(luò)資源 網(wǎng)絡(luò)資源 其他應(yīng)用軟件 業(yè)務(wù)數(shù)據(jù)監(jiān)控 業(yè)務(wù)受理 業(yè)務(wù)訂購(gòu) 資源調(diào)度 服務(wù)開(kāi)通 賬單清單查詢 帳務(wù)處理 客戶資料變更 計(jì)費(fèi) 充值、繳費(fèi) 其他業(yè)務(wù) 其他業(yè)務(wù) 投訴申告 服務(wù)投訴 服務(wù)支持流程（事件管理、問(wèn)題管理、變更管理、配置管理、發(fā)布管理 .) 服務(wù)支持流程（事件管理、問(wèn)題管理、變更管理、配置管理、發(fā)布管理 .) IT 人員管理 IT 人員管理 IT 資產(chǎn)管理 IT 資產(chǎn)管理 IT 供應(yīng)商管理 IT 供應(yīng)商管理 服務(wù)交付流程（持續(xù)性管理、容量管理、服務(wù)水平管理、成本管理 . ） 服務(wù)交付流程（持續(xù)性管理、容量管理、服務(wù)水平管理、成本管理 . ） 中間件 中間件 存儲(chǔ) 備份 存儲(chǔ) 備份 IT 需求管理 IT 需求管理 其他基 礎(chǔ)設(shè)施 其他基 礎(chǔ)設(shè)施 其他流程（如 IT 操作維護(hù)流程） 其他流程（如 IT 操作維護(hù)流程） 收入保障 業(yè)務(wù)咨詢 故障申告 CRM 10000號(hào) 服務(wù)開(kāi)通 網(wǎng)上客服中心 CDC實(shí)時(shí)取數(shù) CDC在電信 OSS監(jiān)控中的應(yīng)用 在營(yíng)業(yè)廳每辦理一個(gè)業(yè)務(wù)，就會(huì)在 CRM形成一個(gè)訂單，訂單通過(guò) EAI平臺(tái)分解成若干個(gè)子工單分發(fā)給各個(gè)平臺(tái)進(jìn)行處理。 OSS前端監(jiān)控系統(tǒng)監(jiān)控訂單在各個(gè)平臺(tái)的處理狀態(tài)。 系統(tǒng)架構(gòu) CDC在電信 10000號(hào)中的應(yīng)用 浙江電信 10000 杭州 舟山 臺(tái)州 麗水 衢州 湖州 紹興 金華 嘉興 溫州 寧波 生產(chǎn)數(shù)據(jù)庫(kù) 目標(biāo)數(shù)據(jù)庫(kù)服務(wù)器 CDC Ins