1、InformaticaPowerExchangeforOracle培訓(xùn),夏凱2009-01,電話SN：xiakaicd,.,體系結(jié)構(gòu)安裝介紹注冊(cè)數(shù)據(jù)源PWX與PC集成,學(xué)習(xí)內(nèi)容,.,PowerExchangeBatch：用于數(shù)據(jù)源到目標(biāo)之間的大批量數(shù)據(jù)遷移，適用于Unix、PC、MVS和AS/400數(shù)據(jù)格式的數(shù)據(jù)。PowerExchangeChange：用于從創(chuàng)建的壓縮變更文件（condensedchangesfiles）中周期性地獲取更新。PowerExchangeReal-time：從日志信息中直接捕獲更新，實(shí)時(shí)性較高。對(duì)于Oracle的數(shù)據(jù)增量抽取，只能使用Po

2、werExchangeReal-time。PowerExchangeChange和PowerExchangeReal-time只能捕獲到所需的更新數(shù)據(jù)，將數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫(kù)的任務(wù)需要由PowerCenter或其他第三方工具來(lái)完成。,PowerExchange抽取模式,.,1、PowerCenter發(fā)布一系列標(biāo)準(zhǔn)SQL請(qǐng)求。,2、PowerExchange轉(zhuǎn)換SQL通過(guò)Native方式給數(shù)據(jù)源發(fā)送請(qǐng)求。,3、數(shù)據(jù)源通過(guò)Native方式做出反饋。,4、PowerExchange發(fā)送經(jīng)過(guò)翻譯后的數(shù)據(jù)記錄給PowerCenter。,.,1、通過(guò)Oracle的LogMiner搜集RedoLogs變化信

3、息。,2、被收集的變化數(shù)據(jù)會(huì)被提交給PWXCondenseJob,4、PowerCenter發(fā)布一系列標(biāo)準(zhǔn)SQL請(qǐng)求給PowerExchange的偵聽(tīng)程序來(lái)訪問(wèn)變化數(shù)據(jù),6、PowerExchange發(fā)送經(jīng)過(guò)翻譯后的數(shù)據(jù)記錄給PowerCenter。,3、CondenseJob將通過(guò)LogMiner接口捕捉來(lái)的變化數(shù)據(jù)，并基于外部配置文件產(chǎn)生Condense文件。,5、Listener從Condense文件抽取變化數(shù)據(jù)。,.,OracleRedoLog是PowerExchangeOraclecapture流程的必要部分，被監(jiān)測(cè)數(shù)據(jù)必須在ArchiveLog模式下運(yùn)行。LogMiner讀取Red

4、oLog，使PowerExchange能夠從指定的時(shí)間點(diǎn)抽取數(shù)據(jù)，這些時(shí)間點(diǎn)由OracleSCN（SystemChangeNumbers）分隔。Navigator被用做創(chuàng)建變更捕獲注冊(cè)信息，這些注冊(cè)信息定義了用戶需要實(shí)時(shí)監(jiān)測(cè)的數(shù)據(jù)。CAPI連接PowerExchangeREGISTRATION，獲取需要監(jiān)測(cè)的表和列信息，然后連接Oracle和LogMiner，根據(jù)restartinformation確定應(yīng)該返回哪些變更記錄。UOWCleanser(UnitofWork)保證工作單元能夠按照其提交的順序被依次處理，同時(shí)去除回滾的事務(wù)。PWXCondenseJob接收變化信息并創(chuàng)建Condense

5、文件。當(dāng)PowerCenterWorkflow被調(diào)用后，通過(guò)Listenter請(qǐng)求變化信息。,PowerExchange“Change”ArchitectureforOracle,.,InformaticaPowerExchange,OperatingEnvironment,UserApplication,RegistrationDataMaps,Oracle,InformaticaPowerCenter,InformaticaPowerAnalyzer,OtherTools,Listener,PowerExchange“Realtime”ArchitectureforOracle,Oracl

6、eLogs,1、通過(guò)Oracle的LogMiner搜集RedoLogs變化信息。,2、被收集的變化數(shù)據(jù)會(huì)被存儲(chǔ)在changeStream或者VirtualChangeStream隊(duì)列中,3、PowerCenter發(fā)布一系列標(biāo)準(zhǔn)SQL請(qǐng)求給PowerExchange的偵聽(tīng)程序來(lái)訪問(wèn)變化數(shù)據(jù),4、PowerExchange的偵聽(tīng)程序根據(jù)請(qǐng)求，發(fā)送經(jīng)過(guò)“翻譯”后的變化數(shù)據(jù)給PowerCenter，從而實(shí)現(xiàn)變化數(shù)據(jù)的實(shí)時(shí)捕獲,NativeDBRequest,NativeDBResponse,.,PowerExchangeListenerAgent接收變化信息。(如果Oracle和PowerCenter

7、Server在同一臺(tái)機(jī)器就沒(méi)有必要)PowerExchange客戶端提供PowerExchange和PowerCenter的連接。PowerCenter調(diào)用一個(gè)持續(xù)的Workflow應(yīng)用不斷將變化數(shù)據(jù)遷移到目標(biāo)。,PowerExchange“Realtime”ArchitectureforOracle,.,體系結(jié)構(gòu)安裝介紹注冊(cè)數(shù)據(jù)源PWX與PC集成,學(xué)習(xí)內(nèi)容,.,操作系統(tǒng)支持情況Windows2000,XP,2003AIX5.1andaboveSolaris2.7andaboveHPUX11andaboveLinuxversions(RedhatAS2.1-3.0)withkernel2.4S

8、useLinuxES8-9,系統(tǒng)必要需求,Oracle必要條件（最好在DBA的配合下操作）OracleV9.2.0.6或以上；RealApplicationClusters不支持Oracle9i版本，在Oracle10g上支持。Oracle必須運(yùn)行在歸檔模式下；Oracle9i版本SupplementalLogging必須打開(kāi)(設(shè)置為true)；OracleLogMiner必須配置完成；Oraclecatalog被拷貝到OracleRedoLog；AtemplateSQLPlusscriptisprovidedtoperformtheabovefunctions,.,局限性說(shuō)明,支持的數(shù)據(jù)類(lèi)型

9、NUMBERCHARVARCHAR2RAWDATETIMESTAMP(目前能捕獲到微秒級(jí)別),不支持的數(shù)據(jù)類(lèi)型LONGLONGRAWLOBtypesTIMESTAMPWITHLOCALTIMEZONELogMiner不支持的類(lèi)型,.,安裝的幾類(lèi)環(huán)境,所有的組成部分都在統(tǒng)一臺(tái)windows機(jī)器上。(DB+PC+PWX+Client)服務(wù)端和客戶端單獨(dú)部署，PowerCenterServer和OracleServer在同一臺(tái)主機(jī)。(DB+PC+PWX和Client分開(kāi))PowerCenterServer和OracleServer分別部署在兩臺(tái)主機(jī)PowerExchange安裝在PowerCente

10、rServer端，通過(guò)SQL*Net訪問(wèn)Oracle數(shù)據(jù)庫(kù)。(DB和PC+PWC+Client分開(kāi))PowerExchange安裝在OracleServer端，本地連接Oracle數(shù)據(jù)庫(kù)。(DB+PWX和PC+Client分開(kāi)),PowerExchange采用的是Server/Client模式，在被監(jiān)控的服務(wù)器上安裝server（Listener），獲取源數(shù)據(jù)的變更，在數(shù)據(jù)抽取服務(wù)器上安裝client（Navigator），定義所要監(jiān)控的數(shù)據(jù)。,.,所有組件都在同一臺(tái)Windows機(jī)器上(PowerCenter，PowerExchange和Oracle)。因?yàn)樗械脑L問(wèn)都是“Local”的，因

11、此，不需要配置PWX的Listener。,環(huán)境一：所有組件部署在同一臺(tái)Windows主機(jī),.,PowerCenter首先被安裝。安裝PowerExchange。更新dbmover.cfg文件，增加CAPI信息和Oracle信息。ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string)CAPT_XTRA=C:ProgramFilesInformaticaInformaticaPowerExchangecapturecamaps“CAPT_PATH=C:ProgramFilesInformaticaInform

12、aticaPowerExchangecapture“CAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id)注：1、ORACLEID=(collection_id,oracle_sid,connect_string,capture_connect_string)ORACLEID：最大為20個(gè)字符。collection_id：在注冊(cè)捕獲定

13、義時(shí)會(huì)被引用，兩者保持必須一致。oracle_sid：被監(jiān)測(cè)數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)實(shí)例名。connect_string：被監(jiān)測(cè)數(shù)據(jù)庫(kù)的服務(wù)訪問(wèn)別名。capture_connect_string：可選項(xiàng)。2、其中，ORACOLL的參數(shù)值Collection_id應(yīng)與ORACLEID中的Collection_id一致。3、目錄capture和camap需要手動(dòng)創(chuàng)建。,所有組件部署在同一臺(tái)Windows主機(jī)安裝配置要點(diǎn),.,重啟機(jī)器，完成安裝！,安裝過(guò)程,.,環(huán)境二：服務(wù)端和客戶端分開(kāi)部署,.,PowerCenter首先被安裝。終端上安裝PWXNavigator。安裝PWX軟件，修改終端上的dbmover.

14、cfg。NODE=(Server_A,TCPIP,10.1.1.100,2480)/*連接Server_A其中，Server_A是節(jié)點(diǎn)名稱(chēng)，在注冊(cè)捕獲定義時(shí)需要引用該節(jié)點(diǎn)名稱(chēng)。10.1.1.100是被監(jiān)測(cè)數(shù)據(jù)庫(kù)所在主機(jī)的IP地址。2480是監(jiān)聽(tīng)端口號(hào)。Server_A上安裝PWX軟件，修改Server_A上的dbmover.cfg。ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string)CAPT_XTRA=C:ProgramFilesInformaticaInformaticaPowerExchangeca

15、pturecamapsCAPT_PATH=C:ProgramFilesInformaticaInformaticaPowerExchangecaptureCAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id)注：1、ORACOLL的參數(shù)值Collection_id應(yīng)與ORACLEID中的Collection_id一致。2、目錄capt

16、ure和camap需要手動(dòng)創(chuàng)建。,服務(wù)端和客戶端分開(kāi)部署安裝配置要點(diǎn),.,Registrations,InformaticaPowerCenter,InformaticaPowerExchange,PWXPC,Oracle,OracleLogs,PowerCenterClient,PWX,PWXPC,PWXListener,主機(jī)Server_B是PowerCenterServer。需安裝PWX。PWXListener是必需的。,主機(jī)Server_A為OracleServer。,Server_A:10.1.1.100,Server_B:10.2.2.200,環(huán)境三(1)：服務(wù)分開(kāi)部署用SQL*N

17、et訪問(wèn)遠(yuǎn)程O(píng)racle,.,PowerCenter首先被安裝。終端上安裝PWXNavigator。安裝PWX軟件，修改終端上的dbmover.cfg。NODE=(Server_B,TCPIP,10.2.2.200,2480)/*連接Server_BServer_B上安裝PWX軟件，修改Server_B上的dbmover.cfg。ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string)CAPT_XTRA=C:ProgramFilesInformaticaInformaticaPowerExchangecap

18、turecamapsCAPT_PATH=C:ProgramFilesInformaticaInformaticaPowerExchangecaptureCAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id)注：1、ORACOLL的參數(shù)值Collection_id應(yīng)與ORACLEID中的Collection_id一致。2、目錄captu

19、re和camap需要手動(dòng)創(chuàng)建。,服務(wù)分開(kāi)部署SQL*Net訪問(wèn)遠(yuǎn)程O(píng)racle安裝配置要點(diǎn),.,環(huán)境三(2)：服務(wù)分開(kāi)部署用PWXListener訪問(wèn)遠(yuǎn)程O(píng)racle,RegistrationDataMaps,InformaticaPowerCenter,InformaticaPowerExchange,PWXListener,PWXPC,Oracle,OracleLogs,主機(jī)Server_A為OracleServer。PWXListener必需安裝。,主機(jī)Server_B是PowerCenterServer。PWX必需安裝(listener不需要配置),Server_A:10.1.1.10

20、0,Server_B:10.2.2.200,.,PowerCenter首先被安裝。終端上安裝PWXNavigator。安裝PWX軟件，修改終端上的dbmover.cfg。NODE=(Server_A,TCPIP,10.1.1.100,2480)/*連接Server_AServer_A上安裝PWX軟件，修改Server_A上的dbmover.cfg。ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string)CAPT_XTRA=C:ProgramFilesInformaticaInformaticaPowerEx

21、changecapturecamapsCAPT_PATH=C:ProgramFilesInformaticaInformaticaPowerExchangecaptureCAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id)Server_B上安裝PWX軟件，修改Server_B上的dbmover.cfgNODE=(Server_A,T

22、CPIP,10.1.1.100,2480)/*連接Server_A,服務(wù)分開(kāi)部署PWXListener訪問(wèn)遠(yuǎn)程O(píng)racle安裝配置要點(diǎn),.,Oracle設(shè)置要點(diǎn),.,體系結(jié)構(gòu)安裝介紹注冊(cè)數(shù)據(jù)源PWX與PC集成,學(xué)習(xí)內(nèi)容,.,ResourcesDataCapture,DataCapture只能被用做實(shí)現(xiàn)ChangeDataCapture,ApplicationGroups顯示被抽取的信息，并支持用戶reset下次抽取進(jìn)程的時(shí)間。（數(shù)據(jù)庫(kù)連接信息，抽取開(kāi)始、結(jié)束時(shí)間等。）ExtractionGroups包含被指定注冊(cè)表的中被抽取的表/字段。RegistrationGroups所包含僅為Change

23、DataCapture的注冊(cè)表的信息。,說(shuō)明:增加RegistrationGroup會(huì)自動(dòng)創(chuàng)建Extraction和Applicationgroups。,.,輸入RegistrationGroup邏輯名,選擇要在RegistrationGroup中注冊(cè)的服務(wù)器。Location下拉框中列出的是Client端dbmover.cfg配置文件中配置的所有節(jié)點(diǎn)。,添加RegistrationGroup,選擇數(shù)據(jù)源類(lèi)型,輸入被選數(shù)據(jù)源的用戶名和密碼,輸入在DBMOVER.CFG中定義的連接名。必須與Listener端dbmover.cfg中的collection_id一致。,如果想在添加Registra

24、tionGroup之后馬上添加CaptureRegistration，則勾選復(fù)選框。如果清除復(fù)選框的勾選，“下一步”按鈕會(huì)自動(dòng)變?yōu)椤巴瓿伞卑粹o。一個(gè)RegistrationGroup下可以有多個(gè)CaptureRegistration。,.,添加CaptureRegistration-表和字段信息,輸入表的邏輯名,輸入表的owner,輸入表名,雙擊表名得到表字段list,勾選希望監(jiān)控的列。其中帶有key標(biāo)志的列是該表的索引列。如果被監(jiān)測(cè)的表沒(méi)有任何索引列，則所有的列都需捕獲。,.,添加CaptureRegistration-CDC信息,選擇CDC狀態(tài)。Acitve，Registration會(huì)立即

25、生效；Inactive，所定義的Registration不會(huì)被Collectionagent立即使用。,Condense：設(shè)置是否生成壓縮文件保留對(duì)源庫(kù)數(shù)據(jù)行提交的所有更新。None=Real-time;Part=Change,設(shè)置SupplementalLog的名稱(chēng)，在本步驟中，系統(tǒng)會(huì)自動(dòng)生成設(shè)置SupplementalLogging的DDL。,勾選，系統(tǒng)會(huì)在當(dāng)前步驟完成時(shí)立即執(zhí)行所產(chǎn)生的DDL。清除勾選，用戶需要手動(dòng)執(zhí)行相應(yīng)的DDL文件。在執(zhí)行實(shí)時(shí)監(jiān)控之前，必須運(yùn)行該DDL以設(shè)置SupplementalLogging，否則實(shí)時(shí)捕獲將不起作用。,.,在本地保存執(zhí)行的DDL。,一旦保存DDL后

26、,該DDL將被執(zhí)行在指定表上啟動(dòng)SupplementLogging。,添加CaptureRegistration-執(zhí)行DDL,.,ExtractionDefinition-RowTest,使用RowTest功能可以隨機(jī)查詢出一個(gè)ExtractionGroup的變化數(shù)據(jù)。,DTL_字段提供一組信息，如什么時(shí)間，什么地方，被誰(shuí)執(zhí)行過(guò)怎么的操作等信息，和實(shí)際數(shù)據(jù)一起顯示。,.,ExtractionDefinition-RowTest,.,ExtractionDefinition-AdvancedOptions,設(shè)置執(zhí)行Logminer的超時(shí)時(shí)間，不是Logminer的初始化時(shí)間。,從定義oracle

27、信息：OracleInstance:OracleConnectionString:OracleSchema:,Extract：SL、RS。SL：抽取從上次抽取之后的所有數(shù)據(jù)。RS：重復(fù)抽取上一次的抽取。,Image：BA、AI、TU。BA：以Update、Delete、Insert記錄的方式捕獲修改前和修改后的值。AI：只捕獲最近一次修改的修改后的值。TU：捕獲修改前和修改后的值，用indicator標(biāo)識(shí)變更類(lèi)型。,.,體系結(jié)構(gòu)安裝介紹注冊(cè)數(shù)據(jù)源PWX與PC集成,學(xué)習(xí)內(nèi)容,.,PowerExchange與PowerCenter的集成是通過(guò)PowerExchangeInterfacesforPowerCenter完成。在運(yùn)行PowerCenter的機(jī)器上安裝PowerExchange之后，PowerExchangeInterfacesforPowerCenter會(huì)被自動(dòng)安裝，無(wú)需單獨(dú)安裝。,概述,PowerExchangeInterfacesforPowerCenter分為兩種：PowerExchangeCl