InformaticaPowerCenter培訓(xùn),李婧2010-04,電話SN：xiche,第一天,產(chǎn)品體系介紹產(chǎn)品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試,INFA產(chǎn)品線,INFA支持情況,PowerCenter選件,豐富的ETL功能,Real-Time實時功能Partitioning分區(qū)功能HighAvailability高可靠性功能Pushdown功能EnterpriseGrid網(wǎng)格功能Team-basedDevelopment團隊開發(fā)功能MetadataExchange元數(shù)據(jù)交換功能UnstructuredData非結(jié)構(gòu)化數(shù)據(jù)功能Visio模板Mapping生成器功能DataFederation數(shù)據(jù)聯(lián)邦功能DataProfiling數(shù)據(jù)質(zhì)量探查功能,異構(gòu)數(shù)據(jù)源，異構(gòu)目標實現(xiàn)多種緩慢變化維全局變量及參數(shù)，參數(shù)文件局部變量，前后記錄比較條件匯總異構(gòu)數(shù)據(jù)源關(guān)聯(lián)行/列轉(zhuǎn)換靜態(tài)、動態(tài)Lookup支持ETL事務(wù)處理自定義SQLPreSQL和PostSQL復(fù)用組件復(fù)用Mapping調(diào)用存儲過程調(diào)用外部用戶自定義過程可視化Debug強大函數(shù)支持、豐富轉(zhuǎn)換語言,數(shù)據(jù)源為文件列表SessionRecovery基于多目標表約束裝載錯誤數(shù)量控制FTP源和FTP目標ETL任務(wù)分區(qū)增量匯總測試裝載BulkLoadingExternalLoader(Oracle、DB2.)復(fù)用Workflow功能豐富的Workflow控制任務(wù)串行、并行控制基于時間、事件和指示文件觸發(fā)任務(wù)Workflow中調(diào)用OS外部命令Workflow中調(diào)用Email多ETLServer協(xié)同工作,InformaticaPowerCenter應(yīng)用架構(gòu),PowerCenterServer和數(shù)據(jù)移動,PowerCenterServer、資料庫、源和目標之間的處理路徑,PowerCenter產(chǎn)品組件,服務(wù)端組件客戶端組件,第一天,產(chǎn)品體系介紹產(chǎn)品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試,產(chǎn)品安裝與樣例安裝,產(chǎn)品安裝服務(wù)器安裝客戶端安裝詳見安裝手冊樣例安裝數(shù)據(jù)庫準備RDBU（資料庫數(shù)據(jù)庫）SDBU（樣例源數(shù)據(jù)庫）TDBU（樣例目標數(shù)據(jù)庫）BDBU（樣例參考數(shù)據(jù)庫）樣例數(shù)據(jù)準備樣例參考導(dǎo)入,第一天,產(chǎn)品體系介紹產(chǎn)品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試,系統(tǒng)管理,InformaticaServer管理http:/localhost:6001DomainManagerNodeManagerRepositoryServiceManagerIntegrationServiceManagerLicenseManager資料庫內(nèi)容管理RepositoryManagerFolderManagerPrivilegeManager,第一天,產(chǎn)品體系介紹產(chǎn)品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試,開發(fā)六大步驟示意圖,定義源定義目標創(chuàng)建映射定義任務(wù)創(chuàng)建工作流工作流調(diào)度監(jiān)控,Designer:WorkflowManager:WorkflowMonitor:,第一步：定義源,引入源的類型RelationaldatabaseFlatfileCOBOLfileXMLobjectApplication,源分析器,InformaticaService,ODBCMappedDriveNFSMountingLocalDirectory,SaveMetaDataofSources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_,第二步：定義目標,引入目標的類型RelationaldatabaseFlatfileCOBOLfileXMLobjectApplication,目標分析器,SaveMetaDataofTargets:OPB_TARGOPB_TARG_OPB_TARG_FLDOPB_TARG_FLD_,第三步：創(chuàng)建映射,第四步：定義任務(wù),第五步：定義工作流,第六步：工作流調(diào)度監(jiān)控,第一天,產(chǎn)品體系介紹產(chǎn)品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試,數(shù)據(jù)轉(zhuǎn)換調(diào)試,組件介紹Expression組件Filter與RouterJoiner與LookupAggregator組件,第二天,組件列表,SourceQualifier:從數(shù)據(jù)源讀取數(shù)據(jù)Expression:行級轉(zhuǎn)換Filter:數(shù)據(jù)過濾Sorter:數(shù)據(jù)排序Aggregator:聚合Joiner:異構(gòu)數(shù)據(jù)關(guān)接連接Lookup:查詢連接UpdateStrategy:對目標編輯insert,update,delete,rejectRouter:條件分發(fā)SequenceGenerator:序列號生成器,組件列表,Normalizer:記錄規(guī)范化Rank:對記錄進行TOPxUnion:數(shù)據(jù)合并TransactionControl:對裝載數(shù)據(jù)按條件進行事務(wù)控制StoredProcedure:存儲過程組件Custom:用戶自定義組件HTTP:WWW組件Java:Java自編程組件,其它應(yīng)用組件,組件類型,Passive組件流入流出組件的行數(shù)不發(fā)生變化例如：Expression、Lookup、HTTP組件Active組件流入流出組件的行數(shù)會發(fā)生變化例如：Aggregator、Router、Filter組件,P,A,函數(shù)分類,聚合函數(shù)字符串函數(shù)轉(zhuǎn)換函數(shù)數(shù)據(jù)清洗函數(shù)日期函數(shù)編碼函數(shù)財務(wù)函數(shù)數(shù)值函數(shù)數(shù)學(xué)函數(shù)特有函數(shù)判斷函數(shù)用戶自定義函數(shù),函數(shù)列表,組件介紹Expression組件SourceQualifier、Filter與RouterJoiner與LookupAggregator組件,第二天,Expression組件,組件功能基于行級的數(shù)據(jù)項賦值、修改、計算在同行記錄中可新增、減少數(shù)據(jù)項組件類型Passive組件應(yīng)用范圍數(shù)據(jù)類型轉(zhuǎn)換，例如Expression：to_date(Port1,yyyymmdd)數(shù)據(jù)項計算，例如Expression：(Port1+Port2)/Port3新增變量，例如Expression：i=i+1,Expression組件,練習(xí)一：Expression組件,描述將原始客戶信息記錄轉(zhuǎn)換成合格標準的數(shù)據(jù)導(dǎo)入到暫存區(qū)。源表：customer_east.txtcustomer_west.txtcustomer_central.txt目標：TDBU.STG_CUSTOMERS要點姓與名合并為姓名；電話號碼轉(zhuǎn)換成易讀格式的電話號碼，如：(466)766-283；性別轉(zhuǎn)換，將F轉(zhuǎn)換成FEMALE、M轉(zhuǎn)換成MALE、其它轉(zhuǎn)換成UNK；年齡分段，20歲以下、2029、3039、4049、5060、60歲以上；解決方案詳見m_LAB_01,組件介紹Expression組件SourceQualifier、Filter與RouterJoiner與LookupAggregator組件,第二天,SourceQualifier、Filter組件,組件功能對流入組件中的記錄數(shù)據(jù)進行過濾類似于關(guān)系型數(shù)據(jù)庫Where應(yīng)用與SourceQualifier的過濾功能區(qū)別在執(zhí)行位置上組件類型Active組件應(yīng)用范圍數(shù)據(jù)過濾,SourceQualifier、Filter組件,注意：在SourceQualifier中的UserDefinedJoin、SourceFilter、NumberofSortedPorts中定義了SQL條件，那么，在SqlQuery中就不要在重寫相關(guān)的SQL條件，否則，將不會生效。,Router組件,組件功能對流入組件中的記錄數(shù)據(jù)按照條件進行分發(fā)類似于Java語言中的Switch語句組件類型Active組件應(yīng)用范圍數(shù)據(jù)分發(fā),Router組件,練習(xí)二,描述將暫存區(qū)的客戶信息按照性別分別導(dǎo)入到男、女、性別不明三張表內(nèi)。源表：TDBU.STG_CUSTOMERS目標：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要點償試用Filter組件多種方法對目標進行裝載解決方案詳見m_LAB_02,練習(xí)三,描述將暫存區(qū)的客戶信息按照性別分別導(dǎo)入到男、女、性別不明三張表內(nèi)。源表：TDBU.STG_CUSTOMERS目標：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要點使用Router組件對數(shù)據(jù)進行分發(fā)比較Filter與Router各種方法的應(yīng)用特點、性能解決方案詳見m_LAB_03,組件介紹Expression組件SourceQualifier、Filter與RouterJoiner與LookupAggregator組件,第二天,Joiner組件,組件功能對異構(gòu)數(shù)據(jù)進行關(guān)聯(lián)（同構(gòu)關(guān)聯(lián)用SourceQualify組件）類似于SQL中的Join語句組件類型Active組件應(yīng)用范圍2個異構(gòu)數(shù)據(jù)類型的表關(guān)聯(lián),同構(gòu)Joins與異構(gòu)Joins,同構(gòu)Joins,同種結(jié)構(gòu)數(shù)據(jù)SourceQualify組件從源直接Joinsn個源可用1個SQ組件在源中先定義連接關(guān)系,異構(gòu)Joins,不同DB或Flat與Flat之間Joiner組件在PowerCenter中Joinsn-1個Joiner組件在Joiner中定義連接條件,Joiner組件,Join類型,練習(xí)四,描述將員工信息與員工工資2個異構(gòu)表關(guān)聯(lián)后，將關(guān)聯(lián)結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標：TDBU.STG_EMPLOYEES要點用Joiner組件進行Mapping設(shè)計注意Master與Detail的設(shè)置選擇(關(guān)聯(lián)時建議將數(shù)據(jù)量少的設(shè)置為Master.)解決方案詳見m_LAB_04,練習(xí)五,描述將員工信息與員工工資2個同構(gòu)表關(guān)聯(lián)后，將關(guān)聯(lián)結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：SDBU.EMPLOYEESSDBU.SALARY目標：TDBU.STG_EMPLOYEES要點用SourceQualify組件進行Mapping設(shè)計注意關(guān)聯(lián)關(guān)系設(shè)置建議N個同構(gòu)數(shù)據(jù)源只需用1個SourceQualifier組件關(guān)聯(lián)，關(guān)聯(lián)時建議將在Source設(shè)計區(qū)將需要關(guān)聯(lián)的源表手工用連線關(guān)聯(lián)起來，在Mapping設(shè)計區(qū)刪除各個源所帶的SourceQualifier組件，用一個新的SourceQualifier組件包含所有源的字段內(nèi)容。解決方案詳見m_LAB_05,Lookup組件,組件功能對FlatFile或數(shù)據(jù)庫根據(jù)關(guān)聯(lián)的條件進行查詢返回符合條件的值，否則為空連接關(guān)聯(lián)與非連接關(guān)聯(lián)類似于SQL中的Join語句組件類型Passive組件應(yīng)用范圍查詢文本文件的關(guān)聯(lián)數(shù)據(jù)查詢數(shù)據(jù)庫的關(guān)聯(lián)數(shù)據(jù),連接Lookup與非連接Lookup,Lookup源,Lookup組件,查詢條件：ITEM_ID=IN_ITEM_IDPRICE=IN_PRICE,流入值,查詢輸出值,流入值,查詢到的值,Lookup組件,組件,查詢條件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id),是否查詢Y,返回查詢到的值,Lookup組件,練習(xí)六,描述將員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認為0，最后將結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標：TDBU.STG_EMPLOYEES要點用連接Lookup組件進行Mapping設(shè)計注意Salary（FlatFile）的設(shè)置解決方案詳見m_LAB_06,練習(xí)七,描述將合格的員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認為0，最后將結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標：TDBU.STG_EMPLOYEES要點用非連接Lookup組件進行Mapping設(shè)計注意Salary（FlatFile）的設(shè)置注意數(shù)據(jù)查詢的條件解決方案詳見m_LAB_07,組件介紹Expression組件SourceQualifier、Filter與RouterJoiner與LookupAggregator組件,第二天,Aggregator組件,組件功能對數(shù)據(jù)集進行聚合聚合分有SUM、AVG、Count、Max、Min組件類型Active組件應(yīng)用范圍分組匯總平均值、最大值,Aggregator組件,Aggregator組件函數(shù),注意區(qū)別：SUM(IN_count,IIF(ID20,IN_count)將不符合條件的值默認賦值為nullIIF(ID20,SUM(IN_count)將不符合條件的值默認賦值為0,Aggregator組件屬性,Aggregator組件排序的區(qū)別,不對流入到Aggregator組件的數(shù)據(jù)進行排序,練習(xí)八,描述將采購清單按照數(shù)據(jù)倉庫星型設(shè)計原則進行標準化存儲，對貨物庫存量、訂單量和貨物費用按照采購編號、貨物品名、代理商、訂單日期、接收日期和發(fā)貨日期進行匯總。源表：TDBU.STG_INVENTORY目標：TDBU.FACT_INVENTORYLOOKUP表：產(chǎn)品維表為DIM_PRODUCT日期維表為DIM_DATE要點訂單文本文件與產(chǎn)品表的關(guān)聯(lián)匯總前排序分組匯總解決方案詳見m_LAB_08,第三天,UpdateStrategy組件UserDefinedFunctionJavaTransformation組件StoredProcedure組件,UpdateStrategy組件,組件功能對流過組件的每一條記錄賦一個操作標志根據(jù)操作標志對目標關(guān)系型數(shù)據(jù)庫表生成SQL操作操作標志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT組件類型Active組件應(yīng)用范圍數(shù)據(jù)增量更新對目標編輯,UpdateStrategy組件,練習(xí)九,描述將暫存區(qū)的發(fā)生變更了的員工信息倒入到員工維表中。源表：TDBU.STG_EMPLOYEES目標：TDBU.DIM_EMPLOYEES要點使用Router組件對數(shù)據(jù)按不同要求進行編輯操作償試用一個UpdateStrategy組件完成上述功能解決方案詳見m_LAB_09,第三天,UpdateStrategy組件UserDefinedFunctionJavaTransformation組件StoredProcedure組件,UserDefinedFunction,函數(shù)介紹用戶自定義函數(shù)可以在Designer中定義，在Expression中使用可以使用任何有效的函數(shù)（除了Aggregation函數(shù)），也可以使用在同一個文件夾里的其它UDFs在FCS中UDFs不支持快捷鍵，也就是說它們只能在自己被創(chuàng)建的文件夾中被訪問組件類型用戶自定義函數(shù)UDFs是文件夾級別的對象應(yīng)用范圍較少的字段形成的比較復(fù)雜的函數(shù)邏輯此函數(shù)邏輯在多個mapping中都使用,UserDefinedFunction,第三天,UpdateStrategy組件UserDefinedFunctionJavaTransformation組件StoredProcedure組件,JavaTransformation組件,組件功能調(diào)用現(xiàn)有的java程序，提供java接口對java程序進行編譯，并提供編譯結(jié)果組件類型ActiveorPassive應(yīng)用范圍對復(fù)雜的業(yè)務(wù)邏輯如果有寫好的java程序?qū)τ谟胕nfa實現(xiàn)比較麻煩的業(yè)務(wù)邏輯,JavaTransformation組件,第三天,UpdateStrategy組件UserDefinedFunctionJavaTransformation組件StoredProcedure組件,StoredProcedure組件,組件功能調(diào)用現(xiàn)有的存儲過程被調(diào)用的存儲過程有無參數(shù)都可一個mapping中可調(diào)用多個存儲過程，并可設(shè)定執(zhí)行順序組件類型ActiveorPassive應(yīng)用范圍對復(fù)雜的業(yè)務(wù)邏輯如果有寫好的存儲過程對于用infa實現(xiàn)比較麻煩的業(yè)務(wù)邏輯,StoredProcedure組件,可以選擇執(zhí)行時間,目標表插入數(shù)據(jù)后執(zhí)行,練習(xí)十,實例描述將原始客戶信息記錄轉(zhuǎn)換成合格標準的數(shù)據(jù)倒入到暫存區(qū)，轉(zhuǎn)換處理在存儲過程中完成源表：customer_east.txtcustomer_west.txtcustomer_central.txt目標：TDBU.STG_CUSTOMERS解決方案見存儲過程EMP_INFA_TRANSFORM詳見m_LAB_13,第四天,增量抽取實例參數(shù)文件控制斷點續(xù)傳實例行列轉(zhuǎn)換實例,增量抽取實例,實例描述對流過組件的每一條記錄賦一個操作標志根據(jù)操作標志對目標關(guān)系型數(shù)據(jù)庫表生成SQL操作操作標志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT解決方案全表比較方法時間戳方法詳見m_LAB_10字段壓縮比較PowerExchange,第四天,增量抽取實例參數(shù)文件控制斷點續(xù)傳實例行列轉(zhuǎn)換實例,參數(shù)與變量存在的三種形式,系統(tǒng)級變量SYSDATE系統(tǒng)日期SESSSTARTTIMESESSION啟動時間$SessStartTime返回Session啟動時間的字符串值Mapping級參數(shù)與變量SETMAXVARIABLE($Variable,value)設(shè)置最大值變量SETMINVARIABLE($Variable,value)設(shè)置最小值變量SETVARIABLE($Variable,value)設(shè)置變量值SETCOUNTVARIABLE($Variable)設(shè)置遞增、減變量文件級參數(shù)與變量固定格式,Mapping參數(shù)與變量形式,從Designer中的Mappings/Mapplets菜單中進行定義在相應(yīng)的Mapping或Mapplet中進行引用即可,參數(shù)文件形式,全局變量,域級服務(wù)變量,節(jié)點級服務(wù)處理變量,Workflow級變量優(yōu)先于前幾級定義的變量,參數(shù)文件設(shè)置,Workflow參數(shù)文件設(shè)置,參數(shù)文件的級別規(guī)則,GLOBAL,SERVICE,SERVICEPROCESS,WORKFLOW,SESSION,使用范圍,執(zhí)行優(yōu)先權(quán),高,低,低,高,Mapping與Workflow/Worklet之間進行變量傳遞,使用不同參數(shù)文件并行運行同一個Workflow,參數(shù)文件實例,實例描述對源文本文件名進行參數(shù)化對源表名進行參數(shù)化對目標輸出文本文件名進行參數(shù)化對源與目標的數(shù)據(jù)庫連接進行參數(shù)化對日志文件及路徑進行參數(shù)化解決方案詳見m_LAB_11注意事項注意變量的命名規(guī)則：特別是固定的前綴,第四天,增量抽取實例參數(shù)文件控制斷點續(xù)傳實例行列轉(zhuǎn)換實例,斷點續(xù)傳實例,實例描述當在數(shù)據(jù)抽取時，因意外致使數(shù)據(jù)抽取發(fā)生中斷，重新啟動服務(wù)時仍可從斷點執(zhí)行數(shù)據(jù)抽取解決方案通過表pm_recovery和PM_TGT_RUN_ID記載最近提交點的位置，當session失敗(或停止)后可從斷點處接著裝載數(shù)據(jù)，在monitor中，recovertask。在源表數(shù)據(jù)未發(fā)生變化的前提下詳見m_LAB_12監(jiān)控腳本select*frompm_recovery;selectrow_countfrompm_recovery;select*fromPM_TGT_RUN_ID;selectcount(*)fromSessionRecovery_Target;truncatetableSessionRecovery_Target;,斷點續(xù)傳實例,第四天,增量抽取實例參數(shù)文件控制斷點續(xù)傳實例行列轉(zhuǎn)換實例,列行轉(zhuǎn)換實例,實例描述源數(shù)據(jù)一條記錄有多個字段格式一樣，經(jīng)過格式化，到目標生成多條記錄，并且只保留一個該格式字段。解決方案使用Normalizer組件，實現(xiàn)列/行轉(zhuǎn)變詳見m_LAB_14_1行列轉(zhuǎn)轉(zhuǎn)用Aggregator組件實現(xiàn)，詳見m_LAB_14_2,第五天,系統(tǒng)性能調(diào)優(yōu)Partition功能,瓶頸類型,Source瓶頸Target瓶頸Mapping瓶頸Session瓶頸System瓶頸,Source調(diào)優(yōu),源為文本文件調(diào)優(yōu)LineSequentialBufferLength(1024)源為關(guān)系型數(shù)據(jù)庫在SourceQualify優(yōu)化SQL在源數(shù)據(jù)增加索引增加DatabasenetworkPacketsize當DB跟Informatica在同一機器上，使用IPC協(xié)議,Target調(diào)優(yōu),目標為文本文件調(diào)優(yōu)LineSequentialBufferLength(1024)目標為關(guān)系型數(shù)據(jù)庫刪除目標索引和約束增加checkpointinterval使用Bulkloading和ExternalLoading增加DatabasenetworkPacketsizeOra