1、Informatica PowerCenter 培訓,產(chǎn)品體系介紹 產(chǎn)品安裝配置 系統(tǒng)管理介紹 開發(fā)六大步驟 組件介紹,INFA產(chǎn)品線,INFA支持情況,PowerCenter選件,豐富的ETL功能,Real-Time 實時功能 Partitioning 分區(qū)功能 High Availability 高可靠性功能 Pushdown 功能 Enterprise Grid網(wǎng)格功能 Team-based Development 團隊開發(fā)功能 Metadata Exchange 元數(shù)據(jù)交換功能 Unstructured Data 非結構化數(shù)據(jù)功能 Visio 模板Mapping生成器功能 Data F

2、ederation 數(shù)據(jù)聯(lián)邦功能 Data Profiling 數(shù)據(jù)質(zhì)量探查功能,異構數(shù)據(jù)源，異構目標 實現(xiàn)多種緩慢變化維 全局變量及參數(shù)，參數(shù)文件 局部變量，前后記錄比較 條件匯總 異構數(shù)據(jù)源關聯(lián) 行/列轉換 靜態(tài)、動態(tài)Lookup支持 ETL事務處理 自定義SQL Pre SQL和Post SQL 復用組件 復用Mapping 調(diào)用存儲過程 調(diào)用外部用戶自定義過程 可視化Debug 強大函數(shù)支持、豐富轉換語言,數(shù)據(jù)源為文件列表 Session Recovery 基于多目標表約束裝載 錯誤數(shù)量控制 FTP 源和FTP目標 ETL任務分區(qū) 增量匯總 測試裝載 Bulk Loading Exte

3、rnal Loader (Oracle、DB2.) 復用Workflow 功能豐富的Workflow控制 任務串行、并行控制 基于時間、事件和指示文件觸發(fā) 任務 Workflow中調(diào)用OS外部命令 Workflow中調(diào)用Email 多ETL Server協(xié)同工作 ,Informatica PowerCenter應用架構,PowerCenter Server和數(shù)據(jù)移動,PowerCenter Server、資料庫、源和目標之間的處理路徑,PowerCenter產(chǎn)品組件,服務端組件 客戶端組件,產(chǎn)品體系介紹 產(chǎn)品安裝配置 系統(tǒng)管理介紹 開發(fā)六大步驟 組件介紹,產(chǎn)品安裝與樣例安裝,產(chǎn)品安裝 服務器安

4、裝 客戶端安裝 詳見安裝手冊 樣例安裝 數(shù)據(jù)庫準備 RDBU （資料庫數(shù)據(jù)庫） SDBU （樣例源數(shù)據(jù)庫） TDBU （樣例目標數(shù)據(jù)庫） BDBU （樣例參考數(shù)據(jù)庫） 樣例數(shù)據(jù)準備 樣例參考導入,產(chǎn)品體系介紹 產(chǎn)品安裝配置 系統(tǒng)管理介紹 開發(fā)六大步驟 組件介紹,系統(tǒng)管理,Informatica Server管理 http:/localhost:6001 Domain Manager Node Manager Repository Service Manager Integration Service Manager License Manager 資料庫內(nèi)容管理 Repository Mana

5、ger Folder Manager Privilege Manager ,產(chǎn)品體系介紹 產(chǎn)品安裝配置 系統(tǒng)管理介紹 開發(fā)六大步驟 組件介紹,開發(fā)六大步驟示意圖,定義源 定義目標 創(chuàng)建映射 定義任務 創(chuàng)建工作流 工作流調(diào)度監(jiān)控,Designer: Workflow Manager: Workflow Monitor: ,第一步：定義源,引入源的類型 Relational database Flat file COBOL file XML object Application,源分析器,Informatica Service,ODBC Mapped Drive NFS Mounting Loca

6、l Directory,Save Meta Data of Sources: OPB_SRC OPB_SRC_ OPB_SRC_FLD OPB_SRC_FLD_ ,第二步：定義目標,引入目標的類型 Relational database Flat file COBOL file XML object Application,目標分析器,Save Meta Data of Targets: OPB_TARG OPB_TARG_ OPB_TARG_FLD OPB_TARG_FLD_ ,第三步：創(chuàng)建映射,第四步：定義任務,第五步：定義工作流,第六步：工作流調(diào)度監(jiān)控,產(chǎn)品體系介紹 產(chǎn)品安裝配置 系統(tǒng)管

7、理介紹 開發(fā)六大步驟 組件介紹,組件列表,Source Qualifier: 從數(shù)據(jù)源讀取數(shù)據(jù) Expression: 行級轉換 Filter: 數(shù)據(jù)過濾 Sorter: 數(shù)據(jù)排序 Aggregator: 聚合 Joiner: 異構數(shù)據(jù)關接連接 Lookup: 查詢連接 Update Strategy: 對目標編輯 insert, update, delete, reject Router: 條件分發(fā) Sequence Generator: 序列號生成器,組件列表,Normalizer: 記錄規(guī)范化 Rank: 對記錄進行TOPx Union: 數(shù)據(jù)合并 Transaction Control

8、: 對裝載數(shù)據(jù)按條件進行事務控制 Stored Procedure: 存儲過程組件 Custom: 用戶自定義組件 HTTP: WWW組件 Java: Java自編程組件,其它應用組件,組件類型,Passive組件 流入流出組件的行數(shù)不發(fā)生變化 例如：Expression、Lookup、HTTP組件 Active組件 流入流出組件的行數(shù)會發(fā)生變化 例如：Aggregator、Router、Filter組件,P,A,函數(shù)分類,聚合函數(shù) 字符串函數(shù) 轉換函數(shù) 數(shù)據(jù)清洗函數(shù) 日期函數(shù) 編碼函數(shù) 財務函數(shù) 數(shù)值函數(shù) 數(shù)學函數(shù) 特有函數(shù) 判斷函數(shù) 用戶自定義函數(shù),函數(shù)列表,Expression組件 So

9、urce Qualifier、 Filter與Router Joiner與Lookup,Expression組件,組件功能 基于行級的數(shù)據(jù)項賦值、修改、計算 在同行記錄中可新增、減少數(shù)據(jù)項 組件類型 Passive組件 應用范圍 數(shù)據(jù)類型轉換，例如Expression：to_date(Port1,yyyymmdd) 數(shù)據(jù)項計算，例如Expression：(Port1+Port2)/Port3 新增變量，例如Expression： i=i+1,Expression組件,練習一：Expression組件,描述 將原始客戶信息記錄轉換成合格標準的數(shù)據(jù)導入到暫存區(qū)。 源表： customer_east

10、.txt customer_west.txt customer_central.txt 目標： TDBU.STG_CUSTOMERS 要點 姓與名合并為姓名； 電話號碼轉換成易讀格式的電話號碼，如：(466)766-283； 性別轉換，將F 轉換成FEMALE、M 轉換成MALE、其它轉換成UNK； 年齡分段，20 歲以下29、3039、4049、5060、60 歲以上； 解決方案 詳見m_LAB_01,Expression組件 Source Qualifier、 Filter與Router Joiner與Lookup,Source Qualifier、Filter組件,組件功能 對流入組件中

11、的記錄數(shù)據(jù)進行過濾 類似于關系型數(shù)據(jù)庫Where應用 與Source Qualifier的過濾功能區(qū)別在執(zhí)行位置上 組件類型 Active組件 應用范圍 數(shù)據(jù)過濾,Source Qualifier、Filter組件,注意： 在Source Qualifier中的 User Defined Join、 Source Filter、 Number of Sorted Ports中定義了SQL條件，那么，在Sql Query中就不要在重寫相關的SQL條件，否則，將不會生效。,Router組件,組件功能 對流入組件中的記錄數(shù)據(jù)按照條件進行分發(fā) 類似于Java語言中的Switch語句 組件類型 Acti

12、ve組件 應用范圍 數(shù)據(jù)分發(fā),Router組件,練習二,描述 將暫存區(qū)的客戶信息按照性別分別導入到男、女、性別不明三張表內(nèi)。 源表： TDBU.STG_CUSTOMERS 目標： TDBU.STG_CUSTOMERS_FEMALE TDBU.STG_CUSTOMERS_MALE TDBU.STG_CUSTOMERS_UNK 要點 償試用Filter組件多種方法對目標進行裝載 解決方案 詳見m_LAB_02,練習三,描述 將暫存區(qū)的客戶信息按照性別分別導入到男、女、性別不明三張表內(nèi)。 源表： TDBU.STG_CUSTOMERS 目標： TDBU.STG_CUSTOMERS_FEMALE TDB

13、U.STG_CUSTOMERS_MALE TDBU.STG_CUSTOMERS_UNK 要點 使用Router組件對數(shù)據(jù)進行分發(fā) 比較Filter與Router各種方法的應用特點、性能 解決方案 詳見m_LAB_03,Expression組件 Source Qualifier、 Filter與Router Joiner與Lookup,Joiner組件,組件功能 對異構數(shù)據(jù)進行關聯(lián)（同構關聯(lián)用Source Qualify組件） 類似于SQL 中的Join語句 組件類型 Active組件 應用范圍 2個異構數(shù)據(jù)類型的表關聯(lián),同構Joins與異構Joins,同構Joins,同種結構數(shù)據(jù) Source

14、 Qualify組件 從源直接Joins n個源可用1個SQ組件 在源中先定義連接關系,異構Joins,不同DB或Flat與Flat之間 Joiner組件 在PowerCenter中Joins n-1個Joiner組件 在Joiner中定義連接條件,Joiner組件,Join類型,練習四,描述 將員工信息與員工工資2個異構表關聯(lián)后，將關聯(lián)結果數(shù)據(jù)倒入到暫存區(qū)。 源表： Employees_layout結構 Employees_list.txt文件目錄 Employees_east.txt Employees_west.txt Employees_central.txt Salary.txt 目

15、標： TDBU.STG_EMPLOYEES 要點 用Joiner組件進行Mapping設計 注意Master與Detail的設置選擇(關聯(lián)時建議將數(shù)據(jù)量少的設置為Master.) 解決方案 詳見m_LAB_04,練習五,描述 將員工信息與員工工資2個同構表關聯(lián)后，將關聯(lián)結果數(shù)據(jù)倒入到暫存區(qū)。 源表： SDBU.EMPLOYEES SDBU.SALARY 目標： TDBU.STG_ EMPLOYEES 要點 用Source Qualify組件進行Mapping設計 注意關聯(lián)關系設置 建議 N個同構數(shù)據(jù)源只需用1個Source Qualifier組件關聯(lián)，關聯(lián)時建議將在Source設計區(qū)將需要關聯(lián)

16、的源表手工用連線關聯(lián)起來，在Mapping設計區(qū)刪除各個源所帶的Source Qualifier組件，用一個新的Source Qualifier組件包含所有源的字段內(nèi)容。 解決方案 詳見m_LAB_05,Lookup組件,組件功能 對Flat File或數(shù)據(jù)庫根據(jù)關聯(lián)的條件進行查詢 返回符合條件的值，否則為空 連接關聯(lián)與非連接關聯(lián) 類似于SQL 中的Join語句 組件類型 Passive組件 應用范圍 查詢文本文件的關聯(lián)數(shù)據(jù) 查詢數(shù)據(jù)庫的關聯(lián)數(shù)據(jù),連接Lookup與非連接Lookup,Lookup源,Lookup組件,查詢條件：ITEM_ID = IN_ITEM_ID PRICE = IN_P

17、RICE,流入值,查詢輸出值,流入值,查詢到的值,Lookup組件,組件,查詢條件：IIF(ISNULL(customer_id), :lkp.MYLOOKUP(order_no),customer_id),是否查詢 Y,返回查詢到的值,Lookup組件,練習六,描述 將員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認為0，最后將結果數(shù)據(jù)倒入到暫存區(qū)。 源表： Employees_layout結構 Employees_list.txt文件目錄 Employees_east.txt Employees_west.txt Employees_central.txt Salary.txt

18、 目標： TDBU.STG_EMPLOYEES 要點 用連接Lookup組件進行Mapping設計 注意Salary（Flat File）的設置 解決方案 詳見m_LAB_06,練習七,描述 將合格的員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認為0，最后將結果數(shù)據(jù)倒入到暫存區(qū)。 源表： Employees_layout結構 Employees_list.txt文件目錄 Employees_east.txt Employees_west.txt Employees_central.txt Salary.txt 目標： TDBU.STG_EMPLOYEES 要點 用非連接Looku

19、p組件進行Mapping設計 注意Salary（Flat File）的設置 注意數(shù)據(jù)查詢的條件 解決方案 詳見m_LAB_07,Aggregator組件 Update Strategy組件 Sequence Generator 其他組件簡介,Aggregator組件,組件功能 對數(shù)據(jù)集進行聚合 聚合分有SUM、AVG、Count、Max、Min 組件類型 Active組件 應用范圍 分組匯總 平均值、最大值,Aggregator組件,Aggregator組件函數(shù),注意區(qū)別： SUM ( IN_count , IIF ( ID 20, IN_count) )將不符合條件的值默認賦值為null I

20、IF ( ID 20 , SUM ( IN_count ) )將不符合條件的值默認賦值為0,Aggregator組件屬性,Aggregator組件排序的區(qū)別,不對流入到Aggregator組件的數(shù)據(jù)進行排序,練習八,描述 將采購清單按照數(shù)據(jù)倉庫星型設計原則進行標準化存儲，對貨物庫存量、訂單量和貨物費用按照采購編號、貨物品名、代理商、訂單日期、接收日期和發(fā)貨日期進行匯總。 源表： TDBU.STG_INVENTORY 目標： TDBU.FACT_INVENTORY LOOKUP表： 產(chǎn)品維表為DIM_PRODUCT 日期維表為DIM_DATE 要點 訂單文本文件與產(chǎn)品表的關聯(lián) 匯總前排序 分組匯

21、總 解決方案 詳見m_LAB_08,Aggregator組件 Update Strategy組件 Sequence Generator 其他組件簡介,Update Strategy組件,組件功能 對流過組件的每一條記錄賦一個操作標志 根據(jù)操作標志對目標關系型數(shù)據(jù)庫表生成SQL操作 操作標志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT 組件類型 Active組件 應用范圍 數(shù)據(jù)增量更新 對目標編輯,Update Strategy組件,練習九,描述 將暫存區(qū)的發(fā)生變更了的員工信息倒入到員工維表中。 源表： TDBU.STG_EMPLOYEES 目標： TDBU.

22、DIM_EMPLOYEES 要點 使用Router組件對數(shù)據(jù)按不同要求進行編輯操作 償試用一個Update Strategy組件完成上述功能 解決方案 詳見m_LAB_09,Aggregator組件 Update Strategy組件 Sequence Generator 其他組件簡介,Sequence Generator組件,Sequence Generator組件,練習一 多個目標，要生成重復和不重復的代理主鍵 Incresement by 10 current value 1001 1、 從SEQ_1中出來的nextval不經(jīng)過任何組件直接到目標表，源表的num字段也直接到目標表 2、從

23、SEQ_2中出來的nextval和currval經(jīng)過Expression組件直接到目標表，源表的num字段不經(jīng)過任何組件直接到目標表 3、從SEQ_3中出來的nextval和currval經(jīng)過Expression組件直接到目標表，源表的num字段也經(jīng)過Expression組件到目標表 4、從SEQ_4出來的currval直接連到目標表，nextval沒有輸出 參照：m_SequenceGenerator,增量抽取實例 參數(shù)文件控制 斷點續(xù)傳實例 存儲過程實例 行列轉換實例 系統(tǒng)性能調(diào)優(yōu),增量抽取實例,實例描述 對流過組件的每一條記錄賦一個操作標志 根據(jù)操作標志對目標關系型數(shù)據(jù)庫表生成SQL操作

24、 操作標志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT 解決方案 全表比較方法 時間戳方法詳見m_LAB_10 字段壓縮比較 PowerExchange,增量抽取實例 參數(shù)文件控制 斷點續(xù)傳實例 存儲過程實例 行列轉換實例 系統(tǒng)性能調(diào)優(yōu),參數(shù)與變量存在的三種形式,系統(tǒng)級變量 SYSDATE系統(tǒng)日期 SESSSTARTTIMESESSION啟動時間 $SessStartTime 返回Session啟動時間的字符串值 Mapping級參數(shù)與變量 SETMAXVARIABLE($Variable,value)設置最大值變量 SETMINVARIABLE($Vari

25、able,value)設置最小值變量 SETVARIABLE($Variable,value)設置變量值 SETCOUNTVARIABLE($Variable)設置遞增、減變量 文件級參數(shù)與變量 固定格式,Mapping參數(shù)與變量形式,從Designer 中的Mappings/Mapplets 菜單中進行定義 在相應的Mapping或Mapplet中進行引用即可,參數(shù)文件形式,全局變量,域級服務變量,節(jié)點級服務處理變量,Workflow級變量 優(yōu)先于前幾級定義的變量,參數(shù)文件設置,Workflow參數(shù)文件設置,參數(shù)文件的級別規(guī)則,GLOBAL,SERVICE,SERVICE PROCESS,W

26、ORKFLOW,SESSION,使用范圍,執(zhí)行優(yōu)先權,高,低,低,高,Mapping與Workflow/Worklet之間進行變量傳遞,使用不同參數(shù)文件并行運行同一個Workflow,參數(shù)文件實例,實例描述 對源文本文件名進行參數(shù)化 對源表名進行參數(shù)化 對目標輸出文本文件名進行參數(shù)化 對源與目標的數(shù)據(jù)庫連接進行參數(shù)化 對日志文件及路徑進行參數(shù)化 解決方案 詳見m_LAB_11 注意事項 注意變量的命名規(guī)則：特別是固定的前綴,增量抽取實例 參數(shù)文件控制 斷點續(xù)傳實例 存儲過程實例 行列轉換實例 系統(tǒng)性能調(diào)優(yōu),斷點續(xù)傳實例,實例描述 當在數(shù)據(jù)抽取時，因意外致使數(shù)據(jù)抽取發(fā)生中斷，重新啟動服務時仍可從

27、斷點執(zhí)行數(shù)據(jù)抽取 解決方案 通過表pm_recovery和PM_TGT_RUN_ID記載最近提交點的位置，當session失敗(或停止)后可從斷點處接著裝載數(shù)據(jù)，在monitor中，recover task。 在源表數(shù)據(jù)未發(fā)生變化的前提下 詳見m_LAB_12 監(jiān)控腳本 select * from pm_recovery ; select row_count from pm_recovery ; select * from PM_TGT_RUN_ID; select count(*) from SessionRecovery_Target ; truncate table SessionRec

28、overy_Target ;,斷點續(xù)傳實例,增量抽取實例 參數(shù)文件控制 斷點續(xù)傳實例 存儲過程實例 行列轉換實例 系統(tǒng)性能調(diào)優(yōu),存儲過程實例,實例描述 將原始客戶信息記錄轉換成合格標準的數(shù)據(jù)倒入到暫存區(qū)，轉換處理在存儲過程中完成 源表： customer_east.txt customer_west.txt customer_central.txt 目標： TDBU.STG_CUSTOMERS 解決方案 見存儲過程EMP_INFA_TRANSFORM 詳見m_LAB_13,增量抽取實例 參數(shù)文件控制 斷點續(xù)傳實例 存儲過程實例 行列轉換實例 系統(tǒng)性能調(diào)優(yōu),列行轉換實例,實例描述 源數(shù)據(jù)一條記錄

29、有多個字段格式一樣，經(jīng)過格式化，到目標生成多條記錄，并且只保留一個該格式字段。 解決方案 使用Normalizer組件，實現(xiàn)列/行轉變 詳見m_LAB_14_1 行列轉轉用Aggregator組件實現(xiàn)， 詳見m_LAB_14_2,增量抽取實例 參數(shù)文件控制 斷點續(xù)傳實例 存儲過程實例 行列轉換實例 系統(tǒng)性能調(diào)優(yōu),瓶頸類型,Source瓶頸 Target瓶頸 Mapping瓶頸 Session瓶頸 System瓶頸,Source調(diào)優(yōu),源為文本文件 調(diào)優(yōu)Line Sequential Buffer Length(1024) 源為關系型數(shù)據(jù)庫 在Source Qualify優(yōu)化SQL 在源數(shù)據(jù)增加索引 增加Database network Packet si