1、SQL Server Integration Services 架構(gòu)概觀,大綱,概覽 Business Intelligence Development Studio 與設(shè)計 SSIS 封裝的各種流程 封裝設(shè)計的整體功能 封裝的部署與執(zhí)行,SQL Server Integration Services 是什麼？,全新的 SQL Server 商業(yè)智慧應(yīng)用程式 Data Transformation Services 的接續(xù)版本 高效能的資料整合平臺 全新用 .NET 撰寫的架構(gòu)，更豐富的功能 完善的資料檢視、單步除錯與錯誤處理 透過 pipeline 可以更豐富地加值資料，且全部在記憶體內(nèi)完成

2、，不需要中介資料表 以封裝(Package)為執(zhí)行單位，而非專案(Project),SSIS 與 DTS 的差異概觀,將資料流程與工作流程分開 以更豐富，更細緻的資料流程工作(Data Flow Task)取代 DTS 的資料轉(zhuǎn)換工作 以容器工作提供迴圈、執(zhí)行順序與交易管理 以變數(shù)搭配 SSIS Expression 取代 DTS 的動態(tài)屬性工作 封裝改以 XML 的格式存放在 SQL Server 或檔案系統(tǒng)上，更方便做 Source Control 可以透過 DTS Migration Wizard 將舊的封裝轉(zhuǎn)換到新的 SSIS,SSIS 架構(gòu),SSIS 物件核心，提供原生及 .NET

3、的程式存取介面，可與 SSIS 所附的工具程式或自行開發(fā)的程式溝通。 執(zhí)行封裝、容器、工作。提供執(zhí)行記錄、設(shè)定中斷點、可彈性設(shè)定、管理連線、交易、事件處理,資料流程引擎，將資料從來源提取出來，經(jīng)過各種工作完成轉(zhuǎn)換，再放入到目的。在流程中，你也可以加入自製的元件。,內(nèi)含其他物件、如 Task、Container 等，提供群組物件、執(zhí)行單元、迴圈、交易管理等服務(wù),在 For Each Loop Container 可以透過不同的 enumerator 來取得各種集合內(nèi)的物件，也可以自行撰寫 enumerator 類別 設(shè)計時管理各連線屬性，執(zhí)行時實際建立出連線。SSIS 支援多種 Connecti

4、on Manager 型態(tài)，如 ADO、ADO.NET、Excel、File、OLE DB 各種可執(zhí)行的物件，如封裝、Container、Task 會丟出事件，你可已撰寫事件處理函式來因應(yīng)這些事件的發(fā)生,透過既有的工具，如設(shè)計環(huán)境、精靈、命令列工具或是自行開發(fā)的應(yīng)用程式，經(jīng)由標準的程式介面可以控制 SSIS 引擎,封裝、Container 以及 Task 都可以輸出執(zhí)行過程紀錄，經(jīng)由多種紀錄提供者，如文字逗號分隔檔(CSV)、Profiler Trace(trc)、SQL 檔案等等，可以記錄到不同的地方，你可以此監(jiān)控、除錯 各種資料來源，可以提供資料給 SSIS,Windows 服務(wù)程式。用來

5、管理封裝儲存、遠端啟動執(zhí)行與呈現(xiàn)當下執(zhí)行的封裝。,提供新的資料倉儲處理架構(gòu)(1/2),在以往的運作模式下，資料整合的流程大多只做簡單的轉(zhuǎn)換與載入的工作 在資料庫伺服器內(nèi)執(zhí)行彙總、排序等其他工作 在做上述的整理資料動作的同時會與一般使用者查詢搶資源，互相耗損系統(tǒng)效能 這種解決方案無法完成大規(guī)模、多重且複雜的彙總,傳統(tǒng)的資料倉儲載入資料方式,提供新的資料倉儲處理架構(gòu)(2/2),現(xiàn)在，透過 SQL Server Integration Services 可以同時完成整合、彙總、排序等諸多資料處理動作，然後再載入到資料庫 讓資料庫伺服器可以專注在回答使用者的查詢 透過 64 位元版本的引擎，可以讓此方

6、案處理大規(guī)模資料量且複雜的彙總運算,透過 SQL Server Integration Services 載入資料到資料倉儲,大綱,概覽 Business Intelligence Development Studio 與設(shè)計 SSIS 封裝的各種流程 封裝設(shè)計的整體功能 封裝的部署與執(zhí)行,SSIS 管線(Plumbing),工作流程,流程導(dǎo)向 前置條件(成功，失敗，或完成) 前置條件可以做 AND 和 OR 等布林運算 從環(huán)境輸入?yún)?shù) File System Task、Execute SQL Task、Send Mail Task、Data Flow Task,Demo 工作流程,資料流程,

7、特殊的工作流程：Data Flow Task 資料處理導(dǎo)向，在記憶體中，以管線流程的概念(pipeline)處理資料 建立或使用資料紀錄 可以觀察資料變化的過程 Source Adapter、Transform、Destination Adapter,Demo 資料流程,事件處理流程,經(jīng)由事件觸發(fā)的特殊流程 (例如：OnError、OnPostExecute) 階層的架構(gòu) 可以簡單地寄發(fā)一封 e-mail 或是複雜地執(zhí)行另外一段 dataflow task 以處理錯誤的資料紀錄 自訂的 components 從基礎(chǔ)類別自動繼承相關(guān)的事件 (OnError, OnWarning) Compone

8、nt 的建立者可以自訂他的事件(例如：OnFTPFileFinishedCopy),Demo 事件處理流程,大綱,概覽 Business Intelligence Development Studio 與設(shè)計 SSIS 封裝的各種流程 封裝設(shè)計的整體功能 封裝的部署與執(zhí)行,變數(shù),系統(tǒng)提供的變數(shù)：如 MachineName、StartName、ErrorDescription等等 使用者自定變數(shù)，定義 Namespace Scope 資料型態(tài) 初始值 可以在工作、程式碼、資料轉(zhuǎn)換將產(chǎn)生的資料集將值、物件儲存在變數(shù)中,Demo 使用變數(shù),封裝除錯,設(shè)計時期 若發(fā)生設(shè)定錯誤，自動提供錯誤提示 檢視

9、XML 原始碼 (可提供搜尋，但不要編輯) 監(jiān)控執(zhí)行 編輯中斷點 使用 Watch Window 測試和除錯 停用 / 啟用某些工作 ForceExecutionResult 強制執(zhí)行結(jié)果為：Success、Failure、Completion 會影響前置條件,交易管理,讓多個工作可以一起成功、失敗 多個資料來源可以一致地修改資料 連線到的資料來源需要支援分散式交易 交易屬性設(shè)定在 Container 上 Require、Supported、NotSupported 透過不同 Container 對交易屬性的設(shè)定，可以建立參予一同執(zhí)行的交易，或是分開不同的交易。,Demo SSIS 的交易管理

10、,執(zhí)行紀錄,支援多種記錄提供者 文字檔、SQL Server Profiler、寫到 SQL Server 資料庫內(nèi) sysdtslog90 資料表、Windows 事件、XML 檔案 透過 LoggingMode 屬性，設(shè)定各工作是否可以獨立設(shè)定記錄的事件 某些工作有特有的記錄事件 如指令碼工作的 ScriptTaskLogEntry,Demo 設(shè)定封裝執(zhí)行的紀錄,大綱,概覽 Business Intelligence Development Studio 與設(shè)計 SSIS 封裝 封裝設(shè)計的整體功能 封裝的部署與執(zhí)行,SSIS 生命週期相關(guān)的工具,設(shè)計 SSIS Package Busine

11、ss Intelligence Studio (Visual Studio) 為 SQL Server 2005 之前版本 packages 提供的 Migration wizard 整合版本控管 (VSS) 佈署/執(zhí)行 複製 packages 的佈署工具(dtutil.exe) 命令列與使用者介面的執(zhí)行工具 (dtexec.exe 和 dtexecui.exe) 彈性的設(shè)定選項 支援工具 豐富的 per-package Logging 透過 SQL Management Studio 監(jiān)控正在執(zhí)行的 packages 並組織管理 packages Checkpoint - Restartab

12、ility,SSIS 相關(guān)工具,BI Studio,匯入/匯出精靈,佈署,安裝相關(guān)的檔案群組,Dtexec.exe,Dtexecui.exe,Dtutil.exe,執(zhí)行,檢視當下的執(zhí)行狀況 與匯入/匯出,佈署,管理,SSIS Security 概觀,Package 可以透過 Package Protection level property 屬性設(shè)定加解密 (A) 若存放在 MSDB，再透過 SQL Database roles 限制可以存取者的角色 (B) 透過作業(yè)系統(tǒng)設(shè)定對於目錄和 package 檔案設(shè)定存取權(quán)限 利用程式碼簽署憑證替封裝簽章,對存放 Package 的 MSDB 具有Reader 和 Writer roles,作業(yè)系統(tǒng) 權(quán)限,SQL DB 角色,對於存放 Package 的檔案和目錄有存取權(quán)限,Package Protection Level 屬性,A,B,對具機密性的資料加密還是一般文字存放,Demo 設(shè)定 Package 加解密、簽章,SQL Management Studio,存取 SSIS service 監(jiān)控正在執(zhí)行的 packages 管理存放 package 的架構(gòu) Ad hoc 執(zhí)行 package Agent Service 的作業(yè)步驟,Demo 以 SQL Management Studio 管理