F、/ .[ ▲、/A********************************上海電信ODS系統(tǒng)

數(shù)據(jù)庫升級測試方案2010-12-16第1章項目概述上海電信ODS系統(tǒng)作為上海電信MBOSS信息整合項目的一個重要組成部分，存儲上海電信的運營數(shù)據(jù)，包含客戶、產(chǎn)品、計費和資源（業(yè)務(wù)資源）主題域，支撐上海電信的客戶經(jīng)理和管理層所需的經(jīng)營和客戶數(shù)據(jù)的分析和統(tǒng)計工作。自2004年上線運行以來，新業(yè)務(wù)的涌現(xiàn)以及電信需求的不斷增加要求ODS系統(tǒng)不斷向前發(fā)展。而現(xiàn)有的系統(tǒng)從硬件環(huán)境和數(shù)據(jù)庫環(huán)境等各方面，都已經(jīng)不能滿足用戶對于該系統(tǒng)的需要，主要存在的問題包括：口數(shù)據(jù)庫版本過低，ORACLE原廠商將停止保修口服務(wù)器老化，維保費用高昂目前上海電信ODS系統(tǒng)數(shù)據(jù)庫服務(wù)器使用的是IBMP5-590和P5-690小型機，590和690耗電量巨大，原廠商的設(shè)備維保費用高昂，如果繼續(xù)使用上述服務(wù)器用于生產(chǎn)環(huán)境，從成本角度，是不經(jīng)濟的，從節(jié)能角度，是不環(huán)保的，從性能角度看，IBMP5的性能遠不如P6?；谝陨弦蛩兀虾ｋ娦刨徺I了兩臺滿配的P6-570,計劃用于替換先前的ODS數(shù)據(jù)庫服務(wù)器，通過硬件的升級，從而進一步提高系統(tǒng)的穩(wěn)定性和用戶響應(yīng)速度。1.1本文目的本文主要是對上海電信 系統(tǒng)數(shù)據(jù)庫升級項目的實施方案描述，對項目實施中的涉及系統(tǒng)的遷移及擴容等提供依據(jù)。本文讀者上海電信 系統(tǒng)數(shù)據(jù)庫升級項目相關(guān)人員，包括上海電信IT部和理想公司相關(guān)人員。1.3參考資料升級對周圍系統(tǒng)的要求ODS數(shù)據(jù)庫軟件Oracle從原先9i升級到11g后，ODS其它軟件也需要進行相應(yīng)版本升級，才能支持Oracle11g。目前ODS的生產(chǎn)軟件對Oracle的支持與否已經(jīng)得到廠商的正式回復，簡述如下：報表展現(xiàn)工具：Businessobjects(BO)目前版本不支持Oracle11g目前使用版本：enterprisell.O?ReleaseI和ReleaseII需要升級到的版本：BusinessObjectsXIR3(servicePacket3.1)QLinkView(QV)目前版本支持Oracle11g。但仍需測試。ETL開發(fā)工具：Informaitca目前版本不支持Oracle11g目前使用版本：InformaitcaPowerCenter851需要升級到的版本：InformaitcaPowerCenter861BO、QV和Informaitca是ODS部門IT開發(fā)的主要工具，是維持ODS生產(chǎn)經(jīng)營的重要基礎(chǔ)。這些工具的升級，需要謹慎和細致的測試工作。由于這三個工具緊密結(jié)合數(shù)據(jù)庫，所以測試工作必須在Oracle升級完成后展開，測試步驟見第2章。BO和Informaitca升級后的新版本軟件需要有硬件服務(wù)器來運行。建議配置兩臺服務(wù)器，一臺給BO,—臺給Informaitca。新版本Informaitca服務(wù)器的配置建議參考現(xiàn)有ETL服務(wù)器配置，如下：新版本BO服務(wù)器的配置建議參考現(xiàn)有ETL服務(wù)器配置，如下:第2章上海電信ODS數(shù)據(jù)庫升級測試方案2.1測試方案流程★測試前準備工作：（1） 各類遷移或受升級影響的程序的統(tǒng)計整理，整改。統(tǒng)計采用自主申報和無主認領(lǐng)

相結(jié)合的方式展開。首先讓ODS各個小組將各自負責的程序按照模板上報，由DBA審核。第二步是對無主程序的認領(lǐng)。具體見SP/function/Package程序的遷移小節(jié)的描述信息。（2） 搭建Oracle11g的測試環(huán)境。具體步驟見《》（3） 新建ETL測試環(huán)境（版本：InformaitcaPowerCenter861）、新建BO測試環(huán)境（版本：BusinessObjectsXIR3），準備QV測試環(huán)境。（4） 把ODSPD上的程序遷移部署到該測試環(huán)境中，然后復制原數(shù)據(jù)庫的生產(chǎn)數(shù)據(jù)的一部分到測試數(shù)據(jù)庫環(huán)境中（5） 在ETL測試環(huán)境部署受升級影響的ETL進程（6） 在BO,QV測試環(huán)境部署相關(guān)程序★測試步驟：OraclellG數(shù)據(jù)庫升級測試（1） 在新環(huán)境測試遷移的Oracle程序。（2） 運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（3） 在新環(huán)境對Oracle程序進行大數(shù)據(jù)量加載的性能測試，若性能測試不合格，查找原因并予以解決。（4） 在ETL測試環(huán)境測試受升級影響的ETL進程。（5） 運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（6） 大數(shù)據(jù)量性能測試，若性能測試不合格，查找原因并予以解決。（7） 在BO,QV測試環(huán)境運行測試程序。（8） 在BO,QV測試環(huán)境，IT或業(yè)務(wù)部門查看報表是否正常。若不正常，則查找原因并予以解決。（9） Oracle11G數(shù)據(jù)庫升級測試完畢OraclellG數(shù)據(jù)庫升級完畢后：InformaitcaPowerCenter861升級測試（1） 在ETL新環(huán)境測試和部署在Oracle11G數(shù)據(jù)庫升級階段未測試過的ETL進程。（2） 運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（3） InformaitcaPowerCenter861升級測試完成。BusinessObjectsXIR3（ServicePack3.1）升級測試（1） 在BO新環(huán)境測試和部署在Oracle11G數(shù)據(jù)庫升級階段未測試過的BO進程。（2） 運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（3） BusinessObjectsXIR3（ServicePack3.1）升級測試完成。? 測試方案流程示意圖：程序的遷移、修改和驗證SP/function/Package程序的遷移所有的SP/function/Package程序由程序員填寫遷移申請表申請表記錄下列信息：申請人、申請日期、SP/function/Package的名稱、環(huán)境（用戶名）、項目組、程序用途（業(yè)務(wù)背景、邏輯等）、程序源表、程序目標表、程序上線日期、程序運行時間點、程序運行周期。EDA架構(gòu)師團隊對所有申請的SP/function/Package進行審核審核的內(nèi)容包括：該SP/function/Package是否還有效,無效的SP/function/Package將不遷移,但由DBA做好備份；該SP/function/Package是否符合EDA的代碼規(guī)范；該SP/function/Package是否需要變更運行環(huán)境；該SP/function/Package是否需要做其他修改。審核通過的該SP/function/Package由DBA發(fā)布到新的服務(wù)器上審核不通過的該SP/function/Package,給出整改意見，整改通過后發(fā)布?無人認領(lǐng)SP/function/Package的處理DBA整理出所有沒有人提出遷移申請的SP/function/Package，提交EDA架構(gòu)師團隊做第1步分析，是否該SP/function/Package是否有效；如果認定有效，則由DBA發(fā)布，并指定程序負責人；如果認定無效，群發(fā)給EDA所有人員公示1周，若還無人認領(lǐng)，則作為無效SP/function/Package處理；如果認定有效但需要做修改，則指定程序負責人，給出整改意見，整改通過后發(fā)布。SP/function/Package程序的修改EDA架構(gòu)師團隊審核不通過的SP/function/Package，給出整改意見，提交程序負責人進行整改；整改過程需要按照EDA的代碼規(guī)范執(zhí)行；程序負責人在接到整改通知后1天內(nèi)提交整改計劃給EDA架構(gòu)師團隊審核，審核通過后，按計劃進行整改；整改后并通過驗證后，由DBA提交。SP/function/Package程序的驗證?如果有必要，程序需要編寫測試稽核腳本。用以比對程序遷移后是否正常和準確的運行。?功能驗證功能驗證驗證3點：程序是否能正常運行；程序執(zhí)行結(jié)果是否與預期的一致。如通過稽核腳本的測試。報表數(shù)據(jù)是否得到業(yè)務(wù)部門的確認。?能力驗證驗證應(yīng)用程序是否能夠達到預期的執(zhí)行效率；驗證應(yīng)用程序是否會耗費大量的資源；?驗證方式驗證工作由EDA基礎(chǔ)維護組和業(yè)務(wù)單位共同完成；驗證工作同時兼顧功能驗證和能力驗證；擬態(tài)驗證，在同一計劃時間內(nèi)運行的程序，也在同一時間內(nèi)驗證；程序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；程序的修改和驗證ETL程序的的遷移同SP/function/Package程序的遷移。?ETL程序的修改在測試環(huán)境，所有鏈接原ODS服務(wù)器ETL程序都應(yīng)更改為新的服務(wù)器鏈接；ETL程序的驗證?功能驗證如果有必要，程序需要編寫測試稽核腳本。用以比對程序遷移后是否正常和準確的運行。功能驗證驗證3點程序是否能正常運行；程序執(zhí)行結(jié)果是否與預期的一致。如通過稽核腳本的測試。業(yè)務(wù)部門確認報表數(shù)據(jù)正確。?能力驗證驗證應(yīng)用程序是否能夠達到預期的執(zhí)行效率；驗證應(yīng)用程序是否會耗費大量的資源；?驗證方式驗證工作由EDA基礎(chǔ)維護組和業(yè)務(wù)單位共同完成；驗證工作同時兼顧功能驗證和能力驗證；擬態(tài)驗證，在同一計劃時間內(nèi)運行的程序，也在同一時間內(nèi)驗證；程序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；報表語義層的修改和驗證BO程序的遷移同SP/function/Package程序的遷移。BO報表語義層的修改在測試環(huán)境，鏈接到原ODS數(shù)據(jù)庫的BO語義層的數(shù)據(jù)庫鏈接做修改BO報表語義層的驗證驗證工作同ETL程序，由EDA基礎(chǔ)維護組和業(yè)務(wù)單位共同完成;驗證工作同時兼顧功能驗證和能力驗證；程序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；報表程序修改和驗證QV報表程序的遷移同SP/function/Package程序的遷移。QV報表程序修改從原ODS服務(wù)器上抽取數(shù)據(jù)到QV服務(wù)器上的程序?qū)㈡溄痈臑樾路?wù)器QV報表程序驗證驗證工作同ETL程序，由EDA基礎(chǔ)維護組和業(yè)務(wù)單位共同完成；驗證工作同時兼顧功能驗證和能力驗證；程序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；2.6測試計劃（草案）任務(wù)名子任務(wù)名開始時間天數(shù)結(jié)束時間參與單位數(shù)據(jù)庫升級功能測試與驗證新建 測試服務(wù)器（ ）部、理想新建測試服務(wù)器（ ）部、理想在 測試服務(wù)器部署測試程序。如將程序數(shù)據(jù)源連新環(huán)境。（共 多個）3部、理想在測試服務(wù)器部署測試程序。如將程序數(shù)據(jù)源連新環(huán)境。2部、理想在測試服務(wù)器部署測試程序，如將程序數(shù)據(jù)源連新環(huán)境。2部、理想在 測試環(huán)境部署原 的 存儲過程、函數(shù)（共 多個）3部、理想存儲過程、函數(shù)的測試運行6部、理想進程數(shù)據(jù)稽核。（數(shù)據(jù)比對腳本的運行和比對結(jié)果分析）10部、理想原 的 存儲過程、函數(shù)的修改和再測試2部、理想測試程序運行5部、理想

測試程序的數(shù)據(jù)比對腳本的運行和結(jié)果分析10部、理想測試程序的修改和再測試3部、理想測試程序運行3部、理想報表查看和業(yè)務(wù)單位確認3部、理想、業(yè)務(wù)單位程序的修改和再測試確認3部、理想、業(yè)務(wù)單位測試程序運行3部、理想報表查看和業(yè)務(wù)單位確認3部、理想、業(yè)務(wù)單位程序的修改和再測試確認3部、理想、業(yè)務(wù)單位數(shù)據(jù)庫升級性能測試與驗證存儲過程、函數(shù)的在大數(shù)據(jù)量下的測試2部、理想程序在大數(shù)據(jù)量下的測試2部、理想性能調(diào)優(yōu)3部、理想版本升級測試與驗證部署老環(huán)境程序5部、理想運行3部、理想測試和驗證和修改。7部、理想版本升級測試與驗證部署老環(huán)境程序5部、理想運行3部、理想測試和驗證和修改。7部、理想、業(yè)務(wù)單位第3章Oracle\ETL\BO\QV程序統(tǒng)計模板程序3.1.1程序列表模板見《oracle進程統(tǒng)計.xls》程序3.2.1程序列表模板見《ETL進程統(tǒng)計.xls》程序3.3.1程序列表模板主題報表名稱報表類型需求提出部門業(yè)務(wù)部門聯(lián)系人業(yè)務(wù)部門聯(lián)系電話報表計劃啟用日期報表停用日期報表展現(xiàn)系統(tǒng)備注

統(tǒng)計口徑補充說明頻率追溯期限部門聯(lián)系人開發(fā)部門需求提出部門聯(lián)系人需求審核部門聯(lián)系人需求提出單位部門聯(lián)系電話開發(fā)部門聯(lián)系電話需求提出部門聯(lián)系電話需求審核部門聯(lián)系電話報表實際啟用日期操作狀態(tài)開發(fā)部門需求審核部門訪問路徑工單編號日報表刷新時間權(quán)限3.3.2數(shù)據(jù)實例見《BO、QV進程統(tǒng)計.xls》第4章系統(tǒng)恢復預案為避免因系統(tǒng)遷移失敗給上海電信業(yè)務(wù)所造成的影響，確保業(yè)務(wù)的正常開展，我們必須做好兩手準備，一方面要對系統(tǒng)遷移方案進行嚴密的分析、論證，并嚴格進行測試、模擬，加大各級人員的培訓力度，而且只有在所有準備工作就緒，對于數(shù)據(jù)庫遷移日期選定在連續(xù)1-2天節(jié)假日前的凌晨進行，一切準備完備的基礎(chǔ)上進行數(shù)據(jù)遷移，確保平滑成功地移植。另一方面必須做好遷移不成功時的恢復方案，使業(yè)務(wù)生產(chǎn)能平滑恢復到原系統(tǒng)進行，保障業(yè)務(wù)的正常開展。數(shù)據(jù)庫遷移失敗的恢復預案如在數(shù)據(jù)庫遷移過沖中出現(xiàn)數(shù)據(jù)庫遷移失敗的情況，直接將舊的數(shù)據(jù)庫系統(tǒng)投產(chǎn)即可，沒有需要恢復的數(shù)據(jù)。由于舊的數(shù)據(jù)庫系統(tǒng)啟用，等到故障排除后，又須做一次數(shù)據(jù)庫遷移，這時相當于前次的系統(tǒng)遷移。第5章項目難點及風險Oracle數(shù)據(jù)庫系統(tǒng)升級是一項機遇和風險并存的系統(tǒng)工程,對現(xiàn)有系統(tǒng)的全面了解和評估，升級需求的分析，合理的升級技術(shù)方案設(shè)計是升級項目的基礎(chǔ)。由于ODS系統(tǒng)為在用的生產(chǎn)系統(tǒng)，因此整個升級過程必須十分慎重，科學的升級方法論指導和項目有計劃的實施是升級的重要保障。并可能出現(xiàn)的問題，需采取預防措施，盡可能減少風險的發(fā)生。下表列舉了升級過程中可能存在的風險以及應(yīng)對和監(jiān)控措施。序號可能遇到的風險風險等級可能造成的后果風險規(guī)避方法升級中遇到無法解決的錯誤，如升級程序遇到u高升級失敗1盡早搭建和生產(chǎn)環(huán)境致的測試環(huán)境預先在測試環(huán)境演練升級全過程對于升級中發(fā)生的每一種錯誤找到解決辦法；2預先制定可靠的系統(tǒng)回退方案，一旦升級失敗，可采取快速回退，保障生產(chǎn)業(yè)務(wù)系統(tǒng)不受影響。升級耗用的時間超過計劃停機時間高業(yè)務(wù)系統(tǒng)運營延誤1在測試環(huán)境升級演練中估算生產(chǎn)環(huán)境所需的升級時間適當調(diào)整升級方案和計劃。）升級前進行預演，保障升級最終方案的可行性。數(shù)據(jù)庫新老特性不致，導致應(yīng)用運行不正常高升級