廣東電信結算系統(tǒng)容災方案維爾軟件有限公司廣州辦事處創(chuàng)建日期：2006年2月21日最后修改：2006年2月23日版 本：1.0 廣東電信結算系統(tǒng)容災方案目 錄一、項目綜述11.1項目概述11.2 項目整體建設思想1二、系統(tǒng)容災方案32.1容災系統(tǒng)的整體思想32.1.1廣東電信容災系統(tǒng)實現功能目標52.1.2廣東電信容災實施服務內容62.1.3恢復演習日常工作中不可缺少的準備92.1.4廣東電信容災方案實施階段與步驟92.2容災系統(tǒng)的影響因素及數據量的估算132.3數據復制技術的選擇142.3.1. 同城容災142.3.1.1 同城容災方案 Volume Manager鏡像142.3.1.2 Volume Manager說明152.3.1.2 Volume Manager鏡像的性能192.3.2 遠程容災202.3.2.1 采用同步復制方式的分析212.3.2.2 采用異步復制方式的分析222.4系統(tǒng)容災方案的設計262.4.1 容災軟件262.4.2 網絡系統(tǒng)272.4.2.1用于數據傳輸的TCP/IP網絡282.4.2.2基于數據遠程同步的SAN網絡282.4.3 數據庫容災方式設計312.4.3.1 全數據庫復制312.4.3.2 只復制log312.5系統(tǒng)切換描述332.5.1東山口機房生產中心單服務器發(fā)生故障時的系統(tǒng)切換342.5.2東山口機房生產中心磁盤發(fā)生故障時的處理342.5.3災難發(fā)生時的異地系統(tǒng)切換352.5.4接管后的數據從深圳向廣州同步問題362.5.5 應用切回過程362.5.6 系統(tǒng)維護時的系統(tǒng)切換372.5.7 RTO和RPO的分析382.5.7.1 計劃內停機382.5.7.1 計劃外停機392.6網絡切換描述422.6.1網絡切換的原則422.6.2網絡切換方案422.6.2.1 DNS方式422.6.2.2 IP方式452.6.3具體切換的步驟452.6.4切換時間分析462.7應急方案制定462.7.1應急方案簡介462.7.2為什么要制定應急方案462.7.3應急和災難恢復計劃的區(qū)別472.7.4如何制定應急方案47三、采用VERITAS 容災方案的幾點補充討論513.1 本地Cluster、同城Cluster及廣域Cluster513.1.1 本地Cluster523.1.2 同城Cluster543.1.3 廣域Cluster553.2 容災數據的使用553.3 容災數據的一致性573.4 系統(tǒng)升級583.5 VxVM及VVR復制對系統(tǒng)的性能影響59四、復制技術實現討論614.1 同步數據容災614.1.1基于主機邏輯卷的同步數據復制方式614.1.2基于磁盤系統(tǒng)的同步數據復制功能634.1.3基于主機邏輯卷磁盤鏡像功能的異地磁盤鏡像方式644.1.4同步數據容災的性能分析664.2 異步數據容災69VERITAS Software Corporation. ii 中國銀聯新系統(tǒng)容災方案一、項目綜述1.1項目概述“數據源是一切關鍵性業(yè)務系統(tǒng)的生命源泉”，隨著美國911事件的發(fā)生已經使越來越多的企業(yè)管理者認識到了數據信息對自己的企業(yè)生存的影響能力，對廣東電信而言，同樣存在上述問題：隨著企業(yè)的逐步發(fā)展，行業(yè)競爭的不斷加劇，用戶數量的不斷增多，新業(yè)務需求的不斷擴展，現有廣東電信業(yè)務系統(tǒng)的相關數據信息的安全性和可靠性也需要在原有基礎上得到進一步擴充及改進，以保證在災難情況發(fā)生時，相關業(yè)務也能正常運行。在目前的廣東電信業(yè)務系統(tǒng)中，系統(tǒng)的安全性主要是通過下面一些措施或方式來得到保證：主機通過采用雙機容錯方式保證系統(tǒng)工作的可靠性和可用性；存儲設備通過冗余的RAID技術保證數據的可靠性；本地的數據脫機備份技術，從而增加一份數據副本；以及相應的網絡安全技術（如防火墻技術等）。但綜合上述內容，以上的系統(tǒng)安全方式并不能保證系統(tǒng)在災難情況發(fā)生時，系統(tǒng)的可靠性和可用性。因此，在本期系統(tǒng)中，我們將總體目標定為實現對廣東電信現有業(yè)務系統(tǒng)中核心數據和核心應用結算系統(tǒng)的容災備份，并確保災難情況下業(yè)務數據的可恢復性和可用性，從而保證結算系統(tǒng)能夠得到及時恢復。1.2 項目整體建設思想整個系統(tǒng)應按以下目標進行建設：1. 災難恢復。當生產系統(tǒng)發(fā)生災難事件時，能在短時間內由容災中心接管生產中心的業(yè)務。2.可進行兩級容災（在廣州本地建立同城同步容災，在深圳建立遠程異步容災）。當數據中心系統(tǒng)出現故障時，本地容災中心保證數據不丟失，繼續(xù)向深圳容災中心復制；復制結束后，由深圳的遠程容災中心接管所有廣州的業(yè)務。二、系統(tǒng)容災方案 隨著信息使用環(huán)境的日漸普及，人類對于計算機系統(tǒng)的依賴也日益加重。俗語說天有不測風云，人有旦夕禍福，計算機系統(tǒng)很有可能因為天災或人為因素等意外事故導致系統(tǒng)毀壞而長期無法運行，造成整個組織或企業(yè)在營運上的重大損失以至倒閉的風險。隨著網絡互聯方式日趨復雜，各電信運營商在網絡互聯及其技術實現上相互依存，使得綜合結算系統(tǒng)變得更加復雜。各運營商之間的話務量越來越大，網間話費結算系統(tǒng)在電信經營服務中的地位也越來越重要。結算數據的準確性和實時性，直接關系到與其他運營商的互聯互通效果，關系到整個公司的收入。在服務與競爭的兩大主題下，理順與各運營商之間的結算關系，正確合理地進行企業(yè)間的費用結算，加速電信業(yè)務費用的回收是企業(yè)進行良好運營的一大重要標志。因此，針對廣東電信綜合結算系統(tǒng)這樣的多業(yè)務集成在一體的業(yè)務系統(tǒng)，由于本系統(tǒng)的實時性強、影響大，其系統(tǒng)運行環(huán)境的好壞，運行的是否穩(wěn)定、可靠、安全，對于廣東電信的如此大的用戶是致關重要的，他將直接影響到廣大人民群眾的日常生活。一旦出現無法避免的災難而導致系統(tǒng)長時間不能運行，將給廣東電信業(yè)務帶來極大損失，并對廣大電信用戶帶來極大影響。因此高可靠的系統(tǒng)運行對電信來說極其重要的。在本方案中提出了可靠性較為完善的災難恢復方案，以有效保障系統(tǒng)及業(yè)務遭受重大災難后的持續(xù)運營。2.1容災系統(tǒng)的整體思想廣東電信是中國電信的形象門戶，其業(yè)務系統(tǒng)的安全性直接關系到中國電信和用戶的切身利益，也關系到廣東電信的形象。所以盡可能地保證系統(tǒng)的絕對安全是必須予以考慮的。為了防范地震、火災、水災等自然災害、電力中斷、以及人為破壞而導致系統(tǒng)遭到嚴重損壞、失效的異常情況，我們也提出了對現有系統(tǒng)進行容災備份的需求。上面提到的災害現實發(fā)生的概率畢竟非常小，所以一律對現有系統(tǒng)進行簡單復制的容災方案也是不可取的。在具體研究、選擇容災方案時，不僅要在資金投入和具體容災功能之間進行平衡，而且還應充分考量相關方面的利益（實質上最終都應是保障電信自身的利益），包括用戶的所有權益、電信運營商的所有權益、客戶使用業(yè)務的權利、客戶享受相關服務的權利等。本期工程的總體目標是實現對現有結算業(yè)務系統(tǒng)中核心數據和核心應用系統(tǒng)的容災備份，并確保災難情況下業(yè)務數據的可恢復性和可用性，從而進行相關應用系統(tǒng)的及時恢復。容災系統(tǒng)的建設還包括相關條件的具備、以及管理維護機構設置和人員組織、管理維護制度和操作規(guī)程的制定等。根據上述描述，在建設廣東電信結算系統(tǒng)的容災系統(tǒng)時，需按如下原則進行規(guī)劃和建設：一、在日常系統(tǒng)正常進行生產的時候：（1）確保日常的的關鍵性數據的安全的備份和存儲（包括日志和數據）；（2）確保災難發(fā)生后數據庫和應用系統(tǒng)的及時恢復，包括數據在線存儲的恢復；在進行數據容災的同時，也建立數據離線備份系統(tǒng)（3）做好計劃內切換（如系統(tǒng)升級和管理）和計劃外切換的計劃和實施方案。（4）堅持容災備份容災系統(tǒng)建設投資經濟合理性的原則；（5）確保系統(tǒng)的可擴充性、可維護性、可操作性；（6）建立健全相應嚴密的管理制度和操作流程。（7）恢復演習。二、在災難發(fā)生的時候：1.可進行兩級容災（在廣州本地建立同城同步容災，在深圳建立遠程異步容災）。當電信中心系統(tǒng)出現故障時，本地容災中心保證數據不丟失，繼續(xù)向深圳容災中心復制；復制結束后由，由深圳的遠程容災中心接管所有廣州的業(yè)務。2.在進行數據容災的同時，也建立數據離線備份系統(tǒng)。（1） 災難恢復。當生產系統(tǒng)發(fā)生災難事件時，能在短時間內由容災中心接管生產中心的業(yè)務。確保災難發(fā)生后主要業(yè)務運行的及時恢復，包括數據在線存儲的恢復；（2）進行兩級容災（在廣州本地建立同城同步容災，在深圳建立遠程異步容災）。當電信中心系統(tǒng)出現故障時，本地容災中心保證數據不丟失，繼續(xù)向深圳容災中心復制；復制結束后由，由深圳的遠程容災中心接管所有廣州的業(yè)務。（3）將整個電信因災害而導致的利益損失降低到最小程度；（4）盡量確?？蛻衾娌皇軗p失；（5）做好系統(tǒng)切換的實施方案以及出現異常情況的應急方案。另外在建設容災系統(tǒng)時必須考慮以下問題：1 容災系統(tǒng)應具有開放性不依賴特定硬件系統(tǒng)；2 應支持廣泛的傳輸介質支持TCP/IP 網絡更佳；3 考慮到容災能力和對應用系統(tǒng)性能的影響容災方案不僅要支持近距的同步的數據容災還必須能支持遠程的異步的數據容災；4 對于異步數據容災數據復制不僅僅要求在異地有一份數據拷貝同時必須保證異地數據的完整性可用性；5 容災系統(tǒng)本身應具備各種容錯考慮；6 應支持靈活多樣的容災結構；7 完善容災系統(tǒng)應考慮實用的災難恢復手段。2.1.1廣東電信容災系統(tǒng)實現功能目標對于廣東電信而言，目前的數據容災系統(tǒng)是整個業(yè)務系統(tǒng)中的核心業(yè)務，如何保證該系統(tǒng)的最大可靠性和可用性，將是本期容災系統(tǒng)主要解決的問題，因此我們可以將本期系統(tǒng)的建設目標定為：建立數據容災備份系統(tǒng)，以保障災難情況下最大程度地保護所有核心系統(tǒng)數據的安全，同時盡量保證客戶的利益不受損失。能及時恢復所有外界與系統(tǒng)主機的連接并正常運作；另外在平時為了保證對容災中心的所有設備進行充分利用，在規(guī)劃本期容災系統(tǒng)時，必須考慮容災中心具備承擔部分業(yè)務工作的能力，如作為新應用系統(tǒng)的測試平臺，在主生產系統(tǒng)進行例行維護時臨時接管業(yè)務等。另外，結合廣東電信現有的系統(tǒng)結構，我們也將在本期系統(tǒng)中實現以下目標：1災難恢復。當生產系統(tǒng)發(fā)生災難事件時，能在短時間內由容災中心接管生產中心的業(yè)務。2可進行兩級容災（在廣州本地建立同城同步容災，在深圳建立遠程異步容災）。當電信中心系統(tǒng)出現故障時，本地容災中心保證數據不丟失，繼續(xù)向深圳容災中心復制；復制結束后由，由深圳的遠程容災中心接管所有廣州的業(yè)務。3對現有系統(tǒng)中的不同業(yè)務系統(tǒng)對應的存儲孤島，統(tǒng)一整合網絡存儲資源，構架出一個存儲網絡平臺，使廣東電信真正將存儲網絡的概念引入到實際的系統(tǒng)體系中,使每個主機都有可能去訪問每一個磁盤柜的空間，使應用系統(tǒng)能夠很靈活地分配資源，并有效地使用存儲，減少企業(yè)投資成本, 實現企業(yè)投資保護。將來當需要增加應用主機時，象連接以太網那樣便利；當需要擴充存儲時，可以在線地增加磁盤柜或磁盤，并在線地劃分、配置物理卷；4采用業(yè)界先進的可擴展式企業(yè)級交換機作為網絡的核心交換，提高存儲系統(tǒng)的高可用性， 從而保證了數據信息的高可訪問性；5SAN網絡化結構, 提供遠距離數據的保護能力和快速備份、恢復數據的能力。6集中管理企業(yè)整個SAN存儲網絡和存儲資源, 減少管理員的工作負擔，減低企業(yè)的管理成本和維護成本。7提供系統(tǒng)在線維護的可能性，即便將一個網絡停下來在線維護，也不會影響整個系統(tǒng)的正常運行。8建立完善的容災策略機制和操作流程。2.1.2廣東電信容災實施服務內容基于電信總部本次容災項目的建設目標，結合廣東電信的具體情況，本方案提出下面的項目建設目標：在現有的容災系統(tǒng)框架下，優(yōu)化網絡；擴充系統(tǒng)容量，對廣東電信業(yè)務支持系統(tǒng)當中最核心的業(yè)務系統(tǒng)提供全面的容災保護。整合目前的存儲網絡，構建能夠對核心業(yè)務系統(tǒng)提供強有力支持的“存儲基礎架構”。同時部署針對這一架構的管理平臺。使得存儲基礎設施如同網絡基礎設施一樣，十分方便靈活地適應業(yè)務需求的變化，同時最大限度地保護用戶投資，提高資源利用水平，優(yōu)化資源配置，提高系統(tǒng)的可靠性和可維護性。最大限度地消除造成業(yè)務中斷，或系統(tǒng)性能下降的“非故障”因素。除災難（環(huán)境因素）和系統(tǒng)故障（硬件故障）之外，在業(yè)務運行期間，系統(tǒng)維護、軟件測試、數據備份、報表生成、數據倉庫加載等等均會造成業(yè)務中斷，或業(yè)務運行性能降低。本次容災建設應該能夠盡量消除這些因素，進一步提高業(yè)務持續(xù)能力。在本期系統(tǒng)的容災方案中，我們?yōu)橛脩籼峁┝擞蒝ERITAS的容災方案由數據復制方案和廣域Cluster方案組成，可以為廣東電信提供完整的高可靠容災。該解決方案具有以下優(yōu)勢：同城容災采用Volume Manager遠程鏡像技術，提高業(yè)務連續(xù)性VERITAS Volume Manager是大型系統(tǒng)存儲管理的事實行業(yè)標準，可大大提高存儲系統(tǒng)的性能和可管理性。另外，采用Volume Manager對東山口機房和天河大廈機房的磁盤進行遠程鏡像，可以實現最為簡便和安全的同城容災。利用這種容災方法，數據同步鏡像到天河大廈機房數據中心。并且，當東山口機房生產中心的磁盤故障時，對業(yè)務系統(tǒng)不產生影響。異城容災采用Volume Replicator復制鏡像技術，提高復制性能Volume Replicator與Volume Manager結合，可以只復制改變過的數據塊，大大減少了復制數據量，因此提高了復制性能。同時，Volume Replicator對系統(tǒng)CPU的占用也很少，基本小于3。對于容災技術性能的評估，應從復制技術對應用的影響來計算。經過多次測試，采用VERITAS Volume Replicator的復制速度在同步和異步復制模式下都比磁盤硬件復制方式性能高出許多?？蓴U充性好，不局限于某一品牌磁盤產品VERITAS的數據復制方案是基于操作系統(tǒng)的復制方案，對磁盤陣沒有任何品牌或型號上的特殊要求，也不要求復制的數據全部在共享磁盤陣列上。異城容災使用標準IP網絡，不需要專用硬件設備，大大節(jié)約實施成本VERITAS的數據復制技術使用IP網絡，對底層的網絡設備沒有任何特殊要求。對復制數據的定義非常靈活，易于擴充VERITAS的數據復制是以數據邏輯卷為單位的，因些用戶可以非常靈活地設定哪些數據進行復制，而不像大多硬件方式進行數據復制的技術，可復制的數據范圍在設備出廠時就必需設定好。高可用，災難事件的自動監(jiān)控和快速切換VERITAS的容災技術是一個完整的容災方案，與VERITAS Cluster Server（VCS）及Global Cluster Manager（GCM）結合，可以對生產系統(tǒng)和容災中心的異常事件進行監(jiān)控。當災難事件發(fā)生時，GCM可以自動或提示管理員進行切換。集中管理GCM提供WEB方式對生產中心和容災中心的系統(tǒng)狀況、應用狀況、復制狀況進行監(jiān)控和切換管理。管理員可以在WEB管理界面進行單鍵（one-button）控制的主動切換或災難接管。復制數據的高可靠性，保證數據一致的異步復制VERITAS的復制技術使用復制日志（Storage Replication Log，SRL），保存了I/O的順序。異步復制情況下，不能及時復制的數據可以存放在復制日志中。由于保存了I/O順序，復制到容災節(jié)點的數據一定是按照原有I/O順序寫入的，數據的一致性可以得到保護。方便進行復制數據的檢查無論在天河大廈機房容災中心還是在深圳容災中心，需要對容災數據進行檢查時，可采用VERITAS的Snapshot技術方便地實現。Snapshot技術將某一時間點的數據復制一份，可用檢驗、備份等操作。2.1.3恢復演習日常工作中不可缺少的準備無論采取何種方式，數據容災的最終目的都是在于災難發(fā)生后能夠在企業(yè)可以接受的時間內快速恢復系統(tǒng)的正常運行。那么企業(yè)建立的系統(tǒng)在災后能不能快速恢復呢？這就需要企業(yè)系統(tǒng)在正常運行時能夠進行災難恢復演習。只有這樣才能保證容災系統(tǒng)確實可行。一般來說要按照以下幾個步驟進行：首先，制定計劃災難恢復演習不能以停機為代價，更不能夠演習之后系統(tǒng)無法正常運行。造成生產量的降低和客戶形象的損失，制定災難恢復計劃從預算和時間方面來考慮。電信可以請設備供應商協助制定。VERITAS 為客戶提供的容災解決方案可以輕易自動實施備份中心和主機中心的切換，即使如此，應該定時進行恢復演習看備份中心究竟能否恢復系統(tǒng)二、要明確問題。建立實際的災難恢復計劃時一個非常復雜的過程，所以用戶一定要分析清楚什么是最大的風險？系統(tǒng)對那些災難最為敏感？系統(tǒng)停機時對每個部門的影響是個什么樣子？同時要進人員分工：當發(fā)生災難時誰將負責數據恢復？誰負責監(jiān)控設備？誰負責與設備供應商聯系？這些都必須在演習中明且分工并且按照計劃執(zhí)行。三、要定時不定時進行演習。僅僅制定出一個計劃是不夠的。不論計劃多么嚴密，必須對其進行測試不是一次而是經常測試。電信是否開辦了新的業(yè)務？是否有新的部門加入到了系統(tǒng)之中？系統(tǒng)恢復小組成員是否變化？這些都是企業(yè)在演習中應該考慮的重要因素。2.1.4廣東電信容災方案實施階段與步驟應用系統(tǒng)容災方案應該采用方法論的形式幫助客戶建立業(yè)務連續(xù)規(guī)劃，實現業(yè)務連續(xù)性。規(guī)劃的建立和設施包括六個階段。第一階段是風險與業(yè)務影響分析階段，包括業(yè)務連續(xù)風險分析、連續(xù)業(yè)務影響分析、企業(yè)當前IT環(huán)境分析。第二階段是開發(fā)流程階段，包括業(yè)務連續(xù)恢復流程、業(yè)務連續(xù)緊急應對流程、業(yè)務連續(xù)替代流程、業(yè)務連續(xù)管理流程。第三階段是業(yè)務連續(xù)計劃階段，包括業(yè)務連續(xù)策略開發(fā)、容災備份系統(tǒng)方案設計、業(yè)務連續(xù)架構設計、業(yè)務連續(xù)計劃制定。第四階段是實現階段，包括業(yè)務連續(xù)實現、容災備份系統(tǒng)實現。第五階段是預演階段，對業(yè)務連續(xù)計劃預演。第六階段是交接驗收，包括業(yè)務連續(xù)計劃評審、業(yè)務連續(xù)培訓與知識轉移。 方案實施階段1：分析與計劃目標將廣東電信數據等系統(tǒng)的業(yè)務目標、需求與其應用和業(yè)務環(huán)境協調一致；主中心和備份中心場地環(huán)境和網絡連接準備；評估硬件，軟件及應用的兼容性；關鍵成果經廣東電信用戶方和集成商共同確認的項目實施計劃；經廣東電信用戶方和集成商共同確認的項目評估驗收標準；硬件、軟件及應用兼容性的確認；任務描述項目開工會議 / 介紹；實施客戶環(huán)境評估；完成客戶環(huán)境評估報告；分析遠程節(jié)點間的硬件基礎設施；分析硬件單點故障；分析軟件及應用環(huán)境；完成項目實施計劃,并和用戶討論確定；方案實施階段2：配置與集成目標主中心和備份中心存儲區(qū)域網的構建；主中心和備份數據中心的陣列配置；在主數據中心和異地備份數據中心存儲設備之間實現數據復制；配置及檢驗遠程數據復制功能；優(yōu)化遠程數據復制性能；數據系統(tǒng)、ORACLE數據庫性能優(yōu)化；關鍵成果陣列正確配置完畢；完成單模光纖鏈路的連通性測試及SAN的構建與配置；完成數據庫和應用軟件的配置；ORACLE數據庫的性能調優(yōu)報告；相關資料存檔；任務描述數據等系統(tǒng)的數據遷移；安裝相關主機及存儲、容災系統(tǒng)軟件SAN的構建，光纖交換機的安裝配置與單模光纖鏈路測試；實施相關邏輯卷,文件系統(tǒng)及應用數據庫的配置；進行遠程數據復制性能調優(yōu)；進行業(yè)務系統(tǒng)數據庫性能優(yōu)化；建立配置文檔；方案實施階段3：測試及知識移交目標將異地數據切換過程集成到災難備份/恢復操作流程中；建立、檢驗及執(zhí)行各局點本地故障切換機制；建立、檢驗及執(zhí)行異地故障切換機制；規(guī)劃設計災難恢復操作流程；對系統(tǒng)配置及操作流程進行歸檔；災難預演；實現知識移交；關鍵成果綜合測試及災難預演測試計劃；測試驗收報告；知識移交；災難恢復操作流程；項目文檔；任務描述建立、檢驗及執(zhí)行各局點本地故障切換機制；建立、檢驗及執(zhí)行異地故障切換機制；對系統(tǒng)配置及操作流程進行歸檔；災難預演測試；實現知識移交；項目驗收；項目正式結束；實施服務總結通過以上專業(yè)化的容災項目實施流程和方法，可以使廣東電信數據系統(tǒng)遠程容災方案在對現有業(yè)務系統(tǒng)的運行不造成較大影響的前提下，高質量，零風險地實現；并在系統(tǒng)投產后，能夠高效，可靠的運轉；從而使廣東電信的關鍵業(yè)務系統(tǒng)具備防災，抗災的能力，為實現24*7*365全天候的業(yè)務運行創(chuàng)造條件，為廣東電信更大規(guī)模的業(yè)務發(fā)展奠定基礎。2.2容災系統(tǒng)的影響因素及數據量的估算在建立容災中心時，主要需考慮以下一些關鍵因素：1）容災中心與生產中心在距離上要足夠遠，使得當生產中心遭受災害破壞時，不會影響到容災中心2）必須保證容災中心與生產中心的數據同步及數據的一致性3）容災中心的所有應用系統(tǒng)必須經過嚴格的測試，確保業(yè)務系統(tǒng)能夠正常運行；任何對生產中心應用的改變，都需要對整個容災系統(tǒng)進行測試4）容災中心與生產中心間為保持數據同步而需傳輸的數據量，以及兩地間的網絡帶寬，也即網絡帶寬必須能夠保證兩地間數據的順暢同步5）容災中心的計算機系統(tǒng)有足夠的處理能力來接管業(yè)務中心的業(yè)務6）生產中心與容災中心的應用切換快速可靠，并可進行自動和手工切換另外，還需要考慮到投資和成本，盡量利用到原有的硬件設備。假設將電信的數據將分為5個數據庫、一個文件共享空間和一個應用數據目錄，這些數據是電信結算系統(tǒng)的核心數據，需要進行容災和備份考慮。數據的兩個指標對容災系統(tǒng)的規(guī)劃至關重要：一、每個庫的空間大??；二、業(yè)務產生的峰值寫I/O速度。數據庫操作時，會由于數據本身、日志、數據庫data block大小、改變數據的分布情況等多種因素影響。例如，數據庫在寫入磁盤時，是以data block為單位完成的，而不是以每筆交易為單位，再加上索引、數據塊中的空余空間、數據碎片等因素，計算容量時，保守估計可以以3倍的寫入數據量來計算；計算I/O量時，由于寫數據的同時需要寫日志，可以以6倍的I/O量來計算。這樣的計算方法只有一定的參考價值。實際環(huán)境的每秒的寫I/O量只能通過測試取得，如通過系統(tǒng)命令iostat、sar等其它命令來取得更有意義的數據。復制帶寬的選擇，與I/O量和關系密切。由于在提交方案時，未得到電信的相關信息的回復，因此無法對所有系統(tǒng)所需要的復制帶寬進行估算。其它數據庫和文件共享空間的寫I/O數據沒有得到，因此無法估算所需的復制帶寬。建議采用應用實測的方法，對一定負載的每個數據庫進行寫I/O的測試統(tǒng)計，才可能正確估算出所需的復制帶寬。2.3數據復制技術的選擇2.3.1. 同城容災由于電信計劃的同城數據保護距離可以比較近，可以采用Volume鏡像的方式來進行中距離的數據復制。即在生產中心的主機和本地磁盤陣列及同城容災中心的磁盤陣列都同過光纖交換機相連，無需進行任何專用的數據復制技術，利用Volume Manager的鏡像功能就可以完成同步數據同步。2.3.1.1 同城容災方案 Volume Manager鏡像由邏輯卷實現的磁盤鏡像，相信大家已經相當熟悉，在以前，這種磁盤鏡像的距離受到SCSI協議的距離限制，磁盤鏡像只能在機房內實現。而現在，隨著FC光纖通道技術的成熟和普及，我們發(fā)現，原有的距離限制已經不存在，完全可以利用操作系統(tǒng)級的Volume Manager軟件對本地和遠程磁盤進行鏡像。連接方式可采用長波黑光纖的方式直接，或加入DWDM設備。電信的同城容災距離超過10公里，超過黑光纖方式直連的極限，建議采用DWDM方式。短波（850 mm，多模） GBIC使用50u 的光纜，終端設備之間的最大距離為500米。 長波（1300 mm，單模，也稱為黑光纖） GBIC使用9u的光纜，終端設備之間的最大距離為10公里，無需擴展器或者轉發(fā)器。 通過在黑光纖（9u 光纜）上使用DWDM，終端設備之間的最大距離可以延伸到為100公里。 東山口機房存儲光纖交換機提供短波GBIC連接主機和磁盤柜，同時使用短波光纖連接DWDM設備；東山口機房DWDM設備與天河大廈機房DWDM終端設備通過單模黑光纖連接（租用電信設備，則無需考慮DWDM設備之間的連接）；天河大廈機房容災點的光纖交換機通過多模光纖連接DWDM終端，并連接主機和磁盤柜。采用這種方式，生產中心的磁盤陣列與同城容災中心的磁盤陣列對于兩地的主機而言是完全同等的。當生產中心的磁盤陣列故障后，由于同城容災中心的磁盤是它的鏡像，所以操作系統(tǒng)會自動隔離生產中心的磁盤，轉而對容災中心的數據進行訪問，對應用不產生任何影響。如果采用數據復制的方式（無論是硬件方式還是軟件方式），都需要在生產中心故障時對數據系統(tǒng)進行切換操作，反而造成業(yè)務的停頓。從性能上來分析，在操作系統(tǒng)一級進行鏡像，數據會在同一時間寫入到兩地的磁盤，而數據復制技術需要a.先寫本地盤b.復制c.遠地寫完成信號返回，才算寫操作完成，并且需要SCSI到復制協議的轉換過程，無論在流程上和反應時間上都會比直接鏡像造成更多的延時，對應用系統(tǒng)有更大的影響。另外，對需要進行鏡像的數據可以靈活設置，不需將所有磁盤進行鏡像，而只需鏡像需要的邏輯卷（Volume）。2.3.1.2 Volume Manager說明使用邏輯卷管理軟件（Volume Manager）不僅僅是以同城容災鏡像為目的，其實邏輯卷管理軟件已經非常廣泛地被使用，而遠程邏輯卷鏡像是邏輯卷管理軟件了一個功能。廣泛使用邏輯卷管理軟件的原因，是因為傳統(tǒng)的方式管理在線數據系統(tǒng)，存在著許多令人不能十分滿意的地方，具體表現在： 可管理性差首先，操作系統(tǒng)沒有很好的磁盤空間管理工具，當文件系統(tǒng)或分區(qū)的空間不能滿足要求時，空間的增大或縮小非常困難；而對于數據庫應用，當數據文件建立在裸設備上時，很難動態(tài)在線擴大數據文件的大小，雖然我們的技術專家利用自己的努力和才智，在實踐中積累了一些較實用的技術手段和技巧，但是，系統(tǒng)本身存在的弱點，使得我們的系統(tǒng)和技術人員始終面對一個復雜的系統(tǒng)環(huán)境，無法徹底避免意外的發(fā)生（如：意外的數據庫空間溢出）；同時，其管理手段也較為復雜，不靈活，數據庫的數據文件也不能用一般的文件系統(tǒng)命令進行操作和管理，大大提高了對系統(tǒng)管理員和數據庫管理員的要求，不容任何失誤。 可用性差傳統(tǒng)磁盤分區(qū)和文件系統(tǒng)管理的可用性相對較差，主要表現在不能動態(tài)在線維護（如：擴充）、修復時間長、不能避免意外溢出錯誤等方面。比如：1. 假設某個應用系統(tǒng)所分配的空間在運行時不夠了，此時應用系統(tǒng)或操作系統(tǒng)將可能會被終止，需要對應用系統(tǒng)所使用的某些磁盤分區(qū)或文件系統(tǒng)進行空間縮放。其處理過程包括：1.停止所有應用對該分區(qū)或文件系統(tǒng)的訪問；2.對上面的數據做備份；3.進行分區(qū)的擴展（包括重新分配磁盤分區(qū)）和文件系統(tǒng)的格式化；4.將數據恢復到新的分區(qū)；5.最后才能重新啟動應用。對于大數據庫或文件系統(tǒng)而言，中間這個周期可能非常長，因而大大降低了應用系統(tǒng)的可服務性2. 當文件系統(tǒng)遇到錯誤時，系統(tǒng)會產生崩潰，如果文件系統(tǒng)非正常卸載，則系統(tǒng)重啟時，需要對文件系統(tǒng)進行修復，對于大文件系統(tǒng)，這個時間可能非常長，從而影響了可用性。3. 即使在系統(tǒng)初始化設計時，針對相應的應用系統(tǒng)，如數據庫系統(tǒng)，做相應的規(guī)劃設計，盡量避免停應用，也很難完全避免意外的發(fā)生。同時，這些方式復雜，系統(tǒng)資源（如磁盤空間）利用率低。 性能差傳統(tǒng)的文件系統(tǒng)，使用不連續(xù)的數據塊分配空間，因而，一個大文件的所分配到的數據塊，可能分散在磁盤空間的各個角落，大大增加了磁盤訪問的尋道時間；而對于基于文件系統(tǒng)的數據庫文件，由于文件系統(tǒng)的緩存和文件鎖機制，將使數據庫的性能大大降低。 擴展性差由于傳統(tǒng)文件系統(tǒng)和磁盤管理工具不能實現在線的空間縮放和文件系統(tǒng)或分區(qū)不能跨硬盤的限制，當系統(tǒng)增加新的磁盤設備時，新的硬盤空間很難與原有的空間進行有機的結合。因此，邏輯卷管理軟件在電信結算系統(tǒng)中一定是要使用的。而邏輯卷管理軟件中最優(yōu)秀的產品當屬VERITAS Volume Manager（VxVM）。IBM服務器本身也有Volume Manager軟件，稱為LVM。VxVM與LVM相比，存在許多技術上的優(yōu)勢，例如DMP功能、動態(tài)識別硬盤功能、online管理功能、快速鏡像同步功能等。鑒于VxVM的眾多技術優(yōu)點，IBM在AIX5版本中也開始OEM VERITAS的VxVM技術。VERITAS Volume Manager的主要功能特點如下: 業(yè)界的事實標準已被SUN， HP， IBM， SGI，Windows，NCR，Sequent，EMC等系統(tǒng)廠商所OEM，占存儲虛擬化管理全球市場的80。 自動識別磁盤位置能力當由于磁盤與主機的連接地址發(fā)生變化（在SAN的結構中經常遇到，例如交換機連接的端口位置發(fā)生變化），VxVM可以自動識別出其新的設備名與是原有某一磁盤，避免出現原有磁盤找不到的錯誤。 增強了系統(tǒng)和應用的性能，提高SAN管理能力VERITAS Volume Manager具有多數據通路（DMP）功能，自動識別同一物理存儲的多條通路，提供自動負載均衡和確保數據傳輸的連續(xù)能力。數據鏡像(mirror)功能將數據鏡像到快速存儲設備，可以加速對關鍵信息的訪問，確保關鍵數據的高可用性。DRL(Dirty Region Logging)日志管理保證了系統(tǒng)故障時的快速恢復。VERITAS Volume Manager提供了多種RAID機制，同時通過在線監(jiān)測和在線RAID調整功能，具有在不中斷應用的情況下，識別和消除性能瓶頸的能力。 特有的I/O平衡能力： 例如, 當一個Volume上的數據訪問太密集時, 可以將其數據轉移到另外的Volume上去。 增強了系統(tǒng)可用性和數據完整性Volume Manager利用冗余技術提高數據可用性, 在磁盤與硬件出現故障時，可以保護數據不致丟失和破壞。VolumeManager支持RAID 0、RAID 1、RAID 1+0、RAID 0+1和RAID-5等先進的軟件RAID技術。Volume Manager允許對磁盤進行在線的管理和配置更改，包括從一種RAID的模式到另一種模式，例如, 5個Disk的Raid可以在線改為6個 Disk的Raid5。因此減少了對系統(tǒng)產生極大影響的停機時間。Volume Manager的RAID功能在Volume一級實現，可以跨磁盤陣列實現數據鏡像，從而實現中距離的數據容災。 強大的系統(tǒng)可擴展性突破了OS對分區(qū)的限制, 任何一個卷可以從自由硬盤緩沖池里擴充容量。Volume Manager支持多廠家（EMC、Compaq、SUN、HP、IBM等）的多種不同類型（RAID 5，RAID 1、RAID 0、JBOD）的存儲設備；卷的大小不受磁盤空間的限制，可以跨多個不同的硬盤，允許在線地擴展，并可將新增的空間與原有的空間進行無縫地結合；Volume Manager所支持的設備數量與空間大小基本上沒有限制。 方便美觀的圖形管理界面Volume Manager提供了一個基于Java的能在任何操作系統(tǒng)上運行的圖形用戶界面。在使用圖形界面管理的同時，Volume Manager提供命令行管理工具，管理靈活。 在線數據管理功能Volume Manager基本上所有的管理都是online的，例如online對RAID結構進行重新定義、online將數據從一個磁盤轉移動另一磁盤、online識別和重新分配故障磁盤（Hot-Relocating）、online改變volume及文件系統(tǒng)大小。在進行這些online操作時，其上的數據可以繼續(xù)被應用訪問。 與其它擴展功能的結合Volume Manager提供了許多非常有用的選項功能，例如FlashSnap可以進行快速的鏡像同步；也可實現鏡像數據拆分，然后掛接到其它服務器上進行數據分析、備份等；Volume Replicator可以將所有寫入本地的數據復制到遠程的服務器上，實現容災數據復制。2.3.1.2 Volume Manager鏡像的性能采用Volume Manager方式并不會降低應用的性能。相反，鏡像方式比復制方式效率更高。東山口機房和天河大廈機房采用同步方式，那么每一個I/O從開始到完成都經由以下幾個步驟：本地寫 傳輸到異地寫 異地寫完成信號返回 本地寫完成信號完成因此，同步方式時，寫操作需要遠端系統(tǒng)寫完成信號返回后才算完成，應用的I/O速度，完全取決于寫遠端磁盤的速度有多快。無論用鏡像還是復制，東山口機房和天河大廈機房的物理鏈路（DWDM）都是需要的，距離也是相同的，所以在DWDM上造成的時延（包括數據傳輸時間、協議轉換時間）也是相同，但鏡像方式比復制方式還有以下優(yōu)點：1. 鏡像方式從應用主機將數據傳到同城容災直接使用的是SCSI協議，不需要再進行本地SCSI-復制協議、遠端復制協議-SCSI的轉換。2. 鏡像方式從應用主機傳向遠端磁盤的是最少的data block數據塊，沒有overhead，也沒有因為一個bitmap標志多個data block而傳送未修改的數據塊。例如，操作系統(tǒng)以2K作為一個block向磁盤寫，但如果復制采用bitmap方式，可能一個bitmap標志32K數據，那么復制時就寫了無用的block到遠端磁盤。3. 鏡像方式不在本地磁盤上記錄任何與data本身無關的數據，例如bitmap、timestamp或是log，因此也減小了I/O。系統(tǒng)的CPU在寫I/O時，I/O寫完成信號沒有返回前，CPU的狀態(tài)是wait I/O, 不是ideal，是不可用的。因此，鏡像或復制對應用的性能影響大小，在于寫I/O返回的速度，而不在于CPU的使用。根據以上分析，鏡像方式比復制有更快的I/O效率，在東山口機房生產中心和天河大廈機房容災中心之間，利用Volume Manager進行鏡像是最有效的手段。2.3.2 遠程容災由于遠程容災考慮從廣州到深圳，距離一千公里，無法采用鏡像方式，因此只能考慮數據復制的技術來實現。電信的數據變化數據量可估算如下：秒級峰值變化數據量：假如廣東電信業(yè)務系統(tǒng)的峰值秒級業(yè)務量為3000筆/秒，每筆交易2KBytes，則寫峰值為每秒6MBbytes業(yè)務數據。每秒6MBytes是業(yè)務數據本身的變化，在數據庫中需定數據和日志，可估算實際數據庫的寫入量為6MB * 2 = 12MB。數據庫操作時，會由于數據本身、日志、數據庫data block大小、改變數據的分布情況等多種因素影響。例如，數據庫在寫入磁盤時，是以data block為單位完成的，而不是以每筆交易為單位，再加上索引、數據塊中的空余空間、數據碎片等因素，保守估計可以以3倍的寫入數據量來計算，即每秒鐘的I/O量為12MB * 3 = 36MB。每天變化數據量：假如應用系統(tǒng)每天（24小時內）的交易量為17,000,000筆（17M筆/天 * 2K/筆 = 34GBytes/天），按照以上的計算方式，每天實際寫入數據量為34G*2*3 = 204G。以上數據只有一定的參考價值。實際環(huán)境的每秒的寫I/O量只能通過測試取得，如通過系統(tǒng)命令iostat、sar等其它命令來取得更有意義的數據。一般來說，復制有兩種模式：同步或異步。2.3.2.1 采用同步復制方式的分析東山口機房與天河大廈機房采用鏡像方式，不采用復制方式。以廣州與深圳采用復制方式，但不適合采用同步方式。因為要采用同步方式，至少網絡帶寬要大于本地寫I/O的峰值。如果網絡帶寬小于本地峰值寫I/O，則對本地影響I/O性能將有極大影響。因此，要實現同步復制，轉接數據庫（根據前面分析，轉接數據庫的秒級寫I/O為36MB/秒）至少需要以下復制帶寬：36MBytes/秒 * 8bits/byte / 60% = 480Mbits/秒（60%為TCP/IP的overhead）但是，并非采用了超過了480M帶寬的復制網絡就可以對轉接數據庫進行同步復制。同步方式時，寫操作需要遠端系統(tǒng)寫完成信號返回后才算完成，因此會影響生產中心的性能。影響的程度與峰值寫操作的多少、本地寫操作的速度、遠地寫操作的速度、復制鏈路的帶寬、復制距離都有關系。例如，本地寫峰值為36MBytes/秒，即不進行復制時36M數據可以1秒內寫完。但這36M數據不是在一個I/O中完成的，而同步復制時每次I/O都需要遠端系統(tǒng)寫完成信號返回。以一個I/O為10K數據計算（一般來說，一個I/O寫速度可以達到0.1ms），采用480M帶寬的同步復制后，1個I/O數據需要（單位：毫秒）：0.1 (本地寫) + 0.1(遠地寫) + 10*8/(480*1024*1000*60%) (10KB在480Mbits/s網絡上傳輸速度) + 2*1000公里/(300公里/毫秒)= 0.1 + 0.1 + 0 + 6.6= 6.8 毫秒因此，同步復制模式下，單個I/O的寫性能下降35倍。在非并行I/O下，36MBytes的數據（秒級寫峰值）需要36 * 1024 / 10 * 0.0035 = 12.9秒，對應用的影響極大。根據以上的分析計算，廣州與深圳之間的容災數據復制不適合采用同步方式。2.3.2.2 采用異步復制方式的分析與同步傳輸方式相比，異步傳輸方式對帶寬和距離的要求低很多，它只要求在某個時間段內能將數據全部復制到異地即可，同時異步傳輸方式也不會明顯影響應用系統(tǒng)的性能。其缺點是在本地生產數據發(fā)生災難時，異地系統(tǒng)上的數據可能是幾秒鐘或幾分鐘以前的數據，即最近幾秒鐘或幾分鐘內的交易會丟失。（注：丟失數據的多少，與寫I/O量和復制帶寬有直接關系）如果采用異步方式進行過程數據容災復制，對生產系統(tǒng)影響會較小?？梢圆捎肰ERITAS的Volume Replicator進行數據異步復制。VERITAS VVR （Volume Replicator）采用的是基于主機邏輯卷（Volume）的數據復制方式。通過基于Volume和Log的復制技術，保證在任何時刻本地系統(tǒng)發(fā)生自然災難時，在異地的數據仍是可用的。VERITAS VVR在異步模式下采用了Log技術來跟蹤未及時復制的數據塊，這個Log是一個先到先服務的堆棧，每一筆I/O處理都會首先被放進這個Log，并按到達先后順序被復制到異地服務器系統(tǒng)。下圖是其工作的結構原理。從上圖，我們可以看到整個I/O和復制的過程如下：1.本地主機系統(tǒng)發(fā)出第一個I/O請求A到邏輯卷；2.邏輯卷對本地磁盤系統(tǒng)發(fā)出I/O請求；2. 在往本地磁盤系統(tǒng)I/O的同時，邏輯卷向本地磁盤系統(tǒng)上的VVR Log發(fā)出相同的寫請求；3.本地磁盤系統(tǒng)完成I/O操作；并通知邏輯卷“I/O完成”；3. VVR完成針對這個I/O的有關操作，并通知邏輯卷；4.邏輯卷向主機確認“I/O完成”，然后，主機系統(tǒng)發(fā)出第二個I/O請求B。服務器的另一個進程：VVR的進程，負責將Log隊列中的I/O復制到異地服務器。這個過程和上面的I/O過程在時間上無關。如上圖中的標記：“i”和“ii”。i: 本地VVR進程從Log隊列中取出最先到達的I/O，復制到異地服務器ii: 異地服務器接收到本地服務器VVR發(fā)出的I/O請求，將相應數據寫到異地磁盤系統(tǒng)，然后，通知本地系統(tǒng)VVR進程，要求下一個I/O。這里，跟蹤未及時復制的數據塊的Log技術是保證異地數據可用的必要條件。一個數據庫的I/O是有嚴格順序的，這個順序是保證數據庫完整性的必要條件，一個完整性被破壞的數據庫一般是不可用的，比如根本無法啟動、打開該數據庫，且是無法修復的。那么，復制時數據庫的完整性是怎么保證的呢？我們知道，本地數據庫的完整性是由數據庫本身來維護的。例如，當一個ORACLE數據庫正在寫數據時突然發(fā)生斷電或服務器故障，下次數據庫重新啟動時，ORACLE數據庫會自動進行recover，利用redo log將未寫進datafile的數據進行redo，利用數據庫的rollback功能將未commit的數據進行回滾，把數據庫recover到一個一致的狀態(tài)。這是數據庫本身進行完整性維護的功能。當一個數據庫被實時復制到異地時，要保證異地數據庫的完整性，必然保證在異地磁盤I/O上的I/O順序和本地I/O順序完全相同，否則，異地數據庫的完整性就無法保證。VERITAS VVR采用的I/O控制機制是支持先到先服務的Log技術，因此，不管異地數據比本地數據落后多少時間，都能保證異地數據庫數據的一致性。比如：本地系統(tǒng)在12：00時發(fā)生自然災難，由于部分數據未被及時復制到異地，如有10分鐘的數據未完成復制，那么在異地系統(tǒng)上存在11：50分鐘以前的所有數據，數據庫啟動時會自動做recover，這個11：50分的數據庫是可用的。采用異步復制時，遠程容災中心的數據可能會比生產中心滯后，滯后的數據量與生產系統(tǒng)寫I/O量和網絡帶寬有關。例如，廣東電信轉接數據庫每天變化的數據量為204G，采用480M復制網絡，則同步可以在204*1024/(480/8*60%) = 5800秒 = 1.7小時內完成，完全可以滿足每天的變化要求。而廣東電信生產轉接數據庫的每秒寫I/O小于36Mbyte/s，480M復制網絡傳輸的速度為480Mb/8*60%=36MB，所以正常情況下異步復制可以保證數據的丟失量小于1秒。因為復制帶寬是以每1秒的峰值寫I/O建立的，因此每個I/O所產生的數據，都在1秒內被復制完成了。再次說明：其它數據庫和文件共享空間的寫I/O數據沒有得到，因此無法估算所需的復制帶寬。建議采用應用實測的方法，對一定負載的每個數據庫進行寫I/O的測試統(tǒng)計，才可能正確估算出所需的復制帶寬。2.4系統(tǒng)容災方案的設計2.4.1 容災軟件對于廣東電信的容災系統(tǒng)功能的實現，VERITAS對軟件配置有以下建議：同城容災采用DWDM連接，通過Volume鏡像實現；異地采用Volume Replicator進