1、 VTL6900技術建議書內部公開2012-05華為機密，未經許可不得擴散Page PAGE 20 Total NUMPAGES 20 華為 OceanStor VTL6900 備份(bi fn)解決方案技術(jsh)建議書華為科技(kj)有限公司目錄(ml) TOC o 1-3 h z u HYPERLINK l _Toc331676823 目錄(ml) PAGEREF _Toc331676823 h 3 HYPERLINK l _Toc331676824 1.虛擬磁帶庫備份(bi fn)介紹 PAGEREF _Toc331676824 h 4 HYPERLINK l _Toc3316768

2、25 1.1虛擬磁帶庫 PAGEREF _Toc331676825 h 4 HYPERLINK l _Toc331676826 1.2VTL備份和物理帶庫備份 PAGEREF _Toc331676826 h 4 HYPERLINK l _Toc331676827 1.3VTL備份和磁盤備份 PAGEREF _Toc331676827 h 6 HYPERLINK l _Toc331676828 2.用戶需求分析 PAGEREF _Toc331676828 h 8 HYPERLINK l _Toc331676829 2.1現網環(huán)境 PAGEREF _Toc331676829 h 8 HYPERLI

3、NK l _Toc331676830 2.2建設需求 PAGEREF _Toc331676830 h 9 HYPERLINK l _Toc331676831 2.3需求分析 PAGEREF _Toc331676831 h 9 HYPERLINK l _Toc331676832 3.方案設計原則 PAGEREF _Toc331676832 h 11 HYPERLINK l _Toc331676833 3.1.高性能 PAGEREF _Toc331676833 h 11 HYPERLINK l _Toc331676834 3.2.易擴展 PAGEREF _Toc331676834 h 11 HYP

4、ERLINK l _Toc331676835 3.3.高可靠 PAGEREF _Toc331676835 h 11 HYPERLINK l _Toc331676836 3.4.安全性 PAGEREF _Toc331676836 h 11 HYPERLINK l _Toc331676837 3.5.便于管理和維護 PAGEREF _Toc331676837 h 11 HYPERLINK l _Toc331676838 3.6.系統(tǒng)整體的均衡 PAGEREF _Toc331676838 h 12 HYPERLINK l _Toc331676839 4.建議的備份方案 PAGEREF _Toc331

5、676839 h 13 HYPERLINK l _Toc331676840 4.1.備份組網 PAGEREF _Toc331676840 h 13 HYPERLINK l _Toc331676841 4.2.方案說明 PAGEREF _Toc331676841 h 15 HYPERLINK l _Toc331676842 4.3.軟件配置 PAGEREF _Toc331676842 h 18 HYPERLINK l _Toc331676843 4.4.硬件配置 PAGEREF _Toc331676843 h 18 HYPERLINK l _Toc331676844 4.5.方案優(yōu)勢 PAGER

6、EF _Toc331676844 h 18虛擬(xn)磁帶庫備份介紹虛擬(xn)磁帶庫虛擬(xn)磁帶庫（Virtual Tape Library, 以下簡稱VTL）是一種基于磁盤的備份解決方案，它可以模擬物理磁帶庫和驅動器，并在磁盤上存儲備份映像，因而具有易管理、高性能等眾多優(yōu)異特性，在大量的磁盤備份解決方案中備受矚目。VTL由計算機硬件、應用軟件和磁盤驅動器三部分組成。計算機硬件通常為Intel處理器或相近的變體，一般基于Linux操作系統(tǒng)；應用軟件則用來模擬物理磁帶庫和驅動器；磁盤驅動器則往往是基于RAID技術的存儲陣列，它不僅具有很好的讀寫性能，同時也可以在磁盤失效時避免數據丟失。隨著

7、數據量的不斷增加，備份系統(tǒng)對于備份設備的容量、備份速度、可靠性、性能價格比等要求越來越高。傳統(tǒng)的磁帶庫備份由于備份速度低，機械故障點多，而且磁帶制式頻繁升級、管理繁瑣、受灰塵環(huán)境等因素影響大，經常導致備份失敗（備份失敗率高達20以上），因而很難滿足應用連續(xù)性要求。而且，磁帶庫的維護成本也居高不下。據Storage Magazine統(tǒng)計，磁帶庫每年維護成本平均為采購成本的15。因此，傳統(tǒng)物理磁帶備份設備已經無法滿足用戶對于數據保護的需要。隨著磁盤介質容量的大幅提高，價格的大幅下跌，以SATA為主的磁盤備份系統(tǒng)已經在用戶IT環(huán)境中大量部署，并逐漸被用戶所接受。磁盤具有高速隨機訪問的優(yōu)點，磁盤RAI

8、D技術又可以提供磁帶所無法比擬的高可靠性。虛擬磁帶庫使用內置軟件將磁盤虛擬為主流的磁帶庫，兼有磁盤設備（高性能，易維護）和磁帶設備（先進成熟的介質管理）兩者的優(yōu)點，受到市場和用戶的廣泛關注。一經推出，即獲得了良好的成長。VTL備份(bi fn)和物理帶庫備份(bi fn)下面從可靠性、性能、可擴展性、投資回報率幾個(j )方面來比較一下VTL備份和物理帶庫備份?？煽啃晕锢泶艓焱耆蓹C械設備構成，磁帶庫的機械手、磁帶驅動器和磁帶均為非封閉的精密部件，它們的可靠性遠不像磁帶庫廠商宣傳的那樣高，平均無故障使用時間、平均無故障換帶次數等關鍵指標并不能作為實際應用的參考基準，多個部件組合后整體系統(tǒng)的可

9、用性將更低：磁帶驅動器、磁帶存儲槽、機械臂系統(tǒng)、控制器、條碼掃描系統(tǒng)、磁帶入庫和磁帶出庫裝置等部件任何的單點故障均可能會導致整個磁帶庫運轉異常，增加宕機時間，甚至影響整個應用系統(tǒng)的正常運轉。同時磁帶庫不具備容錯能力，很容易受灰塵、潮濕等環(huán)境因素的影響而導致故障。有相當大比例的使用中端以下（包括中端）磁帶庫的用戶至少都經歷過一次導致備份失敗的磁帶庫故障。尤其令用戶煩惱的是，磁帶庫修復必須由專業(yè)人員進行，而且維修響應時間長，造成日常運營混亂。用戶因此而被迫購買多個磁帶驅動器，而驅動器恰恰是磁帶庫中的最主要的昂貴部件，這進一步加大了用戶的總體擁有成本。VTL基于磁盤陣列設計，沒有磁帶庫設備的介質可靠

10、性低、維護成本高等方面的困擾；同時，VTL中的磁盤陣列采用RAID技術，因而VTL又具有極強的容錯能力。性能目前磁帶技術的發(fā)展遠遠落后于數據量的增長，由于其讀寫速率低下，因而它已經成為整個備份系統(tǒng)的瓶頸。另一方面，磁帶加載所需要的時間，有時候比磁帶讀寫需要的時間還要長，如果用戶要恢復的數據在多盤磁帶上，那么要進行一次完整的系統(tǒng)恢復將是漫長的過程，恢復性能將極其低下。隨著業(yè)務的增長，每個系統(tǒng)能留給備份的時間越來越少，為了能夠在更短的時間內完成更多數據量的備份，用戶只能在磁帶庫內安裝更多的磁帶機，這也意味著更高的支出，更高的故障率，當磁帶技術更新的時候還意味著更大的投資浪費，更糟糕的是，由于磁帶庫

11、庫體設計的限制，能夠增加的磁帶機數量也是很有限的。VTL基于磁盤陣列設計，在性能上不存在磁帶庫具有的讀寫速率瓶頸，同時(tngsh)VTL是虛擬的磁帶庫，不存在物理磁帶庫加載磁帶的過程。可擴展性隨著(su zhe)數據量不斷增長(zngzhng)，物理磁帶庫存儲空間的擴展就顯得極其有限。而如果一開始就采購比較大型的磁帶庫（如200槽以上），即使采用較低的初始配置，其價格仍然很高。另外磁帶庫支持的驅動器數目有限，其性能擴展也將受到很大限制。VTL采用軟件虛擬磁帶庫和磁帶機，所以只需在軟件上創(chuàng)建就可以進行磁帶庫和磁帶機的擴展。VTL存儲空間的擴展也只需要增加更多的磁盤即可，十分方便簡捷。投資回報率

12、一方面，物理磁帶插槽很快就不夠用，另一方面，幾乎絕大部分磁帶庫其磁帶空間都無法充分利用（由于備份管理上的要求，很多磁帶只寫入了幾十GB甚至幾GB的數據，就由于保存周期和磁帶分類管理等要求，而不能寫入新的數據），這樣，一臺號稱幾十TB的磁帶庫，可能只能利用不到一半的空間就必須考慮擴容了。由于物理磁帶庫較為封閉，大部分配件的維修、更換必須由磁帶庫原廠商工程師完成，這使得實際故障排除時間難以控制，維修成本也很高。最終，用戶會發(fā)現，用于數據保護的投資往往超出預期，而備份系統(tǒng)本身又極大地增加了系統(tǒng)維護的工作量，最終的結果卻依舊不能令人滿意。VTL備份和磁盤備份隨著SATA磁盤容量的提升和價格的下降，考慮

13、到物理帶庫備份的眾多問題，很多用戶和咨詢專家開始傾向使用磁盤陣列作為備份介質。VTL是基于磁盤陣列的，在性能(xngnng)及可靠性方面，VTL和磁盤陣列都有很好的表現，而在可管理性、安全性和可以提供的功能等方面，VTL的表現比磁盤陣列更好。共享及管理(gunl)考慮在一個有多臺服務器的環(huán)境中實現LAN Free組網方式備份的應用(yngyng)場景，磁盤備份配置的復雜性和成本都會迅速提高。磁盤陣列用于備份，首先都要在其上創(chuàng)建文件系統(tǒng)，這樣它才能被備份軟件識別繼而使用。然而，一般的文件系統(tǒng)都不能被多服務器共享，只有磁帶庫可以實現共享。如果要像使用傳統(tǒng)磁帶庫一樣，通過SAN實現多服務器共同使用同

14、一個磁盤陣列，必須要在磁盤陣列上建立多個邏輯設備，然后將每個邏輯設備分配給每臺備份服務器。這就帶來了管理上一系列的問題，例如：何決定為每臺服務器分配多少塊磁盤；一旦分配的空間太少，如何在線進行擴展等問題。雖然現在有些備份軟件也提供了備份存儲池的概念，但也僅能解決同平臺下數據共享的問題，對于跨平臺數據共享的問題，需要購買相關的共享選件才能實現，并且兼容的平臺很有限。對于VTL來說，可以通過同時虛擬多個虛擬磁帶庫、每個虛擬磁帶庫對應一臺服務器來解決該問題。安全性 磁盤備份情況下，備份數據以文件的形式存在于服務器文件系統(tǒng)中，存在諸多安全隱患：（1）系統(tǒng)管理員的誤操作或其他人的惡意刪除導致數據丟失；（

15、2）數據被非法拷貝到其它計算機上進行恢復，導致關鍵機密的泄漏；（3）系統(tǒng)被病毒感染，導致備份數據不可用。VTL中的備份數據以塊的方式存儲，不存在上述風險。性能磁盤備份情況下，尤其在多任務、多進程的情況下，文件系統(tǒng)很有可能成為整個備份系統(tǒng)的性能瓶頸。 VTL中的備份數據(shj)以塊的方式存儲，不存在文件系統(tǒng)，因而沒有文件系統(tǒng)固有的性能瓶頸。功能(gngnng)備份管理軟件是設計為磁帶庫使用的，雖然目前絕大部分備份軟件都支持使用磁盤陣列作為備份設備，但與使用磁帶時的功能仍然存在(cnzi)很多差別。這些差別會導致磁盤備份出現一些嚴重的問題：（1）對于已有的備份環(huán)境，使用磁盤備份就必須徹底改變已有

16、的備份策略，不能實現無縫接入。（2）磁盤備份不能實現數據硬件壓縮功能，不能有效提高備份性能及節(jié)約存儲空間。（3）存放在磁盤陣列上的備份數據，無法直接進行介質復制和遠程數據保存。這樣，就失去了使用磁帶帶來的一系列靈活性，如離線保存、數據遷移、異地容災等等。VTL能夠仿真主流廠商的多種磁帶庫/磁帶機，可以無縫接入到現有備份環(huán)境，而且它支持虛擬磁帶數據歸檔和遠程復制，輕松實現數據離線保存和異地容災。用戶(yngh)需求分析現網環(huán)境(hunjng)客戶現網環(huán)境(hunjng)收集列表信息收集列表客戶現網環(huán)境客戶端數量情況客戶現網環(huán)境客戶端操作系統(tǒng)情況客戶現網環(huán)境數據庫系統(tǒng)情況客戶現網環(huán)境應用系統(tǒng)情況客

17、戶現網環(huán)境初始數據量客戶現網環(huán)境數據每日增量客戶現網環(huán)境備份策略客戶現網環(huán)境備份軟件情況客戶現網環(huán)境備份服務器硬件配置情況客戶現場光纖交換機可用端口數量客戶現場以太網交換機可用端口數量客戶現場物理磁帶庫的型號客戶現場磁帶機型號存儲網絡拓撲圖。存儲網絡介紹，包括存儲組網、備份主機類型、業(yè)務數據類型、業(yè)務數據量大小等。根據備份數據類型，確認用戶是否需要重復數據刪除。舉例： 備份數據類型初始業(yè)務數據量增量備份策略Oracle database 500GB每周增加1GB一周一全備，保留1個月每天增備考慮使用重復(chngf)數據刪除，需要知道數據變化率，下表為一現網數據收集信息統(tǒng)計備份數據類型初始數據

18、量增量變化率備份策略Oracle database 500GB每周增加1GB每周約有1%的數據改變一周一全備，保留1個月，每天增備，增備保留1周建設(jinsh)需求客戶(k h)需要備份什么數據?？蛻粜枰獋浞萑萘繚M足未來多長時間的備份需求客戶的希望的備份策略是什么（全備、增備、備份頻率、備份數據保留期等）。如果客戶不清楚自己需要的備份策略，我們必須至少給出一個建議的備份策略。客戶希望的備份時間為多長（備份窗口）。需求分析存儲空間需求根據需要備份的數據量大小和備份策略分析客戶對備份存儲容量的需求。備份性能需求根據需要備份的數據量大小、備份策略和備份窗口分析客戶對備份性能的需求。方案設計原則(y

19、unz)高性能XXX存儲系統(tǒng)中多個數據庫的數據需要(xyo)備份，涉及的備份客戶端數量眾多、備份數據量大，因而要求備份系統(tǒng)具有優(yōu)異(yuy)的備份性能，以便滿足多主機并發(fā)備份情況下的備份窗口要求。易擴展XXX存儲系統(tǒng)中要備份的數據庫多，備份數據量大，數據增長較快，因而要求備份系統(tǒng)具有很好的擴展性，具體包括：未來當備份客戶端數量增加時，備份系統(tǒng)的性能要能夠平滑擴展，以滿足更多主機并發(fā)備份的性能要求；未來當備份數據量增加時，備份系統(tǒng)的存儲容量要能夠平滑擴展，以滿足更大備份數據量的存儲空間需求。高可靠備份系統(tǒng)的各網絡通路、各設備部件必須冗余配置，以排除單點故障。沒有可靠性可言的備份系統(tǒng)，其任何其他特

20、性將成為空中樓閣。VTL6900通過RIAD技術、熱備磁盤、磁盤預拷貝、Active-Active雙引擎配置、SIR引擎2+1集群技術來保證備份系統(tǒng)穩(wěn)定可靠。安全性備份系統(tǒng)的安全性是異常重要的，它必須能夠保證備份數據不被黑客和病毒入侵，必須能夠保證備份數據在傳輸過程中不會因為被截獲而導致信息泄露等，因而在設計備份系統(tǒng)時，必須采取多種措施和手段以保證備份數據的安全性。便于管理和維護管理和維護成本是IT投資的一個重要部分。備份系統(tǒng)應盡量采取集中統(tǒng)一的管理方式，以支持系統(tǒng)配置、性能和狀態(tài)監(jiān)控等功能。同時，備份系統(tǒng)必須具有良好的故障告警機制，并支持硬件在線升級、部件在線更換以及系統(tǒng)擴容等。系統(tǒng)(xtn

21、g)整體的均衡應該對備份系統(tǒng)各部分(b fen)都進行性能估算，使備份系統(tǒng)不產生明顯的瓶頸。所有備份恢復負載應均衡到不同的網卡、交換機、存儲介質等。追求局部性能而忽視整體的均衡實際上達不到高性能。建議的備份(bi fn)方案備份(bi fn)組網備份(bi fn)組網拓撲圖。VTL6900典型組網方案有如下三種，請根據用戶實際環(huán)境以及需求選擇。（1）集中備份系統(tǒng)(2)分級備份系統(tǒng)當客戶本身環(huán)境已有物理磁帶庫，其備份性能已經不能滿足要求時，可以采用類似如下的組網方式。數據備份到VTL6900，VTL6900接管物理帶庫，開啟自動歸檔或自動緩存功能以便將備份數據在恰當時間歸檔到物理帶庫。此組網方式

22、可以充分利用客戶已有投資，提高備份速度，同時可對數據歸檔過程(guchng)進行加密，保證數據安全性。(3)災備一體化備份(bi fn)系統(tǒng)此方式適用于客戶環(huán)境中處于不同的地理位置，各分支機構各自(gz)備份，并定期向總部進行備份的場景。分支機構的數據備份到本地VTL再通過IP網絡復制到總部備份中心。分支以及總部的VTL均開啟重復數據刪除功能，可以大大縮減數據傳輸量，降低對網絡帶寬的要求。方案(fng n)說明首先詳細介紹備份組網和整個(zhngg)備份系統(tǒng)，然后給出技術說明，主要從備份策略、存儲容量和備份性能幾個方面來說明。備份(bi fn)策略說明詳細描述備份策略，包括備份類型（全備、增備

23、）、備份頻率、備份數據保留期等。備份策略的制定必須考慮系統(tǒng)的備份性能需求，很多情況下，為了縮短單次全備時間，需要將業(yè)務數據分成若干部分分別作全備。如果必要，需要說明系統(tǒng)中備份數據的劃分（最終對應到備份主機的劃分）。容量說明根據要備份的業(yè)務數據量和備份策略，給出建議的VTL存儲容量。最終必須得出結論：VTL(s)的容量可以滿足客戶需求。在此假定(jidng)用戶環(huán)境如下：初始(ch sh)數據為100GB， 每周一次全備(qun bi)，每日一次增備，數據保存期為6個月。增備數據為5GB，假設新增加的數據中重復比為2，即新增加的數據有一半是重復的數據。針對用戶存儲空間需求需要確認備份方案中是否需

24、要重復數據刪除，可以按照常規(guī)以及使用重復數據刪除兩種方式來計算客戶的存儲容量需求1 常規(guī)備份方式在如上的假定環(huán)境下，所需存儲容量如下表所示：用戶第一周全備數據量為100GB，一周后數據增長35GB，因此全備數據量變?yōu)?35GB。依次類推，6個月中的最后一次全備數據量為(100+24*35)=940GB。用戶一次全備數據量需要保留全備數量全備存儲容量100GB100+135+.+940=13000GB用戶每次增備數據量為5GB，6個月中（需要除去25次全備）執(zhí)行增備的次數為6*30-25=155，總的增備數據量為155 * 5GB = 775GB。故總的存儲容量需求為13000+775=1377

25、5GB。注：通常需要和用戶商定預留合適的存儲空間余量，此時實際給客戶配置的存儲容量大小都需要在計算值的基礎上增加一定比例的空間余量（一般取20%50%）。2 重復數據刪除備份方式使用VTL6900重復數據刪除功能時，VTL6900的重復數據刪除存儲空間被劃分為兩部分：Dedupe Cache(對應于VTL)和Dedupe Repository（對應于SIR）。其中，前者用于存放Dedupe索引（并緩存?zhèn)浞輸祿?，后者用于存放Dedupe之后的數據塊。實際配置時需要分別計算這兩部分存儲空間的大小。VTL6900支持兩種方式的重復數據刪除：在線重刪和后處理重刪，兩種方式下Dedupe Cache（

26、也就是VTL）部分的存儲空間計算方法略有不同，Dedupe Repository（也就是SIR）部分的存儲空間計算方法沒有(mi yu)差異。建議(jiny)先計算Dedupe Repository（SIR）的存儲空間大小(dxio)，后計算Dedupe Cache（VTL）的存儲空間大小。在前述假定環(huán)境下，所需存儲容量計算方法如下：（1）計算Dedupe Repository（SIR）存儲空間首先計算如下兩個輸入的值：常規(guī)方式下總的存儲容量：13775GB。計算方法見常規(guī)備份方式內容?？傮w重刪率：15?？傮w重刪率一般為估算值，取值區(qū)間建議為820。如果備份數據為數據庫，則總體重刪率估值可以略

27、高，比如為1220；如果備份數據為文件，則總體重刪率估值可以略低，比如為815。保留期越長的，總體重刪率估值越高；保留期越短的，總體重刪率估值越低。此處以15為例。基于上述兩個輸入，可以得出Dedupe Repository（也就是SIR）部分的存儲空間大小約為13775GB/15=918GB，即：常規(guī)方式下總的存儲容量/總體重刪率。（2）計算Dedupe Cache（VTL）存儲空間首先計算最大完全備份數據量大小，本例中為940GB。最大全備一般為最后一次全備，計算方法見常規(guī)備份方式內容。然后根據VTL6900計劃使用的重刪方式計算Dedupe Cache的大小，計算方法如下表：VTL690

28、0計劃使用的重刪方式Dedupe Cache計算公式在線重刪4%*常規(guī)方式下總的存儲容量后處理重刪最大完全備份數據量 + 4%*常規(guī)方式下總的存儲容量其中，常規(guī)方式(fngsh)下總的存儲容量大小計算方法見常規(guī)備份方式內容。本例中，如果(rgu)VTL6900使用在線重刪方式，則Dedupe Cache的大小為4%*13775GB=551GB；如果VTL6900使用(shyng)后處理重刪方式，則Dedupe Cache的大小為940GB + 4%*13775GB=1491GB綜上所述，重刪方式下VTL6900所需存儲容量大小為：重刪方式Dedupe Cache（VTL）容量Dedupe Repository（SIR）容量總計容量在線重刪551GB918GB1469GB后處理重刪1491GB24