1、DataOntap核心技術(shù),河漢計算機(jī)有限公司 石志斌 Mail: MobileData Ontap,FAS存儲操作系統(tǒng) FAS系列 / V系列 / GX 核心技術(shù) WAFL / Snapshot / Raid-dp / Flexvol etc. 開放存儲協(xié)議 FCP / NFS / CIFS / ISCSI 統(tǒng)一存儲 http / https / ftp / ndmp / snmp / smtp / telnet / rsh / ssh etc. 存儲網(wǎng)絡(luò)接口 FC - SAN Ethernet NAS, IPsan,存儲單元劃分,Aggr0,Aggr1,vol0,

2、vol1,vol2,vol3,物理磁盤,Aggregate (RAID組集合),存儲單元名稱與定義,Aggregate 每個控制器必須有獨立的Aggregate 可以包含一個或多個RAID組 Volume NAS存儲單元 虛擬化邏輯單元，可以動態(tài)縮放（20MB16TB） WAFL文件系統(tǒng)結(jié)構(gòu) LUN SAN/IPsan 存儲單元 虛擬化，可以動態(tài)縮放 數(shù)據(jù)格式由主機(jī)定義,2020/8/4,NetApp Confidential - Do Not Distribute,5,專用操作系統(tǒng)和文件系統(tǒng)WAFL,WAFL 顯著增強(qiáng)了RAID性能,WAFL將許多個寫入IO聚合成少數(shù)大的磁盤IO并寫入同一個

3、RAID條帶 磁頭機(jī)械移動的減少獲得了極高的性能提升 NVRAM保證數(shù)據(jù)最終寫入磁盤前不會丟失 與訪問協(xié)議無關(guān)FCP,NFS,CIFS,ISCSI RAID4 或 RAID-DP,校驗盤,一個條帶,數(shù)據(jù)盤,Standard RAID 5, typical file system,This slide is most useful when its animation is viewed on the computer screen.,Single-parity RAID with WAFL,Parity,This slide is most useful when its animation

4、is viewed on the computer screen.,軟件產(chǎn)品和功能介紹,Netapp創(chuàng)新的RAID技術(shù),專用操作系統(tǒng)(Dataontap)和底層存儲空間管理技術(shù)(WAFL),先進(jìn)的數(shù)據(jù)快照(Snapshot)和快速恢復(fù)(Snaprestore)技術(shù),先進(jìn)的存儲空間分配和組織技術(shù)(Flexvol),先進(jìn)的數(shù)據(jù)克隆技術(shù)(Flexclone),應(yīng)用系統(tǒng)存儲訪問優(yōu)先級控制技術(shù)(Flexshare),先進(jìn)的基于磁盤陣列的數(shù)據(jù)容災(zāi)技術(shù)(Snapmirror),先進(jìn)的基于磁盤陣列的數(shù)據(jù)高可用技術(shù)(Metrocluster),異構(gòu)平臺的容災(zāi)技術(shù)(ReplicatorX),1,1,3,7,2,為

5、什么其他廠商不提供RAID4支持，RAID4本身存在什么不足? Netapp如何解決RAID4本身的不足?,3,9,1,2,2,1,3,3,2,1,1,1,2,2,5,8,8,3,3+1+2+3=9,9-3-1-3=2,11,5,1,2,D,D,D,D,P,不管是RAID4還是RAID5，都是基于單校驗技術(shù)的RAID方法，只能防止因一塊硬盤故障導(dǎo)致數(shù)據(jù)失效,Netapp采用的RAID技術(shù)之一：RAID4,RAID4 有一塊專用的校驗盤,用戶數(shù)據(jù),校驗數(shù)據(jù),圖例,此塊數(shù)據(jù)要從3修改為5,5,11,2,2,1,4,9,單校驗RAID技術(shù)的RAID組重構(gòu),3,1,2,1,1,1,3,1,2,2,1,

6、3,3,1,2,2,D,D,D,D,RAID4 有一塊專用的校驗盤,9 3 1 3 =,2,5 1 1 1 =,2,8 2 3 2 =,1,7 1 1 2 =,3,RAID組的重構(gòu)，會給用戶帶來如下的影響： 需要較長的時間完成，且硬盤越大，所需的時間越長 會嚴(yán)重消耗陣列的資源，特別是該RAID組內(nèi)的硬盤讀寫資源，因此會嚴(yán)重影響性能 在重構(gòu)期內(nèi)，整個RAID組沒有保護(hù)，如果再有一塊硬盤失效會導(dǎo)致用戶數(shù)據(jù)的丟失,3,1,2,1,1,1,3,1,2,2,1,3,3,1,2,2,9,5,8,7,7,12,12,11,D,D,D,D,P,DP,一個Raid組內(nèi)可以同時壞兩塊硬盤 數(shù)據(jù)可靠性比RAID-4

7、 或 RAID-5 提高了 4000倍 由于WAFL的批次刷寫技術(shù)，RAID-DP相比RAID4幾乎沒有性能損傷,Netapp采用的RAID技術(shù)之二：RAID DP,用戶數(shù)據(jù),水平交驗數(shù)據(jù),對角交驗數(shù)據(jù),圖例,軟件產(chǎn)品和功能介紹,Netapp創(chuàng)新的RAID技術(shù),專用操作系統(tǒng)(Dataontap)和底層存儲空間管理技術(shù)(WAFL),先進(jìn)的數(shù)據(jù)快照(Snapshot)和快速恢復(fù)(Snaprestore)技術(shù),先進(jìn)的存儲空間分配和組織技術(shù)(Flexvol),先進(jìn)的數(shù)據(jù)克隆技術(shù)(Flexclone),應(yīng)用系統(tǒng)存儲訪問優(yōu)先級控制技術(shù)(Flexshare),先進(jìn)的基于磁盤陣列的數(shù)據(jù)容災(zāi)技術(shù)(Snapmir

8、ror),先進(jìn)的基于磁盤陣列的數(shù)據(jù)高可用技術(shù)(Metrocluster),異構(gòu)平臺的容災(zāi)技術(shù)(ReplicatorX),RAID 4 / DP：RAID組內(nèi)添加硬盤不需要進(jìn)行重構(gòu),3,1,2,1,1,1,3,1,2,2,1,3,3,1,2,2,D,D,D,D,RAID4 / DP: 專用的校驗盤,只要新添加的硬盤所有位都格式化為0，把硬盤添加到RAID4中就不會改變各個條帶的校驗值，因此整個RAID組不需要重構(gòu),RAID5：RAID組內(nèi)添加硬盤需要進(jìn)行重構(gòu),3,5,2,1,2,1,1,8,1,3,2,1,3,7,1,3,2,1,3,8,D,D,D,D,9,1,2,2,2,D,RAID5 沒有專

9、用的校驗盤，所有的校驗信息分散存儲在所有硬盤上,0,0,0,0,0,D,5,0,8,2,7,1,1,8,為了保持RAID5分散存放校驗信息的特點，新硬盤添加到RAID組后，整個RAID組需要進(jìn)行長時間的重構(gòu)，在這段時間內(nèi)數(shù)據(jù)沒有RAID保護(hù)，且會嚴(yán)重影響性能,軟件產(chǎn)品和功能介紹,Netapp創(chuàng)新的RAID技術(shù),專用操作系統(tǒng)(Dataontap)和底層存儲空間管理技術(shù)(WAFL),先進(jìn)的數(shù)據(jù)快照(Snapshot)和快速恢復(fù)(Snaprestore)技術(shù),先進(jìn)的存儲空間分配和組織技術(shù)(Flexvol),先進(jìn)的數(shù)據(jù)克隆技術(shù)(Flexclone),應(yīng)用系統(tǒng)存儲訪問優(yōu)先級控制技術(shù)(Flexshare)

10、,先進(jìn)的基于磁盤陣列的數(shù)據(jù)容災(zāi)技術(shù)(Snapmirror),先進(jìn)的基于磁盤陣列的數(shù)據(jù)高可用技術(shù)(Metrocluster),異構(gòu)平臺的容災(zāi)技術(shù)(ReplicatorX),快照 數(shù)據(jù),生產(chǎn) 數(shù)據(jù),Netapp數(shù)據(jù)快照技術(shù)：Snapshot,A,B,C,D,空閑空間池,生產(chǎn) 數(shù)據(jù),A,B,C,空閑空間池,D,D,D,用戶最關(guān)心的和數(shù)據(jù)快照相關(guān)的兩個問題： 數(shù)據(jù)快照對性能的影響程度 數(shù)據(jù)快照所需消耗的存儲空間,快照 數(shù)據(jù),生產(chǎn) 數(shù)據(jù),其它廠商的數(shù)據(jù)快照技術(shù),A,B,C,D,用戶數(shù)據(jù),生產(chǎn) 數(shù)據(jù),A,B,C,用戶數(shù)據(jù),數(shù)據(jù)快照專用存儲空間,D,D,D,D,不同的數(shù)據(jù)快照實現(xiàn)的性能差別,CX500 pe

11、rformance with their snapshots goes to 40%,VeriTest: Network Appliance FAS3020 and EMC CX500: Comparison of Usability and Performance,2600,2730,2860,2990,3120,3250,3380,3510,Elapsed Time in Seconds,CX500 R & W,FAS3020 R & W,Netapp數(shù)據(jù)快照的優(yōu)勢,不管拍多少份快照，對系統(tǒng)性能沒有任何影響 不需要給快照提前分配存儲空間，這樣就不會造成如下兩種情況 給快照空間分配過大，造成

12、空間浪費 給快照空間分配過小，導(dǎo)致快照失效 可以對一份數(shù)據(jù)最多進(jìn)行255份快照,如果我們只有一份快照,12:00,生產(chǎn)數(shù)據(jù)文件,數(shù)據(jù)快照文件,18:00,19:00,20:00,21:00,22:00,23:00,24:00,數(shù)據(jù)快照被更新，被病毒刪除的文件也從該快照中刪除，此快照失效，從這一點起，該快照失效，無法用來恢復(fù)被病毒刪除的文件,16:00,17:00,如果我們有多份快照,生產(chǎn)數(shù)據(jù)文件,18:00,19:00,20:00,21:00,22:00,快照數(shù)據(jù)文件,我手里還有有效的數(shù)據(jù)快照用來恢復(fù)被病毒刪除的文件,Netapp缺省的自動數(shù)據(jù)快照時間表 最近三天每個小時進(jìn)行一次數(shù)據(jù)快照 三天

13、到七天每天進(jìn)行一次數(shù)據(jù)快照 七天到一個月每個星期進(jìn)行一次數(shù)據(jù)快照 一個月到一年每個月進(jìn)行一次數(shù)據(jù)快照,快照 數(shù)據(jù),生產(chǎn) 數(shù)據(jù),Netapp快速數(shù)據(jù)恢復(fù)技術(shù)：Snaprestore,空閑空間池,生產(chǎn)數(shù)據(jù)根節(jié)點,快照數(shù)據(jù)根節(jié)點,生產(chǎn)數(shù)據(jù)獨占的空間,快照數(shù)據(jù)獨占的空間,共享的空間,圖例,直接把快照數(shù)據(jù) 升格為生產(chǎn)數(shù)據(jù),生產(chǎn) 數(shù)據(jù),生產(chǎn)數(shù)據(jù) 整個損壞,恭喜 數(shù)據(jù)恢復(fù)完成,不需要任何的數(shù)據(jù)拷貝過程，只涉及到一些標(biāo)志位的修改和數(shù)據(jù)塊的釋放，因此，不管需要恢復(fù)的數(shù)據(jù)量多大，都能在很短的時間內(nèi)完成數(shù)據(jù)恢復(fù),軟件產(chǎn)品和功能介紹,Netapp創(chuàng)新的RAID技術(shù),專用操作系統(tǒng)(Dataontap)和底層存儲空間管理

14、技術(shù)(WAFL),先進(jìn)的數(shù)據(jù)快照(Snapshot)和快速恢復(fù)(Snaprestore)技術(shù),先進(jìn)的存儲空間分配和組織技術(shù)(Flexvol),先進(jìn)的數(shù)據(jù)克隆技術(shù)(Flexclone),應(yīng)用系統(tǒng)存儲訪問優(yōu)先級控制技術(shù)(Flexshare),先進(jìn)的基于磁盤陣列的數(shù)據(jù)容災(zāi)技術(shù)(Snapmirror),先進(jìn)的基于磁盤陣列的數(shù)據(jù)高可用技術(shù)(Metrocluster),異構(gòu)平臺的容災(zāi)技術(shù)(ReplicatorX),存儲虛擬化FlexVol,Aggregate 包含物理磁盤,傳統(tǒng)的存儲空間分配方式,3TB,1TB,1TB,2TB,2TB,總可分配存儲空間,哎，都分光了，沒有剩余存儲空間,傳統(tǒng)存儲空間分配方式

15、導(dǎo)致的矛盾,3TB,ERP系統(tǒng),1TB,CRM系統(tǒng),辦公自動化系統(tǒng),2TB,生產(chǎn)管理系統(tǒng),其它系統(tǒng),2TB,未使用空間,1TB,圖例,使用一段時間后的情景,傳統(tǒng)存儲空間分配方式導(dǎo)致的低使用率,40%利用率,嘿嘿，所有的存儲空間還在我手里,Netapp的Flexvol技術(shù)所采用的先進(jìn)的存儲空間分配方式,最多使用3TB,最多使用1TB,最多使用1TB,最多使用2TB,最多使用2TB,總可分配存儲空間,規(guī)定最大能使用的空間配額，不實際占用空間,圖例,Netapp的Flexvol技術(shù)采用的使用多少分配多少技術(shù),最多使用3TB,ERP系統(tǒng),最多使用1TB,CRM系統(tǒng),辦公自動化系統(tǒng),最多使用2TB,生產(chǎn)

16、管理系統(tǒng),其它系統(tǒng),最多使用2TB,未使用空間,還剩余的空間使用配額,已使用空間,圖例,總可分配存儲空間,最多使用1TB,在使用當(dāng)中，采用使用多少分配多少的策略,還有這么多空間可以分配,Netapp FlexVol 自動精簡配置技術(shù),3TB,1TB,CRM系統(tǒng),2TB,1TB,辦公自動化系統(tǒng),生產(chǎn)管理系統(tǒng),2TB,其它系統(tǒng),存儲空間池,ERP系統(tǒng),規(guī)定最大能使用的空間配額，不實際占用空間,圖例,3TB+1TB+1TB+2TB+2TB,6TB,Netapp的FlexVol技術(shù)提高了存儲空間的使用率,80%利用率,FlexVol提升 I/O 性能,原有的架構(gòu) 卷的性能被它的磁盤數(shù)量限制,軟件產(chǎn)品和

17、功能介紹,Netapp創(chuàng)新的RAID技術(shù),專用操作系統(tǒng)(Dataontap)和底層存儲空間管理技術(shù)(WAFL),先進(jìn)的數(shù)據(jù)快照(Snapshot)和快速恢復(fù)(Snaprestore)技術(shù),先進(jìn)的存儲空間分配和組織技術(shù)(Flexvol),先進(jìn)的數(shù)據(jù)克隆技術(shù)(Flexclone),應(yīng)用系統(tǒng)存儲訪問優(yōu)先級控制技術(shù)(Flexshare),先進(jìn)的基于磁盤陣列的數(shù)據(jù)容災(zāi)技術(shù)(Snapmirror),先進(jìn)的基于磁盤陣列的數(shù)據(jù)高可用技術(shù)(Metrocluster),異構(gòu)平臺的容災(zāi)技術(shù)(ReplicatorX),快照 數(shù)據(jù),生產(chǎn) 數(shù)據(jù),克隆 數(shù)據(jù),Netapp數(shù)據(jù)克隆技術(shù)Flexclone:克隆生產(chǎn),A,B,C

18、,D,空閑空間池,1. 復(fù)制生產(chǎn)數(shù)據(jù)的根節(jié)點，產(chǎn)生一份快照數(shù)據(jù),D,A,2. 復(fù)制快照數(shù)據(jù)的根節(jié)點，產(chǎn)生一份克隆數(shù)據(jù),數(shù)據(jù)克隆完成，只需要拷貝根節(jié)點而不需要拷貝任何數(shù)據(jù)，可以實現(xiàn)秒級數(shù)據(jù)克隆,生產(chǎn)數(shù)據(jù)和克隆數(shù)據(jù)在邏輯上完全獨立，各自可讀可寫，系統(tǒng)只需要額外的存儲空間用來保存兩者各自的變化數(shù)據(jù)即可,生產(chǎn) 數(shù)據(jù),Netapp數(shù)據(jù)克隆技術(shù)Flexclone:克隆刪除,B,C,D,空閑空間池,D,A,快照 數(shù)據(jù),克隆 數(shù)據(jù),A,其它廠商的數(shù)據(jù)克隆技術(shù),生產(chǎn) 數(shù)據(jù),B,C,D,A,B,C,D,A,1.從系統(tǒng)的空閑空間中分配一份和需要克隆的數(shù)據(jù)容量相等的空間,2.源數(shù)據(jù)和新分配的空間建立數(shù)據(jù)復(fù)制關(guān)系，進(jìn)行長時間的數(shù)據(jù)復(fù)制把所有源