1、 Copyright IBM Corporation 2009方案專家級課程IBM Spectrum FamilyPage 22為什么需要為什么需要LTFS歸檔歸檔Spectrum Archive(LTFS)總介紹LTFS EE 概述定位和應(yīng)用案例方案專家級課程IBM Spectrum FamilyPage 3Source: IBM and Industry Estimates 與與長長期的保存相關(guān)的衡量期的保存相關(guān)的衡量標標準是準是每每TB成本成本 x 保存的年數(shù)保存的年數(shù)數(shù)據(jù)內(nèi)容快速增數(shù)據(jù)內(nèi)容快速增長長而而難難以管理以管理:數(shù)據(jù)增數(shù)據(jù)增長長: 60% CAGR主要的數(shù)據(jù)主要的數(shù)據(jù): 訪問頻

2、訪問頻率低率低 數(shù)據(jù)保數(shù)據(jù)保護護: 需要需要長長期保存期保存存存儲儲介介質(zhì)質(zhì)必必須須: 自我解自我解釋釋 能耗消耗能耗消耗: 低低方案專家級課程IBM Spectrum FamilyPage 44Global Name SpaceElastic Storage 快速和高可用存儲RAID保護, 快照，復制GPFSLTFS LTFS LTFS LTFS 高使用高使用頻頻率數(shù)據(jù)率數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)庫庫， ，email, etc靜靜態(tài)態(tài)數(shù)據(jù)數(shù)據(jù), 豐富的媒體豐富的媒體, 非非結(jié)結(jié)構(gòu)化，構(gòu)化，歸歸檔檔Migration & Recall低成本，高擴展性存儲低成本，高擴展性存儲 多份磁帶保護多份磁帶保護

3、 導入和導出磁帶導入和導出磁帶單單一的文件一的文件瀏覽瀏覽C:user defined namespace GPFSLTFS EE方案專家級課程IBM Spectrum FamilyPage 5概述概述 網(wǎng)網(wǎng)絡(luò)連絡(luò)連接非接非結(jié)結(jié)構(gòu)數(shù)據(jù)存構(gòu)數(shù)據(jù)存儲儲，支持原生的磁，支持原生的磁帶帶 使用使用線線性文件系性文件系統(tǒng)統(tǒng)LTFS，提供了最佳的性能和低成本的存，提供了最佳的性能和低成本的存儲儲 主要特性主要特性 無無縫縫虛虛擬擬化存化存儲層儲層 基于策略的數(shù)據(jù)存放基于策略的數(shù)據(jù)存放 為為所有數(shù)據(jù)提供所有數(shù)據(jù)提供單單一名字空一名字空間間 安全和保安全和保護資產(chǎn)護資產(chǎn) 開放，非私有的，跨平臺的交開放，非私有

4、的，跨平臺的交換換 I與與IBM Spectrum Scale集成集成收益收益 像使用磁像使用磁盤盤那那樣樣方便使用低成本磁方便使用低成本磁帶帶 從成本和性能從成本和性能優(yōu)優(yōu)化數(shù)據(jù)存放化數(shù)據(jù)存放 允允許許數(shù)據(jù)共享，不需要數(shù)據(jù)共享，不需要專專屬屬軟軟件件 在任何地方，位置，在任何地方，位置，時間時間及任何格式及任何格式訪問訪問數(shù)據(jù)數(shù)據(jù) 可可擴擴展，低成本展，低成本5方案專家級課程IBM Spectrum FamilyPage 66 能能夠夠被部署在非常低被部署在非常低歸歸檔存檔存儲儲上，用于上，用于數(shù)據(jù)數(shù)據(jù)歸歸檔和在檔和在線備線備份份 低于每月每低于每月每GB 1，永，永遠遠不會取不會取代代 總

5、總體成本低于體成本低于Amazon Glacier在在線備線備份云服份云服務(wù)務(wù)，并有更好的服，并有更好的服務(wù)務(wù)水平水平 利用利用 Spectrum Archive (或者或者說說LTSFS)，磁，磁帶帶作作為為策略策略驅(qū)動驅(qū)動的存的存儲層儲層是關(guān)是關(guān)鍵鍵 不改不改變變用用戶戶和和應(yīng)應(yīng)用用訪問訪問數(shù)據(jù)的方式數(shù)據(jù)的方式DiskTapeSpectrumScale5 year cost, 2 petabytes*Amazon Glacier: $1.2M (1 per GB/month)Archive using LTFS: $300K ( per GB/month)*IBM calculation

6、of 2PB Glacier and IBM Tape library based archive amortized to monthly cost including power and admin costs. Amazon and client bandwidth costs would be extra for GlacierIron MountainOther service providersPrivate CloudDeployed on-prem or on cloudSpectrum Scale方案專家級課程IBM Spectrum FamilyPage 7IBM LTFS

7、 EE 軟件允許IBM磁帶庫作為 tier 2/3存儲，提供低 TCO全自動全透明近線訪問磁帶上數(shù)據(jù)集中存儲管理數(shù)據(jù)交換可擴展方案專家級課程IBM Spectrum FamilyPage 88磁帶具有磁帶具有TCO上超級優(yōu)勢上超級優(yōu)勢: 3 10 倍更好的成本，在 5 10 年磁帶有很長的生命周期磁帶有很長的生命周期: 每一代10 年磁帶可靠性磁帶可靠性: With read-after-write and 2-dimensional ECC磁帶效率高磁帶效率高: With高級壓縮功能磁帶安全磁帶安全: With 加密和一次寫，多次讀 (WORM)磁帶有高擴展?jié)摿Υ艓в懈邤U展?jié)摿? 位密度能夠

8、更擴大磁帶是標準化磁帶是標準化: LTO and LTFS方案專家級課程IBM Spectrum FamilyPage 99為什么需要LTFS歸檔Spectrum Archive (LTFS)總體介紹總體介紹LTFS EE 概述定位和應(yīng)用案例方案專家級課程IBM Spectrum FamilyPage 1010適應(yīng)許多平臺的文件系統(tǒng)l允許通過簡單拷貝來備份數(shù)據(jù)標準和帶自描述磁帶格式l容易數(shù)據(jù)交互充分利用磁帶的價值l低成本和高性能提供了簡單的基于磁帶的方案l備份，歸檔和存儲分層LTFS received 2011 EMMY engineering awardLTFS SoftwareLinux

9、ServerTape LibraryLTFS SystemBackup, Archive, ILMNFS, CIFS, FTP, SCP, 方案專家級課程IBM Spectrum FamilyPage 1111磁帶分為索引和數(shù)據(jù)部分LTFS格式規(guī)格描述了索引和標準LTFS 軟件基于LTFS格式顯示了文件系統(tǒng) 管理磁帶BOTEOTData PartitionFileFileFileFileIndex PartitionGuard WrapsIndex/Metadata方案專家級課程IBM Spectrum FamilyPage 1212單一驅(qū)動版單一驅(qū)動版(SDE)每盒磁帶一個LTFS文件系統(tǒng)

10、Free download available for Linux (RHEL, SLES), Mac OS X 10.9, Windows 7, 8.1, 2008 R2, 2012Open source software (not Windows)磁帶庫版磁帶庫版(LE)多盒磁帶一個 LTFSLTFS LE 管理磁帶庫，磁帶驅(qū)動器和磁帶Available for Linux (RHEL, SLES) and Windows (2008 R2, 2012 R2)Can be purchased from IBM and BPLTFS-2 file systemLTFS Tapes in Li

11、braryLTFS-1 file systemSingle LTFS Tape方案專家級課程IBM Spectrum FamilyPage 1313LTFS 標準版提供備份和歸檔文件的簡單方案l僅僅需要拖動文件到LTFS文件系統(tǒng)LTFS 方案提供了l數(shù)據(jù)存放在磁帶上的低成本l數(shù)據(jù)和其他LTFS系統(tǒng)交換l利用磁帶流數(shù)據(jù)的高速性能標準版LTFS不包括高級的磁帶管理功能（包括緩存，磁帶選擇，回收）l可以考慮 LTFS Enterprise EditionLTFS LE SoftwareLinux ServerTape LibraryLTFS SystemBackup, Archive, ILMNFS

12、, CIFS, FTP, SCP, LTFS SDE Software方案專家級課程IBM Spectrum FamilyPage 1414為什么需要LTFS歸檔Spectrum Archive (LTFS) 總介紹LTFS EE 概述概述定位和應(yīng)用案例方案專家級課程IBM Spectrum FamilyPage 1515Spectrum Sacle (GPFS) 支持信息生命周期管理 ILMlILM 表示在數(shù)據(jù)的整個生命周期里將它存放到最合適的地方l關(guān)鍵的技術(shù)來管理存儲的成本組合l初始存放文件到最合適的介質(zhì)l在生命周期里，根據(jù)文件的時間，大小等，基于策略移動數(shù)據(jù).l在初始的名字空間里面，透明

13、訪問文件lILM 提供了高效低成本方案，特別適應(yīng)長期的數(shù)據(jù)保存GPFS server clusterGPFS storageTapeStorage NetworkManaged by LTFS EE方案專家級課程IBM Spectrum FamilyPage 1616GPFS 為用戶數(shù)據(jù)提供了全局的命名空間lLTFS EE 和一個或多個GPFS節(jié)點集成每個 LTFS EE 實例有磁帶的驅(qū)動l在相同的磁帶分區(qū)文件從磁盤移動到磁帶l基于策略或文件列表l能夠創(chuàng)建不同磁帶上的多個拷貝文件根據(jù)命令被調(diào)用訪問l支持大量的調(diào)用磁帶可以被導入和導出工作負載被分布在 LTFS EE 節(jié)點上 GPFS NodeS

14、ingle file system view LTFS TapeUsers and application Policy based migrationLTFS EEFile protocols方案專家級課程IBM Spectrum FamilyPage 1717GPFS Node 1GPFS Node 2Global name spaceLTFS MetadataUser file systemUsers and ApplicationsUser dataLTFS EELTFS EEPool 1Pool 2Migration with optional copy to other tapeR

15、ecall with option for bulk recallTape management: reclamation (free space) and reconcilation (synchronize)Export with option to keep stub in GPFSImport (only creates stubs in GPFS)Rebuild file system方案專家級課程IBM Spectrum FamilyPage 1818包含磁帶庫版特別版 Library Edition (LE+)lS支持TS1140, LTO5,6 tape drives in T

16、S3500, TS4500 or TS3310 libraryl對所有LTFS EE節(jié)點提供磁帶詳細目錄與GPFS集成，和TSM HSM相同l支持文件級別的移植和調(diào)用l創(chuàng)新的精簡數(shù)據(jù)庫元數(shù)據(jù)存儲l橫向擴展結(jié)構(gòu)l支持多LTFS EE 節(jié)點，共享相同磁帶庫目錄l在多個LTFS EE節(jié)點和磁帶驅(qū)動器中能加載平衡l磁帶池和數(shù)據(jù)交換l磁帶池允許將一盒磁帶數(shù)據(jù)作為一個組合l文件的多份拷貝能夠移植到不同的磁帶池l支持從GPFS中保存或移動文件原數(shù)據(jù)而將磁帶導出l支持通過預填充方式將磁帶導入，而不需要讀文件數(shù)據(jù)l支持磁帶回收和調(diào)解方案專家級課程IBM Spectrum FamilyPage 1919在連續(xù)的命

17、名空間無縫的訪問文件磁盤階段區(qū)域進行文件級別的讀寫緩存基于策略的從磁盤移動到磁帶加載平衡及在多節(jié)點集群的高可用通過導入和導出功能在LTFS磁帶中交換數(shù)據(jù)快速從LTFS磁帶中導入命名空間而不需要度數(shù)據(jù)通過在磁帶上多拷貝和重建功能，做數(shù)據(jù)保護支持磁帶的回收和調(diào)配容易掌控和管理方案專家級課程IBM Spectrum FamilyPage 2020動力Spectrum Arhive (LTFS)總介紹LTFS EE 概述定位和應(yīng)用案例定位和應(yīng)用案例方案專家級課程IBM Spectrum FamilyPage 2121用于在磁帶上存儲訪問頻率低的大文件卷l文件大小不能太小以便發(fā)揮磁帶的流讀寫性能l小塊磁

18、盤分層屬于階段性的空間，用于將用戶和應(yīng)用從磁帶脫離l利用磁帶的低總體成本在分層的存儲系統(tǒng)的磁帶中，容易訪問文件l通過GPFS 文件層透明文件l利用GPFS策略，自動從磁盤中移植到磁帶在LTFS磁帶中交換數(shù)據(jù)l利用LTFS磁帶拷貝，導出和導入功能LTFS EE不能讓磁帶更快速，但是讓它能夠在許多行業(yè)和分支機構(gòu)中非常不能讓磁帶更快速，但是讓它能夠在許多行業(yè)和分支機構(gòu)中非常容易使用容易使用方案專家級課程IBM Spectrum FamilyPage 2222歸檔歸檔大卷的數(shù)據(jù)/文件使用基于策略的移植到磁帶保存數(shù)據(jù)相當長時間使用了簡便性的，磁帶TCO和標準格式備份備份數(shù)據(jù)到LTFS EE 文件系統(tǒng)可以

19、立即移植到磁帶上容易訪問和恢復利用簡便性和磁帶存儲分層存儲分層 基于策略的存放和移植基于策略的存放和移植 使用磁帶用于非經(jīng)常訪問的文件使用磁帶用于非經(jīng)常訪問的文件利用了簡便性和磁帶利用了簡便性和磁帶TCO數(shù)據(jù)交換數(shù)據(jù)交換 交換大卷數(shù)據(jù)交換大卷數(shù)據(jù) 通過全局命名空間提供了提供了訪問通過全局命名空間提供了提供了訪問利用了導入利用了導入/導出功能，拷貝功能和標導出功能，拷貝功能和標準格式準格式方案專家級課程IBM Spectrum FamilyPage 2323Research institute archives research data for long periods of timelCos

20、t-efficient archiving on tape for 800 TBlTransparent access for user and applicationslData exchange considered later on Solution Configuration: LTFS EE, TS3500, TS1140GPFS / LTFS EE nodeTS3500Policy based migrationLTFS EEApplicationsGPFS clientData stored in GPFSPortal provides entry to archiveTSMTS

21、3500TSM backup prior to migrationBackup to TSM because LTFS EE does not yes support second tape libraryClient reference profile方案專家級課程IBM Spectrum FamilyPage 2424Leading pharmaceutical company archives data for long periods of timelCost-efficient archiving on tape for over 1 PBlTransparent access fo

22、r user and applicationslDisaster protection with two sitesSolution Configuration per site: single node LTFS EE, TS3500 with 3 x LTO-6PrimaryTS3500Policy based migrationLTFS EEApplicationsNFSPrimary instance receives data and copies it to other site (use of policy)Application archives genome files an

23、d log filesSecondaryTS3500Policy based migrationLTFS EEcopy prior to migrationSecondary site receives copies and migrates to tapeNFS readonly方案專家級課程IBM Spectrum FamilyPage 2525IT service provider archives seismic data for long period of timeslCost-efficient archiving on tape for over 1 PB of data lT

24、ransparent access for user and applicationslDisaster protection with two sitesSolution Configuration: two LTFS EE system with 4 and 6 tape drivesPrimary GPFS cluster800 TBLTFS EE with 6 x TS1140 Secondary GPFS cluster 300 TB10 GBit EthernetLTFS EE with 4 x TS1140 MigrationMigrationApplicationsRsync

25、copy方案專家級課程IBM Spectrum FamilyPage 2626Research institute provides super computing and applications and serviceslMust archive old data for long timesFour GSS systems provide global name spacelTotal capacity 500 TBFour LTFS EE nodes migrate data to tapel8 x TS1140 drives in TS3500 libraryl+5 PB on tapeClient values:lAutomated migration based on policieslTwo copies on tapelTransparent access to data in global name spacelCost optimization with tapeElastic Storage(4 x GSS-26 )HPC Environm