DS5000紅皮書(Redbook)筆記1/4IntroductiontotheDS5000DiskStorageSubsystem/abstracts/sg247676.html7Open第1章IntroducingtheIBMSystemStorageDS5000P19PositioningtheDS5000SeriesDS5000的性能比DS4000有更好的性能和更大的容量中端/部門級存儲；支持FC/SATA硬盤DS5000models前后端都是FC接口，能在單個擴展柜中混合高性能的FC磁盤和高容量的SATA磁盤支持4GFCSAN,支持8GFC和10GiSCSIDS5100：16個4GFC設(shè)備接口；16個EXP5000擴展柜或混合EXP5000和EXP810擴展柜；最多256個磁盤4個4GFC主機端口，8G緩存？??這是單個控制器上的還是2個控制器上的???DS5300:16個4GFC設(shè)備接口；16個EXP5000擴展柜或混合EXP5000和EXP810擴展柜；最多256個磁盤最大吞吐量400MBps每個控制器有4個或8個FC主機商品；8G或16G緩存？??這是單個控制器上的還是2個控制器上的??？DS5000ExpansionEnclosureEXP5000:4GFC接口，16個FC或SATA硬盤StorageManagerSoftwareSM軟件，同DS4000中的介紹21:052009-4-6第2章DemonstratingtheDS5000technologyadvancesP25對比DS5000和DS4800TheHardwareimprovementsPCI-Express:支持設(shè)備之間點到點的直連DS5000使用的是PCI-ExpressDS4800使用的是PCI-XSpecificationComparisonDS5000比DS4800的接口數(shù)量、最大硬盤數(shù)、CPU、緩存等均有較大提升P27表PerformanceComparisonP28圖StorageManagerSM10.30和微碼7.3NewFeaturestoStorageManagerV10.30RAID6支持Supportformorethan30drivesforRAID0and1Supportforgreaterthan2TBlogicaldrives:要考慮主機是否支持IncreasedmaximumnumberofpartitionsSupportbundlecollectedoncriticaleventsUseDiagnosticDataCaptureforadditionalfailureeventsIncreasednumberofGHS(GlobalHotSpares)UnconfiguringStorageSubsystemandarrays:如果有需要的話，可以清除存儲子系統(tǒng)或以前建立的陣列DriveMigrationwarningConfigurablefaileddrivereplacementRAIDredundantdataverificationpriortoread8KcacheblocksizeIncreasednumberofFlashCopy’sperlogicaldriveIncreasednumberofmirrorssupportedWindowsRDACnolongersupported21:262009-4-6第3章DS5000SerieshardwareP31IBMSystemStorageDS5000storageserverDS5000支持高IOPS和/或MB/sDS5000:featuresDS5100：16個設(shè)備接口；8個主機接口，8GcacheDS5300：16個設(shè)備接口；8個或16個主機接口，8G或16Gcache這兩種型號的具體區(qū)別在主機端口的數(shù)量和cache大小共同特性：DS5000高4U(EXP5000高3U)在RAID控制器上有第7代的專用ZIPASIC引擎CPU:Xeon2.8G雙控PCI-Expressx8總線技術(shù)(DS4800為PCI-X)專用的數(shù)據(jù)緩存(DS5100-8GB,DS5300-8or16GB)每個控制器有2G的控制器內(nèi)存支持RAID0/1/3/5/6/10(DS4800不支持RAID6)兩個控制器上共有16個設(shè)備端口最多16個EXP5000擴展柜（或混合EXP5000和EXP810），最多256個硬盤可混合FC/SATA硬盤（需要license）512個存儲分區(qū)2048個卷2048個主機login4096個命令隊列深度（每個硬盤最大16個4096/256=16）DS5000controllerarchitectureDS5000是雙控制器的第7代專用的ZIPASIC芯片，能更快更好的支持RAID3/5/6DS5000是基于PCIExpressx82GB/s（16Gbps）總線的CPU是Xeon2.8G，有專用的2G內(nèi)存作I/O控制---CPU內(nèi)存和數(shù)據(jù)緩存是相互分開的Datacachememory???P38Dataflow???P39Writeoperationsteps數(shù)據(jù)從首選控制器的主機端口過來--->寫到緩存--->緩存鏡像--->寫到磁盤--->清除緩存塊--->主機收到完成信息Readoperationsteps讀請求---＞如果數(shù)據(jù)在cache中，數(shù)據(jù)發(fā)送給主機,I/O完成---＞數(shù)據(jù)不在cache中，從磁盤讀數(shù)據(jù)---＞將數(shù)據(jù)copy到cache中---＞發(fā)送給主機,1/0完成---＞如果是順序讀，則將下一下segment讀到cache中Cacheblockstates???P41DS5000:chassisdesign2個控制器2個控制器支持模塊：電源和風扇1個互連模塊DS5000:frontview當互連控制模塊被移除后，DS5000自動暫?？刂破鰾，將所有的LUN移到控制器A上;并禁用writecache（這與DS4800是一樣的）Interconnectmoduleandbatterypacks互連模塊用于連接控制器A和控制器B，包含電池DS5000:Rearview后視圖為2個控制器，上面的是控制器A，下面的是控制器B特別注意：如果將DS5000安裝時倒置了，要保證在連線上不能出錯DS5000:LEDindicatorlights通過主機端口，設(shè)備端口，以太口上的燈可以看到速率是多少P50主機端口/設(shè)備端口：1G/2G，兩個都亮為4G以太口燈為1G，不亮為10M/100M在替換組件是，注意有指示燈指出是否可以安全移除組件P50控制器上數(shù)字燈顯示不同的數(shù)字時的含義P53!!!DS5000:host-sideconnectionsDS5100:8個主機接口DS5300：8個或16個主機接口可以直連到主機（必須同時連接到2個控制器，不支持只連接到1個控制器）或連接到SAN當使用ERM時，使用最外面的接口（DS4800一樣）當直連時，最先使用A1-B1端口，再使用A3-B3端口，再A2-B2，A4-B4---是否與設(shè)備端口一樣使用同一個loop芯片的原因??？P56DS5000:Drive-sideconnectionsDS5100和DS5300都是16個設(shè)備接口，每控制器8個A8-A7是channelgrouplA6-A5是channelgroup2A4-A3是channelgroup3A2-A1是channelgroup4B1-B2是channelgroup5B3-B4是channelgroup6B5-B6是channelgroup7B7-B8是channelgroup8P59/P62同一個channelgroup中的兩個端口的速率必須設(shè)置為一樣的DS4800和DS5000中的設(shè)備接口(擴展柜接口)：P59/P62設(shè)備接口(擴展柜接口)：如12接口，在控制器內(nèi)部是通過一個環(huán)路交換芯片連接，因此，12接口在一個通道上，A控4---B控1形成環(huán)路對1(LoopPair)A控2---B控3形成環(huán)路對2(LoopPair)A控3---B控1形成環(huán)路對3(LoopPair)A控1---B控4形成環(huán)路對4(LoopPair)???在連接擴展柜時，先使用環(huán)路對1,再使用環(huán)路隊2，再使用環(huán)路對3,環(huán)路對4,用來負載均衡DS5000:drive-sidecablingDS5000能連接16個EXP5000或EXP810的擴展柜，可混合FC/SATA硬盤DS5000中每個控制器的設(shè)備端口對最多連接2個擴展柜DS5000的設(shè)備端口必須連接到擴展柜的1B端口上（外面的端口為1B，里面的為1A）DS5000最多能連接16個擴展柜（每個端口對連接2個擴展柜）注意：同一對channelgroup中的兩個端口速率必須一致P59/P62DS5000:additionalconnections以太口的IP地址為默認地址串口默認的設(shè)置是：38400/8/無/1/無DS5000physicalspecificationsDS5000重40kg，功率580wEXP5000配置16個硬盤重量為38kg，不配硬盤重量為31kg；功率580wDS5000supportedoperatingsystemsDS5000支持AIX,Linux,Windows,HP-UX,VmwareDS5000diskenclosures當DS5000的擴展柜中使用SATA硬盤時，每48個SATA硬盤需要一個license；默認自帶一個license,當每超過48個SATA硬盤時，需要另外購買license（使用FC硬盤則不受此限制）EXP5000：3U高，16個盤位，4GbpsESM，雙控，雙電源，雙風扇EXP5000前面板上有指示燈指出當前速率是否是4Gbps的P67EXP5000后面板有指示燈指出是否可以移除相關(guān)模塊P68EXP5000擴展柜上雖然有4個SFP端口，但是只有2個SFP端口可用，1A和1B11:062009-4-7第4章DS5000planningtasksP71PlanningyourSANandstorageserver考慮2年內(nèi)的存儲需求考慮2到3年內(nèi)的硬件升級和更新基于IOPS:如數(shù)據(jù)庫，exchange等基于吞吐量：如數(shù)據(jù)備份等SANzoningforDS5000每個HBA卡連接到不同有控制器上(如HBA1連接到控制器1,HBA2連接到控制器2)連接到磁盤和磁帶的HBA卡務必要分開!!！當使用ERM時，源和目標的控制器必須相同----如源使用控制器A，則目標也必須使用控制器A第1個ERMzone的源和目標都使用控制器A第2個ERMzone的源和目標都使用控制器BPhysicalcomponentsplanning足夠的空間：在機柜前面需要152cm空間在機柜后面需要76cm空間Cabletypes(shortwaveorlongwave):FC線纜有單模和多模之分多模光纖有2種：50um和62.5um；不能混用，否則將產(chǎn)生不可預知的錯誤因此，IBM不支持不同直徑的多模光纖混用P76單模光纖：9um9um單模光纖速度在2G時，最遠10km50um多模光纖速度在4G時，最遠150mIBMDS5000上只提供支持4G連接50um的短波多模光纖（與DS4800一樣）P77Interfaces,connectors,andadaptersSFP:SmallFormPluggable---連接光纖線（LCConnector）與HBA卡的那個小設(shè)備LCconnector---光纖線上的接頭；其主要的優(yōu)勢在于體積小，在相同的空間中可容納更多的接頭所有的DS5000系統(tǒng)提供SFPtransceiver和LCFibreCable（與DS4800是一樣的）當不再使用SFP時，要將其移除，避免灰塵Interoperabilityof1Gbps,2Gbps,and4Gbpsdevices:速度是自動協(xié)商的Cablemanagementandlabeling線纜管理與標簽化很重要站點規(guī)劃，線路圖，線纜標簽化FibreChanneladaptersHostsystembus:將HBA放在不同的總線中Failover所有的OS都支持2條路徑到DS4000中Windows/Linux/AIX支持4條路徑到存儲控制器中在AIX中最好不要使用負載均衡，因為會引起磁盤問題P82Queuedepth:相同的時間內(nèi)系統(tǒng)能處理的命令數(shù)每個HBA上的隊列深度=存儲最大隊列深度/（主機數(shù)*每個主機上LUN數(shù)量）如4個主機，每個主機32個LUN，則最大隊列深度為2048/（4*32）=16DiskexpansionenclosuresEXP5000擴展柜：可用FC/SATA硬盤，可混用；4Gbps的擴展柜EnclosureIDs:擴展柜ID非常重要，必須唯一控制器會自動設(shè)置擴展柜ID只能通過SM來改變擴展柜ID擴展柜ID顯示在擴展柜的背部LED上Enclosureguidelines:EXP5000會自動的分配擴展柜ID；相同的FC環(huán)路中的擴展柜，10進制位相同，個位不同（x00--x77之間）Selectingdrives磁盤速度越快，性能越好，但成本也越高SATA硬盤沒有commandqueuing（命令隊列），避免在高IOPS環(huán)境中使用SATA硬盤FC硬盤的commandqueuing（命令隊歹U）為16FC硬盤寫的速度比SATA硬盤快一倍以上P857.2K尋道時間9ms10K尋道時間5.5ms15K尋道時間3.5msPlanningyourstoragestructureDS5000ArraysandRAIDlevelsRAID0:性能好，但不推薦；適用于快速的只讀或快速的寫RAID1:適用于數(shù)據(jù)高可用性/讀操作的快速響應RAID1適用于操作系統(tǒng)，事務日志（如數(shù)據(jù)庫）等；在RAID1上啟用寫緩存（當啟用寫緩存時，要啟用電池）RAID-3:適用于大文件的順序訪問；如CAD/CAM，多媒體，醫(yī)學圖像RAID-5:Highavailabilityandfewerwritesthanreads;RAID5適用于高可用性且寫比讀少的環(huán)境中，多用戶的環(huán)境RAID-6:高性能，能容忍一個陣列中有2個硬盤失效；適用于高速讀/一般寫的環(huán)境中；RAID6的可用性比RAID5高，但性能比RAID5略低（P92）RAID10的性能接近于順序I/O的RAID0當隨機寫時，RAID5比RAID10快RAID10的恢復比RAID5快RAIDreliabilityconsiderations沒有哪一種數(shù)據(jù)保護方法是100%可靠的；雖然RAID是完美無缺的，也不能保證程序錯誤或誤操作導致的數(shù)據(jù)丟失建立陣列時，要考慮I/O請求，每個磁盤的IOPS*陣列中硬盤數(shù)=理論上陣列的IOPSP93Enclosurelossprotectionplanning:手工建立RAID時，使用EnclosurelossprotectionplanningLogicaldrivesandcontrollerownershipLogicaldrives也叫LUN，是一個陣列的邏輯分割LUN只能屬于一個控制器EnhancedRemoteMirrorconsiderations當使用ERM時，secondaryLUN的首選控制器要求與primaryLUN的首選控制器相同如本地LUN的控制器為A，則最好將遠程LUN的控制器也設(shè)為A如果不相同，則在ERM時，secondaryLUN會改變其控制器，當ERM完成后，再改回來Hotsparedrive每28個磁盤使用一個熱備盤熱備盤的容量要大于或等于使用中的磁盤當有不同轉(zhuǎn)速的硬盤時，熱備盤使用高轉(zhuǎn)速的硬盤，避免兼容性問題Storagepartitioning一個LUN到主機(或主機組)的映射叫做一個存儲分區(qū)存儲分區(qū)：就是LUN到主機的映射關(guān)系；一個映射為一個存儲分區(qū)P99DS5000中最大512個存儲分區(qū)P98Windows/Linux/AIX---每個分區(qū)中最多支持255個LUNP99/P117存儲分區(qū)的數(shù)量受主機OS的限制DS5000中每個分區(qū)最多包含256個LUN(包含accessLUN)，每個主機最多2個分區(qū)，即每個主機最多512個存儲分區(qū)P99Deletetheaccesslogicaldrive-(LUN31)使用帶內(nèi)管理時，自動建立LUN31---accessLUN如果不使用帶內(nèi)管理，可刪除LUN31，這樣每個主機可多使用一個LUNPlanningforpremiumfeaturesFlashCopy:是邏輯上的復制，只需少量的硬盤空間VolumeCopy：物理上的卷復制；需要購買licenseEnhancedRemoteMirroring(ERM)：在遠程存儲上在線的、實時的復制數(shù)據(jù)；需要購買licenseMetromirroring:同步鏡像模式Globalcopy:異步寫模式，不保證在遠程站點上的寫入順序Globalmirroring:在遠程站點上寫順序與主站點上的順序相同使用ERM時，必須使用光纖連接先使用控制器上靠外面的端口(Hostport4)P103FC/SATAIntermixFC硬盤的擴展柜用于生產(chǎn)SATA硬盤的擴展柜用于nearlineorarchiving離線存儲使用磁帶AdditionalplanningconsiderationsPlanningforsystemswithoutLVM:WindowsexampleWindows沒有類似于Linux/Unix的LVMWindows使用LogicalDiskManager(LDM)，但沒有LVM靈活Windows有2種類型硬盤：基本磁盤(默認)和動態(tài)磁盤(LDM使用)Windows2003中，基本磁盤上的主分區(qū)可以擴展：diskpart.exe工具--->extend(P161)VirtualizationIBMStorageAreaNetworkVolumeController(SVC)可提供虛擬化HostsupportandmultipathingMultipathing提供：多路徑支持，I/O負載均衡，自動的路徑failoverWindows下使用MPIOAIX下使用MPIOSDDPCMLinux使用RDACP1114.6.10ThefunctionofADTADT：當有硬盤失效時，自動用熱備盤來承載數(shù)據(jù)Multipathdriver和AutoLogicalDriveTransfer用來提供冗余Auto-LogicalDriveTransferfeature(ADT)此功能是綁定在控制器微碼中的MaximumnumberofLUNsperhostWindows/Linux/AIX---每個分區(qū)中最多支持255個LUNP99/P117存儲分區(qū)的數(shù)量受主機OS的限制這一章與DS4000最佳實踐的第2章相同16:552009-4-7第5章DS5000Step-by-StepConfigurationP119InstallingStorageManagerinaWindowshostDS5000在Windows中不再支持RDACP120DS5000不支持在AIX中使用RDACP133如果只是安裝管理客戶端，則無需安裝agent和multipathdriver安裝完成后，生成日志IBM_DS4000_InstallLog.log安裝完成后，在服務中查看IBM存儲相關(guān)的服務（事件監(jiān)控器和代理）是否已啟動在SM安裝目錄下的util目錄為SMutil目錄，里面有hot_add.exesmrepeassist.exeMultiPath：目錄為C:\ProgramFiles\DSMDrivers\ds4dsm，在設(shè)備管理器中的SCSIandRAIDcontrollers下可以看到MultiPathSupport如果已將LUN映射到主機，在Diskdrivers中可看到IBMxxxMulti-PathdeviceInstallingDS5000StorageManagersoftwareonanAIXhost在AIX中安裝SM，不需要重啟#shSM-xxx.bin在GUI中安裝SM在CLI中安裝SM安裝完成后，檢查服務是否已啟動#lscfg-lfcs*查看系統(tǒng)中的HBA卡Ismcode-dfcs#查看HBA卡的微碼Iscfg-vlfcs$IgrepNetwork查看HBA的WWNTOC\o"1-5"\h\zDS5000在Windows中不支持RDACP120DS5000在AIX中不支持使用RDACP133cfgmgr-v查看系統(tǒng)中是否有硬件未驅(qū)動lsdev-Ccdisk查看LUN映射過來的硬盤mpio_get_config-AvP134lspath|sortP135lsattr-Elhdisk#P135chdev-lhdiskX-aqueue_depth=16-PP136SAN交換機上每個端口可同時屬于多個zoneP137P138從SAN中啟動AIX的限制：AIX5.1不能安裝在超過32個LUN的分區(qū)上▲當從DS5000上啟動AIX，兩條路徑都必須upandrunningAIX啟動時，不能pathfailover；當啟動完成后，則可以▲不要將AIX安裝在SATA磁盤上每個AIX主機上只能有2個partition邏輯設(shè)備要映射到AIX主機組上LUNID在0-31之間InstallingDS5000storageserversoftwareonaLinuxSystemxhost推薦在Linux上安裝RDACP139當不使用RDAC,則安裝IBMDS5000FibreChannelHBAfailoverP139RememberthattheuseofRDACrequiresthatyouinstallthenon-failoverHBAdriver.WhenyouinstallRDAC,itforcesyoutoloadthenon-failovermethod.在不同類型的HBA卡上是不能failover的，例如4GFCHBA卡和2GFCHBA卡Linux中的RDAC需要單獨安裝P140默認安裝目錄/opt/IBM_DS5000#sh./Uninstall_IBM_DS5000InstallingtheQLogicSANsurferP149InstallingDS5000StorageManagersoftwareonaHP-UXhostPreparingtheDS5000storageserverPhysicalPlacement物理安裝Turningonthepower開機前先檢查速率設(shè)置開關(guān)(2G/4)必須先開擴展柜，后開DS5000，否則可能找不到配置開機：交換機一擴展柜一DS5000一主機關(guān)機：主機一DS5000一擴展柜一交換機如果系統(tǒng)中的錯誤指示燈，則一定要在關(guān)機之前解決Networksetupofthecontrollers先使用DHCP，如果沒有找到DHCP，則使用默認的IP地址如果使用DHCP，最好將MAC-IP綁定最外的網(wǎng)口為A，里面的網(wǎng)口為B!!!!!!P161控制器A最外面（最右邊）的網(wǎng)口是A1，IP:01控制器A中間（左邊）的網(wǎng)口是A2，IP:01控制器B最外面（最左邊）的網(wǎng)口是B1，IP:02控制器B中間（右邊）的網(wǎng)口是B2，IP:02Edit一AddStorageSubsystem添加帶外管理/帶內(nèi)管理更改IP是在控制器上進行的：Change一NetworkConfiguration防火墻端口是：2463TCP/UDP使用串口登陸時默認密碼是infinitiP165->netCfgShow顯示IP地址MAC地址等；如果使用DHCP，最好將MAC-IP綁定->netCfgSet設(shè)置IP地址等NetworkInitFlags:字段的含義P166UsingtheDS5000StorageManagementclientUpdatingthecontrollermicrocodeConfiguringtheDS5000storageserver給存儲改名、同步時鐘等要在布署存儲到應用之前完成熱備盤：Drive--->HotsparecoverageView/Changecurrenthotsparecoverage查看系統(tǒng)中有多少個陣列，以及陣列是否有熱備盤"Assign"可以為陣列分配熱備盤P189一個存儲分區(qū)中可有256個LUNP196DS5000上最多2048個LUN定義存儲分區(qū)：先定義主機或主機組，然后將LUN分配到主機上可以在主機上右鍵--->Define--->Storagepartitioning...P204存儲分區(qū)一經(jīng)改變，立即生效；因此在改變前確認主機對LUN是否有操作在主機上用hot_add命令添加映射當配置完警報后，會有一個綠色勾狀圖標顯示P213在修改配置之前，一定要保存profile文件P214配置修改之后，再保存一個新的profile文件profile文件不要存放在DS5000的磁盤上，一定要保存到其它地方P216Windows和AIX中不再使用RDACLinux中使用RDAC在Windows/AIX/Linux/HP-UX上安裝SM---需實驗10:582009-4-8第6章ManagingtheDS5000P221TheDS5000StorageManagerSoftwareHost-basedsoftware:SMclient（包含SMcli）,SMruntime,SMagent,SMutilController-basedsoftware:Controllerfirmware和NVSRAM,ESMfirmware,DrivefirmwareStoragesubsystemmanagementmethods帶內(nèi)管理：需要占用一個LUN---accessLUN；Linux不支持accessLUN，因此Linux不支持帶內(nèi)管理帶外管理：必須能同時連接上兩個控制器；端口2463TCP&UDPP231hot_add：SMdevices:列出所有可用的LUN,包含目標ID和LUN名，SMrepasist:在Windows上用，mppUtil:在Linux上用DS5000中的每個硬盤保留512MB的空間用于DACstoreP232用于保存配置信息使用DACstore空間的好處：提高性能降低維護風險：如果擴展柜重新布局，沒有數(shù)據(jù)丟失的風險數(shù)據(jù)完整升級和遷移：整個磁盤子系統(tǒng)或陣列中的物理硬盤可以被直接遷移1ZB=1024EB1EB=1024PB1PB=1024TB1TB=1024GB當一個陣列中的物理硬盤相對多時，可減少訪問時間P235小的segmentsize用于IOPS大的環(huán)境中大的segmentsize用于吞吐量高的環(huán)境中segmentsize默認64K,數(shù)據(jù)庫中用32-128K，大文件中用128K，web/file/print中用16-64KDiagnostics:Advanced==