存儲知識小結存儲系統(tǒng)分類通常情況下，根據(jù)可擴展性、可靠性、性能、功能等方面，可分為低端存儲、中端存儲和高端存儲。 低端存儲一般情況下，只有一個控制器，根本上沒有或者有少量的cache?？刂破鳑]有冗余，可靠性難以保證。 中端存儲通常情況下，采用雙控制器結構，兩控制器互為冗余。有相當量的cache和鏈路?？刂破魇钦状鎯诵?，負責數(shù)據(jù)請求處理及其存儲本身的管理等。 高端存儲，大多數(shù)采用多控制器結構，并采用以cache為核心的體系結構。高端存儲提供高帶寬、高可靠性。多數(shù)用在核心業(yè)務環(huán)境中，如金融、電信、移動通訊等核心系統(tǒng)。存儲CACHE技術Cache讀Cache讀技術，主要是考慮命中率問題。如果數(shù)據(jù)在內(nèi)存中，那么可以直接從內(nèi)存中獲得，那么成為cache命中。如果數(shù)據(jù)不在內(nèi)存中，那么需要從物理磁盤尋找數(shù)據(jù)并讀入。同樣情況，從物理磁盤讀入數(shù)據(jù)所需時間包括三局部：磁盤尋道時間、等待磁盤轉到磁頭的時間、數(shù)據(jù)讀入到內(nèi)存時間。這三局部時間遠遠大于從cache直接獲取數(shù)據(jù)的時間。Cache命中率很重要，是提高單IO響應時間的關鍵。Cache寫 在寫環(huán)境下，只要數(shù)據(jù)寫到cache中，系統(tǒng)就反應給上層應用，寫完成。整個過程速度是非常快的。比直接寫入物理磁盤快假設干個數(shù)量級；為了保證寫入cache的數(shù)據(jù)不喪失，大多數(shù)存儲采用cache鏡像技術和后備電池來實現(xiàn)。鏡像技術保證寫cache的數(shù)據(jù)不喪失，因為cache是硬件，當硬件出現(xiàn)故障，導致cache不能使用的時候，另外的鏡像仍然存在，保證cache數(shù)據(jù)的完整性。后備電池在系統(tǒng)斷電的時候，保證cache數(shù)據(jù)及時寫入物理硬盤中。中低端存儲的后備電池能夠保證在掉電的情況下，將cache數(shù)據(jù)寫入到物理硬盤。高端存儲通常提供UPS，短時間的掉電〔如1分鐘〕，不會對存儲造成影響。當大于一定的時間閥值時，存儲會自動把cache數(shù)據(jù)寫入硬盤，以保證cache數(shù)據(jù)的完整性。 可見由于cache寫的存在，既能保證數(shù)據(jù)完整性，又能大幅度提高性能。因此寫cache在存儲系統(tǒng)中有著非常重要的地位。Cache設計技術 一般的存儲設計，都簡單地把cache分為讀cache和寫cache。其中寫cache需要鏡像，讀cache那么是全局的。 不過在EMC高端存儲中，最初采用電子校驗的RAID5方式做cache的保護技術。從DMX3開始,又改成讀寫全鏡像的方式。存儲性能指標 IOPS IOPS是指系統(tǒng)在單位時間內(nèi)能處理的最大IO頻度，一般指單位時間內(nèi)能完成的隨機小IO個數(shù)。單個IO的響應時間指的是一個IO請求從開始到結束的時間，往往與cache大小以及命中率有很大關系。 帶寬 也叫吞吐量，指的是單位時間內(nèi)最大的IO流量，往往是采用大的IO塊，大的帶寬獲得的最大流量。 這兩個指標既相互獨立又相互關聯(lián)。一般來說，當涉及更多的頻繁讀寫時，更多的考慮IOPS與響應時間；而一些大量的順序文件讀，如數(shù)據(jù)倉庫應用、流媒體，更多地考慮帶寬指標。 IOPS〔每表IO個數(shù)〕 決定IOPS的因素主要為磁盤個數(shù)、cache命中率以及陣列的算法。 磁盤個數(shù)，這是決定存儲IOPS最關鍵的的因素。因為每個磁盤的最大IOPS個數(shù)是有限的。磁盤類型與IOPS的關系如下：10Krpm15KrpmATA10015050 如果一個存儲陣列有120塊15KrpmFC硬盤，它能支撐的IOPS為150*120=18000；根本到達硬件所能到達的極限值。 上述IOPS值是硬件所能支撐的硬件理論值。如果考慮讀cache命中率，存儲所能支撐的IOPS將可能大于這個值。 假定cache命中率在業(yè)務正常運行的情況下可以到達30%。那么120塊15Krpm硬盤所能支撐的IOPS IOPS=120*150/〔1-30%〕=25700 上面展示了IOPS和cache命中率的關系，影響到IOPS的還有存儲陣列算法。如cache算法、尋道算法、預讀算法等。存儲陣列算法各廠家、各型號存儲的是不同的。有時候出于商業(yè)機密考慮，這種內(nèi)部實現(xiàn)原理廠家不會公布的太多。 帶寬〔Throughput〕 吞吐量主要取決于硬盤個數(shù)、光纖通道的數(shù)量和帶寬以及存儲架構。 與IOPS一樣，單個物理磁盤所能支撐的最大流量大小。硬盤類型與最大流量關系如下：10Krpm15KrpmATA10M/s13M/s8M/s 同樣假設一套存儲有120塊15Krpm的光纖硬盤，那么該存儲所能支撐的最大流量為120*13=1560MB/s 除了光纖硬盤，還有一個重要的因素需要考慮，那就是光纖通道。所謂光纖通道就是光纖硬盤和存儲控制器間的物理鏈路。同樣對吞吐量有決定性的影響。如在數(shù)據(jù)倉庫中，對存儲吞吐量要求很高，一個2Gb的光纖鏈路所能支撐的最大流量理論值為2Gb/8=250MB/s。目前大多數(shù)存儲中光纖硬盤盒光纖通道都支持4Gb的速率。 最后，存儲架構也會對存儲吞吐量產(chǎn)生重大影響。主要是存儲系統(tǒng)的內(nèi)部帶寬〔類似于pc系統(tǒng)的BUS總線〕，也就是上面所說的光纖通道。通常情況下，考慮到存儲擴展性及防止內(nèi)部帶寬瓶頸，內(nèi)帶帶寬設計得很充足，不會成為系統(tǒng)的瓶頸。 響應時間〔ResponseTime〕 響應時間是指單個IO的響應時間。單IO的響應時間與IOPS的當前值、吞吐量大小及cache命中率都有密切的關系。 當一個存儲的其他指標很相近的時候，就可以考慮在相同的條件下，單IO的響應時間是否有差異。很明顯，響應速度越快越好。 經(jīng)驗值表示，一個IO的響應時間在20ms以內(nèi)。屬于正常范圍。 如果應用是個大型的交易系統(tǒng)，也就是典型OLTP環(huán)境，其中主要以事務與小的查詢語句居多，根本是離散讀寫和離散寫，那么首先考慮IOPS因素、并配置適當?shù)挠脖P個數(shù)及cache大小。如果應用是數(shù)據(jù)倉庫環(huán)境或者是典型的olap環(huán)境，其中主要運行大的sql語句，需要大吞吐量，讀寫規(guī)那么也根本上連續(xù)寫或者連續(xù)讀，那么需要考慮存儲系統(tǒng)帶寬和存儲的光纖通道，并配置適當數(shù)量的磁盤個數(shù)。但與讀cache大小關系不大。存儲系統(tǒng)性能測試 真實評估存儲的性能，最好的方式就是測試。尤其是模擬自己應用來測試。常用測測試軟件有： ORION軟件Oracle公司開發(fā)提供的壓力測試軟件，但oracle不提供技術支持，有具體的使用手冊。Orion能很好的模擬oracle的運行，并能獲得極限壓力情況下的壓力數(shù)據(jù)，包括IOPS、帶寬及響應時間。Loadrunner軟件 運行自己的業(yè)務或者編寫模擬業(yè)務腳本，然后在壓力情況下，獲取存儲性能指標。 具體兩種軟件的使用，不在這里介紹。存儲內(nèi)部架構 雙控制器 多控制器常見中端存儲 EMCCLARii系列 常見的有CX系列、CX3系列、CX4系列CX系列：CX300CX500CX700 CX3系列：CX3-10FCX3-20CX3-40CX3-80 CX4系列：CX4-120CX4-240CX4-480CX4-960CX4系列硬盤背板通道為4GB，支持iscsi技術；支持SSD硬盤。 HPEVA系列 HDSAMS常見高端存儲EMCDMX3 IBMDS8000 HDSUSP網(wǎng)絡存儲架構DAS(Direct-AttachedStorage直連式存儲)NAS(Network-AttachedStorage網(wǎng)絡接入存儲)SAN〔storageareanetwork存儲區(qū)域網(wǎng)絡〕存儲區(qū)域網(wǎng)絡(SAN)是通過專用高速網(wǎng)將一個或多個網(wǎng)絡存儲設備和效勞器連接起來的專用存儲系統(tǒng)。SAN在最根本的層次上定義為互連存儲設備和效勞器的專用光纖通道網(wǎng)絡，它在這些設備之間提供端到端的通訊，并允許多臺效勞器獨立地訪問同一個存儲設備。與局域網(wǎng)(LAN)非常類似，SAN提高了計算機存儲資源的可擴展性和可靠性，使實施的本錢更低、管理更輕松。與存儲子系統(tǒng)直接連接效勞器(稱為直連存儲或DAS)不同，專用存儲網(wǎng)絡介于效勞器與存儲子系統(tǒng)之間。系統(tǒng)架構如下：IPSANIPSAN存儲技術，是在傳統(tǒng)IP以太網(wǎng)上架構一個SAN存儲網(wǎng)絡把效勞器與存儲設備連接起來的存儲技術。IPSAN其實在FCSAN的根底上再進一步，它把SCSI協(xié)議完全封裝在IP協(xié)議之中。簡單來說，IPSAN就是把FCSAN中光纖通道解決的問題通過更為成熟的以太網(wǎng)實現(xiàn)了，從邏輯上講，它是徹底的SAN架構，即為效勞器提供塊級效勞。實現(xiàn)IPSAN最重要的技術---iSCSIISCSI(互聯(lián)網(wǎng)小型計算機系統(tǒng)接口)是一種在Internet協(xié)議網(wǎng)絡上，特別是以太網(wǎng)上進行數(shù)據(jù)塊傳輸?shù)臉藴省Ｋ怯蒀isco和IBM兩家發(fā)起的，并且得到了IP存儲技術擁護者的大力支持。是一個供硬件設備使用的可以在IP協(xié)議上層運行的SCSI指令集。簡單地說，ISCSI可以實現(xiàn)在IP網(wǎng)絡上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進行路由選擇。其根本原理如下：當客戶端發(fā)出一個數(shù)據(jù)、文件或應用程序的請求后，操作系統(tǒng)時機根據(jù)客戶端請求的內(nèi)容生成一個SCSI命令和數(shù)據(jù)請求，SCSI命令和數(shù)據(jù)請求通過封裝后會加上一個信息包標題，并通過以太網(wǎng)傳輸?shù)浇邮斩?當接收端接收到這個信息包后，會對信息包進行解包，別離出的SCSI命令與數(shù)據(jù)，而別離出來的SCSI命令和數(shù)據(jù)將會傳輸給存儲設備，當完成一次上述流程后，數(shù)據(jù)又會被返回到客戶端，以響應客戶端ISCSI的請求。其流程大致可參看如圖1所示。IBSANInfiniBand是一種交換結構I/O技術，其設計思路是通過一套中心機構〔中心InfiniBand交換機〕在遠程存儲器、網(wǎng)絡以及效勞器等設備之間建立一個單一的連接鏈路，并由中心InfiniBand交換機來指揮流量，它的結構設計得非常緊密，大大提高了系統(tǒng)的性能、可靠性和有效性，能緩解各硬件設備之間的數(shù)據(jù)流量擁塞。而這是許多共享總線式技術沒有解決好的問題，例如這是基于PCI的機器最頭疼的問題，甚至最新的PCI-X也存在這個問題，因為在共享總線環(huán)境中，設備之間的連接都必須通過指定的端口建立單獨的鏈路。InfiniBand的設計主要是圍繞著點對點以及交換結構I/O技術，這樣，從簡單廉價的I/O設備到復雜的主機設備都能被堆疊的交換設備連接起來。如果帶寬、距離等條件適宜，InfiniBand主要支持兩種環(huán)境：模塊對模塊的計算機系統(tǒng)〔支持I/O模塊附加插槽〕；在數(shù)據(jù)中心環(huán)境中的機箱對機箱的互連系統(tǒng)、外部存儲系統(tǒng)和外部LAN/WAN訪問設備。InfiniBand支持的帶寬比現(xiàn)在主流的I/O載體〔如SCSI、FibreChannel、Ethernet〕還要高，此外，由于使用IPv6的報頭，InfiniBand還支持與傳統(tǒng)Internet/Intranet設施的有效連接。用InfiniBand技術替代總線結構所帶來的最重要的變化就是建立了一個靈活、高效的數(shù)據(jù)中心，省去了效勞器復雜的I/O局部。InfiniBandSAN采用層次結構，將系統(tǒng)的構成與接入設備的功能定義分開，不同的主機可通過HCA〔HostChannelAdapter〕、RAID等網(wǎng)絡存儲設備利用TCA〔TargetChannelAdapter〕接入InfiniBandSAN〔RAID的InfiniBand接口RAID-TCA的主要功能如下列圖所示〕。InfiniBand應用于效勞器群和存儲區(qū)網(wǎng)絡〔SAN〕，在這種環(huán)境中性能問題至關重要。該種結構可以基于信道的串口替代共用總線，從而使I/O子系統(tǒng)和CPU/內(nèi)存別離。所有系統(tǒng)和設備〔一般稱作節(jié)點〕可通過信道適配器邏輯連接到該結構，它們可以是主機〔效勞器〕適配器〔HCA〕或目標適配器〔TCA〕。該種結構〔包括InfiniBand交換機和路由器〕還可輕松實現(xiàn)擴展，從而滿足不斷增長的需求。InfiniBand協(xié)議可滿足各種不同的需求，包括組播、分區(qū)、IP兼容性、流控制和速率控制等。存儲虛擬化技術存儲虛擬化的根本概念是將實際的物理存儲實體與存儲的邏輯表示別離開來，應用效勞器只與分配給它們的邏輯卷〔或稱虛卷〕打交道，而不用關心其數(shù)據(jù)是在哪個物理存儲實體上。邏輯卷與物理實體之間的映射關系，是由安裝在應用效勞器上的卷管理軟件〔稱為主機級的虛擬化〕，或存儲子系統(tǒng)的控制器〔稱為存儲子系統(tǒng)級的虛擬化〕，或參加存儲網(wǎng)絡SAN的專用裝置〔稱為網(wǎng)絡級的虛擬化〕來管理的。在存儲虛擬化方面，HP作得相對多些。HPStorageWorks企業(yè)虛擬陣列EVA是用戶最熟悉的。目前，EVA系列有EVA3000和EVA5000可供選擇。存儲新技術—云存儲云存儲在云計算(cloudcomputing)概念上延伸和開展出來的一個新的概念。云計算是是分布式處理(DistributedComputing)、并行處理(Pa