磁盤陣列引言——為什么需要磁盤陣列工作原理影響磁盤存儲(chǔ)系統(tǒng)性能的關(guān)鍵因素RAID技術(shù)3,0001,000100100197019801990200020102020Systems-

centricPC-

centricNetwork-

centricInformation-

centric用戶數(shù)量(百萬)20052010數(shù)據(jù)的摩爾定律：人類每18個(gè)月產(chǎn)生的信息量，是人類之前全部信息量的總和2015假如有1PB數(shù)據(jù)，買4TB大小的磁盤，需要250個(gè)！如何把250個(gè)磁盤連接起來？如果用一般的PC，需要63臺(tái)！數(shù)據(jù)存放起來了，如何管理和使用？性能如何？當(dāng)設(shè)備損壞或發(fā)生事故時(shí)如何應(yīng)對(duì)？幾個(gè)問題容量速度管理安全：容災(zāi)與備份可擴(kuò)展性信息存儲(chǔ)需要解決的主要問題信息的分層存儲(chǔ)計(jì)算機(jī)系統(tǒng)基本結(jié)構(gòu)輔助存儲(chǔ)器與信息存儲(chǔ)有關(guān)的部件CPU(寄存器）高速緩存主存儲(chǔ)器輔助存儲(chǔ)器信息的分層存儲(chǔ)存儲(chǔ)器硬件的金字塔結(jié)構(gòu)寄存器高速緩存主存儲(chǔ)器軟磁盤硬盤其它外存設(shè)備速度越來越快容量越來越大信息的分層存儲(chǔ)信息的分層存儲(chǔ)輔助存儲(chǔ)器主要有磁表面存儲(chǔ)器和光存儲(chǔ)器兩大類.磁表面存儲(chǔ)器是將磁性材料沉積在盤片(或帶)的基體上形成記錄介質(zhì),并以繞有線圈的磁頭與記錄介質(zhì)的相對(duì)運(yùn)動(dòng)來寫入或讀出信息.磁表面存儲(chǔ)器有數(shù)字式磁記錄,如硬盤,軟盤和磁帶.模擬式磁記錄,如錄音,錄像設(shè)備光存儲(chǔ)器主要是光盤,它是利用激光束在具有感光特性的表面上存儲(chǔ)信息的存儲(chǔ)密度面密度：?jiǎn)挝幻娣e中存儲(chǔ)的二進(jìn)制信息量；道密度：?jiǎn)挝婚L(zhǎng)度上存儲(chǔ)的二進(jìn)制信息量。存儲(chǔ)容量格式化容量、非格式化容量尋址時(shí)間平均尋道時(shí)間+平均等待時(shí)間數(shù)據(jù)傳輸率單位時(shí)間內(nèi)從磁表面存儲(chǔ)器所讀/寫的信息量。誤碼率、價(jià)格信息的分層存儲(chǔ)磁表面存儲(chǔ)器的技術(shù)指標(biāo)磁盤采取直接存取方式,尋址時(shí)間包括兩部分:一是磁頭尋找目標(biāo)磁道所需的尋道時(shí)間ts;二是找到磁道以后,磁頭等待所需要讀寫的區(qū)段旋轉(zhuǎn)到它的下方所需要的等待時(shí)間tw.由于尋找相鄰磁道和從最外面磁道找到最里面磁道所需的時(shí)間不同,磁頭等待不同區(qū)段所花的時(shí)間也不同,因此,取它們的平均值,稱作平均尋址時(shí)間Ta,它由平均找道時(shí)間Tsa和平均等待時(shí)間Twa組成:Ta=Tsa+Twa=(tsmax+tsmin)/2+(twmax+twmin)/2磁盤尋址時(shí)間信息的分層存儲(chǔ)信息的分層存儲(chǔ)磁盤的磁化軌跡磁盤設(shè)備的基本結(jié)構(gòu)面surface，道track，扇區(qū)sector，柱面cylinder讀寫頭①容量硬盤容量=盤面數(shù)×柱面數(shù)×扇區(qū)數(shù)×扇區(qū)大小。硬盤容量=單碟容量×碟片數(shù)。目前可達(dá)8TB②硬盤的數(shù)據(jù)傳輸率(DataTransferRate)又稱吞吐率，表示在磁頭定位后，硬盤讀或?qū)憯?shù)據(jù)的速度。信息的分層存儲(chǔ)硬盤主要性能指標(biāo)③道至道時(shí)間（singletrackseek）指磁頭從一磁道轉(zhuǎn)移至另一磁道的時(shí)間，單位為毫秒。④平均尋道時(shí)間(AverageSeekTime)指硬盤磁頭移動(dòng)到數(shù)據(jù)所在磁道所用的時(shí)間，單位為毫秒(ms),平均尋道時(shí)間越短硬盤速度越快。⑤轉(zhuǎn)速主流硬盤的轉(zhuǎn)速：5400rpm、7200rpm、10000rpm、15000rpm。⑥平均潛伏期（averagelatency）也稱旋轉(zhuǎn)等待時(shí)間，指當(dāng)磁頭移動(dòng)到數(shù)據(jù)所在的磁道后，然后等待所要的數(shù)據(jù)塊繼續(xù)轉(zhuǎn)動(dòng)（半圈或多些、少些）到磁頭下的時(shí)間，單位為毫秒。⑦平均訪問時(shí)間（averageaccess）指磁頭找到指定數(shù)據(jù)的平均時(shí)間，單位為毫秒。通常是平均尋道時(shí)間和平均潛伏時(shí)間之和。⑧全程訪問時(shí)間（maxfullseek）指磁頭開始移動(dòng)直到最后找到所需要的數(shù)據(jù)塊所用的全部時(shí)間，單位為毫秒。⑨緩存硬盤與外部總線交換數(shù)據(jù)的場(chǎng)所，緩存對(duì)提高硬盤速度很有好處，目前市面上的緩存容量通常為8~32MB。連續(xù)無故障時(shí)間(MeanTimeBetweenFailure，MTBF)硬盤表面溫度信息的分層存儲(chǔ)SCSIATAFCSATASASSAS2.0硬盤接口類型IEEE1394標(biāo)準(zhǔn)磁盤陣列1、如果文件大于系統(tǒng)中最大的存儲(chǔ)空間，如何存放？2、如果文件不允許分割存放？3、如果硬盤速度不能滿足系統(tǒng)需要，怎么辦？引言1、VLSI技術(shù)的迅速發(fā)展和多級(jí)并行處理技術(shù)的廣泛使用，計(jì)算機(jī)主機(jī)的性能得到了空前的提高；2、I/O子系統(tǒng)的速度卻因機(jī)械傳動(dòng)等因素，遠(yuǎn)遠(yuǎn)落后于CPU處理速度，二者之間的差距日益增大

I/O和CPU速度上的不匹配，高性能計(jì)算機(jī)面臨著越來越嚴(yán)重的瓶頸問題；3、快速多盤存儲(chǔ)技術(shù)存儲(chǔ)系統(tǒng)的并發(fā)與并行性；4、廉價(jià)、小容量、高性能的磁盤驅(qū)動(dòng)器，組成盤陣列，實(shí)現(xiàn)對(duì)多盤的并發(fā)讀/寫，達(dá)到高數(shù)傳率、高可靠性和高性價(jià)比；過去十年來,CPU的處理速度增加了五十倍有多,內(nèi)存(memory)的存取速度亦大幅增加,而數(shù)據(jù)儲(chǔ)存裝置--主要是磁盤(harddisk)--的存取速度只增加了三、四倍,形成電腦系統(tǒng)的瓶頸,拉低了電腦系統(tǒng)的整體性能(throughput),若不能有效的提升磁盤的存取速度,CPU、內(nèi)存及磁盤間的不平衡將使CPU及內(nèi)存的改進(jìn)形成浪費(fèi)。改進(jìn)磁盤存取速度主要的兩種方式一是磁盤高速緩存控制(diskcachecontroller)

二是使用磁盤陣列的技術(shù)磁盤陣列是由多個(gè)廉價(jià)磁盤構(gòu)成的冗余陣列，以確保高傳輸率與高可靠性。通過將文件散布到多個(gè)磁盤中，實(shí)現(xiàn)多個(gè)磁盤的并發(fā)傳輸，以達(dá)到提高數(shù)據(jù)傳輸率與I/O請(qǐng)求速率（I/O請(qǐng)求/ｓ）的目的。此外，通過冗余磁盤來確保數(shù)據(jù)安全，即當(dāng)有磁盤損壞時(shí)，能通過數(shù)據(jù)重建手段來恢復(fù)丟失的數(shù)據(jù)，所以可靠性也非常高。磁盤陣列的工作原理磁盤對(duì)主機(jī)I/O讀/寫請(qǐng)求的響應(yīng)時(shí)間=尋道時(shí)間+旋轉(zhuǎn)等待時(shí)間+數(shù)據(jù)傳輸時(shí)間；尋道時(shí)間和磁頭移動(dòng)的距離有關(guān)，現(xiàn)有的設(shè)備可使跨過一個(gè)磁道的時(shí)間達(dá)到2ms，最大尋道時(shí)間不超過20ms。旋轉(zhuǎn)等待時(shí)間視磁盤的主軸轉(zhuǎn)速而定，對(duì)轉(zhuǎn)速為5400rp/m的磁盤，平均旋轉(zhuǎn)等待時(shí)間約為6ms，4.2ms(7200)，3ms(10k)。二者由于受機(jī)械傳動(dòng)的約束，要提高速度困難很大，然而這兩部分時(shí)間是I/O處理的主要部分，解決這一矛盾，可以采用多盤并發(fā)技術(shù)，該技術(shù)給提高I/O處理速度帶來了新的途徑。影響磁盤存儲(chǔ)系統(tǒng)性能的關(guān)鍵因素……Tc=T1+T2+T3Tb=T1+T2+T3'+T1+T2+T3

''+……+T1+T2+T3'(n)

=n(T1+T2)+T3'+T3''+……+T3'(n)T1尋道時(shí)間、T2旋轉(zhuǎn)等待時(shí)間、T3數(shù)據(jù)傳輸時(shí)間數(shù)據(jù)連續(xù)存放數(shù)據(jù)不連續(xù)存放

=n(T1+T2)+T3單盤數(shù)據(jù)存取時(shí)間m……Tc=(n-1)m+T1+T2+T3/n

≈T1+T2+T3/nm為不同磁盤啟動(dòng)的時(shí)間間隔多盤數(shù)據(jù)存取時(shí)間多盤數(shù)據(jù)存取時(shí)間第一塊硬盤第二塊硬盤第n塊硬盤RAID0RAID1RAID2RAID3磁盤陣列——RAID技術(shù)RAID4RAID5RAID6RAID10磁盤陣列RAID0也稱為條帶化（stripe），將數(shù)據(jù)分成一定的大小數(shù)據(jù)塊寫到陣列的磁盤里。RAID0可以并行的執(zhí)行讀寫操作，充分利用總線的帶寬，理論上講，一個(gè)由N個(gè)磁盤組成的RAID0系統(tǒng)，它的讀寫性能將是單個(gè)磁盤讀取性能的N倍。且磁盤空間的存儲(chǔ)效率最大（100％）RAID技術(shù)——RAID0——原理磁盤陣列D1D2D3D4D5D6D7D8D9D10D11D12D1D5D9D2D6D10D3D7D11D4D8D12RAID技術(shù)——RAID0——事例3N-2161310741Disk11714118523N-1Disk21815129633NDisk33N1110987654321HostLUNNBlocks條帶RAID技術(shù)——RAID0——特點(diǎn)磁盤陣列優(yōu)點(diǎn)：I/O性能好，條帶化之后的多塊硬盤，數(shù)據(jù)是并行寫入所有硬盤的也就是雙管齊下，而不是橫向?qū)憹M一下條帶再寫下一個(gè)條帶。缺點(diǎn)：沒有數(shù)據(jù)冗余及安全保護(hù)機(jī)制，壞某一塊盤，整個(gè)RAID0的數(shù)據(jù)全部丟失。適用于：RAID0應(yīng)用于對(duì)讀取性能要求較高但所存儲(chǔ)的數(shù)據(jù)為非重要數(shù)據(jù)的情況下。RAID1稱為鏡像（mirror），它將數(shù)據(jù)完全一致的分別寫到工作磁盤和鏡像磁盤，因此它的磁盤空間利用率為50％，在數(shù)據(jù)寫入時(shí)時(shí)間會(huì)有影響，但是讀的時(shí)候沒有任何影響，RAID0提供了最佳的數(shù)據(jù)保護(hù)，一旦工作磁盤發(fā)生故障，系統(tǒng)自動(dòng)從鏡像磁盤讀取數(shù)據(jù)，不會(huì)影響用戶工作。RAID技術(shù)——RAID1——原理磁盤陣列RAID技術(shù)——RAID1——事例D1D2D3D4D1D2D3D4D1D2D3D4工作磁盤鏡像磁盤N654321Disk1M(6)M(5)M(4)M(3)M(2)M(1)M(N)Disk2N1110987654321HostLUNNBlocks鏡像磁盤陣列RAID技術(shù)——RAID1——特點(diǎn)優(yōu)點(diǎn)：數(shù)據(jù)冗余安全性高，一旦數(shù)據(jù)丟失，可利用備份數(shù)據(jù)及時(shí)恢復(fù)，讀取速度提高。缺點(diǎn)：浪費(fèi)存儲(chǔ)空間，只能使用50%的空間，另外的50%空間用于鏡像。對(duì)于RAID1的寫I/O，速度不但沒有提升，而且有所下降，因?yàn)閿?shù)據(jù)要同時(shí)向多塊物理盤寫，時(shí)間以最慢的那個(gè)為準(zhǔn)，因?yàn)槭峭降倪M(jìn)行。適用于：應(yīng)用于對(duì)數(shù)據(jù)保護(hù)極為重視的應(yīng)用。磁盤陣列又稱并行陣列，把數(shù)據(jù)分散為位元／位元組或塊，加入海明碼，在磁盤陣列中間隔寫入到每個(gè)磁盤中，而且地址都一樣，也就是在各個(gè)磁盤中，其數(shù)據(jù)都在相同的磁道及扇區(qū)中。其設(shè)計(jì)是使用共軸同步的技術(shù)。存取數(shù)據(jù)時(shí)，整個(gè)磁盤陣列一起動(dòng)作，在各個(gè)磁盤的相同位置作平行存取，所以有最好的存取時(shí)間。其總線是特別的設(shè)計(jì)，以大寬帶并行傳輸所存取的數(shù)據(jù)，所以有最好的傳輸時(shí)間。大文件的存取有最好的性能。RAID技術(shù)——RAID2——原理磁盤陣列RAID技術(shù)——RAID2——事例Disk0Disk1Disk2Disk3Disk0Disk1Disk2

b0

b1

b2

b3

0

1

2磁盤陣列RAID技術(shù)——RAID2——特點(diǎn)如果文件太小，性能反而下降。因?yàn)榇疟P的存取是以扇區(qū)為單位，而RAID2的存取是所有扇區(qū)平行動(dòng)作，而且是做單位元或位元組的存?。孕∮谝粋€(gè)扇區(qū)的數(shù)量會(huì)使其性能大打折扣。設(shè)計(jì)給需要連續(xù)且大量數(shù)據(jù)的電腦使用的，如大型電腦，作影像處理或CAD/CAM的工作站等。不適用一般的多用戶環(huán)境，網(wǎng)絡(luò)服務(wù)器小型機(jī)或PC。安全采用內(nèi)存陣列的技術(shù)，使用多個(gè)額外的磁盤作單位錯(cuò)誤校正及雙位錯(cuò)誤檢測(cè)。磁盤陣列按照布爾邏輯，數(shù)據(jù)盤的數(shù)據(jù)按位或字節(jié)之間做異或運(yùn)算，然后將結(jié)果寫入到校驗(yàn)盤的對(duì)應(yīng)位置。這樣，任何一塊數(shù)據(jù)盤損壞，或者其中的任何一個(gè)扇區(qū)損壞，都可以通過剩余的位和校驗(yàn)位一同進(jìn)行異或運(yùn)算，而運(yùn)算的結(jié)果就是這個(gè)丟失的位。RAID技術(shù)——RAID3——原理磁盤陣列RAID技術(shù)——RAID3——事例D1D2D3D4D5D6D7D8D9D1D4D7D3D6D9P1P2P3校驗(yàn)盤D2D5D82N-11197531Disk1121086422NDisk2P(11,12)P(9,10)P(7,8)P(5,6)P(3,4)P(1,2)P(2N-1,2N)Disk32N1110987654321HostLUNNBlocks條帶校驗(yàn)盤磁盤陣列RAID技術(shù)——RAID3——特點(diǎn)優(yōu)點(diǎn)：由于條帶深度很小，每次I/O總是能牽動(dòng)所有磁盤為它服務(wù)，對(duì)大塊連續(xù)的數(shù)據(jù)讀寫性能優(yōu)秀。缺點(diǎn)：條帶深度小，每次I/O牽動(dòng)占用所有盤，那么此時(shí)其他的并發(fā)I/O就必須等待，根本不適合并發(fā)I/O環(huán)境。對(duì)于隨即讀寫的性能也沒有提升，和單盤一樣，甚至不及單盤。適用于：適用于少量的并發(fā)IO環(huán)境，同時(shí)每次IO連續(xù)讀寫的大數(shù)據(jù)的操作.磁盤陣列RAID4是RAID0加上一個(gè)校驗(yàn)盤，在分塊一級(jí)進(jìn)行數(shù)據(jù)交叉，采用一個(gè)專用校驗(yàn)盤，可進(jìn)行多路數(shù)據(jù)傳輸，提高數(shù)傳率和I/O帶寬。校驗(yàn)盤信息由以下公式得到：校驗(yàn)盤第n塊=盤1第n塊盤2第n塊....盤m第n塊當(dāng)有盤失效時(shí)，如盤1，可通過校驗(yàn)信息和其它未失效的磁盤把數(shù)據(jù)恢復(fù)出來，計(jì)算方法為：盤1=校驗(yàn)盤盤2....盤mRAID技術(shù)——RAID4——原理磁盤陣列RAID技術(shù)——RAID4——事例Disk0Disk1Disk2Disk3Disk0

b0

b1

b2

b3

P(b)Bi為數(shù)據(jù)塊P(b)為數(shù)據(jù)塊的奇偶校驗(yàn)磁盤陣列RAID技術(shù)——RAID4——特點(diǎn)優(yōu)點(diǎn)：可在不同的磁盤平行執(zhí)行不同的讀取命令。大幅度提高磁盤陣列的讀取性能；在讀取時(shí)有和RAID0一樣好的性能。缺點(diǎn)：寫入時(shí)，因受限于校驗(yàn)盤，同一時(shí)間只能做一次。啟動(dòng)所有磁盤讀取同一校驗(yàn)盤分段的所有數(shù)據(jù)分段，與要寫入的數(shù)據(jù)做好校驗(yàn)計(jì)算再寫入，校驗(yàn)盤則形成寫入時(shí)的瓶頸。磁盤陣列磁盤陣列類似于RAID4，但數(shù)據(jù)校驗(yàn)的信息被均勻的分散到的陣列的各個(gè)磁盤上，這樣就不存在并發(fā)寫操作時(shí)的校驗(yàn)盤性能瓶頸。陣列的磁盤上既有數(shù)據(jù)，也有數(shù)據(jù)校驗(yàn)信息，數(shù)據(jù)塊和對(duì)應(yīng)的校驗(yàn)信息會(huì)存儲(chǔ)于不同的磁盤上，當(dāng)一個(gè)數(shù)據(jù)盤損壞時(shí)，系統(tǒng)可以根據(jù)同一帶區(qū)的其他數(shù)據(jù)塊和對(duì)應(yīng)的校驗(yàn)信息來重構(gòu)損壞的數(shù)據(jù)。RAID技術(shù)——RAID5——原理磁盤陣列RAID技術(shù)——RAID5——事例D1D2D3D4D5D6D7D8D9D10D11D12D1D4D7P4D2D5P3D10D3P2D8D11P1D6D9D12Disk0Disk1Disk2Disk3Disk4Parity

4

8

120

Parity

9

131

5

Parity

142

6

10

Parity3

7

11

15ParityP(2N-1,2N)1110P(7,8)54P(1,2)Disk112P(9,10)76P(3,4)12N-1Disk2P(11,12)98P(5,6)322NDisk32N1110987654321HostLUNNBlocks帶校驗(yàn)條帶RAID技術(shù)——RAID5——特點(diǎn)優(yōu)點(diǎn)：在隨機(jī)讀方面性能出色缺點(diǎn)：在寫操作性能較差，每寫一個(gè)扇區(qū)的數(shù)據(jù)就要產(chǎn)生其校驗(yàn)扇區(qū)，一并寫入校驗(yàn)盤，尤其是修改數(shù)據(jù)的時(shí)候，這種情況的影響尤其嚴(yán)重。適用于：適用于隨機(jī)IO讀操作多的環(huán)境，在隨機(jī)IO文件大的時(shí)候具有高性能。磁盤陣列操作工作模式最少硬盤需求量可用容量RAID0磁盤延伸和數(shù)據(jù)分布2TRAID1數(shù)據(jù)分布和鏡像2T/2RAID2共軸同步,并行傳輸,ECC3不定RAID3共軸同步,并行傳輸,Parity3T*(n-1)/nRAID4數(shù)據(jù)分布，固定Parity3T*(n-1)/nRAID5數(shù)據(jù)分布，分布Parity3T*(n-1)/nRAIDLevel用戶數(shù)據(jù)利用率BandwidthPerformanceTransactionPerformance數(shù)據(jù)可用性RAID010.2510.0005RAID10.50.250.851RAID20.6710.250.9999RAID30.7510.250.9999RAID40.750.250.610.9999RAID50.750.250.610.9999

以上數(shù)據(jù)基于4個(gè)磁盤，傳輸塊大小1K，75%的讀概率，數(shù)據(jù)可用性的計(jì)算基于同樣的損壞概率。校驗(yàn)盤有兩塊，類似于RAID5也是將校驗(yàn)盤分布打算到數(shù)據(jù)盤中，在每塊磁盤上放置兩個(gè)數(shù)據(jù)的校驗(yàn)值，也就是同時(shí)在一個(gè)條帶上保存了兩份數(shù)學(xué)上不相關(guān)的校驗(yàn)數(shù)據(jù)。能夠保證同時(shí)壞兩塊盤的情況下，數(shù)據(jù)依然可以通過聯(lián)立這兩個(gè)數(shù)學(xué)關(guān)系等式來求出丟失的數(shù)據(jù)。RAID技術(shù)——RAID6——原理磁盤陣列RAID技術(shù)——RAID6——事例磁盤陣列RAID10是RAID1和RAID0的結(jié)合，也稱為RAID（0+1），先做鏡像然后做條帶化，既提高了系統(tǒng)的讀寫性能，又提供了數(shù)據(jù)冗余保護(hù)，RAID10的磁盤空間利用率和RAID1是一樣的，為50％。RAID10適用于既有大量的數(shù)據(jù)需要存儲(chǔ)，有對(duì)數(shù)據(jù)安全性有嚴(yán)格要求的領(lǐng)域。RAID技術(shù)——RAID10——原理磁盤陣列RAID技術(shù)——RAID10——事例D1D2D3D4D5D6D7D8D1D5D2D6D3D7D4D