1、DELL 存儲(chǔ),常見存儲(chǔ)管理、故障處理和注意事項(xiàng),1,常見故障原因,經(jīng)驗(yàn)表明,造成客戶存儲(chǔ)故障的外部原因主要有以下幾種： 存儲(chǔ)內(nèi)部錯(cuò)誤的開關(guān)機(jī)順序。 機(jī)頭或擴(kuò)展柜的速率開關(guān)處于錯(cuò)誤的位置。 不規(guī)范的軟硬件升級(jí)。 對(duì)存儲(chǔ)子系統(tǒng)進(jìn)行破壞性操作。 不規(guī)范的故障修復(fù)操作。 維護(hù)過(guò)程中觸發(fā)了相關(guān)的隱患。 存儲(chǔ)系統(tǒng)沒(méi)有冗余的配置方案。,2,開關(guān)機(jī)步驟,開機(jī)： SAN交換機(jī)EXP磁盤擴(kuò)展柜主控柜主機(jī) 關(guān)機(jī)： 主機(jī)主控柜EXP磁盤擴(kuò)展柜SAN交換機(jī) 不正確的開關(guān)機(jī)順序可能會(huì)導(dǎo)致部分硬盤離線以及數(shù)據(jù)無(wú)法訪問(wèn)。 注意：在DS5000按下電源按鈕關(guān)機(jī)后，在控制器代碼和所有電源燈熄滅前絕對(duì)不能進(jìn)行任何操作！,3,管理

2、軟件,Storage Manager客戶端管理軟件 連接方式如下： 將裝有Storage Manager Client客戶端軟件的工作站，通過(guò)以太網(wǎng)Hub或Switch，同時(shí)連接到DS4000/DS5000的兩個(gè)控制器。 打開Storage Manager Client客戶端軟件 控制器有一個(gè)出廠默認(rèn)的IP地址：控制器A/B：192.168.128.101/102 （控制器A/B：192.168.129.101/102 ）,4,存儲(chǔ)子系統(tǒng)狀態(tài)標(biāo)識(shí),5,管理界面-企業(yè)主管理界面,6,管理界面子系統(tǒng)管理界面,7,子系統(tǒng)部件標(biāo)識(shí),8,故障檢測(cè)按鈕,使用“Recovery Guru” 故障檢測(cè)按鈕檢查

3、DS4000/DS5000子系統(tǒng)的整體狀態(tài) “聽診器”,9,故障檢測(cè)按鈕,正常 故障,10,控制器和擴(kuò)展柜的硬件狀態(tài),點(diǎn)擊物理硬盤右側(cè)的狀態(tài)檢查按鈕，可以打開查看具體部件的硬件工作狀態(tài),11,查看控制器信息,選擇“Storage Subsystem Menu” “View” “ Profile”,12,故障數(shù)據(jù)收集,收集 All Support Data 菜單：Advanced-Troubleshooting-Collect All Support Data .,13,故障數(shù)據(jù)收集,查看Major Event Log 菜單：Advanced-Troubleshooting-View Event

4、 Log,14,故障數(shù)據(jù)收集,查看鏈路信號(hào)噪音檢測(cè)報(bào)告 菜單：Advanced-Troubleshooting-Run Diagnostics-Read Link Status ,15,電池和緩存,電池和緩存的設(shè)計(jì)原理 為了保證寫緩存數(shù)據(jù)的安全性，DS4000/DS5000系統(tǒng)中，只要電池發(fā)生故障（處于Failed狀態(tài)）或者超過(guò)微碼所規(guī)定的設(shè)計(jì)壽命，那么寫緩存就會(huì)被自動(dòng)禁用 為了保證寫緩存數(shù)據(jù)的安全性，默認(rèn)兩個(gè)控制器的Cache Mirroring寫緩存鏡像功能是打開的。因此當(dāng)一個(gè)控制器的寫緩存被禁用之后，另外一個(gè)控制器的寫緩存也不能使用了。,16,電池和緩存,寫緩存禁用之后的故障現(xiàn)象 主機(jī)端

5、應(yīng)用程序響應(yīng)變慢，從topas檢查主機(jī)性能指標(biāo)，I/O waiting顯著增加，每個(gè)邏輯盤的busy接近100%，但是IO吞吐量很小，每秒只有幾十K到1M不等：,17,電池和緩存,電池的更換策略 如果電池當(dāng)前是處于“Failed”或“Removed”狀態(tài) 如果電池當(dāng)前狀態(tài)正常，只是接近或已超過(guò)告警壽命,18,在AIX上使用MPIO的一些注意事項(xiàng),AIX版本5.2以上，除了原有的集成的RDAC功能以外，操作系統(tǒng)還新增了MPIO的功能來(lái)實(shí)現(xiàn)外部磁盤的多通路訪問(wèn)。AIX 5.2/5.3默認(rèn)是使用RDAC，而AIX6.1默認(rèn)是使用MPIO。 RDAC和MPIO的兼容性 DS3000: 只支持 MPIO

6、 DS4000: 支持方式：RDAC, MPIO DS5000: 支持方式：MPIO (DS5000在AIX上不再支持RDAC),19,在AIX上使用MPIO的一些注意事項(xiàng),如何在AIX上確認(rèn)當(dāng)前正在使用MPIO還是RDAC 在AIX中執(zhí)行“manage_disk_drivers” 以下是一個(gè)當(dāng)前使用MPIO的例子： #manage_disk_drivers 1: DS4300: currently MPIO; supported: RDAC/fcparray, MPIO 2: DS4500: currently MPIO; supported: RDAC/fcparray, MPIO 3:

7、DS4700/DS4200: currently MPIO; supported: RDAC/fcparray, MPIO 4: DS4800: currently MPIO; supported: RDAC/fcparray, MPIO 以下是一個(gè)當(dāng)前使用RDAC的例子： 1: DS4300: currently RDAC/fcparray; supported: RDAC/fcparray, MPIO 2: DS4500: currently RDAC/fcparray; supported: RDAC/fcparray, MPIO 3: DS4700/DS4200: currently

8、RDAC/fcparray; supported: RDAC/fcparray, MPIO 4: DS4800: currently RDAC/fcparray; supported: RDAC/fcparray, MPIO,20,在AIX上使用MPIO的一些注意事項(xiàng),如何檢查當(dāng)前磁盤的工作路徑 RDAC：fget_config -Av MPIO: mpio_get_config -Av,21,常見故障處理和注意事項(xiàng),控制器微碼是不是有重大隱患的版本？ 06.23.05.00： 隱患一：當(dāng)某個(gè)控制器內(nèi)存校驗(yàn)出錯(cuò)時(shí)，故障控制器無(wú)法正確的被隔離offline，從而導(dǎo)致邏輯盤LUN不能切換到好的控制

9、器上，主機(jī)訪問(wèn)中斷。 隱患二：DS4800寫緩存被禁用，主機(jī)寫性能大幅度下降，從而影響業(yè)務(wù)。 07.10.23.00： 隱患一：更換故障硬盤后，之前已經(jīng)接管的熱備盤無(wú)法CopyBack 隱患二：Media Scan被自動(dòng)禁用,22,常見故障處理和注意事項(xiàng),EXP擴(kuò)展柜的ESM微碼版本有沒(méi)有重大隱患？ EXP710的ESM的微碼隱患（9681以下版本） 當(dāng)一塊硬盤故障時(shí)，MEL里面顯示Fiber Channel Link up和Link down的Event，發(fā)生大面積的多塊硬盤的同時(shí)故障，客戶數(shù)據(jù)訪問(wèn)中斷。 EXP810和EXP420的ESM的微碼隱患（98D0以下版本） 當(dāng)一塊硬盤故障時(shí)，M

10、EL里面顯示Fiber Channel Link up和Link down的Event，發(fā)生大面積的多塊硬盤的同時(shí)故障，客戶數(shù)據(jù)訪問(wèn)中斷。,23,常見故障處理和注意事項(xiàng),要特別注意前面板右下方的（2GB/4GB）速率開關(guān)，是否處于正確的位置。速率開關(guān)處于4GB位置時(shí)，2Gbps的硬盤將不能被識(shí)別；相反速率開關(guān)處于2GB位置時(shí)，4Gbps的硬盤是可以使用的，但是性能將會(huì)下降。這種情況比較容易被忽視。速率開關(guān)的更改需要關(guān)機(jī)下電。注意：所有3Gbps的SATA硬盤，都推薦運(yùn)行在4Gbps。,24,常見故障處理和注意事項(xiàng),磁盤擴(kuò)展柜的光纖連線符合IBM的規(guī)范。 在控制器有冗余的光模塊條件下，建議將多個(gè)

11、擴(kuò)展柜連接在多個(gè)冗余環(huán)路上，盡量不要將所有的擴(kuò)展柜串聯(lián)在一個(gè)環(huán)路里。,25,常見故障處理和注意事項(xiàng),只要使用了光纖交換機(jī)，做Zone是強(qiáng)制要求。每一個(gè)Zone必須只包含兩個(gè)成員，一個(gè)對(duì)應(yīng)主機(jī)的一張光纖卡的一個(gè)端口，另一個(gè)對(duì)應(yīng)DS4000/DS5000的一個(gè)控制器的一個(gè)端口。,26,常見故障處理和注意事項(xiàng),邏輯盤不在最優(yōu)路徑“Logical Drive Not On Preferred Path” 。這個(gè)問(wèn)題指的是DS4000/DS5000的邏輯盤（LUN）沒(méi)有掛在原本所屬的控制器下。,27,常見故障處理和注意事項(xiàng),原因分析：（主要有6點(diǎn)） 從主機(jī)的光纖卡到Logical Drive的光纖物理鏈

12、路有問(wèn)題。 P-Series主機(jī)的dar0的虛擬設(shè)備配置有問(wèn)題 光纖交換機(jī)fabric1的Zone設(shè)置有問(wèn)題。 主機(jī)光纖卡HBA和DS4000/DS5000控制器的主機(jī)端口Host Port之間的光纖連線方式不正確，沒(méi)有符合IBM的規(guī)范。 控制器發(fā)生過(guò)重啟，或者控制器已經(jīng)Offline（離線）,28,常見故障處理和注意事項(xiàng),檢查的確認(rèn)方法：（主要有8點(diǎn)） 確認(rèn)從主機(jī)的光纖卡到邏輯盤Logical Drive的物理鏈路是完全正常的。 查看光纖交換機(jī)相應(yīng)的主機(jī)光纖卡端口和DS4000/DS5000控制器端口的狀態(tài)燈 登陸主機(jī)，運(yùn)行“fget_config -Av”確認(rèn)dar的虛擬設(shè)備配置正常 確認(rèn)

13、光纖交換機(jī)的Zone設(shè)置沒(méi)有問(wèn)題。 確認(rèn)主機(jī)光纖卡HBA和DS4000/DS5000控制器的主機(jī)端口Host Port之間的光纖連線方式是正確。 在SM客戶端管理軟件里面確認(rèn)DS4000/DS5000的控制器狀態(tài)正常 檢查DS4000/DS5000內(nèi)部的Mapping是否正確 確認(rèn) Linux主機(jī)的host type是否正確。,29,常見故障處理和注意事項(xiàng),恢復(fù)方法 在Storage Manager客戶端管理軟件里面運(yùn)行: Advanced Recovery Redistribute Logical Drives 在Storage Manager客戶端管理軟件里面，更改每一個(gè)邏輯盤Logica

14、l Drive的所屬控制器 菜單：Logical DriveChangeOwnership/Preferred Path 注意：在恢復(fù)之前，一定要確認(rèn)從主機(jī)的光纖卡到Logical Drive的通道是完全正常的，只有在完全確認(rèn)上述幾種故障都已經(jīng)解決之后，才能實(shí)施恢復(fù)。否則后果一定是災(zāi)難性的！,30,常見故障處理和注意事項(xiàng),Storage Manager客戶端軟件不能連接和訪問(wèn)DS4000/DS5000的控制器 首先排除網(wǎng)絡(luò)方面的問(wèn)題 看看控制器的兩位數(shù)字LED的顯示是否正常 如果控制器的兩位數(shù)字LED的顯示在循環(huán)變化，或者Ping的時(shí)通時(shí)斷，這時(shí)候可以通過(guò)串口連上控制器，觀察并捕獲屏幕的輸出。

15、 控制器能Ping通但是Storage Manager連不上 如果能安排停機(jī)時(shí)間，重啟機(jī)頭是最有效的解決方法。,31,常見故障處理和注意事項(xiàng),拔除DS4000/DS5000系統(tǒng)中所有未使用（沒(méi)有光纖連接）的光電轉(zhuǎn)換模塊SFP 會(huì)導(dǎo)致光纖鏈路的不穩(wěn)定 在MEL Event Log中，會(huì)發(fā)現(xiàn)有大量的“Fibre Channel Link Down”和“Fibre Channel Link Up”的提示信息。,32,常見故障處理和注意事項(xiàng),特別注意：不規(guī)范的實(shí)施DS4000/DS5000系統(tǒng)EXP擴(kuò)展柜和物理硬盤的升級(jí)和遷移，可能會(huì)造成客戶數(shù)據(jù)丟失！ DS4000/DS5000系統(tǒng)增加新的EXP擴(kuò)展

16、柜（升級(jí)） DS4000/DS5000系統(tǒng)增加新的物理硬盤（升級(jí)） 將一個(gè)或多個(gè)EXP擴(kuò)展柜，從一個(gè)現(xiàn)有的DS4000/DS5000系統(tǒng)遷移到另一個(gè)DS4000/DS5000系統(tǒng)（遷移） 將一塊或多塊硬盤，從一個(gè)現(xiàn)有的DS4000/DS5000系統(tǒng)遷移到另一個(gè)DS4000/DS5000系統(tǒng)（遷移） 以上工作必須嚴(yán)格按照最新版的IBM官方文檔里面所規(guī)定的步驟進(jìn)行。,33,常見故障處理和注意事項(xiàng),注意定期保存DS4000/DS5000系統(tǒng)的All Support Data（ASD） DS4000/DS5000的All Support Data里面記錄了所有Array的配置信息和主機(jī)Mapping的

17、信息，在關(guān)鍵時(shí)刻對(duì)于客戶的數(shù)據(jù)恢復(fù)有著非常重要的作用。,34,常見故障處理和注意事項(xiàng),尋找DS4000/DS5000的Recovery Profile SM客戶端軟件的一個(gè)功能 記錄了DS4000的Array和LUN的基本信息,35,常見故障處理和注意事項(xiàng),不能對(duì)處于“Degraded”狀態(tài)的Array的故障硬盤使用Revive操作! 當(dāng)Array變成Degraded狀態(tài)時(shí)，主機(jī)的訪問(wèn)將會(huì)恢復(fù)。 故障硬盤仍然處于被隔離的靜止?fàn)顟B(tài) 造成數(shù)據(jù)丟失！,36,常見故障處理和注意事項(xiàng),故障誤報(bào) 微碼和舊版的不兼容 通過(guò)升級(jí)微碼解決 通過(guò)重啟機(jī)頭解決,37,常見故障處理和注意事項(xiàng),絕對(duì)不能在生產(chǎn)系統(tǒng)使用SM客戶端管理軟件的“Reset Configuration”功能 刪除DS4000/DS5000系統(tǒng)里面所有的Array/Lun信息 將所有配置恢復(fù)成出廠設(shè)置值,38,常見故障處理和注意事項(xiàng),DS5000維護(hù)注意事項(xiàng) DS