第一類、機(jī)房環(huán)境及物理檢查一、機(jī)房內(nèi)環(huán)境要求溫度與濕度：最正確工作溫度：20-25攝氏度極限工作溫度：10-40攝氏度濕度：8-80%〔在23攝氏度條件下〕如果不是工作在最正確溫度,請注意改善機(jī)房環(huán)境同時機(jī)房要保證清潔.機(jī)房應(yīng)保持清潔,假設(shè)空氣灰塵過多,很容易造成資源讀寫錯誤及磁盤機(jī)中磁盤或讀寫磁頭毀損.二、電源要求電壓：要求電壓穩(wěn)定,尖峰電壓會損壞設(shè)備電壓范圍:220V+/-10%,即200-240V,50-60Hz電源功率：視機(jī)器類型和系統(tǒng)配置而定電源線：標(biāo)準(zhǔn)的零,地,火三相電,其中零,地電壓不得超過.電源接駁：用符合電流要求的空氣開關(guān)或其他設(shè)備和主機(jī)電源線接駁保證計算機(jī)系統(tǒng)的可靠工作應(yīng)使用穩(wěn)壓電源和ups并建議配備發(fā)電機(jī)組對于冗于電源的接入,建議采用兩路單獨輸入.三、硬件檢查］檢查效勞器、磁陣的安裝、電源線、7133和主機(jī)接線符合要求.效勞器狀態(tài)檢查：當(dāng)效勞器處于啟動和正常工作狀態(tài)時,其前面板上的液晶顯示屏上應(yīng)無信息顯示.當(dāng)液晶顯示器上出現(xiàn)帶數(shù)字和字母的信息時,說明有硬件告警.可以通過查詢相關(guān)機(jī)型的ServiceGuide查到相應(yīng)告警原因,情況嚴(yán)重的,那么要立即通知舊M技術(shù)專家進(jìn)行問題排查.7133狀態(tài)檢查:磁陣前面板上有7133機(jī)柜的狀態(tài)燈〔與電源燈并排〕和各硬盤的狀態(tài)燈〔一排小燈,與各硬盤位置一一對應(yīng)〕..當(dāng)機(jī)柜的狀態(tài)燈出現(xiàn)橙黃色時,說明有硬件告警,此時要檢查磁柜的電源、接線、硬盤等.如果有硬件故障那么立即進(jìn)行更換和更正,如果查不出具體問題,那么需要聯(lián)系相關(guān)專家進(jìn)一步診斷..當(dāng)硬盤工作正常時,與各硬盤對應(yīng)的硬盤燈會呈綠色,如無讀寫,那么綠燈一直亮,如該硬盤有讀寫操作,那么綠燈會不規(guī)那么閃爍,當(dāng)硬盤損壞時或SS心路出現(xiàn)問題時,那么硬盤狀態(tài)燈將熄滅,或者呈閃爍狀態(tài)：以1?3秒的頻率有規(guī)律地、不停地閃爍第二類、系統(tǒng)日常維護(hù)流程系統(tǒng)啟動系統(tǒng)啟動正常順序如下：首先對外設(shè)〔磁盤陣列、磁帶庫等〕加電待所有外設(shè)加電自檢完成后,主機(jī)加電正常起機(jī).主機(jī)加電后,系統(tǒng)進(jìn)行自檢,在液晶顯示屏顯示“ok〞后,才能按白色POWE鍵起機(jī).啟動主機(jī)HACM,P啟動后可用命令tail-f/tmp/來檢查啟動情況,在HACM床完全啟動前不要進(jìn)行下一步.檢查效勞器的網(wǎng)絡(luò)地址,路由表〔可用netstat-i,netstat-rn等〕,檢查文件系統(tǒng),邏輯卷〔可用mount,lsvg-o等〕.檢查各項應(yīng)用是否工作正常.系統(tǒng)關(guān)閉停止HACMP〔smittyclstop〕.查看HACM的狀態(tài),檢查效勞器的網(wǎng)絡(luò)地址,路由表〔可用netstat-i,netstat-rn等〕,檢查文件系統(tǒng),邏輯卷〔可用mount,lsvg-o等〕在HACM床完全停止前不要進(jìn)行下一步.關(guān)閉主機(jī)〔shutdown-F〕.重啟系統(tǒng)可以使用：shutdown-Fr如有必要的話,按磁盤陣列前方的白色按鈕關(guān)閉磁盤陣列.

查看系統(tǒng)的錯誤記錄在系統(tǒng)運(yùn)行時,一些系統(tǒng)錯誤會記錄在errlog中,其中有些錯誤還會在終端上顯示.檢查錯誤日志可用以下命令：#errpt|more查看系統(tǒng)所有的記錄IDIDENTIFIERTIMESTAMPTCRESPTCRESOURCENAMEDESCRIPTIONE85C5C4C09CFGLFTSOFTWAREPROGRAMERROR2BFA72BFA76F609TSHUTDOWNBYUSER9D4CF6E709TSSYSPROCOerrdemonSYSTEMERRORLOGGINGTURNEDON1E2AC07E09TOerrdemonERRORLOGGINGTURNEDOFF1E5EER4T09TOclstrmgrOPERATORNOTIFICATION其中IDENTIFIER為錯誤編號,當(dāng)需要檢查詳細(xì)信息時常會用到.TIMESTAMP%時間標(biāo)簽,它記錄的是出錯時間,其格式：月月日日時時分分年年T為Type,它記錄的是錯誤類型P:為永久錯誤,需引起注意T:為臨時錯誤.C為Class,它記錄的是錯誤種類,如

H:HardwareS:SoftwareO:ErrlogercommandmessagesU:undeterminedRESOURCE_NAME為錯誤來源DESCRIPTIONS錯誤描述#errpt-aj〈IDENTIFIER?查看系統(tǒng)詳細(xì)記錄內(nèi)容其中IDENTIFIER為錯誤編號,如#errpt-aj09#e#errpt-dH查看系統(tǒng)所有的硬件出錯記錄系統(tǒng)與數(shù)據(jù)備份有效及時的系統(tǒng)備份是系統(tǒng)治理的非常重要的一環(huán).當(dāng)系統(tǒng)出現(xiàn)故障時,特別是文件系統(tǒng)被嚴(yán)重?fù)p壞或硬盤損壞時,常需要使用系統(tǒng)備份來恢復(fù)系統(tǒng).在以下情況下應(yīng)做系統(tǒng)備份：1、新裝機(jī).在硬件及系統(tǒng)軟件安裝完成后,應(yīng)做系統(tǒng)備份.2、軟件改動.系統(tǒng)軟件或應(yīng)用軟件有改動時,應(yīng)做系統(tǒng)備份.3、定期備份.對系統(tǒng)進(jìn)行定期備份,最好每兩或三個月做一次備份備份考前須知：進(jìn)行系統(tǒng)備份無須停止業(yè)務(wù),業(yè)務(wù)可以繼續(xù)進(jìn)行.建議客戶進(jìn)行定期的系統(tǒng)備份〔使用命令smittymksysb〕.客戶也可根據(jù)需要利用SMIT對系統(tǒng)的特定的VG或FS進(jìn)行備份.smittymksysb只備份rootvg中mount起來的文件系統(tǒng),其它文件系統(tǒng)或數(shù)據(jù)并沒有做備份,所以數(shù)據(jù)備份需要另外完成〔建議客戶使用TAR&式〕在條件允許的情況下,最好有一盤以上備份帶,以預(yù)防磁帶損壞.系統(tǒng)備份過程中有時候會提示有些/tmp目錄下的文件無法備份,顯示如下:Creatinglistoffilestobackup...Backingup34025files1694of34025files(4%)2733of34025files(8%)backup:0511-449Anerroroccurredaccessing./tmp/:Afileordirectoryinthepathnamedoesnotexist.backup:0511-449Anerroroccurredaccessing./tmp/:Afileordirectoryinthepathnamedoesnotexist.backup:0511-449Anerroroccurredaccessing./tmp/:Afileordirectoryinthepathnamedoesnotexist.15458of34025files(45%)31920of34025files(93%)0512-003mksysbmaynothavebeenabletoarchivesomefiles.ThemessagesdisplayedontheStandardErrorcontainedadditionalinformation.這是正?，F(xiàn)象,備份成功系統(tǒng)恢復(fù)當(dāng)系統(tǒng)發(fā)生比擬嚴(yán)重的故障以致采取一般性維護(hù)手段不能在短期內(nèi)恢復(fù)原系統(tǒng),在與客戶進(jìn)行蹉商后,可將最近一次的系統(tǒng)備份帶倒回機(jī)器內(nèi)以全面恢復(fù)系統(tǒng)到最近一次做備份時的系統(tǒng)環(huán)境,然后可將當(dāng)日的數(shù)據(jù)備份再倒回系統(tǒng)內(nèi).至此,系統(tǒng)可恢復(fù)正常運(yùn)行.此后,客戶應(yīng)當(dāng)與舊M工程師再進(jìn)行整個事件的全面分析與回顧,以期找到故障發(fā)生的原因,并采取相應(yīng)舉措以杜絕類似事件再次發(fā)生.DUMP當(dāng)系統(tǒng)運(yùn)行出現(xiàn)軟件故障導(dǎo)致系統(tǒng)down機(jī)時,機(jī)器的液晶顯示器會出現(xiàn)888102xxx0c0〔xxx可能為700或其它〕,AIX常會將當(dāng)時系統(tǒng)的運(yùn)行情況記錄下來,這就是DUMP當(dāng)DUMP^生后,請將磁帶放入磁帶機(jī),用命令#snap-a-o/dev/rmt0將DUM改件拷貝到磁帶設(shè)備/dev/rmt0中.注明磁帶機(jī)的blocksize,DUM產(chǎn)生的日期和機(jī)器的型號及序列號.同時,請用#errpt-a>/tmp/將errorlog記在/tmp/中,并將/tmp/和/tmp/hacmp.*拷貝到軟盤或磁帶上.將磁帶和軟盤交給舊M工程師.日常檢查效勞器狀態(tài)的工程及其相關(guān)命令1運(yùn)行l(wèi)sdev命令配以各種參數(shù),所列各種設(shè)備狀態(tài)都應(yīng)為Available.#lsdev-C-H-Sa列出系統(tǒng)中可用設(shè)備.#lsdev-Ccprocessor列出系統(tǒng)中的所有CPU

#lsdev—C#lsdev—Ccmemory列出系統(tǒng)中的所有內(nèi)存.#lsdev-Ccdisk列出系統(tǒng)中的所有硬盤.#lsdev-Ccadapter|grepent列出系統(tǒng)中的所有網(wǎng)卡#lsdev-Ccadapter|grepscsi列出系統(tǒng)中的所有SCSI卡.#lsdev-Ccadapter|grepssa列出系統(tǒng)中的所有SSA卡.2lspv命令#lspv顯示系統(tǒng)中可用的#lspv#lsp#lspvhdiskn顯示hdiskn的具體信息.#lsdev-Ccpdisk顯示磁盤陣列的硬盤的具體信息.對SSA硬盤的檢測：在對主機(jī)進(jìn)行工作之前可以先把磁盤陣列上電,等主機(jī)完機(jī)完全啟動后,登錄到主機(jī)上,運(yùn)行以下命令〞lsdev—Ccpdisk應(yīng)該可以看到所有SSA硬盤,并且狀態(tài)應(yīng)為Available.Isattr命令#Isattr-E-lmem0列出系統(tǒng)中內(nèi)存mem0勺大小,本工程中內(nèi)存有4GB4lsvg命令#lsvg列出系統(tǒng)中所有的#lsvg#l#lsvgrootvg列出rootvg的詳細(xì)信息列出激列出激活的vg#oslevel顯示操作系統(tǒng)版本信息#lsvg—o5oslevel命令netstat命令#netstat-in顯示系統(tǒng)中各網(wǎng)卡的配置.可查看網(wǎng)卡的IP配置好了沒有.#diag命令運(yùn)行硬件診斷程序檢測主機(jī)內(nèi)所有硬件,檢測結(jié)果為“Notroublefound〞顯示各局部工作正常.使用#diag命令〔選擇：TaskSelection-〉SSAServiceAids〕對SSAM盤鏈路連接的校驗,可以通過SSA工具里的LinkVerification來檢測.如有必要,可以用CertifyDisk運(yùn)行硬盤診斷局部進(jìn)行硬盤的外表分析測試,由1%至100%檢測結(jié)果顯示主機(jī)內(nèi)置硬盤的所有扇區(qū)均讀寫正常.lsps-a查看PAGINGSPACE使用情況,如果使用率超過70%就需要采取舉措Isvg-o|Isvg-il|grep-istale查看有無stale的Iv,如果輸入該命令之后有輸出結(jié)果,就需要采取舉措有否發(fā)給root用戶的錯誤報告(mail).檢查雙機(jī)狀態(tài)：lssrc-gcluster檢查ha三個工作進(jìn)程是否激活,/usr/sbin/cluster/clstat-a檢查雙機(jī)狀態(tài)是否up,并檢查日志,看是否有異常信息.用vmstat,topas,sar命令檢查系統(tǒng)性能,檢查cpu\memoyr\IO,是否存在性能瓶頸.檢查能否順利進(jìn)入CDE^W,如果不能進(jìn)入的話,要檢查/etc/hosts表中有否錯誤的工程.用smittyssaraid查看磁盤陣列RAID盤的狀態(tài)是否是Good如果是degrade或其他狀態(tài)表示RAID盤出現(xiàn)問題了用sysdumpdev-l查看系統(tǒng)的DUM股置是否正常.用insfix-ik|grepML當(dāng)前操作系統(tǒng)補(bǔ)丁版本補(bǔ)丁程序(PTF)是否滿足穩(wěn)定運(yùn)行的需要.一般要求433操作系統(tǒng)補(bǔ)丁要打到10以上,操作系統(tǒng)補(bǔ)丁要打到5以上使用df-kP查看磁盤空間占用率,請保證以下文件系統(tǒng)的占用率高于80%：即上報：性能監(jiān)控與調(diào)優(yōu)通過命令vmstat1來觀察.

kthrmemorypagefaultscpurbavmfrerepipofrsrcyinsycsussyidwa命令解析：vmstat命令的輸出可以反映系統(tǒng)整體運(yùn)行狀況,包括cpu、內(nèi)存、虛擬頁面、系統(tǒng)進(jìn)程和系統(tǒng)調(diào)用情況.檢查CPU^否為瓶頸,分別檢查CPU勺四項數(shù)值和kthr的兩項數(shù)值.檢查ME皿否為瓶頸,分別檢查Memory的兩項數(shù)值和Page的六項數(shù)值.通過命令sar-mu-PALL來觀察.命令解析：sar可以用來收集反映系統(tǒng)運(yùn)行狀況,在這里主要是查看CPU勺運(yùn)行X犬況,CPU^否負(fù)載均衡,是否存在分配不均的情況.通過命令psgv|more來觀察.PIDTTYSTATTIMEPGINPGINSIZERSSLIMTSIZTRS%CPU%MEMCOMMAND0-A4:2071214516xx014504swapper1-A1:331037895279044327682536/etc/ini命令解析：ps可以用來查看進(jìn)程的當(dāng)前狀態(tài).在這里通過參數(shù)的配搭,可以觀察目前正在運(yùn)行的進(jìn)程所耗的時間,CPU和memory量.其中,%CPUt示進(jìn)程所占用的CPUS源情況,％MEME示進(jìn)程所占用的內(nèi)存情況.主要檢查是否有標(biāo)示為＜defunc＞的僵尸進(jìn)程耗用系統(tǒng)資源,以及informix數(shù)據(jù)庫的oninit進(jìn)程的系統(tǒng)消耗情況.在機(jī)器上用dd命令進(jìn)行磁盤陣列的寫操作校驗,與此同時用iostat1-dhdiskX觀察磁盤.Disks:%tm_actKbpstpsKb_readKb_wrtn命令解析：iostat可以用來查看系統(tǒng)的I/O的輸入輸出情況,在這里主要查看陣列上的硬盤的每秒讀寫量,同時估算磁盤陣列讀寫速度HHhHhh通過通過命令netstat-a進(jìn)行查看ActiveInternetconnections(includingservers)ProtoRecv-QSend-QLocalAddressForeignAddress(state命令解析：netstat可以用來查看系統(tǒng)的網(wǎng)絡(luò)情況,在這里主要是查看網(wǎng)絡(luò)客戶端連接的情況和開銷,檢查參數(shù)為state,如有死連接,state狀態(tài)為巾n_wait,這樣耗用系統(tǒng)網(wǎng)絡(luò)資源,從而導(dǎo)致網(wǎng)絡(luò)性能下降構(gòu)成瓶頸.平安工作守那么a.系統(tǒng)定期進(jìn)行系統(tǒng)備份,系統(tǒng)盤建議鏡像.b.當(dāng)有系統(tǒng)變更或進(jìn)行操作系統(tǒng)補(bǔ)丁安裝的時候,必須作一次系統(tǒng)備份.c.在7133和shark發(fā)現(xiàn)有硬盤故障的時候,請?zhí)嵝芽蛻糇⒁猱?dāng)天的數(shù)據(jù)備份.在更換硬盤的時候,請確認(rèn)當(dāng)天數(shù)據(jù)備份已經(jīng)完成.d.在更換敏感的電子元件,時候一定要防靜電.e.在插拔外圍設(shè)備的時候,請把外圍設(shè)備下電.f.在進(jìn)行主機(jī)微碼升級時候,請留意微碼的完整性.g.在進(jìn)行文件刪除的時候,請留意當(dāng)前路徑是否正確.h.在進(jìn)行文件解壓縮的時候,請留意參數(shù)和路徑.維護(hù)在日常維護(hù)中碰到問題和疑難,可以致電：IBM免費(fèi)技術(shù)支持保修熱線：800-810-66770100客戶技術(shù)咨詢熱線：800-810-1818IBM廣州分公司聯(lián)系:［本帖最后由mfkqwyc86于2021-11-412:32編輯］,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,7TfffjTTfjiiTTTTufiTTufiTTuuTTTTnuTTnnTT'ii11TTTTn11TT'fifiTTTnTTTTT1111TT7T7TTr7TTTTTTT7T7T7TT>ititTTii11TTTTTTTTTrnnTiTiffTiTiffTiTiTiffTiTiffTiTiffTiTiTiffTiTiffTiTiffTiTiTiffTiTiffTiTiffTiTiTiffTiTiffTiTiffTiTiTiffTiTiffTiTiffTiTiTiffTiTT^iTi################################君子務(wù)本,本立而道生.mfkqwyc86,飛鷹工作室ITPUT個人空間：0[OracleRACLinux+Oracle11gR2RAC安裝配置詳細(xì)過程02.[OracleRAC]OracleRAC更改VIPIP地址_2節(jié)點的實驗03.[OracleRACOracleRACi除一個節(jié)點_3節(jié)點的實驗04.【OracleRACOracleRAG曾力口一個節(jié)點_3節(jié)點的實驗05.[OracleRAC+DGOracleRAC+ASM+DataGuard置實驗t己錄06.[OracleRACOracleRACCRSOCRVoting破壞重建07.[Oracle表分區(qū)治理】OraclePartition表分區(qū)與分區(qū)索引幾種方式的實驗操作08.【IBMDB2表空間治理】db2表空間治理一實例講解之精華09.[IBMDB2補(bǔ)丁升級】從升級到DB210.【中間件資料下載匯總】WebSphere,MQ,Portal,WebLogic資料下載匯總【PDF格式-共51類】只看該作者命mfkqw#2yc86使用道具發(fā)表于2021-發(fā)表于2021-11-412:22作室跟貼說明:

數(shù)1個人空問400技術(shù)積分826〔3079〕社區(qū)積分2數(shù)1個人空問400技術(shù)積分826〔3079〕社區(qū)積分28〔9086〕注冊日期2007-428論壇徽章:1自己遇到過的錯誤問題,及解決方法?。〉谌?、故障定位、故障排除根據(jù)我們在實際商用系統(tǒng)中碰到問題,我們總結(jié)出了以下幾種常見故障及其定位方式和解決方法.硬件故障硬件故障有很多種,對系統(tǒng)產(chǎn)生的影響也不一樣,這里按其故障對系統(tǒng)的影響程度分：致命影響的硬件故障和只影響功能的硬件故障兩類進(jìn)行硬件分類：其損壞對系統(tǒng)產(chǎn)生致命影響〔將使機(jī)器宕機(jī)或無法啟動〕的硬件包括：主板、CPUI/O柜〔包含本地盤、光驅(qū)、PCI插槽等的柜子〕或CEC巨〔包含CPU/MEMOIO的柜子〕、I/O柜與CEC巨的接線、電源模塊、風(fēng)扇、本地硬盤、內(nèi)存損壞等等注：I/O柜和CEC巨一般在比擬高端的小型機(jī)才有,如M80低端的是合一的.這些設(shè)備的損壞等將使系統(tǒng)無法完成自檢、引導(dǎo)和啟動,液晶顯示屏上都將有錯誤信息,可根據(jù)液晶顯示屏上的錯誤碼對照ServiceGuide查的錯誤原因,如果是工作狀態(tài)下出現(xiàn)這些硬件損壞,那么系統(tǒng)將被掛起或宕機(jī).其損壞對僅對系統(tǒng)產(chǎn)生功能影響〔機(jī)器不會宕機(jī)并能正常啟動〕的硬件包括：網(wǎng)卡、本地硬盤有壞塊、顯卡、SS/卡和其他外圍設(shè)備這些設(shè)備的損壞只影響特定功能,如網(wǎng)絡(luò)功能、顯示功能、訪問磁陣的功能等,對于本地硬盤有壞塊的情況,那么要看壞塊中是否包含了重要的系統(tǒng)文件,如果不是重要系統(tǒng)文件,那么系統(tǒng)功能不受影響,但也建議立即更換該硬盤.故障定位和排除：以上硬件故障信息都可以使用：液晶屏上的錯誤碼或：errpt-dH查看到根據(jù)錯errpt-dH查看到障,對商用系統(tǒng)來講,由于是雙機(jī)系統(tǒng),如果損壞機(jī)器是主機(jī)可以將此效勞器切換成備機(jī),然后修復(fù)故障機(jī)器,恢復(fù)系統(tǒng).磁陣故障磁陣引起的故障是目前碰到的最頻繁、危害最大的故障,據(jù)不完全統(tǒng)計,其故障覆蓋到總故障的70犯上,具體來講,可能引起磁陣故障的環(huán)節(jié)包括：磁陣硬盤、7133柜子、主機(jī)上的SSA卡、連接7133與主機(jī)的SSA線、硬盤白位置和ssa線的接線方式、以及盤柜使用的電壓及周圍磁場、磁陣/硬盤/ssa卡的微碼等都可能造成7133的異常.7133磁陣的問題是最復(fù)雜的,一般有物理損壞的原因也有環(huán)境原因,這是主因,如接線、插盤位置不符合要求、未及時查看系統(tǒng)告警等造成系統(tǒng)中斷等輔因.按照我們的經(jīng)驗,不管是什么硬件故障導(dǎo)致7133故障,系統(tǒng)都會產(chǎn)生告警,如果能及時發(fā)現(xiàn)問題并采取舉措,一般都能預(yù)防故障的發(fā)生.故障定位：7133硬件故障也可以使用：errpt-dH查看到伴隨的錯誤碼有：B4C0061804PHssa0RESOURCEUNAVAILABLEFE9E935704PHssa0DISKOPERATIONERRORFE9E935703PHpdisk3DISKREOPERATIONRROR03913B9403UHLVDDHARDWREDISKBLOCKRELOCATIONACHIEVED613E5F3803PHLVDDI/OERRORDETECTEDBYLVM625E6B9A04PHssa0ADAPTERDETECTEDOPENSERIALLINK26CA120B04PHssa0CACHESTORAGECARD所有的錯誤碼都預(yù)示著7133有異常,紅色局部那么表示肯定出現(xiàn)了硬件故障,需要立即進(jìn)行檢查并采取舉措,否那么磁陣將很快不能訪問.對于藍(lán)色局部：625E6B9A04PHssa0ADAPTERDETECTEDOPENSERIALLINK表示ssa出現(xiàn)了開環(huán),出現(xiàn)開環(huán)不僅影響IO性能,也增加了風(fēng)險,即如果另一個環(huán)路也出現(xiàn)問題,將不能訪問磁陣.開環(huán)一般有兩種情況：1〕如果625E6B9A?錯比擬頻繁,如每天幾次,那么表示系統(tǒng)很有可能出了硬件故障,雖然不會導(dǎo)致訪問磁陣失敗,但需要立即查出原因并解決.查錯方法可以參考下面的描述.2〕如果625E6B9A錯誤偶爾報一次,那么要具體情況具體對待,有可能是讀寫忙出現(xiàn)的誤報,也按下面方法進(jìn)行排查,如果沒有查出具體的原因,那么可以繼續(xù)觀察.26CA120B04PHssa0CACHSTORAGEARD該錯誤一般是在：SSA卡帶writecache并翻開FastWrite,而ssa卡上用于writecache供電的可充電鍥鎘電池到達(dá)或接近平安壽命的情況下產(chǎn)生的.這類錯誤產(chǎn)生將影響IO寫性能,并且由于在FastWrite翻開的情況下,主備機(jī)需要同步ssa卡上的writecache,所以甚至?xí)绊懙街鱾錂C(jī)同步.具體解決方法可參考下文.故障排除：對于紅色局部錯誤的問題排除,一般可以使用diag命令進(jìn)行進(jìn)一步診斷：#diag->TaskSelection->SSAServiceAids->LinkVerification檢查環(huán)路中是否出現(xiàn)了的盤符或狀態(tài)不是good的硬盤或使用：#smittyssaraid->ListAllDefinedSSARAIDArrays查看磁盤陣列RAID盤的狀態(tài)是否是Good如果是degrade或其他狀態(tài)表示RAID盤出現(xiàn)問題了這時候不建議再進(jìn)行單獨硬盤的Certify,而是趕緊通知舊M準(zhǔn)備好相同型號和大小的硬盤〔至少兩塊〕到現(xiàn)場進(jìn)行進(jìn)一步的診斷和壞盤更換.625E6B9A04PHssa0ADAPTERDETECTEOPENSERIALLINK的排查方法：1、要求將7133中未插硬盤的槽位全部插上dummy!.〔dummy盤：啞元盤,就是那個空殼子,相當(dāng)于代替SSA?盤裝在磁盤陣列的塑料模型,當(dāng)磁盤陣列的16個槽位沒有被SSA硬盤插滿時才用到.〕2、看看Loop狀態(tài):diag>TaskSelection-->SSAServiceAids-->LinkVerification,正常AdapterPort下的兩列數(shù)字是連續(xù)不間斷的排歹！J,且Status都為good,如果Physical列有符號,或Status不是good,那么說明已經(jīng)存在硬盤或鏈路故障,這種情況那么要立即采取行動,做進(jìn)一步檢查以確定是否要更換硬盤.檢查單盤是否有問題的方法如下：diag>TaskSelection-->SSAServiceAids-->CertifyDisk選擇認(rèn)為存在故障的硬盤進(jìn)行檢查3、如果7133存在硬件故障時,可從狀態(tài)燈上觀察到：當(dāng)單塊硬盤出現(xiàn)故障或未被使用時,其面板上的硬盤狀態(tài)燈會不亮陣列的狀態(tài)燈黃燈會亮或接SSAy勺端口的指示燈也會熄滅如果通過以上三種方法都未發(fā)現(xiàn)問題,而系統(tǒng)仍報OpenSerialLink錯誤,建議繼續(xù)跟蹤.26CA120B04PHssa0CACHESTORAGECARD的處理方法：背景介紹：舊M小型機(jī)上連接7133磁陣所配置的SSA卡一般都帶有一塊充電電池,該電池用于在突然停電的情況下保護(hù)ssa卡上的fastwritecache中的信息不喪失,這塊電池的平安壽命一般是22000小時,差不多兩年半的時間,也就是說,當(dāng)fastwrite模式啟動的情況下,一般兩年半以后需要更換這塊電池.問題表現(xiàn)：對ssa卡上的電池保護(hù)是通過卡上的一個計數(shù)器實現(xiàn)的,每運(yùn)行一小時該計數(shù)器會增加一,當(dāng)該計數(shù)接近或超過22000時,系統(tǒng)會有26CA120EBM件報警：GE26CA120B04PHssa1CACHESTORGECARD可以用如下命令檢查ssa卡上的狀態(tài)：〔-a后帶上卡的邏輯設(shè)備名,這里假設(shè)是ssa0〕ssa_fw_status-assa0-p〔檢查電池已經(jīng)工作的時間,小時為單位〕ssa_fw_status-assa0-l〔檢查電池安全工作壽命,小時為單位〕ssa_fw_status-assa0-c〔檢查ssa卡上的fastwrite功能是否被激活〕處理步驟：〔按優(yōu)選方式列出,從中選擇一種即可〕1〕更換電池選擇系統(tǒng)閑時,更換主備機(jī)ssa卡電池,可以采用：停備機(jī)—?更換備機(jī)ssa卡電池―?起備機(jī)〔雙機(jī)效勞〕—?主備倒換一?停原主機(jī)—?更換原主機(jī)ssa卡電池—?起原主機(jī)〔雙機(jī)效勞〕2〕如果系統(tǒng)出現(xiàn)26CA120B6池告警,使用ssa_fw_status-assa0-c檢查主用ssa卡〔一般是ssa0〕的FastWrite是否處于inactive〔未被激活〕狀態(tài),如果是,那么以root執(zhí)行如下命令：ssa_format-lssa0-berrclear0/usr/lib/errstop/usr/lib/errdemon可以暫緩更換電池時間,等有電池后再更換,但這段時間對磁陣讀寫性能會有所影響.3〕如果短期內(nèi)不能更換電池,同時主機(jī)主用卡的FastWrite仍然處于Active狀態(tài),建議手工屏蔽fastwrite功能1〕先停止雙機(jī)2〕在1號機(jī)修改hdisk該屬性：smittydev->ssadisks->ssalogicaldisks->change/showcharactersof...->[choosehdisk2]->fastwrite[no]3〕在1號機(jī)激活卷組varyonvgzxinvg4〕在1號機(jī)去激活卷組varyoffvgzxinvg5〕在2號機(jī)上執(zhí)行smittydev->ssadisks->ssalogicaldisks->change/showcharactersof...->[choosehdisk2]->fastwrite[no]檢查fastwrite是否已經(jīng)改為no〔只要1號機(jī)做了2好機(jī)就不用再修改了〕6〕在2號機(jī)上執(zhí)行rmdev-dlhdisk2cfgmgr-v7)在2號機(jī)上執(zhí)行l(wèi)spv(查看hdisk2是否已找到)8)然后執(zhí)行varyonvgzxinvgvaryoffvgzxinvg9)重新啟動雙機(jī)B4c0061804PHssa0RESOURCEUNAVAILABLE而不伴隨其他紅色標(biāo)出錯誤的情況,那么通過以下方式排查：可能是hdisk中將‘enableuserofhotspare'翻開了,而實際并沒有配置hotspare盤,可以通過如下方式解決：檢查RAID的狀態(tài)：#smittyssaraidlistalldefinedSSARAIDarrays:allareinstatusgood(ssa0)檢查是否配置了hotspare:list/identifySSAPhysicaldisks-->Listhotspares:none修改每個ssa卡所配置的hdisk的屬性：:setTOC\o"1-5"\h\z"enableuseofhotspare"to"no"然后再執(zhí)行：#/usr/lib/errstop#cp/var/adm/ras/errlog/var/adm/ras/#/usr/lib/errdemon\o"CurrentDocument"#errclear0對于物理硬盤的接法可參考如下說明：(有可能老局未配置hotspare,那么連線方法按未配置hotspare盤的個數(shù)計算)分以下幾種情況講述：1)數(shù)據(jù)盤小于等于6塊,建議配置一塊hotspare2)數(shù)據(jù)盤大于等于8塊小于等于10塊,建議配置兩塊hotspare3)數(shù)據(jù)盤大于等于12塊小于等于14塊,建議配置兩塊hotsparel數(shù)據(jù)盤小于等于6塊,配置一塊hotspare的接線和配置規(guī)那么：a)主機(jī)A1、A2接磁陣1、8位置；備機(jī)A1、A2接磁陣4、5位置b)保證磁陣前排1\4\5\8硬盤位置一定要插盤,其余的盤可以挑空位插,

注意1-4、5-8兩側(cè)的數(shù)據(jù)盤保持軸對稱關(guān)系插入(如1和8是軸對稱的、4和5是軸對稱的)c)沒有插硬盤的位置一定要插上dumm溫d)做RAID計1時,考慮到性能問題,請將1-4、pdisk05-8以軸對稱方式一一對應(yīng)做硬盤鏡像,舉例如下：ibm對pdisk的排序與實際的物理位置是不同的,所以必須先通過lsdev-C|greppdisk的方式找出其對應(yīng)關(guān)系并記錄下來pdisk0Available-PSSA160PhysicalDiskDrivepdisk1Available-PSSA160PhysicalDiskDrivepdisk2Available-PSSA160PhysicalDiskDrivepdisk3Available-PSSA160PhysicalDiskDrive看第三列中間字符中有-01-的字樣,表示其物理硬盤位置,以上對應(yīng)關(guān)系表示pdisk0-pdisk3對應(yīng)的物理槽位分別是前排1\5\4\8的位置,所以在使用smittyssaraid做RAID0+1時,需將1\8位置的硬盤(pdisk0/pdisk3)做成鏡像、4\5位置的硬盤(pdisk2/pdisk1)做成鏡像,所以選擇PrimaryDisks/SecondaryDisks時如下：smittyssaraid->AddanSSARAIDArray->...PrimaryDisks[需要選擇：pdisk0pdisk2]--1\4槽位的硬盤作為主盤SecondaryDisks[需要選擇：pdisk3pdisk1]--8\5槽位的硬盤作為從盤該要求只是從性能考慮,并不增加其他特性.e)hotspare盤插入位置可以找前排8個位置中的空位插入即可.無特殊位置要求,制作方法如下：使用lsdev-C|greppdisk方式找出其pdisk號,如pdisk5然后使用如下方式將其做成hotspare盤.smittyssaraid->ChangeUseofMultipleSSAPhysicalDisks->選擇ssa卡(連接磁陣的ssa卡,缺省為ssa0)->選擇彳^為hotspare的pdisk,如pdisk6->Use-＞選擇hotspare接回車創(chuàng)立即可l數(shù)據(jù)盤大于等于8塊小于等于10塊,配置兩塊hotspare的接線和配置規(guī)那么：a)主機(jī)A1、A2接磁陣1、12位置；備機(jī)A1、A2接磁陣8、9位置b)保證磁陣前排1-8位置插滿數(shù)據(jù)盤,9-12位置的數(shù)據(jù)盤和hotspare盤位置可任意.c)沒有插硬盤的位置一定要插上dummyad)做RAID計1時,考慮到性能問題,tf將1-4、5-8以軸對稱方式一一對應(yīng)做硬盤鏡像,9-12位置中有數(shù)據(jù)盤的,將其對應(yīng)做鏡像,其余兩塊做hotspare,舉例如下：ibm對pdisk的排序與實際的物理位置是不同的,所以必須先通過lsdev-C|greppdisk的方式找出其對應(yīng)關(guān)系并記錄下來,如：pdisk0Available-PSSA160PhysicalDiskDrivDrivepdisk1DiskDrivepdisk2PhysicalDiskDriveSSA160PhysicalDiskDrive-PSSA160PhysicalDiskDrivepdisk5DiskDrivepdisk6PhysicalDiskDriveSSA160PhysicalDiskDrive-PSSA160PhysicalDiskDrivepdisk9DiskDrivepdisk10PhysicalDiskDriveSSA160PhysicalDiskDriveAvailable-PSSA160PhysicalAvailable-PSSA160Available-Ppdisk4AvailableAvailable-PSSA160PhysicalAvailable-PSSA160Available-Ppdisk8AvailableAvailable-PSSA160PhysicalAvailable-PSSA160pdisk11Available-P看第三列中間字符中有pdisk3pdisk7-01-的字樣,表示其物理硬盤位置,以上對應(yīng)關(guān)系表示pdisk0-pdisk11對應(yīng)的物理槽位分別是1\5\4\8\2\3\7\6\9\11\10\12的位置,所以在使用smittyssaraid做RAID0+1時,前面八塊盤按1-4、5-8軸對稱方式對應(yīng)做mirror,9-12中如選擇9(pdisk8)/12(pdisk11)位置做mirror所以選擇PrimaryDisks/SecondaryDisks時如下：smittyssaraid->AddanSSARAIDArray->…PrimaryDisks［選擇:pdisk0pdisk4pdisk5pdisk2pdisk8］物理1-4,9槽位SecondaryDisks［選擇：pdisk3pdisk6pdisk7pdisk1pdisk11］物理8-5,12槽位該要求只是從性能考慮,并不增加其他特性.e)剩余物理位置10(pdisk10)/11(pdisk9)盤做成hotspare,方法同上e)步驟l數(shù)據(jù)盤大于等于12塊小于等于14塊,配置兩塊hotspare的接線和配置規(guī)那么：a)主機(jī)A1、A2接磁陣1、16位置；備機(jī)A1、A2接磁陣8、9位置b)空出3、14位置插hotspare,如果是12塊數(shù)據(jù)盤,空出2、15位置插dummy^,其余都插入數(shù)據(jù)盤；如果是14塊數(shù)據(jù)盤,那么將剩余的14個位置全部插上數(shù)據(jù)盤c)做RAID計1時,考慮到性能問題,請將1-8、9-16以軸對稱方式一一對應(yīng)做硬盤鏡像,hotspare也滿足軸對稱關(guān)系,舉例如下：ibm對pdisk的排序與實際的物理位置是不同的,所以必須先通過lsdev-C|greppdisk的方式找出其對應(yīng)關(guān)系并記錄下來,如：pdisk0Available-PSSA160PhysicalDiskDrivepdisk1Available-PSSA160PhysicalDiskDrivepdisk2Available-P-PSSA160PhysicalDiskDrivepdisk3DiskDrivepdisk4Available-PSSA160PhysicalAvailable-PSSA160PhysicalDiskDrivepdisk5Available-PSPhysicalDiskDrivepdisk5Available-PSSA160PhysicalDiskDrivepdisk6Available-PSSA160PhysicalDiskDrivepdisk7Available-PSSA160PhysicalDiskDrivepdisk8Available-PSSA160PhysicalDiskDrivepdisk9Available-PSSA160PhysicalDiskDrivepdisk10Available-PSSA160PhysicalDiskDrivepdisk11Available-PSSA160PhysicalDiskDrivepdisk12Available-PSSA160PhysicalDiskDrivepdisk13Available-PSSA160PhysicalDiskDrivepdisk14Available-PSSA160PhysicalDiskDrivepdisk15Available-PSSA160PhysicalDiskDrive看第三列中間字符中有-01-的字樣,表示其物理硬盤位置,以上對應(yīng)關(guān)系表示pdisk0-pdisk15對應(yīng)的物理槽位分別是1\5\4\8\2\3\7\6\9\11\10\12\16\13\15\14的位置,所以在使用smittyssaraid做RAID0+1時,以1-8、9-16以軸對稱創(chuàng)立mirror所以選擇PrimaryDisks/SecondaryDisks時如下：smittyssaraid->AddanSSARAIDArray->...PrimaryDisks[選擇：pdisk0pdisk4pdisk2pdisk1pdisk7pdisk6pdisk3]物理1-8槽位,除3位置以外SecondaryDisks[選擇:pdisk12pdisk14pdisk13pdisk11pdisk9pdisk10pdisk8]物理16-9槽位,除14位置以外該要求只是從性能考慮,并不增加其他特性.剩余物理位置3(pdisk5)/14(pdisk15)盤做成hotspare,方法同上e)步驟網(wǎng)絡(luò)故障由于我們應(yīng)用對網(wǎng)絡(luò)依賴很強(qiáng),所以當(dāng)網(wǎng)絡(luò)出現(xiàn)全阻或瞬斷都將對系統(tǒng)產(chǎn)生重大影響,網(wǎng)絡(luò)故障一般可分為硬件故障〔如網(wǎng)卡故障和交換機(jī)、路由器故障〕和軟件故障〔網(wǎng)絡(luò)中有IP包攻擊或網(wǎng)絡(luò)擁塞〕兩種情況.硬件故障：1.網(wǎng)卡對于網(wǎng)卡故障,由于商用系統(tǒng)中都是采用舊M的HA雙機(jī)系統(tǒng),而且每臺機(jī)器都配置有至少兩塊網(wǎng)卡,所以當(dāng)單塊網(wǎng)卡或網(wǎng)線出現(xiàn)問題時,HA軟件都將采取舉措實現(xiàn)ServiceIP切換.網(wǎng)卡故障定位方法：使用errpt-dH可查看到網(wǎng)卡效勞中斷的錯誤,再使用diag進(jìn)行網(wǎng)卡診斷網(wǎng)卡故障排查方法：如果診斷出網(wǎng)卡有問題,那么關(guān)閉系統(tǒng)后進(jìn)行更換.〔如果是主機(jī),那么先手工切換為備機(jī)后再操作〕2.交換機(jī)我們的網(wǎng)絡(luò)一般都采取雙網(wǎng)雙平面的結(jié)構(gòu),所以當(dāng)一個網(wǎng)絡(luò)平面的交換機(jī)出現(xiàn)問題時,也不會中斷網(wǎng)絡(luò)效勞,但值得重視的是：主、備交換機(jī)之間的直連線要保持暢通,否那么一單發(fā)生舊M效勞器主機(jī)或SIU主機(jī)的網(wǎng)卡切換,將導(dǎo)致舊M服務(wù)器主機(jī)和SIU主機(jī)斷鏈,從而導(dǎo)致業(yè)務(wù)全阻.還有一種情況,有些地方為了網(wǎng)絡(luò)平安,對連到switch上的不同設(shè)備劃分了不同的VLAN同時又將主、備switch之間改成通過兩個口連接,并劃分在一個channelgroupM,當(dāng)時碰到的一種情況是：1〕當(dāng)時舊M效勞器的主網(wǎng)卡從缺省VLANCEiJVLAN斂現(xiàn)遷移時,網(wǎng)絡(luò)將出現(xiàn)15秒?30秒的瞬斷2〕當(dāng)時主、備交換機(jī)之間的channelgroup工作不正常,鏈路不通.當(dāng)1〕發(fā)生時,舊M雙機(jī)發(fā)生主、備網(wǎng)卡倒換,但由于2〕的問題,導(dǎo)致舊M主機(jī)無法與SIU建鏈.問題排查及建議：1〕建議開局時一定要做雙網(wǎng)雙平面中一個平面的swith發(fā)生掉電的故障測試2〕建議一定要做主、備交換機(jī)之間的設(shè)備之間的網(wǎng)絡(luò)互訪測試,保證暢通3〕盡量不要在白天在switch上進(jìn)行配置修改,如果需要修改,也要在晚上進(jìn)行,并有嚴(yán)格的方案軟件故障：1.網(wǎng)絡(luò)擁塞由于系統(tǒng)在封閉網(wǎng)絡(luò)中運(yùn)行,所以發(fā)生網(wǎng)絡(luò)擁塞的可能性比擬小,但如果網(wǎng)絡(luò)拓?fù)浔葦M復(fù)雜的話,也可能發(fā)生這種情況,在主機(jī)上的表現(xiàn)為ping主機(jī)丟包嚴(yán)重,主機(jī)到SIU之間鏈路時通時斷,數(shù)據(jù)包喪失,設(shè)備功能異常.問題排查及建議：1〕盡量使NT/2000的機(jī)器從網(wǎng)絡(luò)上隔離出去2〕如果情況仍未改善,建議啟動SIU應(yīng)急流程3〕在恢復(fù)呼叫的前提下,使用網(wǎng)絡(luò)工具抓包,找出攻擊源、逐步將設(shè)備恢復(fù)到網(wǎng)絡(luò).2.切換失敗現(xiàn)場碰到過一種情況,當(dāng)發(fā)生主、備機(jī)切換時老是切換不成功,檢查發(fā)現(xiàn)是備機(jī)的主網(wǎng)卡綁定浮動IP老是失敗,再進(jìn)一步排查,發(fā)現(xiàn)失敗的原因是備機(jī)主網(wǎng)卡綁定MAX地址失敗,由于舊M雙機(jī)配置時需要將ServiceIP配置為一個固定的MA04址,規(guī)那么是取主機(jī)主網(wǎng)卡的MA04址,將最后兩位改為固定的兩個數(shù)字〔要求與原主網(wǎng)卡地址不同,如定制為89〕.但這樣的規(guī)那么在現(xiàn)場不成功問題排除：最后修改了HA拓?fù)鋱D中以太網(wǎng)配置中ServiceAdapter配置,去掉MAO址的配置〔置為空〕,讓后同步雙機(jī),再進(jìn)行倒換,一切OK由于網(wǎng)絡(luò)故障出現(xiàn)會導(dǎo)致遠(yuǎn)程登錄失效,所以無法進(jìn)行系統(tǒng)維護(hù).所以建議任何一套舊M效勞器都要配置一個維護(hù)臺.OS故障AIX是一個比擬穩(wěn)定的操作系統(tǒng),出現(xiàn)故障一般是人為因素引起的：1.沒按要求打OS補(bǔ)丁,如433打了09的補(bǔ)丁造成內(nèi)存泄漏2.應(yīng)用程序或數(shù)據(jù)庫消耗內(nèi)存太多或存在內(nèi)存泄漏導(dǎo)致物理內(nèi)存和pagingspace被耗盡導(dǎo)致系統(tǒng)掛起3.人為刪除了重要的目錄或文件,如：/dev、/usr、/bin、/sbin、/etc等故障排查：1.查操作系統(tǒng)補(bǔ)丁是否符合要求〔433要求10以上,要求5以上〕2.檢查內(nèi)存、pagingspace的使用情況〔使用lsps-a查看使用率要小于20%3.檢查shell命令執(zhí)行時是否有報錯,errpt有無相關(guān)報錯HA故障對于HA安裝時出現(xiàn)的故障,如同步拓?fù)鋱D失敗,要求檢查以下條款看是否符合要求：1.對于版本的HA一定要打上15以上的補(bǔ)丁,版本的HA要求打上9以上的補(bǔ)丁2.網(wǎng)絡(luò)相關(guān)的配置文件一定要根據(jù)安裝手冊去設(shè)置3.網(wǎng)絡(luò)ip配置要正確并且保證物理鏈路暢通4.所有、版本一律使用標(biāo)準(zhǔn)版5.不能在同一臺機(jī)器中同時安裝標(biāo)準(zhǔn)版或ES版6.打補(bǔ)丁時請使用smittyupdate_all方式,不要選擇打所有補(bǔ)丁,由于標(biāo)準(zhǔn)版和ES版的補(bǔ)丁往往在一起,這樣會導(dǎo)致版本不一致如果是新開局,一定要保證做雙機(jī)倒換測試并保證成功.如果在后續(xù)使用中,進(jìn)行了如下操作,以后再做雙機(jī)切換會失?。?.在主機(jī)上做過磁陣RAID或共享VGffi關(guān)信息的修改,如：增加了新的RAID盤,修改了共享VG的配置2.在共享VG中增加了新的FS增加了新LV3.以上配置或修改只在主機(jī)上進(jìn)行了操作,而未將共享VG?息及時同步到備機(jī)4.備機(jī)雖然導(dǎo)入了新的共享VG1F息,但未修改共享VG屬性為系統(tǒng)啟動時不自動啟動5.未在共享VG?活、共享