1、業(yè)務(wù)軟件故障排除及維護(hù),ISSUE 2.0,杭州華三通信技術(shù)有限公司 版權(quán)所有，未經(jīng)授權(quán)不得使用與傳播,熟悉iMC產(chǎn)品體系架構(gòu) 掌握iMC常用組件故障排除及定位方法 熟悉iMC常用工具的使用方法,課程目標(biāo),學(xué)習(xí)完本課程，您應(yīng)該能夠：,iMC體系介紹 iMC 常用組件故障排除及維護(hù)方法 iMC常用工具/資料介紹,目錄,iMC產(chǎn)品控制按鈕就是“智能部署監(jiān)控代理”，若想使用“智能部署監(jiān)控代理”，必須在操作系統(tǒng)中啟用iMC 部署監(jiān)控代理服務(wù) Windows系統(tǒng)：在服務(wù)列表中對應(yīng)的是H3C iMC Server Linux系統(tǒng)：對應(yīng)的進(jìn)程是imcdmsd，命令是service imcdmsd stop/

2、start/restart,iMC 體系介紹,iMC體系介紹 iMC 常用組件故障排除及維護(hù)方法 iMC常用工具/資料介紹,目錄,iMC安裝或升級問題及排錯方法,iMC的組件安裝或升級前需要仔細(xì)閱讀相關(guān)版本說明書，了解安裝或升級的配套關(guān)系、注意事項(xiàng)及限制，遇到問題時需要反饋如下信息: 1) 操作系統(tǒng)詳細(xì)版本、數(shù)據(jù)庫詳細(xì)版本 2）所裝iMC組件版本 3）現(xiàn)場的操作步驟描述 4）日志信息： C:WINDOWSiMC-Reserved iMCdeploylog,iMC前臺常見問題及排錯方法,iMC的前臺指的是iMC web的應(yīng)用業(yè)務(wù)，對應(yīng)的進(jìn)程是jserver.exe 該進(jìn)程控制的業(yè)務(wù)主要對應(yīng)的是i

3、MC的web界面相關(guān)操作，比如登錄iMC的web界面，生成報表等 常見問題舉例： 1）無法登錄iMC web界面 2）周期報表無法生成 3）登錄iMC web界面提示系統(tǒng)繁忙或者登錄界面緩慢 4）jserver.exe進(jìn)程無法正常啟動 。 需收集前臺對應(yīng)的日志進(jìn)行分析，日志路徑為： iMC的安裝路徑下，iMCclientlog,iMC前臺問題案例分析,問題現(xiàn)象：某用戶無法登錄iMC web界面 問題原因：收集前臺日志iMCclientlog進(jìn)行分析，發(fā)現(xiàn)給java分配的內(nèi)存不合理導(dǎo)致此問題 解決方法：右鍵選擇編輯clientbinstartup.bat 文件中的如下內(nèi)容 set JAVA_OP

4、TS=-server -Xmx1024m -Xrs -XX:PermSize=64m -XX:MaxPermSize=512m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./log -Dimc.home=%IMC_HOME% -Duser.language=$LANGUAGE -Duser.country=$COUNTRY -Djava.io.tmpdir=%IMCROOT%tmp -Dorg.apache.el.parser.COERCE_TO_ZERO=false 將紅色標(biāo)識的數(shù)值調(diào)整到合理的參數(shù)，然后重啟jserver.exe進(jìn)程即

5、可 調(diào)整的原則：給java分配的內(nèi)存決定了iMC web界面操作的可用性，當(dāng)然是希望盡可能根據(jù)服務(wù)器的配置，多給java分配內(nèi)存，提高web應(yīng)用。但是對于32位操作系統(tǒng)，第一個數(shù)字最多只能設(shè)置到1024，后面的數(shù)字是512，調(diào)高則不能啟動jserver進(jìn)程，所以，至于是要調(diào)整到哪一個數(shù)值，最根本的原則是，在服務(wù)器配置允許的基礎(chǔ)之上，調(diào)整數(shù)值后能將jserver啟動起來,iMC PLAT常見問題及排錯方法資源管理（1）,PLAT中的資源管理對應(yīng)的進(jìn)程是imcnetresdm.exe，對應(yīng)的數(shù)據(jù)庫是config_db 資源管理常見問題舉例： 1）iMC web界面上顯示的設(shè)備資源信息和設(shè)備不一致

6、2）設(shè)備添加到iMC中時報錯 。 資源管理故障需要收集的信息 1）iMC版本信息 2）設(shè)備和iMC兩邊的SNMP參數(shù)設(shè)置 3）現(xiàn)場實(shí)施時具體的操作步驟 4）復(fù)現(xiàn)問題過程的抓包 5）資源后臺日志：iMCserverconflogimcnetresdm.yyyy-mm-dd,iMC PLAT常見問題及排錯方法資源管理（2）,資源管理故障案例分析 問題現(xiàn)象：添加設(shè)備時報錯,iMC PLAT常見問題及排錯方法資源管理（3）,問題原因：通過復(fù)現(xiàn)問題，將此過程抓包，分析如下:設(shè)備10.33.84.1對之前的SNMP操作是有回應(yīng)，但是在訪問到ifHighSpeed.53節(jié)點(diǎn)時，每隔4秒（iMC SNMP操作

7、的超時時間）iMC訪問了四次，設(shè)備都沒有回應(yīng)，直到最后一次訪問完的8秒以后，設(shè)備才回應(yīng)，但這時已經(jīng)過了SNMP的超時時間，所以iMC認(rèn)定設(shè)備沒有回應(yīng)，這樣導(dǎo)致iMC訪問設(shè)備失敗，從而不能成功增加設(shè)備。 解決方法：可確認(rèn)網(wǎng)絡(luò)環(huán)境是否繁忙，導(dǎo)致設(shè)備回應(yīng)不及時，同時建議修改iMC訪問設(shè)備的SNMP參數(shù)，增加超時等待時間，看是否能夠成功增加這個設(shè)備。,iMC PLAT常見問題及排錯方法告警管理（1）,PLAT中的告警管理對應(yīng)的進(jìn)程是imcfaultdm.exe，對應(yīng)的數(shù)據(jù)庫是monitor_db 告警管理常見問題舉例： 1）iMC web界面上無法正確解析設(shè)備告警 2）設(shè)備產(chǎn)生了告警，但iMC上無顯示

8、 。 若告警的類型是“Trap”，則屬于設(shè)備側(cè)問題；若告警類型是iMC，再來定位iMC的問題；告警管理遇到故障時需要收集的信息： 1）iMC版本信息 2）設(shè)備和iMC兩邊的SNMP參數(shù)設(shè)置及Trap設(shè)置 3）確認(rèn)是否有iMC對該類告警的過濾策略 4）現(xiàn)場實(shí)施時具體的操作步驟及相關(guān)故障截圖 5）復(fù)現(xiàn)問題過程的抓包 6）設(shè)備Trap buffer里的相關(guān)記錄 7）告警后臺日志：iMCserverconflogimcfaultdm.yyyy-mm-dd,iMC PLAT常見問題及排錯方法告警管理（2）,問題現(xiàn)象：設(shè)備發(fā)生了冷啟動，從設(shè)備的Trap buffer中有相關(guān)記錄： #Apr 26 12:0

9、1:00:121 2000 SW5120-160-21 DEVM/4/SYSTEM COLD START: -Slot=3; Trap 1.3.6.1.4.1.25506.6.8.4: system cold start. #Apr 26 12:01:00:122 2000 SW5120-160-21 DEVM/4/SYSTEM COLD START: -Slot=2; Trap 1.3.6.1.4.1.25506.6.8.4: system cold start. 但在iMC上卻沒有顯示該告警 問題原因：檢查設(shè)備的Trap配置，的確設(shè)置了將設(shè)備的Trap信息發(fā)往iMC的地址，SNMP參數(shù)及抓

10、包也能看到iMC服務(wù)器網(wǎng)卡有接收到該告警，但是檢查iMC的告警定義列表時發(fā)現(xiàn)，設(shè)備冷啟動告警的OID是1.3.6.1.4.1.25506.6.8.6.4，但是設(shè)備發(fā)送的OID是1.3.6.1.4.1.25506.6.8.4，由于不匹配，所以沒有解析顯示，確認(rèn)后是設(shè)備的OID定義錯誤導(dǎo)致,iMC PLAT常見問題及排錯方法性能管理,PLAT中的性能管理對應(yīng)的進(jìn)程是imcperfdm.exe，對應(yīng)的數(shù)據(jù)庫是perf_db 性能管理常見問題舉例： 1）iMC web界面上顯示的數(shù)據(jù)和實(shí)際設(shè)備命令行顯示有差異 2）iMC上對設(shè)備的某監(jiān)控指標(biāo)進(jìn)行監(jiān)控時提示錯誤，無法監(jiān)視 。 性能管理遇到故障時需要收集的

11、信息： 1）iMC版本信息 2）現(xiàn)場實(shí)施時具體的操作步驟及相關(guān)故障截圖 3）性能后臺日志：iMCserverconflogimcperfdm.yyyy-mm-dd 4）對于上面的第一類問題，還需要錄制設(shè)備的MIB信息。/New_Internal_Versions(新內(nèi)部版本歸檔)/01-IP網(wǎng)絡(luò)產(chǎn)品/30-業(yè)務(wù)軟件/01-iMC(智能管理中心)/文檔中心/MIB信息采集工具/ 5）對于上面的第二類問題，還需要復(fù)現(xiàn)問題過程的抓包,iMC PLAT常見問題及排錯方法拓?fù)涔芾?PLAT中的拓?fù)涔芾韺?yīng)的進(jìn)程是imcl2topodm.exe，對應(yīng)的數(shù)據(jù)庫是config_db 拓?fù)涔芾沓Ｒ妴栴}舉例： 1

12、）iMC拓?fù)浣缑嫔巷@示的設(shè)備間連接信息不正確 2）設(shè)備之間有連線，但是在iMC拓?fù)渖巷@示沒連線 。 設(shè)備若配置了正確的鄰居協(xié)議，在iMC上對相關(guān)設(shè)備進(jìn)行【同步】操作后，刷新拓?fù)淇词欠駟栴}解決，如還存在故障，需要收集如下信息： 1）iMC版本信息 2）現(xiàn)場實(shí)施時具體的操作步驟及相關(guān)故障截圖 3）拓?fù)浜笈_日志：iMCserverconflogimcl2topodm.yyyy-mm-dd 4）設(shè)備的diagnostic-information 5）數(shù)據(jù)庫信息config_db 6）若config_db獲取有難度，可收集iMC的拓?fù)鋬?nèi)存信息，方法見附件,PLAT調(diào)試日志的收集方法,PLAT中的問題通常

13、收集后臺日志（INFO級別）即可，但在某些復(fù)雜問題定位時需要開啟DEBUG級別，采集DEBUG級別的日志 DEBUG開關(guān)的打開方法：打開iMC/server/conf/ qvdm.conf 文件，將其中的loglevel一行改為DEBUG，缺省是INFO 重啟某PLAT模塊進(jìn)程后，則該模塊對應(yīng)的后臺日志即開始以DEBUG級別記錄，其他未重啟的PLAT模塊進(jìn)程依舊以修改前的缺省級別記錄 關(guān)閉DEBUG的方法類似，將DEBUG改為INFO，重啟對應(yīng)的進(jìn)程即可,iNode客戶端日志采集方法,iNode詳細(xì)日志路徑：C:Program FilesH3CiNode ClientLog,iMC NTA/U

14、BA常見問題及排錯方法（1）,NTA/UBA組件對應(yīng)的進(jìn)程是receiver.exe和processor.exe。常見問題是在web中看不到流量或者流量有異常的問題，都按照下面的方式收集信息： 1）相關(guān)報錯或異常的截圖 2）iMC版本 3）iMC上的配置 4）設(shè)備的型號、版本、配置 5）組網(wǎng)描述 6）iMCunbaconf 文件夾，可打包發(fā)送 7）服務(wù)器側(cè)的抓包 （5分鐘左右的抓包） 8）NTA/UBA的調(diào)試日志 9）其他 另外，在排查無法顯示流量問題時，需查看是否有日志積壓現(xiàn)象引起該問題?？刹榭磇MCdatareceiverdata和processordata文件夾中是否有積壓日志，如果這些

15、文件夾下存在大量日志（比如日志條數(shù)有上百條或日志文件大小有上GB）則基本可判斷是日志積壓導(dǎo)致的問題，清理積壓日志即可恢復(fù)業(yè)務(wù),iMC NTA/UBA常見問題及排錯方法（2）,NTA/UBA調(diào)試日志的開啟方法： 在命令行下執(zhí)行： 大概開啟5分鐘左右（最好是和服務(wù)器側(cè)的抓包同時進(jìn)行），就可以采集到debug級別的日志了；日志路徑：iMCunbalog 收集完之后，再把日志級別改回warning級別，方法還是在命令行下執(zhí)行,iMC Dbman常見問題及排錯方法,Dbman用來備份和恢復(fù)iMC的數(shù)據(jù)庫，對應(yīng)的進(jìn)程是dbman.exe，對外體現(xiàn)是在“智能部署監(jiān)控代理”的【運(yùn)行環(huán)境】選項(xiàng)中 常見問題： 使用Dbman自動或手動備份iMC