./操作系統(tǒng)監(jiān)控工具Nmon使用與介紹起草部門：第三方性能測試部管理部門：第三方性能測試部撰寫人：審核人：批準人：發(fā)布日期：修訂頁編號章節(jié)名稱修訂內(nèi)容簡述修訂日期修訂前版本號修訂后版本號修訂人批準人目錄TOC\o"1-3"\h\z1.目的42.Nmon簡介42.1軟件特性42.2軟件組成42.3運行環(huán)境52.4軟件功能52.5軟件獲取63.Nmon使用73.1下載軟件73.2安裝軟件73.3運行界面83.4使用方法9實時監(jiān)控9后臺監(jiān)控10定時任務(wù)104.Nmon監(jiān)控結(jié)果介紹114.1生成結(jié)果文件114.2主要性能參數(shù)介紹124.3頁面介紹125.Nmon監(jiān)控案例介紹195.1常見現(xiàn)象和產(chǎn)生原因195.2實例介紹20示例一20示例二22示例三26附錄一常用網(wǎng)站28附錄二參考資料28目的本文介紹操作系統(tǒng)監(jiān)控工具Nmon的概念、使用方式及使用參數(shù).指導(dǎo)運維人員通過nmon工具監(jiān)視AIX/Linux操作系統(tǒng)資源使用情況,收集監(jiān)控結(jié)果及產(chǎn)生的數(shù)據(jù)文件,制作相關(guān)系統(tǒng)性能分析報告.Nmon簡介Nmon<Nigel’sMonitor>是由IBM提供、免費監(jiān)控AIX系統(tǒng)與Linux系統(tǒng)資源的工具.該工具可將服務(wù)器系統(tǒng)資源耗用情況收集起來并輸出一個特定的文件,并可利用excel分析工具〔nmonanalyser進行數(shù)據(jù)的統(tǒng)計分析.軟件特性nmon工具可以在一個屏幕上顯示所有重要的性能優(yōu)化信息,并動態(tài)地對其進行更新.這個高效的工具可以工作于任何啞屏幕、telnet會話、甚至撥號線路.另外,它不會消耗大量的CPU周期,通常低于百分之二〔在更新的計算機上,其CPU使用率將低于百分之一.nmon使用啞屏幕,在屏幕上對數(shù)據(jù)進行顯示,并且每隔兩秒鐘對其進行更新.用戶可以很容易地將這個時間間隔更改為更長或更短的時間段.如果拉伸窗口,并在XWindows、VNC、PuTTY或類似的窗口中顯示這些數(shù)據(jù),nmon工具可以同時輸出大量的信息.nmon工具還可以將相同的數(shù)據(jù)捕獲到一個文本文件,便于以后對報告進行分析和繪制圖形.輸出文件采用電子表格的格式<.csv>.目前nmon已開源,以sourceforge為根據(jù)地,網(wǎng)址是.軟件組成Nmon使用需要nmon工具和nmonanalyser分析程序兩者配合使用.nmon工具生成性能數(shù)據(jù)文件,然后monanalyser以nmon生成的數(shù)據(jù)文件作為輸入,輸出為Excel電子表格,并自動地生成相應(yīng)的圖形,使得我們能夠直觀地觀察OS性能〔CPU、IO和內(nèi)存等的變化過程.運行環(huán)境nmon工具運行于：AIX?4.1.5、4.2.0、4.3.2和4.3.3〔nmonVersion9a：該版本的功能已經(jīng)確定,并且不會對其進行進一步的開發(fā).AIX5.1、5.2和5.3〔nmonVersion10：該版本現(xiàn)在支持AIX5.3和基于POWER5?處理器的計算機,并且提供了SMT和共享CPU微分區(qū)的支持.pSeries?p5和OpenPower?上的Linux?SUSESLES9、RedHatEL3和4、DebianLinuxSUSE、RedHat和許多最新的x86〔32位模式的Intel和AMD上的發(fā)布版zSeries?或mainframe上的LinuxSUSE和RedHatnmon工具大約每六個月更新一次,或者在可用的新的操作系統(tǒng)發(fā)布版中對其進行更新.軟件功能nmon工具可以為AIX和Linux性能專家提供監(jiān)視和分析性能數(shù)據(jù)的功能,其中包括：CPU使用率內(nèi)存使用情況內(nèi)核統(tǒng)計信息和運行隊列信息磁盤I/O速度、傳輸和讀/寫比率文件系統(tǒng)中的可用空間磁盤適配器網(wǎng)絡(luò)I/O速度、傳輸和讀/寫比率頁面空間和頁面速度CPU和AIX規(guī)范消耗資源最多的進程IBMHTTPWeb緩存用戶自定義的磁盤組計算機詳細信息和資源異步I/O,僅適用于AIX工作負載管理器<WLM>,僅適用于AIXIBMTotalStorage?EnterpriseStorageServer?<ESS>磁盤,僅適用于AIX網(wǎng)絡(luò)文件系統(tǒng)<NFS>動態(tài)LPAR<DLPAR>更改,僅適用于面向AIX或Linux的pSeriesp5和OpenPower軟件獲取nmon工具和nmonanalyser工具都可以在IBM的Wike頁面上下載到.Nmon下載：

位置：可從IBMWiki上下載

下載頁面如下：

例如測試的系統(tǒng)是AIX5.3,那么就可以下載nmon4aix12e.zip,下載后可以看到壓縮包里是一些文件,如下：

其實nmon就是shell腳本,nmon文件運行時調(diào)用其他的文件,生成性能數(shù)據(jù),這個工具運行時也是通過執(zhí)行nmon腳本接受參數(shù).Nmonanalyser下載：位置：可從可從IBMWiki上下載下載頁面如下：例如下載V3.3版本的Nmonanalyser.Nmon使用下載軟件下載之前須確定操作系統(tǒng)內(nèi)核版本,本文以公司服務(wù)器12為例.登錄服務(wù)器使用命令獲取操作系統(tǒng)版本信息：查看可知為EnterpriseLinuxServerrelease5.5.登錄IBM官方網(wǎng)站〔下載相應(yīng)版本的nmon工具：安裝軟件用root用戶登錄系統(tǒng),建立目錄：#mkdir/nmon目錄/nmon下.修改tar包權(quán)限：#chmod+x解壓文件：#tarxvfZ執(zhí)行授權(quán)命令：#chmod+xnmon_x86_rhel54運行界面運行./nmon_x86_rhel54,便可進入nmon的監(jiān)控界面,如下圖：鍵入"c"查看系統(tǒng)CPU使用情況鍵入"m"查看系統(tǒng)內(nèi)存使用情況鍵入"d"查看系統(tǒng)磁盤I/O情況鍵入"h"查看幫助信息使用方法實時監(jiān)控在完成配置后,只需要"#./nmon"命令即可運行程序,通過一些快捷鍵調(diào)取關(guān)心的系統(tǒng)資源指標進行顯示,如按鍵"C"可以查看CPU相關(guān)信息；按鍵"D"可以查看磁盤信息；按鍵"T"可以查看系統(tǒng)的進程信息；"M"對應(yīng)內(nèi)存、"N"對應(yīng)網(wǎng)絡(luò)等等,完整的快捷鍵對應(yīng)內(nèi)容可以通過幫助〔按鍵"H"查看,可以顯示Linux系統(tǒng)CPU、內(nèi)存、進程信息,包括了CPU的用戶、系統(tǒng)、等待和空閑狀態(tài)值,可用內(nèi)存、緩存大小以及進程的CPU消耗等詳細指標.該種方式顯示信息實時性強,能夠及時掌握系統(tǒng)承受壓力下的運行情況,每顆CPU利用率是多少、內(nèi)存使用多少、網(wǎng)絡(luò)流量多少、磁盤讀寫……這些數(shù)據(jù)均是實時刷新,一目了然.后臺監(jiān)控為了配合性能測試,我們往往需要將一個時間段內(nèi)系統(tǒng)資源消耗情況記錄下來,這時可以使用命令在遠程窗口執(zhí)行命令：./nmon_x86_rhel5-f-N-t-m/opt/soft/nmon/log/-s30-c120

其中各參數(shù)表示：

-f按標準格式輸出文件：<hostname>_YYYYMMDD_HHMM.nmon

-NincludeNFSsections

-m切換到路徑去保存日志文件

-s每隔n秒抽樣一次,這里為30

-c取出多少個抽樣數(shù)量,這里為120,即監(jiān)控=120*<30/60/60>=1小時

根據(jù)小時計算這個數(shù)字的公式為：c=h*3600/s,比如要監(jiān)控10小時,每隔30秒采樣一次,則c=10*3600/30=1200該命令啟動后,會在nmon所在目錄下生成監(jiān)控文件,并持續(xù)寫入資源數(shù)據(jù),直至360個監(jiān)控點收集完成——即監(jiān)控1小時,這些操作均自動完成,無需手工干預(yù),測試人員可以繼續(xù)完成其他操作.如果想停止該監(jiān)控,需要通過"#ps–ef|grepnmon"查詢進程號,然后殺掉該進程以停止監(jiān)控.定時任務(wù)除配合性能測試的短期監(jiān)控,我們也可以實現(xiàn)對系統(tǒng)的定期監(jiān)控,作為運營維護階段的參考.定期監(jiān)控實現(xiàn)如下：執(zhí)行命令：#crontab–e在最后一行添加如下命令：08**1,2,3,4,5/nmon/nmon_x86_rhel5-f-N-m/nmon/log-s30-c1200表示：周一到周五,從早上08點開始,監(jiān)控10個小時〔到18:00整為止,輸出到/nmon/logNmon監(jiān)控結(jié)果介紹生成結(jié)果文件通過后臺監(jiān)控和定期監(jiān)控,我們可以得到擴展名為nmon的監(jiān)控文件,這些文件記錄著系統(tǒng)資源的數(shù)據(jù),需要配合分析工具〔nmonanalyser進行解讀.使用FTP工具從服務(wù)器上取下生成結(jié)果文件/nmon/log/sjfx212_120318_1723.nmon到本機.打開nmon_analyser.zip包下的nmonanalyserv33g.xls文件,點擊Analysenomndata按鈕,選擇之前get下來的sjfx212_120318_1723.nmon文件.Excel可能禁止運行宏了,點"安全警告旁邊的選項",允許運行宏：生成分析結(jié)果文件x,并生成統(tǒng)計圖,直觀顯示系統(tǒng)資源情況.主要性能參數(shù)介紹系統(tǒng)匯總〔對應(yīng)excel標簽的‘SYS_SUMM’：其中藍線為cpu占有率變化情況；粉線為磁盤IO的變化情況.磁盤讀寫情況匯總〔對應(yīng)excel標簽的‘DISK_SUMM’：其中藍色為磁盤讀的速率KB/sec；紫色為磁盤寫的速率KB/sec.內(nèi)存情況匯總〔對應(yīng)excel標簽的‘MEM’：曲線表示內(nèi)存剩余量〔MB頁面介紹簡單介紹生成結(jié)果的各個頁面：系統(tǒng)匯總頁面：對應(yīng)標簽頁〔SYS_SUMM頁面顯示項主要有主機名,執(zhí)行日期,系統(tǒng)cpu使用情況〔藍線,系統(tǒng)I/O情況〔粉紅線,其中坐標左縱軸為系統(tǒng)cpu〔user%+sys%使用率,橫軸為運行時長〔下圖為一個小時,右縱軸為系統(tǒng)磁盤傳輸〔Diskxfers,坐標下側(cè)為統(tǒng)計信息：系統(tǒng)I/O情況〔一個周期內(nèi)的平均值、最大值、出現(xiàn)最大值的時間,系統(tǒng)CPU使用情況.選項說明備注User%用戶進程時間在CPU開銷時間百分比如果一個CPU被充分使用,利用率分類之間均衡的比例應(yīng)該是：65%-70%UserTime30%-35%SystemTime0%-5%IdleTimeWait%所有進程線程被阻塞等待完成一次IO請求所占CPU開銷idle的時間百分比Sys%線程和中斷在CPU開銷時間百分比Idle%CPU空閑時間的百分比CPU%CPU利用率的百分比注釋：如果系統(tǒng)CPU有IOwait存在,說明可能IO或內(nèi)存方面存在瓶頸,其中主要導(dǎo)致IOWait的主要原因如下：內(nèi)存不夠而引起頻繁的的數(shù)據(jù)交換,導(dǎo)致數(shù)據(jù)存取存在交換空間的I/O瓶頸硬盤數(shù)據(jù)分布不合理系統(tǒng)信息：標簽頁〔AAA頁面信息主要包括：執(zhí)行命令,主機CPU數(shù)〔4,操作系統(tǒng)內(nèi)核版本信息,主機名等信息.系統(tǒng)詳細信息：標簽頁〔BBBP頁面信息主要包括：操作系統(tǒng)版本,主機磁盤信息,主機CPU型號、主頻信息,內(nèi)存信息,網(wǎng)卡信息等.CPU使用情況：標簽頁〔CPU_ALL,CPU_SUMM,CPU001,CPU002,CPU003,CPU004主機CPU使用情況匯總以及單顆CPU的運行情況.磁盤讀寫情況匯總：標簽頁〔DISK_SUMM,DISKBSIZE,DISKBUSY,DISKREAD,DISKWRITE,DISKXFER磁盤的讀、寫及I/O統(tǒng)計信息,系統(tǒng)各磁盤分區(qū)的讀寫情況.其中DISKBUSY頁主要反映系統(tǒng)本地磁盤使用,DISK_SUMM包括本地和存儲〔ESS,EMC,FASt及HDS上所有磁盤使用情況.內(nèi)存使用情況：標簽頁〔MEM系統(tǒng)內(nèi)存空閑、使用,swap、cached等統(tǒng)計信息.系統(tǒng)網(wǎng)絡(luò)情況：標簽頁〔NET,NETPACKET反映系統(tǒng)的網(wǎng)絡(luò)運行情況,系統(tǒng)各個網(wǎng)絡(luò)適配器讀寫的數(shù)據(jù)包數(shù)系統(tǒng)進程：標簽頁〔PROC反映系統(tǒng)運行線程及等待切換的線程平均數(shù).其中RunQueue-每個處理器應(yīng)該運行隊列不超過1-3個線程.活動虛擬內(nèi)存總量：標簽頁〔VMLinux操作系統(tǒng)特有指標,主要包括系統(tǒng)/proc/vmstat文件中信息,兩張圖片主要顯示系統(tǒng)分頁文件〔pagefile和swap分區(qū)運行情況.如果系統(tǒng)總是存在大量換出頁〔pgpgout/sKB數(shù),說明系統(tǒng)需要更多內(nèi)存.頁式調(diào)度：標簽頁〔PAGE記錄系統(tǒng)〔AIX頁式調(diào)度的情況.這一欄主要記錄系統(tǒng)換頁〔paging情況和頁面掃描：自由比率〔pagescan:freeratio.其中系統(tǒng)換頁頻率應(yīng)該不大于5次/秒,而當(dāng)頁面掃描：自由比率持續(xù)大于4時,需要重點關(guān)注下系統(tǒng)內(nèi)存和分頁空間的使用情況.說明：大量的內(nèi)存交換操作會極大地影響系統(tǒng)的性能,尤其是在當(dāng)數(shù)據(jù)庫文件創(chuàng)建在文件系統(tǒng)上時<JFSandJFS2>.在這種情況下經(jīng)常訪問的數(shù)據(jù),即在SGA中存在,也同樣在文件的緩存中存在.這種相同的數(shù)據(jù)在內(nèi)存中緩存兩次的情況,會降低內(nèi)存的使用效率,從而使內(nèi)存頻繁進行交換操作,造成系統(tǒng)的I/O瓶頸,降低整個系統(tǒng)的性能.采集時間：標簽頁〔ZZZZ記錄nmon工具采集系統(tǒng)信息的時間點.Nmon監(jiān)控案例介紹本節(jié)介紹通過nmon工具發(fā)現(xiàn)系統(tǒng)性能下降問題的常見現(xiàn)象和處理流程.常見現(xiàn)象和產(chǎn)生原因性能下降〔PerformanceDegradation,主要是指系統(tǒng)的性能隨時間而逐漸下降〔這里假定在系統(tǒng)性能下降的過程中系統(tǒng)的負載狀況沒有明顯變化.系統(tǒng)運行過程中占用的CPU或內(nèi)存隨時間增加也屬于廣義的性能下降問題.在生產(chǎn)環(huán)境中,通常由終端客戶最先感覺到并報告性能下降問題.所以狹義的性能下降問題主要是指系統(tǒng)運行指標隨時間變化,比如吞吐率隨時間下降或頁面響應(yīng)時間隨時間上升,或者兩者兼而有之.下面列舉一些引起性能下降問題的原因：應(yīng)用程序資源使用問題.主要是內(nèi)存使用問題,即由于應(yīng)用服務(wù)器的內(nèi)存碎片問題或內(nèi)存泄漏問題,導(dǎo)致垃圾回收的開銷隨時間增大.也有可能是因為磁盤臨時文件積累造成磁盤訪問開銷增大.應(yīng)用程序設(shè)計問題.由于應(yīng)用程序的設(shè)計存在可擴展性或可靠性問題,導(dǎo)致運行開銷隨時間或業(yè)務(wù)對象的積累而增大.數(shù)據(jù)庫訪問問題.該問題又可以分為許多類型,如調(diào)優(yōu)參數(shù)問題、表結(jié)構(gòu)或索引設(shè)計問題、垃圾數(shù)據(jù)問題等.其共同特點是導(dǎo)致應(yīng)用程序利用特定操作訪問數(shù)據(jù)庫的開銷隨時間而增大.服務(wù)器軟件資源使用問題.雖然可能性很小,但是應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器等服務(wù)器程序也是軟件程序,也有可能存在性能下降問題.這些服務(wù)器程序在自身測試過程中可能遺漏了某些性能問題,而在用戶特定的執(zhí)行狀況下觸發(fā)了這些問題,結(jié)果導(dǎo)致這些服務(wù)器程序使用的操作系統(tǒng)資源泄漏而出現(xiàn)性能下降問題.測試用例設(shè)計問題.性能測試中有可能發(fā)現(xiàn)一些"假"的性能下降問題.比如測試用例設(shè)計時假設(shè)在測試執(zhí)行過程中系統(tǒng)負載保持恒定,但實際的測試用例實現(xiàn)導(dǎo)致系統(tǒng)負載或特定頁面的處理內(nèi)容隨時間增多,也可能導(dǎo)致測試工具的測試報告中出現(xiàn)性能下降問題.實例介紹示例一圖5-1

nmon操作系統(tǒng)監(jiān)視匯總信息圖由此信息圖可發(fā)現(xiàn)在12小時測試進行過程中,系統(tǒng)的磁盤傳輸〔Diskxfers逐漸增大,與此同時系統(tǒng)CPU占用率逐漸下降.進一步檢查單個CPU的使用情況,發(fā)現(xiàn)1號CPU的Wait狀態(tài)占用率明顯增大,如圖5-2所示.這說明CPU占用率逐漸下降是由于等待磁盤I/O引起的.圖5-2

nmon單個CPU使用情況圖接下來分析磁盤傳輸匯總信息,如圖5-3所示,可以看出磁盤寫數(shù)據(jù)量沒有明顯增加,但是磁盤讀數(shù)據(jù)量明顯隨時間而增加.圖5-3

nmon磁盤傳輸匯總情況圖憑磁盤傳輸匯總信息,在排除由應(yīng)用服務(wù)器讀取導(dǎo)致的性能下降問題后,基本可以肯定不斷增加的磁盤讀取操作是由數(shù)據(jù)庫引起的.隨后,分析DB2的快照監(jiān)視器的監(jiān)視結(jié)果,可以發(fā)現(xiàn)DB2的緩沖池〔Bufferpool的數(shù)據(jù)和索引物理讀〔physicalread的比例非常高.如下例所示：Bufferpooldatalogicalreads

=5502388Bufferpooldataphysicalreads

=430671Bufferpooltemporarydatalogicalreads

=0Bufferpooltemporarydataphysicalreads

=0……可以看到緩沖池的物理讀比例〔即緩沖池不命中率高達7%,這遠遠大于1%的警戒線.而且物理讀比例有隨時間增加的趨勢〔通過不同時間的快照信息對比發(fā)現(xiàn).至此可以懷疑性能下降問題是由于DB2的緩沖池配置參數(shù)設(shè)置不當(dāng)引起的.考察數(shù)據(jù)庫配置參數(shù)信息發(fā)現(xiàn),該數(shù)據(jù)庫的BUFFPAGE參數(shù)值為10000.與該測試用例使用的數(shù)據(jù)規(guī)模相比,這個參數(shù)值明顯偏小.于是將BUFFPAGE參數(shù)值增大10倍,變?yōu)?00000,重新運行性能測試,發(fā)現(xiàn)性能下降問題基本消失.示例二本實例為通過nmon監(jiān)控XX稅源管理平臺數(shù)據(jù)倉庫收集的數(shù)據(jù).對照nmonanalyser工具生成結(jié)果進行分析.收集服務(wù)器基本信息通過以上數(shù)據(jù)可以知道XX數(shù)據(jù)倉庫服務(wù)