侯磊目錄0102監(jiān)控內(nèi)存使用vmstat使用sar分析讀寫操作0302使用top命令監(jiān)控資源使用情況04使用dstat進(jìn)行網(wǎng)絡(luò)監(jiān)控監(jiān)控內(nèi)存使用vmstat1監(jiān)控內(nèi)存使用vmstatvmstat實(shí)用程序可以幫助我們監(jiān)測內(nèi)存使用情況、頁面錯誤、進(jìn)程和CPU活動。以下是vmstat命令的一些示例輸出。S參數(shù)指示單位設(shè)置,M表示單位大小(1048576),整數(shù)1是更新的間隔（在本例中為每秒)。#vmstat-sM1監(jiān)控內(nèi)存使用vmstat在procs的CPU部分輸出中，第一列r指運(yùn)行隊(duì)列。如果系統(tǒng)有24個(gè)CPU，并且運(yùn)行隊(duì)列顯示20，那意味著20個(gè)進(jìn)程正在隊(duì)列中等待CPU的輪轉(zhuǎn)，這絕對不是壞事。如果在具有2個(gè)CPU的機(jī)器上出現(xiàn)相同的r值，則表示系統(tǒng)處于CPU綁定狀態(tài)——大量進(jìn)程正在等待CPU時(shí)間。監(jiān)控內(nèi)存使用vmstat在vmstat的CPU部分輸出中,us代表系統(tǒng)用戶的CPU使用量,包括數(shù)據(jù)庫進(jìn)程。sy部分顯示CPU的系統(tǒng)使用情況，id表示空閑的CPU數(shù)量。在我們的示例中，大部分或全部CPU都處于空閑狀態(tài)。監(jiān)控內(nèi)存使用vmstat在vmstat輸出中,CPU統(tǒng)計(jì)信息cs表示上下文切換的數(shù)量,in指示中斷數(shù)（每秒)。vmstat實(shí)用程序可以幫助我們識別性能瓶頸。例如，如果vmstat輸出顯示內(nèi)存正在交換到磁盤（so列）或從磁盤（si列)(交換到內(nèi)存，那么可能需要向該節(jié)點(diǎn)添加更多的物理內(nèi)存，或者降低那個(gè)節(jié)點(diǎn)上運(yùn)行的mapper和reducer的數(shù)量。使用sar分析讀寫操作2使用sar分析讀寫操作Linuxsar（系統(tǒng)活動報(bào)告器）實(shí)用程序是一個(gè)非常強(qiáng)大的工具，它可以分析從磁盤到緩沖區(qū)緩存以及從緩沖區(qū)緩存到磁盤的讀/寫操作。通過使用sar命令的各種選項(xiàng)，可以監(jiān)視磁盤和CPU活動，以及緩沖區(qū)緩存活動。sar-b命令（緩沖區(qū)活動)的輸出具有以下列。bread/s:從磁盤到緩沖區(qū)緩存的每秒讀操作數(shù)lread/s:緩沖區(qū)緩存中每秒的讀操作數(shù)使用sar分析讀寫操作%rcache:讀請求的緩存命中率bwrit/s:從磁盤到緩沖區(qū)緩存的每秒寫操作次數(shù)lwrit/s:緩沖區(qū)緩存的每秒寫操作次數(shù)%wcache:寫請求的緩存命中率使用top命令監(jiān)視資源使用情況3使用top命令監(jiān)視資源使用情況top命令可以查找哪些用戶/進(jìn)程使用的服務(wù)器資源最多。#topCPU瓶頸易于識別——我們會看到非常高的處理器加載時(shí)間，例如80%或90%,甚至更高。還可能看到整個(gè)集群中的加載程序加載的時(shí)間大于50%或60%。由于設(shè)計(jì)不當(dāng)?shù)腍adoop作業(yè)，單個(gè)進(jìn)程可能會占用太多的CPU時(shí)間。在這種情況下，調(diào)整map或減少任務(wù)會降低CPU使用率。當(dāng)然，切換到更快的處理器或添加更多的處理器也有助于緩解CPU爭用問題。使用top命令監(jiān)視資源使用情況可以通過查看上下文切換和中斷數(shù)來了解CPU爭用情況。Linux操作系統(tǒng)是一個(gè)具有多核CPU的多任務(wù)系統(tǒng)。操作系統(tǒng)會在進(jìn)程切換時(shí)存儲稱為上下文的CPU狀態(tài)，從而從中斷處恢復(fù)執(zhí)行。恢復(fù)上下文稱為上下文切換。如果上下文切換次數(shù)很多，則表明CPU正忙，需花費(fèi)大量時(shí)間存儲/恢復(fù)進(jìn)程狀態(tài)。通常這是由于為每個(gè)節(jié)點(diǎn)分配太多map或減少任務(wù)造成的。使用dstat進(jìn)行網(wǎng)絡(luò)監(jiān)控4使用dstat進(jìn)行網(wǎng)絡(luò)監(jiān)控當(dāng)在shuffle階段，reduce任務(wù)獲得map任務(wù)輸出時(shí)，Hadoop會大量使用網(wǎng)絡(luò)。當(dāng)reduce作業(yè)將結(jié)果輸出到HDFS時(shí)，網(wǎng)絡(luò)利用率也高。監(jiān)控網(wǎng)絡(luò)有助于識別潛在的網(wǎng)絡(luò)瓶頸。一個(gè)好的網(wǎng)絡(luò)監(jiān)控工具（如dstat）可以顯示網(wǎng)絡(luò)的工作負(fù)載。下面為一些有用的經(jīng)驗(yàn)法則。