主講：朱佳目錄0102使用hdfsdfsadmin均衡數(shù)據(jù)調(diào)優(yōu)均衡器使用hdfsdfsadmin均衡數(shù)據(jù)1使用hdfsdfsadmin均衡數(shù)據(jù)在我們的示例中,使用單個(gè)節(jié)點(diǎn)Node10來檢查該節(jié)點(diǎn)的DFS使用百分比。然后發(fā)現(xiàn)，基于這個(gè)節(jié)點(diǎn)的DFS使用百分比，必須將閾值設(shè)置為小于等于2的值。但是不能在特定節(jié)點(diǎn)上運(yùn)行均衡器。那么，當(dāng)有更多的節(jié)點(diǎn)時(shí)，如何確定閾值？這很容易。只需選擇整個(gè)集群中節(jié)點(diǎn)的最低DFS使用百分比即可。不必花費(fèi)大量的時(shí)間了解每個(gè)節(jié)點(diǎn)使用的DFS百分比。使用hdfsdfsadmin-report命令即可找出正確的閾值。使用hdfsdfsadmin均衡數(shù)據(jù)在此示例中，集群中有50個(gè)節(jié)點(diǎn)?？梢赃\(yùn)行dfsadmin命令，捕獲文件中的輸出，因?yàn)樵撁顚为?dú)打印每個(gè)節(jié)點(diǎn)的DFS使用情況報(bào)告。[root@master]$sudo-uhdfshdfsdfsadmin\

-report>/tmp/dfsadmin.out查看命令輸出的頂部（在文件dfsadmin.out中)，可以找到整個(gè)集群的DFS使用的統(tǒng)計(jì)信息:ConfiguredCapacity:608922615386112(553.81TB)PresentCapacity:607364914327552(552.40TB)DFSRemaining:166697481228288(151.61TB)DFSUsed:440667433099264(400.78TB)DFSUsed%:72.55%使用hdfsdfsadmin均衡數(shù)據(jù)閾值越小，均衡器需要執(zhí)行的工作越多，集群越均衡。但是，這里有一個(gè)問題:如果有一個(gè)數(shù)據(jù)寫入和刪除頻繁的集群，集群可能永遠(yuǎn)不會(huì)達(dá)到完全均衡的狀態(tài)，均衡器僅僅將數(shù)據(jù)從一個(gè)節(jié)點(diǎn)移動(dòng)到另一個(gè)節(jié)點(diǎn)。當(dāng)啟動(dòng)均衡器時(shí)，將看到以下類型的輸出。注意均衡器如何確定有多少節(jié)點(diǎn)被過度使用或使用不足。它將數(shù)據(jù)從過度使用的節(jié)點(diǎn)移動(dòng)到其余的集群節(jié)點(diǎn)。它還確定均衡集群的數(shù)據(jù)分布需要移動(dòng)的實(shí)際數(shù)據(jù)量。調(diào)優(yōu)均衡器2調(diào)優(yōu)均衡器關(guān)于何時(shí)運(yùn)行均衡器有以下幾個(gè)準(zhǔn)則。在大型集群中，可以定期運(yùn)行均衡器。可以設(shè)置一個(gè)cron作業(yè)以執(zhí)行均衡操作，而不是自己手動(dòng)運(yùn)行。如果下一個(gè)均衡作業(yè)需要啟動(dòng)，之前的均衡器作業(yè)仍在運(yùn)行，則不會(huì)有任何危害，因?yàn)榈诙€(gè)均衡器作業(yè)將無(wú)法啟動(dòng)。向集群添加新節(jié)點(diǎn)后最好立即運(yùn)行均衡器。如果一次添加大量節(jié)點(diǎn)，則運(yùn)行均衡器，則它需要一段時(shí)間才能完成其工作。調(diào)優(yōu)均衡器在理想情況下，必須在集群較空閑的時(shí)段運(yùn)行均衡器，這樣開銷通常不高?？梢哉{(diào)整均衡器的帶寬，以確定集群中每個(gè)DataNode可用于重新均衡的每秒字節(jié)數(shù)。帶寬的默認(rèn)值為每秒10MB，可以提高該值以使均衡器更快地完成工作。可以將帶寬提高到網(wǎng)絡(luò)速度的大約10%，這不會(huì)對(duì)集群的工作負(fù)載造成任何明顯的影響。可以使用hdfsdfsadmin命令設(shè)置均衡器使用的網(wǎng)絡(luò)帶寬，如下所示：$hdfsdfsadmin-setBalancerBandwidth<bandwidthinbytespersecond>調(diào)優(yōu)均衡器使用-setBalancerBandwidth選項(xiàng)可以在HDFS塊均衡操作期間更改集群中每個(gè)DataNode使用的網(wǎng)絡(luò)帶寬。此處指定的帶寬是集群中每個(gè)DataNode使用的每秒最大字節(jié)數(shù)。如果使用shell腳本定期調(diào)用均衡器，則可以在調(diào)用bal-ancer之