主講：張義目錄0102如何訪問SparkWebUI常用選項卡如何訪問SparkWebUI1如何訪問SparkWebUI監(jiān)控Spark應(yīng)用程序并獲得詳細(xì)的作業(yè)統(tǒng)計信息的最佳方法是使用SparkWebUI。在這里可以跟蹤Spark作業(yè)，就像通過yarn命令查看MapReduce作業(yè)一樣。SparkUI對于監(jiān)控運行的作業(yè)以及分析競爭執(zhí)行的作業(yè)非常有用。如何訪問SparkWebUI以下是訪問SparkUI的URL：HTTP://<driver_node-IP>:4040默認(rèn)端口為4040，因此當(dāng)啟動新的應(yīng)用程序時，WebUI將在端口4040上啟動。如果有多個Spark驅(qū)動程序在運行，Spark會遍歷端口列表，如4041、4042等，直到找到空閑端口以啟動WebUI。常用選項卡2常用選項卡SparkUI中有幾個有用的選項卡，下面分別來介紹。Environment選項卡當(dāng)排查性能問題時，了解Spark運行作業(yè)的配置很重要。Environment選項卡顯示了作業(yè)啟動Spark上下文時的所有配置參數(shù)以及所有使用的JAR文件。Jobs選項卡Jobs選項卡顯示當(dāng)前正在執(zhí)行的作業(yè)和已編譯作業(yè)。該選項卡顯示了成功的任務(wù)和階段的數(shù)量以及作業(yè)本身的持續(xù)時間。常用選項卡Stages選項卡Stages選項卡顯示所有作業(yè)的完成和運行的所有階段。該選項卡還顯示了處理的輸入量以及階段創(chuàng)建的輸出量。通過Stages選項卡可以了解Spark處理作業(yè)的性能，因為可以在此處了解shuffle進(jìn)程處理的數(shù)據(jù)量。執(zhí)行shufle的時間太長通常意味著未對數(shù)據(jù)進(jìn)行分區(qū)，沒有使用正確的操作或兩者都存在。TaskMetrics選項卡在這里可以找到有關(guān)內(nèi)存使用和垃圾回收的信息。還可以找到有關(guān)作業(yè)中所有任務(wù)持續(xù)時間的詳細(xì)信息。如果一個任務(wù)的運行時間長于作業(yè)中的其他任務(wù)，這表明有數(shù)據(jù)偏移，由此判斷任務(wù)之間的負(fù)載分布不均衡。常用選項卡DAG頁面DAG頁面顯示Spark如何安排Spark作業(yè)中的階段。了解關(guān)鍵作業(yè)的DAG很重要，因為這有助于識別階段邊界以及導(dǎo)致發(fā)生shuffle和創(chuàng)建新階段的操作。Storage選項卡當(dāng)想要查找緩存的狀態(tài)時，Storage選項卡很有用。該選項卡顯示RDD存儲級別、緩存的RDD的百分比、內(nèi)存中緩