主講：張義目錄0102配置推測執(zhí)行微調推測執(zhí)行配置推測執(zhí)行1配置推測執(zhí)行在集群中的特定節(jié)點上遇到故障或硬件、軟件配置錯誤，以及隨機延遲導致整個集群普遍減速(也稱為落后者問題)的情況并不罕見。Hadoop嘗試通過推測執(zhí)行功能來處理此問題，該功能允許在不同節(jié)點上同時執(zhí)行相同任務，方法是將首先完成的任務標記為成功任務并終止其他任務。通常，由于MapReduce任務處理被設計為冪等的，因此使用推測執(zhí)行是安全的，并且在默認情況下啟用推測執(zhí)行。但是，在作業(yè)調用外部資源的情況下，可能需要禁用推測執(zhí)行。配置推測執(zhí)行可以使用以下參數為map和reduce進程單獨啟用或禁用推測執(zhí)行功能：mapreduce.map.speculative：此參數的默認值為true，這意味著Hadoop可以并行執(zhí)行一些map任務的多個實例。mapreduce.reduce.speculative：此參數的默認值為true，這意味著Hadoop可以并行執(zhí)行一些reduce任務的多個實例。配置推測執(zhí)行因此，在默認情況下啟用map和reduce任務的推測執(zhí)行功能，但可以通過將以上兩個參數設置為false來禁用該功能。任務執(zhí)行緩慢的原因很難確定，因為任務需要很長時間才能成功完成。在推測執(zhí)行任務之前，Hadoop只確定任務的運行速度比預期的慢很多，并且啟動與備份相同任務的副本。這種情況會在諸如由于磁盤控制器故障而導致其中一個磁盤執(zhí)行不良的時候發(fā)生。該作業(yè)有50個reducer，其中49個已經快速完成，但是整個作業(yè)都在等待最后一個reducer，其正在處理存儲在慢磁盤上的數據。微調推測執(zhí)行2微調推測執(zhí)行可以通過設置可以執(zhí)行的最大和最小任務數來微調推測執(zhí)行。以下是可以用來配置微調推測執(zhí)行的參數：mapreduce.job.speculative.speculative-cap-running-tasks：設置可以在任何給定時間同時執(zhí)行的作業(yè)的最大百分比，默認值為0.1。mapreduce.job.speculative.speculative-cap-total-tasks：限制可以同時執(zhí)行的任務的最大百分比，默認值為0.01。微調推測執(zhí)行mapreduce.job.speculative.minimum-allowed-tasks：設置可推測執(zhí)行的最小任務數，默認值為10(任務)。mapreduce.job.speculative.slowtaskthreshold：設置任務的平均進度必須低于所有其他運行任務的平均進度的標準偏差數，該任務被視為“太慢”，因此符合推測執(zhí)行條件。微調推測執(zhí)行個別任務彼此分開運行，并相信Hadoop提供正確的輸入。因此，系統(tǒng)可以多次處理相同的輸入，以處理慢速運行的任務。隨著作業(yè)中的任務數量的減少，Hadoop會在有大量處理能力的節(jié)點上調度剩余map任務的副本，這是推測執(zhí)行的本質。每個任務完成后，它會向ResourceManager報告，并且完成任務的副本首先成為該任務的確定副本。然后，Hado