主講：張義目錄0102管理執(zhí)行器任務(wù)和執(zhí)行器管理執(zhí)行器1管理執(zhí)行器所有的Spark工作都在工作節(jié)點上執(zhí)行，也就是在worker節(jié)點上運行所有任務(wù)?？梢詫park作業(yè)的幾乎所有資源分配給在JVM中運行的執(zhí)行器。除了執(zhí)行器外，為其分配內(nèi)存的另一實體是驅(qū)動程序，并且與分配給執(zhí)行器的資源總量相比，給驅(qū)動程序分配的資源不是很多?？梢詮膬蓚€方面管理執(zhí)行器：配置執(zhí)行器的數(shù)量。將資源（RAM等）分配給執(zhí)行器。管理執(zhí)行器無論在什么操作模式（客戶端或集群）下，只有一個驅(qū)動程序。但是，可以使用spark.executor.instances屬性（或--num-executors命令行標(biāo)志）來指定執(zhí)行器的數(shù)量。spark.executor.instances屬性的默認(rèn)值為2。如果使用了動態(tài)分配（spark.dynamicAllocation.enabled）功能并設(shè)置了spark.executor.instances屬性的值，則動態(tài)分配功能被關(guān)閉。Spark使用指定的執(zhí)行器數(shù)量，這意味著spark.executor.instances屬性的值將覆蓋spark.dynamicAllocation屬性的值。如果啟用動態(tài)分配（在下一節(jié)中說明）功能，則一定不要設(shè)置spark.executor.instances屬性，因為Spark應(yīng)用程序會根據(jù)待處理任務(wù)的工作負(fù)載自動增加或減少其對執(zhí)行器的請求。管理執(zhí)行器在Spark中，只要資源分配涉及一個執(zhí)行器，則該執(zhí)行器就是一個容器的代名詞。因此，Spark的執(zhí)行器的分配就變成了YARN容器分配。當(dāng)Spark計算需要的執(zhí)行器數(shù)時，它會與ApplicationMaster進(jìn)行通信，ApplicationMaster又與YARNResourceManager聯(lián)系以請求容器。管理執(zhí)行器與為驅(qū)動程序進(jìn)程分配資源不同，在為執(zhí)行器分配資源時，在客戶端和集群模式下都執(zhí)行相同的操作。使用以下兩個參數(shù)來設(shè)置執(zhí)行Spark應(yīng)用程序工作的Spark執(zhí)行器所用內(nèi)存和CPU：spark.executor.memory：為執(zhí)行器配置Java堆內(nèi)存。還可以通過指定

-executor-memory標(biāo)志進(jìn)行配置?？墒褂胹park.executor.memory屬性為執(zhí)行器配置Java堆的大小。spark.executor.cores：設(shè)置執(zhí)行器的內(nèi)核數(shù)。還可以使用

--executor-cores標(biāo)志來設(shè)置此屬性。任務(wù)和執(zhí)行器2任務(wù)和執(zhí)行器通過設(shè)置執(zhí)行器可以運行的內(nèi)核數(shù)，就配置了執(zhí)行器可以運行的并發(fā)任務(wù)數(shù)。每個處理內(nèi)核一次運行一個進(jìn)程，在這里是一個任務(wù)。因此，執(zhí)行器可以運行的任務(wù)數(shù)受到為該執(zhí)行器配置的處理器內(nèi)核數(shù)的限制。任何單個Spark操作可用的內(nèi)存量被限制為執(zhí)行器的內(nèi)存除以在該執(zhí)行器中運行的任務(wù)數(shù)量所得結(jié)果。任務(wù)和執(zhí)行器與驅(qū)動程序內(nèi)存分配一樣，有一種方法可用來指定非堆內(nèi)存的開銷。使用spark.yarn.executor.memoryOverhead參數(shù)設(shè)置開銷，它的工作