Spark任務(wù)調(diào)度機(jī)制Spark任務(wù)調(diào)度機(jī)制部署方式Spark任務(wù)調(diào)度機(jī)制的提交/01基本介紹

Spark任務(wù)調(diào)度機(jī)制部署方式Spark任務(wù)調(diào)度機(jī)制部署方式

在工廠環(huán)境下，Spark集群的部署方式一般為YARN-Cluster模式，之后的內(nèi)核分析內(nèi)容中我們默認(rèn)集群的部署方式為YARN-Cluster模式。/02基本介紹

Spark任務(wù)調(diào)度機(jī)制的提交下面的時(shí)序圖清晰地說(shuō)明了一個(gè)Spark應(yīng)用程序從提交到運(yùn)行的完整流程Spark任務(wù)調(diào)度機(jī)制的提（一）

從圖中可知，Client只負(fù)責(zé)提交Application并監(jiān)控Application的狀態(tài)。對(duì)于Spark的任務(wù)調(diào)度主要是集中在兩個(gè)方面:資源申請(qǐng)和任務(wù)分發(fā)，其主要是通過(guò)ApplicationMaster、Driver以及Executor之間來(lái)完成。

提交一個(gè)Spark應(yīng)用程序，首先通過(guò)Client向ResourceManager請(qǐng)求啟動(dòng)一個(gè)Application，同時(shí)檢查是否有足夠的資源滿(mǎn)足Application的需求。

如果資源條件滿(mǎn)足，則準(zhǔn)備ApplicationMaster的啟動(dòng)上下文，交給ResourceManager，并循環(huán)監(jiān)控Application狀態(tài)。Spark任務(wù)調(diào)度機(jī)制的提交(二）

初始RDD經(jīng)過(guò)一系列算子計(jì)算后（假設(shè)沒(méi)有執(zhí)行repartition和coalesce算子進(jìn)行重分區(qū)，則分區(qū)個(gè)數(shù)不變，仍為N，如果經(jīng)過(guò)重分區(qū)算子，那么分區(qū)個(gè)數(shù)變?yōu)镸），我們假設(shè)分區(qū)個(gè)數(shù)不變，當(dāng)執(zhí)行到Shuffle操作時(shí)，map端的task個(gè)數(shù)和partition個(gè)數(shù)一致，即maptask為N個(gè)。Reduce端的stage默認(rèn)取spark.default.parallelism這個(gè)配置項(xiàng)的值作為分區(qū)數(shù)，如果沒(méi)有配置，則以map端的最后一個(gè)RDD的分區(qū)數(shù)作為其分區(qū)數(shù)（也就是N），那么分區(qū)數(shù)就決定了reduce端的task的個(gè)數(shù)。Shuffle中的任務(wù)個(gè)數(shù)（二）

當(dāng)提交的資源隊(duì)列中有資源時(shí)，ResourceManager會(huì)在某個(gè)NodeManager上啟動(dòng)ApplicationMaster進(jìn)程，ApplicationMaster會(huì)單獨(dú)啟動(dòng)Driver后臺(tái)線(xiàn)程。

當(dāng)Driver啟動(dòng)后，ApplicationMaster會(huì)通過(guò)本地的RPC連接Driver，并開(kāi)始向ResourceManager申請(qǐng)Container資源運(yùn)行Executor進(jìn)程（一個(gè)Executor對(duì)應(yīng)與一個(gè)Container）。

當(dāng)ResourceManager返回Container資源，ApplicationMaster則在對(duì)應(yīng)的Container上啟動(dòng)Executor。Shuffle中的任務(wù)個(gè)數(shù)（三）Driver線(xiàn)程主要是初始化SparkContext對(duì)象，準(zhǔn)備運(yùn)行所需的上下文，然后一方面保持與ApplicationMaster的RPC連接，通過(guò)ApplicationMaster申請(qǐng)資源，另一方面根據(jù)用戶(hù)業(yè)務(wù)邏輯開(kāi)始調(diào)度任務(wù)，將任務(wù)下發(fā)到已有的空閑Executor上。

當(dāng)ResourceManager向ApplicationMaster返回Container資源時(shí)，ApplicationMaster就嘗試在對(duì)應(yīng)的Container上啟動(dòng)Executor進(jìn)程，Executor進(jìn)程起來(lái)后，會(huì)向Driver反向注冊(cè)。

注冊(cè)成功后保持與Driver的心跳，同時(shí)等待Driver分發(fā)任務(wù)，當(dāng)分發(fā)的任務(wù)執(zhí)行完畢后，將任務(wù)狀態(tài)上報(bào)給Driver