主講：朱佳目錄0102兩種集群模式的工作原理在YARN上啟動Spark應用03HDFS和Spark兩種集群模式的工作原理1兩種集群模式的工作原理

與獨立集群一樣，YARN支持客戶端和Spark應用程序的集群模式部署。以下是兩種模式的工作原理：在客戶端模式下，Spark驅(qū)動程序在部署Spark應用程序的客戶端進程內(nèi)運行，而不在YARN集群中運行。客戶端使用ApplicationMaster是為了從YARN（ResourceManager）請求資源。在集群模式中，Spark驅(qū)動程序在Spark使用的ApplicationMaster進程中運行，該進程由集群上的YARN管理。啟動應用程序后，客戶端將會退出。兩種集群模式的工作原理

為了在Hadoop集群中運行Spark應用程序，必須在spark-env.sh文件中設置HADOOP_CONF_DIR或YARN_CONF_DIR環(huán)境變量，讓其指向已存儲客戶端Hadoop配置文件的目錄。此目錄中的配置由Spark寫入HDFS存儲并連接到Y(jié)ARN 的ResourceManager。配置被分發(fā)到整個集群，所以Spark的所有容器都使用相同的配置。在YARN上啟動Spark應用2在YARN上啟動Spark應用

使用以下命令在客戶端模式啟動Spark應用程序： $spark-submit\--classorg.apache.spark.examples.SparkPi\ --masterclient\--deploy-modecluster\--executor-memory4g\--executor-cores1\--queuemyqeue\lib/spark-examples*.jar在YARN上啟動Spark應用

使用以下命令在YARN集群模式啟動Spark應用程序： $spark-submit\--classorg.apache.spark.examples.SparkPi\ --masteryarn\--deploy-modecluster\--executor-memory4g\--executor-cores1\--queuemyqeue\lib/spark-examples*.jar在YARN上啟動Spark應用

在YARN模式下可以使用，在客戶端模式下不可使用的參數(shù)：--num-executors：分配的執(zhí)行器個數(shù)--executors-memory：為每個執(zhí)行器分配的內(nèi)存--executors-cores：為每個執(zhí)行器分配的CPU核數(shù)HDFS和Spark3HDFS和Spark如果使用HDFS作為Spark的數(shù)據(jù)源，則必須要在Spark類路徑中包含以下兩個文件： hdfs-site.xml：包含HDFS客戶端的默認行為。core-site.xml：設置默認文件系統(tǒng)名稱。為了讓Spark查看這些