1、實驗四 YARN實驗：部署YARN集群實驗?zāi)康牧私馐裁词?YARN框架，如何搭建 YARN分布式集群，并能夠使用 YARN集群提交 一些簡單的任務(wù)，理解 YARN作為Hadoop生態(tài)中的資源管理器的意義。實驗要求搭建YARN集群，并使用 YARN集群提交簡單的任務(wù)。觀察任務(wù)提交的之后的YARN的執(zhí)行過程。實驗原理YARN 概述YARN是一個資源管理、任務(wù)調(diào)度的框架，采用 master/slave架構(gòu)，主要包含三大模 塊：ResourceManager (RM)、NodeManager ( NM )、ApplicationMaster (AM )。其中， ResourceManager負責(zé)所有資

2、源的監(jiān)控、分配和管理，運行在主節(jié)點；NodeManager負責(zé)每一個節(jié)點的維護，運行在從節(jié)點；ApplicationMaster負責(zé)每一個具體應(yīng)用程序的調(diào)度和協(xié)調(diào)，只有在有任務(wù)正在執(zhí)行時存在。對于所有的 applications , RM擁有絕對的控制權(quán)和 對資源的分配權(quán)。而每個AM則會和RM協(xié)商資源，同時和 NodeManager通信來執(zhí)行和監(jiān)控task。幾個模塊之間的關(guān)系如圖4-1所示：實驗手冊圖4-1模塊間的關(guān)系YARN運行流程YARN運行流程如圖4-2所示:圖4-2 YARN運行流程如圖client向RM提交應(yīng)用程序，其中包括啟動該應(yīng)用的ApplicationMaster的必須信息，例

3、如ApplicationMaster程序、啟動 ApplicationMaster的命令、用戶程序等。ResourceManager 啟動一個 container 用于運行 ApplicationMaster 。啟動中的 ApplicationMaster向ResourceManager注冊自己，啟動成功后與RM保持心跳。ApplicationMaster 向 ResourceManager發(fā)送請求，申請相應(yīng)數(shù)目的containeroResourceManager 返回 ApplicationMaster 的申請的 containers 信息。申請成功的 container,由 Applica

4、tionMaster進行初始化。container的啟動信息初始化后，AM 與對應(yīng)33實驗手冊的NodeManager通信，要求 NM 啟動container。AM 與NM 保持心跳，從而對 NM 上運 行的任務(wù)進行監(jiān)控和管理。container 運行期間，ApplicationMaster 對 container 進行監(jiān)控。container 通過 RPC 協(xié) 議向?qū)?yīng)的AM匯報自己的進度和狀態(tài)等信息。應(yīng)用運行期間，client直接與AM通信獲取應(yīng)用的狀態(tài)、進度更新等信息。應(yīng)用運行結(jié)束后，ApplicationMaster向ResourceManager注銷自己，并允許屬于它的contain

5、er 被收回。實驗步驟該實驗主要分為配置YARN的配置文件，啟動 YARN集群，向YARN幾個簡單的任務(wù)從而了解YARN工作的流程。在master機上配置 YARN操作之前請確認HDFS已經(jīng)啟動，具體操作參考之前的實驗內(nèi)容。指定 YARN 主節(jié)點，編輯文件“/usr/cstor/hadoop/etc/hadoop/yarn-site.xml ”,將如下內(nèi) 容嵌入此文件里 configuration標(biāo)簽間：yarn.resourcemanager.hostnamemasteryarn.nodemanager.aux-servicesmapreduce_shuffle yarn-site.xml是

6、 YARN 守護進程的配置文件。第一句配置了ResourceManager的主機名，第二句配置了節(jié)點管理器運行的附加服務(wù)為mapreduce_shuffle ,只有這樣才可以運行MapReduce 程序。在master機上操作：將配置好的YARN配置文件拷貝至 slaveX、client。rootmaster # cat /data/4/machinesslave1salve2slave3 clientallencmaster # for x in cat /data/4/machines ; do echo $x ; scp /usr/cstor/hadoop/etc/hadoop/yarn

7、-site.xml $x:/usr/cstor/hadoop/etc/hadoop/ ; done;統(tǒng)一啟動 YARN確認已配置slaves文件，在 master機器上查看：rootmaster # cat /usr/cstor/hadoop/etc/hadoop/slavesslavelslave2slave3rootmaster #YARN配置無誤，統(tǒng)一啟動 YARN :rootmaster # /usr/cstor/hadoop/sbin/start-yarn.sh34實驗手冊驗證YARN啟動成功讀者可分別在四臺機器上執(zhí)行如下命令，查看 YARN服務(wù)是否已啟動。rootmaster #

8、jps#jps 查看 java 進程你會在master上看到類似的如下信息： 2347 ResourceManager 這表明在master節(jié)點成功啟動 ResourceManager,它負責(zé)整個集群的資源管理分配， 是一個全局的資源管理系統(tǒng)。而在slavel、slave2、slave3上看到類似的如下信息：4021 NodeManagerNodeManager是每個節(jié)點上的資源和任務(wù)管理器，它是管理這臺機器的代理，負責(zé)該 節(jié)點程序的運行，以及該節(jié)點資源的管理和監(jiān)控。YARN集群每個節(jié)點都運行一個NodeManager o 查看Web界面 在當(dāng)前的 Windows機器上打開瀏覽器，地址欄輸入m

9、aster的IP和端口號8088 (例：:8088),即可在 Web界面看到 YARN相關(guān)信息。4.4.4 在 client 機上提交 DistributedShell 任務(wù)distributedshell ,他可以看做 YARN編程中的helloworld :它的主要功能是并行執(zhí)行 用戶提供的 shell命令或者 shell腳本。-jar指定了包含 ApplicationMaster的jar文件，- shell_command 指定了需要被 ApplicationMaster 執(zhí)行的 Shell 命令。在xshell上再打開一個 client的連接，執(zhí)行：rootclient

10、 # /usr/cstor/hadoop/bin/yarnorg.apache.hadoop.yarn.applications.distributedshell.Client -jar/usr/cstor/hadoop/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.7.1.jar -shell_command uptime4.4.5 在client機上提交 MapReduce型任務(wù)(1)指定在 YARN上運行 MapReduce任務(wù)首先， 在 master 機上，斗各文件 “/usr/cstor/hadoop/et

11、c/hadoop/mapred-site.xml. template重命名為/usr/cstor/hadoop/etc/hadoop/mapred-site.xml ”。接著，編輯此文件并將如下內(nèi)容嵌入此文件的configuration標(biāo)簽間：yarn 最后， 將 master 機 的 “/usr/local/hadoop/etc/hadoop/mapred-site.xml ” 文件 拷貝至U slaveX與client,重新啟動集群。(2)在 client 端提交 PI Estimator 任務(wù)首先進入 Hadoop安裝目錄：/usr/cst

12、or/hadoop/,然后提交 PI Estimator任務(wù)。命令最后兩個兩個參數(shù)的含義：第一個參數(shù)是指要運行map的次數(shù)，這里是 2次；第二個參數(shù)是指每個map任務(wù)，取樣的個數(shù)；而兩數(shù)相乘即為總的取樣數(shù)。Pi Estimator使用Monte Carlo方法計算 Pi值的，Monte Carlo方法自行百度。35實驗手冊rootclient hadoop# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 2104.5實驗結(jié)果(1) yarn啟動之后在 master上的web界面上能看到的

13、界面。如圖 4-3所示:All AppllC!aitldni&圖4-3(2)提交DistributedShell任務(wù)之后web界面看到的界面應(yīng)該是。如圖 4-4所示:All AppllC!aitldni&圖4-4(3)提交PI任務(wù)之后web界面上看到的。如圖 4-5所示:在終端能觀察到白界面。如圖 4-6所示:36實驗手冊 1 master2 client 3 clientFILE： Numb tCFS: NumbbDFS:H5FS:HOFS: tCFS:Job CountersNumberNumberNumberNumberof of of of of ofwrite operatiori5

14、0 bytes read-322bytes writte-2IS read operatio-ns=ll large read op&rati&ns=0 write operatior)s=3Launched maptasks=2Launched reduce task&=l Data-local map tasks=2Total Total Total Total Total Total Total Totaltime time time timespent by spent by spent by spirit byvcore-seconds ve&resecondsnaps in occ

15、upied slots ms )=5739 reduces in occupied 810t5(m&)=3i77 nrap tasks (ms)-5730 reduce 9工號(m5)-3177taken by all map tasks5730tak&n by all rdiic t自建號3I77me 明 byte 耳前 tin ds taken by all m 即 tasks=586752o megabyte-setonds taken by all reduce ta5ks-32S3248Map-Reduce FrameworkMap input record5=2Nap output

16、 records=4Nap output bytes=36幅p output materialized tytes=56Input split bytes=2&Combine input record5=0Combine output rec&rds=Reduce Reduce Reduce Reduceinput grQjp&=2 shuffle byies-56 input rgcords-4. output recprd5*0Spilled Records-EShuffled Maps -2 Failed shuffles-o Merged Map outputs GC time elapsed (ms)=99 CPU time spent (ms)=2640 Physical memory (bytes anap&hot=704651264 Virtual memory (bytes) sr)apshot=24653S6496 Total conunitted heap us己g白(tyte&)=603979776 Shuffle ErrorsFileFileJo