YARN的重要概念目錄一、什么是Yarn二、Yarn的架構一、什么是YarnYarn是YetAnotherResourceNegotiator的縮寫，是Hadoop集群資源管理器系統(tǒng)。定義：一、什么是YarnYarn誕生背景，主要是由于Hadoop1.x架構中MapReduce的局限性，包括：1、擴展性差：jobtracker兼顧資源管理和作業(yè)控制跟蹤功能跟蹤任務，啟動失敗或遲緩的任務，記錄任務的執(zhí)行狀態(tài)，維護計數(shù)器），壓力大，成為系統(tǒng)的瓶頸2、可靠性差：采用了master/slave結構，master容易單點故障3、資源利用率低：基于槽位的資源分配模型，槽位是一種粗粒度的資源劃分單位，通常一個任務不會用完一個槽位的資源，hadoop1分為mapslot和reduceslot，而它們之間資源不共享，造成一些資源空閑。Yarn的誕生背景一、什么是YarnYarn誕生背景，主要是由于Hadoop1.x架構中MapReduce的局限性，包括：4、不支持多框架：不支持多種計算框架并行Yarn的誕生背景一、什么是YarnYarn很好解決了MapReduce1中的局限性：Yarn基本思想；一個全局的資源管理器Resourcemanager和與每個應用對用的ApplicationMaster，Resourcemanager和NodeManager組成全新的通用系統(tǒng)，以分布式的方式管理應用程序。Yarn的優(yōu)勢一、什么是Yarn1、支持非mapreduce應用的需求2、可擴展性3、提高資源是用率4、用戶敏捷性5、可以通過搭建為高可用Yarn的特點二、Yarn的架構Yarn從整體上還是屬于Master/Slave模型，主要依賴于三個組件來實現(xiàn)功能：第一個就是ResourceManager，是集群資源的仲裁者，它包括兩部分：一個是可插拔式的調度Scheduler，一個是ApplicationManager，用于管理集群中的用戶作業(yè)。第二個是每個節(jié)點上的NodeManager，管理該節(jié)點上的用戶作業(yè)和工作流，也會不斷發(fā)送自己Container使用情況給ResourceManager。Yarn的架構二、Yarn的架構Yarn從整體上還是屬于Master/Slave模型，主要依賴于三個組件來實現(xiàn)功能：第三個組件是ApplicationMaster，用戶作業(yè)生命周期的管理者它的主要功能就是向ResourceManager（全局的）申請計算資源（Containers）并且和NodeManager交互來執(zhí)行和監(jiān)控具體的task。Yarn的架構二、Yarn的架構ResourceManager的主要職責在于調度，即在競爭的應用程序之間分配系統(tǒng)中的可用資源，并不關注每個應用程序的狀態(tài)管理。ResourceManager主要有兩個組件：Scheduler和ApplicationManager：Scheduler是一個資源調度器，它主要負責協(xié)調集群中各個應用的資源分配，保障整個集群的運行效率。Scheduler的角色是一個純調度器，它只負責調度Containers，不會關心應用程序監(jiān)控及其運行狀態(tài)等信息。同樣，它也不能重啟因應用失敗或者硬件錯誤而運行失敗的任務。Resourcemanager二、Yarn的架構NodeManager在啟動時，NodeManager向ResourceManager注冊，然后發(fā)送心跳包來等待ResourceManager的指令，主要目的是管理resourcemanager分配給它的應用程序container。NodeManager只負責管理自身的Container，它并不知道運行在它上面應用的信息。在運行期，通過NodeManager和ResourceManager協(xié)同工作，這些信息會不斷被更新并保障整個集群發(fā)揮出最佳狀態(tài)。NodeManager二、Yarn的架構主要職責：1、接收ResourceManager的請求，分配Container給應用的某個任務。2、和ResourceManager交換信息以確保整個集群平穩(wěn)運行。ResourceManager就是通過收集

每個NodeManager的報告信息來追蹤整個集群健康狀態(tài)的，而NodeManager負責監(jiān)控自身

的健康狀態(tài)。3、管理每個Container的生命周期。4、管理每個節(jié)點上的日志。5、執(zhí)行Yarn上面應用的一些額外的服務，比如MapReduce的shuffle過程。NodeManager二、Yarn的架構當一個ApplicationMaster啟動后，會周期性的向resourcemanager發(fā)送心跳報告來確認其健康和所需的資源情況，在建好的需求模型中，ApplicationMaster在發(fā)往resourcemanager中的心跳信息中封裝偏好和限制，在隨后的心跳中，ApplicationMaster會對收到集群中特定節(jié)點上綁定了一定的資源的container的租約，根據(jù)Resourcemanager發(fā)來的container，ApplicationMaster可以更新它的執(zhí)行計劃