主講：朱佳目錄0102創(chuàng)建隊列分層隊列0302在集群中設(shè)置調(diào)度器創(chuàng)建隊列1創(chuàng)建隊列容量調(diào)度器依賴于隊列的概念來控制集群中的資源分配。一個（作業(yè)）隊列是作業(yè)的有序列表。作業(yè)隊列是一切事情的開端?？梢栽赾apacity-scheduler.xml文件中設(shè)置隊列，該文件默認位于/etc/hadoop/conf目錄中。root隊列是預(yù)定義的隊列，隨后創(chuàng)建的所有隊列都將被視為root隊列下的子隊列。創(chuàng)建的任何子隊列相對于隊列路徑來命名，該路徑顯示隊列的層次結(jié)構(gòu)，路徑從root隊列開始。頂級子隊列是直接位于root隊列下的子隊列。在每個頂級子隊列下，可以創(chuàng)建子隊列。創(chuàng)建隊列以下示例顯示了如何使用名為queue1、queue2和queue3三個頂級子隊列定義容量調(diào)度器的配置。兩個子隊列queue1和queue2下也定義了子隊列。<property><name>yarn.scheduler.capacity.root.queues.root.queues</name><value>queue1,queue2,queue3</value></property>創(chuàng)建隊列<property><name>yarn.scheduler.capacity.root.queues.queue1.queues</name><value>queue1a,queue1b</value></property><property><name>yarn.scheduler.capacity.root.queues.queue2.queues</name><value>queue2a,queue2b</value></property>創(chuàng)建隊列該配置會創(chuàng)建以下隊列:■三個頂級子隊列，分別為queue1、queue2和queue3，它們在根隊列下■兩個子隊列，分別為queue1a和queue1b，它們在名為queue1的頂級子隊列下?！鰞蓚€子隊列，分別為queue2a和queue2b,它們在名為queue2的頂級子隊列下。分層隊列2分層隊列為了在細粒度級別控制資源分配，還可以在每個隊列下配置稱為分層隊列的子隊列，從而允許來自特定組織的應(yīng)用程序有效利用分配給它的所有資源。隊列的多余或空閑資源只有在其子隊列(稱為葉隊列)滿足其資源需求之后才被其他隊列使用。除了隊列的配額和最大容量之外，管理員還可以做以下限制:■特定用戶可以使用的最大資源量■每個隊列(或每個用戶)的待處理任務(wù)數(shù)量■每個隊列(或每個用戶)的活動(或接受)作業(yè)的數(shù)量■容量保證和彈性分層隊列可以在調(diào)度器的配置文件capacity-scheduler.xml中指定所有這些屬性，該文件通常位于/etc/hadoop/conf目錄中。yarn-site.xml文件中的yarn-admin.acl屬性控制誰可以通過rmadmin-refreshQueues命令更新此文件。在集群中設(shè)置調(diào)度器3在集群中設(shè)置調(diào)度器設(shè)置隊列假設(shè)組織中有三個主要團隊:研究、支持和生產(chǎn)。此外，研究組還有兩個名為Analytics和Data的子組，而支持組則有兩個名為Training和Services的子組。需要為這些組和子組創(chuàng)建容量調(diào)度器隊列和子隊列，以便在集群中為其分配資源。第一步是為三個頂級組(研究、支持和生產(chǎn))創(chuàng)建隊列，如下所示:<property><name>yarn.scheduler.capacity.root.queues</name><value>support,research,production</value></property>在集群中設(shè)置調(diào)度器容量調(diào)度器支持分層隊列。層次化隊列有助于確保在另一個組被允許使用該組未使用的資源之前，資源能被組中的子隊列使用。創(chuàng)建頂級隊列后，必須在每個隊列中創(chuàng)建子隊列，而研究和支持組這兩個隊列都有子組。以下是配置子隊列的方法:<property><name>yarn.scheduler.capacity.support.queues</name><value>training,services</value></property>在集群中設(shè)置調(diào)度器<property><name>yarn.scheduler.capacity.research.queues</name><value>analytics,data</value><description>childqueuesunderResearch</description></property>在集群中設(shè)置調(diào)度器數(shù)字60、10和30表示集群中總?cè)萘康陌俜直?。任何隊?或子隊列)中的所有容量必須始終最多為100。注意，在capacity.scheduler.xml文件中實際配置這些屬性時，可以使用典型的XML格式來指定每個屬性，如:<property><name>yarn.scheduler.capacity.root.research.capacity</name><value>60</value></property>可以以相同的格式配置其他調(diào)度器屬性。在集群中設(shè)置調(diào)度器如前所述，可以在每個隊列中創(chuàng)建子隊列。所以我們繼續(xù)分配，假設(shè)研究組有兩個子組，即Analytics(分析)和Data(數(shù)據(jù))，你想以1:4的比例為他們分配資源，如下所示:yarn.scheduler.capacity.root.research.analytics.capacity=20yarn.scheduler.capacity.root.research.data.capacity=80在集群中設(shè)置調(diào)度器由于研究組已被分配了600GB(1000GB的60%)，所以分析葉子隊列將占用600GB的20%，即120GB，而研究組中的數(shù)據(jù)子組將獲得600GB的80%，即480GB。同樣，支持組還有兩個子組:培訓(xùn)和服務(wù)。假設(shè)希望他們平等地共享父隊列資源，則以1:1的比例為這兩個葉子隊列分配資源。如下所示:yarn.scheduler.capacity.root.support.training.capacity=50yarn.scheduler.capacity.root.support.services.capacity=50之前說過，為支持組分配總集群容量的10%，相當(dāng)于1