主講：邵思思任務(wù)調(diào)度器-Oozie簡(jiǎn)介Oozie英文翻譯為：馴象人。一個(gè)基于工作流引擎的開(kāi)源框架，由Cloudera公司貢獻(xiàn)給Apache，提供對(duì)HadoopMapReduce、PigJobs的任務(wù)調(diào)度與協(xié)調(diào)。Oozie需要部署到JavaServlet容器中運(yùn)行。主要用于定時(shí)調(diào)度任務(wù)，多任務(wù)可以按照?qǐng)?zhí)行的邏輯順序調(diào)度。oozie是一個(gè)javaweb程序，它運(yùn)行在javaservlet容器-即tomcat中，并且使用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)以下內(nèi)容，1、工作流定義2、當(dāng)前運(yùn)行的工作流實(shí)例，包括實(shí)例的狀態(tài)和變量。oozie工作流是放置在控制依賴(lài)DAG有向無(wú)環(huán)圖中的一組動(dòng)作，例如說(shuō)shellmapreduce還有一些pig腳本作業(yè)等，會(huì)按照一定的順序執(zhí)行，我們會(huì)使用一種HPDL(一種xml流程定義語(yǔ)言)任務(wù)調(diào)度器-Oozie的作用oozie是一個(gè)workflow(工作流)協(xié)調(diào)系統(tǒng),是由Cloudera公司貢獻(xiàn)給Apache的,主要用來(lái)管理Hadoop作業(yè)(job)。屬于web應(yīng)用程序，由oozieclient和oozieserver兩個(gè)組件構(gòu)成。oozieserver運(yùn)行于javaservlet容器（tomcat）中的web程序，如下圖所示。為什么需要Oozie對(duì)于較為復(fù)雜的Hadoop作業(yè)系統(tǒng)來(lái)說(shuō),單純的依靠shell腳本方式,手工方式調(diào)度是的流程更加難以控制。復(fù)雜系統(tǒng)的算法需要很多不同的作業(yè)(如mr,Java程序,shell腳本,hivesql,sqoop,spark等)按照特定的順序,串行并行,不同時(shí)間,不同條件進(jìn)行執(zhí)行,就需要oozie這樣的調(diào)度系統(tǒng)做支撐,將復(fù)雜問(wèn)題簡(jiǎn)單化。

oozie能帶來(lái)什么將hadoop生態(tài)系統(tǒng)中常見(jiàn)的mr任務(wù)啟動(dòng),hdfs操作,shell調(diào)度,hive操作等通過(guò)統(tǒng)一方式進(jìn)行調(diào)度。將復(fù)雜的依賴(lài)關(guān)系,時(shí)間觸發(fā),事件觸發(fā)使用xml語(yǔ)言進(jìn)行表達(dá),提高開(kāi)發(fā)效率。一組任務(wù)使用一個(gè)DAG(有向無(wú)環(huán)圖)來(lái)表示,圖形化的表達(dá),流程邏輯更加清晰。支持很多種任務(wù)調(diào)度,能完成大部分的hadoop任務(wù)處理。程序定義支持EL常量和函數(shù),寫(xiě)過(guò)shell腳本的小伙伴使用根本沒(méi)難度。任務(wù)調(diào)度器-Oozie架構(gòu)組成oozie包含四大服務(wù)組件Workflow、Coordinator、Bundle和SLA。Workflow：順序執(zhí)行流程節(jié)點(diǎn)，支持fork（分支多個(gè)節(jié)點(diǎn)），join（合并多個(gè)節(jié)點(diǎn)為一個(gè)），該組件用于定義和執(zhí)行一個(gè)特定順序的MapReduce、Hive和Pig作業(yè)等。Coordinator：定時(shí)觸發(fā)workflow，該組件用于支持基于事件、系統(tǒng)資源存在性等條件的workflow的自動(dòng)化執(zhí)行；（簡(jiǎn)單地理解為工作流的協(xié)調(diào)器，可以將多個(gè)workflow工作流協(xié)調(diào)成一個(gè)coordinator工作流來(lái)進(jìn)行處理）。Bundle：綁定多個(gè)Coordinator，該引擎可以定義和執(zhí)行“一束”應(yīng)用，從而提供一個(gè)批量化的方法，將一組coordinator應(yīng)用程序一起進(jìn)行管理。SLA：Oozie服務(wù)水平協(xié)議（ServiceLevelAgreement，SLA）：該組件支持workflow應(yīng)用程序執(zhí)行過(guò)程的記錄跟蹤。任務(wù)調(diào)度器-Azkaban簡(jiǎn)介Azkaban是由Linkedin公司推出的一個(gè)批量工作流任務(wù)調(diào)度器，主要用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程，它的配置是通過(guò)簡(jiǎn)單的key:value對(duì)的方式，通過(guò)配置中的dependencies來(lái)設(shè)置依賴(lài)關(guān)系，這個(gè)依賴(lài)關(guān)系必須是無(wú)環(huán)的，否則會(huì)被視為無(wú)效的工作流。Azkaban使用job配置文件建立任務(wù)之間的依賴(lài)關(guān)系，并提供一個(gè)易于使用的web用戶(hù)界面維護(hù)和跟蹤你的工作流。任務(wù)調(diào)度器-Azkaban簡(jiǎn)介Azkaban關(guān)鍵組件Azkaban由三個(gè)關(guān)鍵組件構(gòu)成，如圖所示1.關(guān)系型數(shù)據(jù)庫(kù)（MySQL）Azkaban使用數(shù)據(jù)庫(kù)存儲(chǔ)大部分狀態(tài)，AzkabanWebServer和AzkabanExecutorServer都需要訪問(wèn)數(shù)據(jù)庫(kù)。2.AzkabanWebServerAzkabanWebServer是整個(gè)Azkaban工作流系統(tǒng)的主要管理者，它負(fù)責(zé)project管理、用戶(hù)登錄認(rèn)證、定時(shí)執(zhí)行工作流、跟蹤工作流執(zhí)行進(jìn)度等一系列任務(wù)。同時(shí)，它還提供Web服務(wù)操作的接口，利用該接口，用戶(hù)可以使用curl或其他ajax的方式，來(lái)執(zhí)行azkaban的相關(guān)操作。操作包括：用戶(hù)登錄、創(chuàng)建project、上傳workflow、執(zhí)行workflow、查詢(xún)workflow的執(zhí)行進(jìn)度、殺掉workflow等一系列操作，且這些操作的返回