Oozie任務(wù)調(diào)度實戰(zhàn)實驗背景Oozie是一個基于工作流引擎的開源框架，能夠提供對Hadoop作業(yè)的任務(wù)調(diào)度與協(xié)調(diào)。Oozie支持提交多種類型任務(wù)，例如Hive、Spark、Loader、Mapreduce、Java、DistCp、Shell、HDFS、SSH、SubWorkflow、Streaming、定時任務(wù)等。實驗?zāi)康恼莆誒ozie常用操作。實驗前提實驗環(huán)境創(chuàng)建成功后，請等待1-2分鐘，后臺在執(zhí)行start-oms.sh腳本：執(zhí)行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看OMS的狀態(tài)，顯示信息表示主備OMS服務(wù)啟動正常再執(zhí)行下一步。在windows-client打開GoogleChrome瀏覽器登錄FusionInsightManager地址（00:8080/web）。登錄FusionInsightManager后，單擊“服務(wù)管理”，選擇“更多操作>啟動集群”。在彈出的提示框中單擊“確定”，開始啟動集群。界面提示“操作成功。”，單擊“完成”，集群成功啟動。使用SecureCRT工具登錄到fihsots-1節(jié)點上，接下來進行環(huán)境變量設(shè)置與用戶認證。cd/opt/hadoopclient/切換到客戶端安裝目錄。sourcebigdata_env配置環(huán)境變量。kinituser01進行用戶認證，輸入用戶密碼客戶端文件安裝于fihosts-1服務(wù)器的/opt/hadoopclient目錄中，認證用戶user01，密碼Huawei!@34實驗任務(wù)使用Oozie客戶端使用客戶端使用PuTTY工具，以客戶端安裝用戶，登錄安裝客戶端的節(jié)點。執(zhí)行以下命令，切換到客戶端安裝目錄。cd/opt/hadoopclient執(zhí)行以下命令配置環(huán)境變量。sourcebigdata_env判斷集群認證模式。kinit

組件業(yè)務(wù)用戶配置Hue拷貝Oozie客戶端配置文件：cp/opt/hadoopclient/Oozie/oozie-client-4.2.0/conf/hive-site.xml/opt/hadoopclient/Oozie/oozie-client-4.2.0/examples/apps/hivecp/opt/hadoopclient/Oozie/oozie-client-4.2.0/conf/hive-site.xml/opt/hadoopclient/Oozie/oozie-client-4.2.0/examples/apps/hive2上傳Oozie配置文件以及Jar包至HDFS：hdfsdfs-mkdir/user/exampleUserhdfsdfs-put-f/opt/hadoopclient/Oozie/oozie-client-4.2.0/examples/user/exampleUser/hdfsdfs-put-f/opt/hadoopclient/Oozie/oozie-client-4.2.0/share/lib/user/oozie/share/注：“exampleUser”為提交任務(wù)的人機用戶名。上傳Oozie配置文件上傳完成后建議重啟Oozie服務(wù)Oozie提交Loader作業(yè)創(chuàng)建Oozie工作流用戶通過Hue管理界面可以進行提交Oozie作業(yè)，提交作業(yè)之前，首先需要創(chuàng)建一個工作流。登錄FusionInsightManager，單擊“服務(wù)管理

>

Hue

>

Hue(主)

”，打開Hue管理界面。使用user01登錄Hue的Web管理界面。在界面上方選擇“Workflows

>

編輯器

>

Workflow”，打開Workflow編輯器。單擊“創(chuàng)建”按鈕，在操作列表中，選擇需要創(chuàng)建的作業(yè)類型，將其拖到操作界面中即可。新建Loader業(yè)務(wù)作業(yè)請參照《Loader數(shù)據(jù)導(dǎo)入導(dǎo)出實戰(zhàn)》實驗手冊的實驗1，準備好Loader的業(yè)務(wù)作業(yè)在新建Loader作業(yè)的最后一步“輸出設(shè)置”中，點擊“保存”，只保存不運行作業(yè)編輯Oozie工作流在工作流編輯頁面，選擇“Loader”按鈕，將其拖到操作區(qū)中。在彈出的“Loader”窗口中配置“作業(yè)ID”的值，例如“1”。然后點擊“添加”。

說明：JobID是需要編排的Loader作業(yè)的ID值，可從Loader頁面獲取單擊Oozie編輯器右上角的保存按鈕。保存前如果需要修改作業(yè)名稱（默認為“MyWorkflow”），可以直接點擊該名稱進行修改，例如“Loader-Workflow”。保存完成后，單擊，提交該作業(yè)。作業(yè)提交后，可通過Hue界面查看作業(yè)的詳細信息、日志、進度等相關(guān)內(nèi)容。單擊“Workflows>儀表板”，在打開的Oozie控制面板中可以查看Workflow、Coordinator、Bundle任務(wù)的相關(guān)信息。Oozie提交HDFS作業(yè)創(chuàng)建Oozie工作流請參照上實驗1的步驟1，新建Oozie工作流編輯Oozie工作流在工作流編輯頁面，選擇“HDFSFs”按鈕，將其拖到操作區(qū)中。在彈出的“HDFSFs”窗口中點擊“添加”。單擊“CREATEDIRECTORY+”，添加待創(chuàng)建的HDFS目錄。例如“/user/admin/examples/output-data/mkdir_workflow”和“/user/admin/examples/output-data/mkdir_workflow1”。單擊Oozie編輯器右上角的保存按鈕。保存前如果需要修改作業(yè)名稱（默認為“MyWorkflow”），可以直接點擊該名稱進行修改，例如“HDFS-Workflow”。保存完成后，單擊，提交該作業(yè)。作業(yè)提交后，可通過Hue界面查看作業(yè)的詳細信息、日志、進度等相關(guān)內(nèi)容。驗證HDFS下是否有創(chuàng)建文件>hdfsdfs-ls/user/admin/examples/output-dataFound2itemsdrwxr-xr-x-user01hadoop02019-06-1815:34/user/admin/examples/output-data/mkdir_workflowdrwxr-xr-x-user01hadoop02019-06-1815:34/user/admin/examples/output-data/mkdir_workflow1提交JobDesign-HDFS作業(yè)該任務(wù)指導(dǎo)用戶通過Hue的作業(yè)設(shè)計器頁面，提交HDFS類型的Oozie作業(yè)。打開Hue，點擊進入。在作業(yè)設(shè)計器頁面，選擇“新操作”里面的。出現(xiàn)如下視圖：配置參照如下示例。名稱：Hdfs-JobDesign描述：Hdfs-JobDesig