SkyNet調(diào)度系統(tǒng)使用手冊(cè)當(dāng)前版本V0.0.2作者劉曉文

修改記錄更新時(shí)間版本修訂人修改內(nèi)容2014/12/30V0.0.1劉曉文初始創(chuàng)建2015/5/4V0.0.2劉曉文貝聞功能介紹、HTTP接口目錄TOC\o"1-5"\h\z第1章系統(tǒng)概述5背景5系統(tǒng)架構(gòu)6名詞解釋6系統(tǒng)模塊6系統(tǒng)特性7系統(tǒng)核心功能7第2章DashBoard8頁面8功能8第3章任務(wù)維護(hù)9添加任務(wù)9頁面9功能9查詢操作任務(wù)11頁面11查詢?nèi)蝿?wù)11運(yùn)行任務(wù)12查看任務(wù)依賴13修改任務(wù)13刪除任務(wù)14第4章任務(wù)依賴15查詢依賴15添加任務(wù)依賴15刪除任務(wù)依賴15查看任務(wù)最后一次運(yùn)行詳情16第5章任務(wù)監(jiān)控17頁面17查詢?nèi)蝿?wù)運(yùn)行歷史17查看任務(wù)運(yùn)行日志18重做任務(wù)18KILL任務(wù)19第6章告警配置20添加任務(wù)告警20任務(wù)失敗告警21任務(wù)超時(shí)未完成告警（暫未實(shí)現(xiàn)）21查詢?nèi)蝿?wù)告警配置21修改任務(wù)告警22刪除任務(wù)告警23查詢告警發(fā)送記錄23第7章系統(tǒng)部分運(yùn)行原理23業(yè)務(wù)類型23程序路徑24指定任務(wù)運(yùn)行主機(jī)24調(diào)度的延遲24附錄A動(dòng)態(tài)時(shí)間參數(shù)27附錄BQuartz時(shí)間表達(dá)式28附錄C定時(shí)任務(wù)配置流程29附錄D依賴任務(wù)配置流程29第1章系統(tǒng)概述1.1背景大數(shù)據(jù)平臺(tái)技術(shù)框架支持的開發(fā)語言多種多樣，開發(fā)人員的背景差異也很大，這就產(chǎn)生出很多不同類型的程序（任務(wù)）運(yùn)行在大數(shù)據(jù)平臺(tái)之上，如：MapReduceHive、Pig、Spark、JavaShelkPython等。這些任務(wù)需要不同的運(yùn)行環(huán)境，并且除了定時(shí)運(yùn)行，各種類型之間的任務(wù)存在依賴關(guān)系，一張簡單的任務(wù)依賴圖如下：目前各業(yè)務(wù)的數(shù)據(jù)任務(wù)基本都是靠Crontab定時(shí)調(diào)度，各個(gè)任務(wù)之間的依賴僅靠簡單的串行來實(shí)現(xiàn)。這樣做的問題：很容易造成前面的任務(wù)未結(jié)束或者失敗，后面的任務(wù)也運(yùn)行起來，最終跑出錯(cuò)誤的分析結(jié)果；任務(wù)不能并發(fā)執(zhí)行，增加任務(wù)執(zhí)行的整體時(shí)間窗口；任務(wù)管理和維護(hù)很不方便，不好統(tǒng)計(jì)任務(wù)的執(zhí)行時(shí)間及運(yùn)行日志；缺乏及時(shí)有效的告警；SkyNet調(diào)度監(jiān)控系統(tǒng)，正是為了解決以上問題。1.21.2系統(tǒng)架構(gòu)JobClient/WebI慢汴任務(wù)疊詢狀態(tài)維護(hù)賽總JobWorkerJobWorker'..r/Dy/nr/n^.415/Er/，QC1.2.1名詞解釋SkyNet任務(wù)調(diào)度監(jiān)控系統(tǒng)的名稱。Job/任務(wù)一個(gè)程序運(yùn)行單元，比如，一個(gè)MapReduce程序、一個(gè)Shell腳本等。業(yè)務(wù)日期每個(gè)程序運(yùn)行所處理的數(shù)據(jù)日期。Jobinstance任務(wù)實(shí)例一次任務(wù)運(yùn)行實(shí)例，因升-個(gè)任務(wù)在同一業(yè)務(wù)日期可能會(huì)運(yùn)行多次。資源任務(wù)運(yùn)行的節(jié)點(diǎn)（主機(jī)）DataHub數(shù)據(jù)交換機(jī)，用于異構(gòu)數(shù)據(jù)源時(shí)間的數(shù)據(jù)交換。1.2.2系統(tǒng)模塊JobManagenSkyNet的Master,提供RPC服務(wù)，接收并處理JobClient/Web提交的所有操作；與元數(shù)據(jù)通訊，維護(hù)Job元數(shù)據(jù)；負(fù)責(zé)任務(wù)的統(tǒng)一配置維護(hù)、觸發(fā)、調(diào)度、監(jiān)控JobMonitor:監(jiān)控正在運(yùn)行的Job狀態(tài)、監(jiān)控任務(wù)池、監(jiān)控等待運(yùn)行的Job;JobWorker：SkyNet的Slavey從任務(wù)7tk中獲取Job、負(fù)責(zé)啟動(dòng)并收集Job的執(zhí)行狀態(tài)，維護(hù)至元數(shù)據(jù)庫；JobClient/Web:SkyNet客戶端類，前端界面提供給用戶，用作任務(wù)的配置、管理、監(jiān)控等；任務(wù)元數(shù)據(jù)：目前使用Mysql,保存Job的配置、依賴關(guān)系、運(yùn)行歷史、資源配置、告警配置等；1.2.3系統(tǒng)特性分布式架構(gòu)：容量和負(fù)載能力(JobWorker)可線性擴(kuò)充；高可用性：擁有主備Master,一旦主Master異常，備Master會(huì)接替主Master提供服務(wù)(后期實(shí)現(xiàn))；高容錯(cuò)性：Master重新啟動(dòng)后，會(huì)將之前未完成的任務(wù)重新調(diào)度運(yùn)行；完善易用的Web用戶界面：用于用戶配置、提交、查詢、監(jiān)控任務(wù)及任務(wù)的依賴關(guān)系；支持任意類型的任務(wù)：除了Hadoop生態(tài)圈的MapReduceHive、Pig等，還支持其他任何語言開發(fā)的任務(wù)，如JavaShell、Python、Perl、Spark等；完整的日志記錄：收集并記錄任務(wù)運(yùn)行過程中產(chǎn)生的標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤，提供Http訪問，用戶可通過訪問任務(wù)對(duì)應(yīng)的日志Url來方便的訪問任務(wù)運(yùn)行日志；任務(wù)之間的靈活依賴：可將任意一個(gè)任務(wù)作為自己的父任務(wù)進(jìn)行依賴觸發(fā)；靈活多樣的告警規(guī)則：除了失敗告警，也支持任務(wù)超時(shí)未完成、任務(wù)超時(shí)未開始等告警規(guī)則；1.3系統(tǒng)核心功能任務(wù)的管理和維護(hù)：添加、修改、刪除、運(yùn)行、重做、Kill任務(wù)；任務(wù)依賴關(guān)系維護(hù)：添加、修改、刪除任務(wù)之間的依賴關(guān)系；查詢：根據(jù)業(yè)務(wù)類型、任務(wù)ID查詢?nèi)蝿?wù)；根據(jù)任務(wù)ID查詢?nèi)蝿?wù)的父、子任務(wù)；根據(jù)任務(wù)狀態(tài)、任務(wù)ID、任務(wù)實(shí)例ID、任務(wù)創(chuàng)建時(shí)間、業(yè)務(wù)日期查詢?nèi)蝿?wù)運(yùn)行情況；根據(jù)任務(wù)ID查詢?nèi)蝿?wù)告警配置信息；根據(jù)任務(wù)ID、告警發(fā)送時(shí)間、告警發(fā)送狀態(tài)查詢告警發(fā)送記錄；查詢?nèi)蝿?wù)的運(yùn)行完整日志；任務(wù)告警：配置、修改、刪除任務(wù)告警；第2章DashBoard2.1頁面任務(wù)資源主機(jī)任務(wù)類型員大可運(yùn)行任務(wù)教正在運(yùn)行任務(wù)數(shù)□ATAHUBSQ0IHIVE200JAVAIDaMR500PYTHON500SHELLID0DATAHUB500SMELLSO0JAVA3002.2功能SkyNet系統(tǒng)任務(wù)和資源情況的整體監(jiān)控任務(wù)總共任務(wù)數(shù)：系統(tǒng)中所有的任務(wù)數(shù)量；點(diǎn)擊進(jìn)入“查詢操作任務(wù)”頁面。正在運(yùn)行：當(dāng)天，正在運(yùn)行的任務(wù)數(shù)量；點(diǎn)擊進(jìn)入“任務(wù)監(jiān)控”頁面。成功：當(dāng)天，運(yùn)行成功的任務(wù)數(shù)量；點(diǎn)擊進(jìn)入“任務(wù)監(jiān)控”頁面。失?。寒?dāng)天，運(yùn)行失敗的任務(wù)數(shù)量；點(diǎn)擊進(jìn)入“任務(wù)監(jiān)控”頁面。等待：當(dāng)天，等待運(yùn)行的任務(wù)數(shù)量；點(diǎn)擊進(jìn)入“任務(wù)監(jiān)控”頁面。資源系統(tǒng)中所有的資源（JobWorker莊機(jī)名、可運(yùn)行的任務(wù)類型、該任務(wù)類型最多可運(yùn)行的任務(wù)數(shù)量、該任務(wù)類型正在運(yùn)行的任務(wù)數(shù)量；第3章任務(wù)維護(hù)添加任務(wù)頁面點(diǎn)擊"任務(wù)維護(hù)“添加任務(wù)”進(jìn)入功能向系統(tǒng)中添加任務(wù)。任務(wù)名稱：填入該任務(wù)的名稱，長度：200字節(jié)任務(wù)類型：從下拉菜單中選擇任務(wù)類型，JAVASHELLMR等。任務(wù)業(yè)務(wù)日期格式：該任務(wù)要處理的數(shù)據(jù)日期格式，支持天和小時(shí)的日期格式，如，${yyyy-MM-dd,-2d}表示兩天前，${yyyy-MM-dd-HH,-1H}表示一小時(shí)前。（具體用法見附錄A解釋）；程序路徑：程序所在的絕對(duì)路徑，支持本地路徑和HDFS各徑，如：/home/liuxiaowen/jobs/shell-job.sh、hdfs:〃namenode/tmp/lxw/jobs/java-job.jar注意：當(dāng)程序存儲(chǔ)在HDFS上時(shí)候，填入正確的HDFS各徑，以“hdfs://開頭，區(qū)分大小寫；執(zhí)行任務(wù)的用戶（跟業(yè)務(wù)類型有關(guān)）必須有訪問權(quán)限。當(dāng)程序存儲(chǔ)在本地目錄時(shí)候，必須在JobWorker所在機(jī)器的本地目錄，且執(zhí)行任務(wù)的用戶（跟業(yè)務(wù)類型有關(guān)）必須有訪問權(quán)限。程序運(yùn)行類型：當(dāng)任務(wù)類型為JAVAMR時(shí)候，指定程序運(yùn)行的類名，如：com.lxw.test.TestJavaSuccessJob他任務(wù)類型留空即可。程序運(yùn)行參數(shù)：程序運(yùn)行需要的參數(shù)，多個(gè)參數(shù)以空格分開，系統(tǒng)會(huì)將該值整體傳給程序運(yùn)行，這里可以加動(dòng)態(tài)時(shí)間參數(shù)，程序在調(diào)度時(shí)候，會(huì)以真實(shí)的業(yè)務(wù)日期，替換其中的動(dòng)態(tài)時(shí)間參數(shù)。比如：業(yè)務(wù)日期設(shè)置為${yyyy-MM-dd,-1d},今天（2015-05-04）調(diào)度時(shí)候根據(jù)當(dāng)前時(shí)間，得到的真實(shí)業(yè)務(wù)日期為2015-05-03,而程序運(yùn)行參數(shù)中有day=${yyyy-MM-dd,-1d},此處替換時(shí)候會(huì)以2015-05-03為基準(zhǔn)時(shí)間，替換后為day=2015-05-02程序定時(shí)運(yùn)行時(shí)間：當(dāng)程序需要定時(shí)運(yùn)行時(shí)候，填入Quartz時(shí)間表達(dá)式（具體用法見附錄B解釋）；業(yè)務(wù)類型：根據(jù)實(shí)際業(yè)務(wù)，選擇業(yè)務(wù)類型；注意：業(yè)務(wù)類型和程序執(zhí)行所使用的用戶有關(guān)，特別是和Hadoop有關(guān)的任務(wù)，如：wizad業(yè)務(wù)使用wizad用戶、ut業(yè)務(wù)使用ut用戶；如果沒有自己的業(yè)務(wù)類型或者想使用其他用戶執(zhí)行程序，請(qǐng)與管理員聯(lián)系；任務(wù)說明：對(duì)該任務(wù)的說明，可空；指定運(yùn)行主機(jī)：一般不填。如果需要指定程序到哪臺(tái)機(jī)器上運(yùn)行，請(qǐng)?zhí)钊胫鳈C(jī)名，前提是指定的主機(jī)上必須運(yùn)行著JobWorker服務(wù)，具體使用請(qǐng)與管理員聯(lián)系。失敗重試次數(shù)：當(dāng)任務(wù)失敗時(shí)候，可以重試10次以下。失敗重試間隔：任務(wù)失敗重試時(shí)間問隔，單位為秒，最低60秒。失敗執(zhí)行命令：任務(wù)最終失敗時(shí)，執(zhí)行該命令，用于失敗后處理，比如：sh/tmp/jobfailed.sh${yyyy-MM-dd}這里可以用動(dòng)態(tài)時(shí)間參數(shù)，替換規(guī)則同程序運(yùn)行參數(shù)中的替換規(guī)則。父任務(wù)：在添加任務(wù)時(shí)候，可以直接指定依賴的父任務(wù)，ID以逗號(hào)分隔。點(diǎn)擊“添加任務(wù)”按鈕之后，彈出框會(huì)顯示操作結(jié)果。如果結(jié)果中是剛添加的任務(wù)信息，首個(gè)數(shù)字為任務(wù)ID,如下圖所示：添加任務(wù)［S7M1J-10-2411014,2OU-1024廿心1q1一就％住母,JW/AAKKhti/luji加惘㈡?nHoojar.tofli.bcw.tni.修!1總vaLongJob.XyyyaMM&d./?一。1HER』］試」髓*衢用」Ctot?則表示添加成功，點(diǎn)擊”Clos被鈕之后，會(huì)跳轉(zhuǎn)至任務(wù)查詢頁面，顯示剛才添加的任務(wù)。如果彈出框中顯示null或其他信息，則表示添加失敗。查詢操作任務(wù)頁面點(diǎn)擊"任務(wù)維護(hù)”查詢操作任務(wù)”進(jìn)入4-i■BHE#HAMAl■E1Hi上mSfl4*t*afrkgiNONKWffcQMg■MinmeoKIH,"能11*燦?F0.**100^1ir4nnijEfTiir**0**--￡H><A?1*/F<ih■Rr!*'■onqk4bfCpauKdi■?f?i?NM-"a1*■*1'卜1?4丐妣F*iQMpi■4V(4|-L3Uh-wi*X3，.ftvi*■.FTTFiNUgJIMa0ci?^金靠罰兇0'■*2n^A觸0昌加Ml.li^HVHA-fl?—HIah1^HHFW4i<mn■01■WW4I*f|tgWBMf”■鼻］*WMahM■*■11?4?j■Ifefl3CKVIXI?4wHMQ』VHfIITiVpnrWHU■“QTPHW4■?■qN?ijnrS4L—Mn°'^np-nm■K-nt~~orwa匚?查詢?nèi)蝿?wù)可選擇業(yè)務(wù)類型，輸入任務(wù)ID查詢?nèi)蝿?wù)列表。可以輸入任務(wù)名稱進(jìn)行查詢，支持模糊匹配；可以選擇任務(wù)類型進(jìn)行查詢；多種查詢條件可任意組合；默認(rèn)顯示所有的任務(wù)列表。顯示的內(nèi)容包括：任務(wù)ID、任務(wù)名稱；程序路徑、程序類名、程序運(yùn)行參數(shù)；程序定時(shí)運(yùn)行Quartz表達(dá)式；業(yè)務(wù)類型；指定運(yùn)行的主機(jī)名；運(yùn)行任務(wù)點(diǎn)擊某條任務(wù)前面的“運(yùn)行“超鏈接，彈出提交任務(wù)的彈出框:填入業(yè)務(wù)日期，日期格式必須與程序運(yùn)行參數(shù)中指定的日期格式一致點(diǎn)擊某條任務(wù)前面的“運(yùn)行“超鏈接，彈出提交任務(wù)的彈出框:填入業(yè)務(wù)日期，日期格式必須與程序運(yùn)行參數(shù)中指定的日期格式一致選擇是否需要運(yùn)行子任務(wù)：如果選擇"不運(yùn)行子任務(wù)”，則只運(yùn)行該任務(wù)本身；如果選擇“運(yùn)行子任務(wù)”，則會(huì)將該任務(wù)及所有該任務(wù)的子孫任務(wù)依次運(yùn)行（運(yùn)行失敗的任務(wù)其子任務(wù)不會(huì)運(yùn)行）；點(diǎn)擊“提交"按鈕，彈出框中會(huì)顯示任務(wù)的提交結(jié)果：提交任務(wù)任務(wù)I口任務(wù)I口22014-10-10不運(yùn)行子任勞[rnjeojotj⑶MS成功?joomstanceM[20因]一joe_run_nos(|ob_t>atcn_njob_tHJSfnes.s_tn?42014=1,.一」.上Ci3se如果顯示"true,任務(wù)提交成功”，則表示任務(wù)提交成功，關(guān)閉后跳轉(zhuǎn)至任務(wù)監(jiān)控頁面。如果顯示"false,'則表示任務(wù)提交不成功，同時(shí)將相關(guān)的原因顯示出提交任務(wù)帙知口2業(yè)務(wù)日^^014100910斗運(yùn)什子任券歸岫必&琳job陽傳入的業(yè)打日期即格式不正礴！格式為［Kyyyy-MM-dd-1^11Close

在任務(wù)查詢頁面點(diǎn)擊依賴”超鏈接，跳轉(zhuǎn)到任務(wù)依賴頁面，顯示該任務(wù)的下級(jí)依賴任務(wù)。詳見第4章介紹。3.2.5修改任務(wù)在任務(wù)查詢頁面點(diǎn)擊修改"超鏈接，跳轉(zhuǎn)至修改該任務(wù)的頁面修改任務(wù)屬性，點(diǎn)擊”修改任務(wù)”按鈕。彈出框顯示修改結(jié)果。和添加任務(wù)結(jié)果類似，如果顯示修改過的任務(wù)信息，則表示修改成功,關(guān)閉后跳轉(zhuǎn)至任務(wù)查詢頁面，顯示該任務(wù)信息。如果是其他信息，則表示修改失敗3.2.6刪除任務(wù)在任務(wù)查詢頁面點(diǎn)擊“刪除“超鏈接，彈出刪除任務(wù)確認(rèn)對(duì)話框點(diǎn)擊“刪除"按鈕，顯示任務(wù)刪除操作結(jié)果如果顯示"true,則表示刪除成功，否則刪除失敗，并且會(huì)提示失敗原因注意：當(dāng)一個(gè)任務(wù)依賴其他任務(wù)，或者被其他任務(wù)依賴，則不能刪除。必須先刪除其依賴關(guān)系，之后才能刪除任務(wù)。第4章任務(wù)依賴查詢依賴輸入任務(wù)ID,選擇“找下級(jí)“或者“找下級(jí)”，點(diǎn)擊查詢SUCCE5iSQlUMNIWgWVMTTHOFAJLJEOKU-ED默認(rèn)會(huì)顯示任務(wù)樹中所有任務(wù)昨天執(zhí)行的結(jié)果狀態(tài)圖示；如果需要查詢某一個(gè)業(yè)務(wù)日期的執(zhí)行結(jié)果圖示，則填入業(yè)務(wù)日期和任務(wù)ID,查詢即可。添加任務(wù)依賴點(diǎn)擊”添加依賴”按鈕，出現(xiàn)添加任務(wù)依賴彈出框，填入父任務(wù)ID和子任務(wù)ID,點(diǎn)擊“添加“按鈕。結(jié)果顯示"true,”則添加成功，"false添加失敗。注意：輸入的父任務(wù)ID和子任務(wù)ID必須存在，也就是說，必須先添加任務(wù)，之后才能添加任務(wù)依賴。刪除任務(wù)依賴點(diǎn)擊“刪除依賴”按鈕，出現(xiàn)刪除任務(wù)依賴彈出框，填入父任務(wù)ID和子任務(wù)ID,點(diǎn)擊“刪除“按鈕。

結(jié)果顯示"true,”則刪除成功，"false刪除失敗。查看任務(wù)最后一次運(yùn)行詳情在任務(wù)依賴圖中點(diǎn)擊一個(gè)任務(wù)ID,出現(xiàn)彈出框，顯示該任務(wù)最后一次運(yùn)行詳情。其中，點(diǎn)擊運(yùn)行日志中的URL可查看任務(wù)運(yùn)行日志-21■■等網(wǎng)虹公司網(wǎng)小mdm閉滋展二常卻用此丹符工N園LHR?*百覽5修兜電燈的*X二，二口心與工明?小14/C1^/10/2^f二口f1三1</；dZ3M1*/14.-'L&/21工■「工W?q[*二w;q14/L.&/L114/1D/J4:耳廠W2。二■『二Wwnunm14/L4/1W34"，；-qi^iy1&/21[嘎門酊M14/W/24M/15Z2114/10/5114/應(yīng)M1^71ft/214/1^14W：B/M二型二⑷皿加14/19^2□TdJ□工cit門打amma7：MneiO^iSSiDSigi：□7:：3Sifl"07-ISiSCa?EHiga07:33;QTiM;ECITE)?4DJ-37im由士口￡07sMsQ4mxe口0T-36：ll由Tt±07;$4;130T：；Z3anHuisa7：-3€ii;mfi?±9者±±W!Omi口普*@3J7：3€j12□T“死1137；；1：=：07^34:130713491307UCU3◎ha￡iu0T；34>：1307:3C:L307iMlUa7三韋；：三Q"g?t94H3O7I3?T13□7136^X1S7;祥三3^t13GTE31119黑丁黑祟邛未黑黑米F黑S1IIT1IITTiillTAltITilllizrlac?zsat:LDtalTzidrttci.itcproce:1iIJus.^f.LSatJLVtCe.i*L±aA±±jL±a.>3i=dSfiMVailEriiryHO.LlOCfld?a!SL^H?fUllVleadedL.iRlClillZerl足IXlUtlltilltfjrvfgfilEihlb7riti>!：JahC1=*nti6ufinfct：g二二翦；5_/口二4Kl與n二匚二『IE，。hupte^l.JobCllEht-：tnap04￡*1-.StOtmgi>?atoClA?n?i]?=rs-1.?chC12-s.RCjiui|pre-1&J^bC工1.?etznaprvd.JabClh?N，iiragprei.^abCl^erit.;iuig;r1：1.rdtedisDe5mpred.JubC工[1ciap￥"1-二匕kit品i-E-RC:■ndfriMvCllcntsmprH■JabClA?n?iiraarBl.Jdi!Cli*!：c:g匚i■士i.0匚二：U{bF*di.JdkMClL*niE1mipred.wabClienC,;njai：re1.-abdieDt.;MP，◎*-*IGXETdaf.fiTtre-i'jceiti*PflJTadneA6*rap*：*「IwcwO*gjfIDlJtredsce3*maf.J.?501i■d.'j.zeM工。◎、XX414C4加4喬IODIhH1Ti±l1F￡+□■1001reduceV/rvducflH，ELBE1DD1r-H'JCB丁[*ETAP1OD1ZEduce以0，HR1QMMdUrdtIM，■.□bryeLet，：:口ZLW「9l務(wù)?一巴_3153E^□,jnteTB：2WME*r?1luprTTJ6TOrut戶ElI叩&rf?prri工工工。/EtxroawrZIWTOJMRrElT￥POiMp1fteiusfrel工整時(shí)itjer*aIKTCIMfOiu二riTWTOitm|>r*I1MP&n^prelisrcggrE士limruprtlIKFO2pr7J?"PQ|.!IKmMamalypcwr?12ETCJt￡frslIXTCnJpfi^TKFiO“pr*it加上《iu[re1X1F0MirtaJatoCli?ns：iZateClien^!JsteCli?ntiJatClltnc]JaMlienc^-OfcsCl5,,用箱ilabClleht.^JabClA?nci:mSWGJafedlenitjJab￡lk?nE.iJgtsdicnt;JabCllen-:JatoClivnciHqHI:加“Lk-lW；JabClienci二口h3￡陽JahCli-enEJ比bCIl-Bt!JobCliiiBifiCsJabCliEnt.;JtStaClKnciJ4bC?UJ1C?EHLaixine2LE±Mtd^cera31T3-1*l-才I1gt?_MiTX1fl_MAr!l-當(dāng)￡&CJ:Stinwby411r*，u里/耳??！,&[ng?EE*er?i<rvnng?Lot,[q二中匚mrujpt口:口二23utf'SnHe;;czexr^ua-n^q二二sc："?二m-工―皿4±0.3St3-2lAuncnediwcbsiej-j?tt.t~s_,arDr：T.i-FlieLe?￡:aunt-ei■TIZoE.&niAREAD-n，*3」了4n電:”BVH5HElHEHm口?IzE_BrrfitrEx^&二自』且HR，中二了法TTTTH*UHK941ECap-fce-3ii.-efcraW'ewTzkReeSu二七iziiZ'atpr:ur431：46C?biatauzpuc??=t]：??:口9>?*4*HAfjmp.工整?"口工斗<17二5HEU=1*結(jié)1t?-，川口~3Reducekvtipu=Spille-3R￡2Ek”MMQHi?zutfJi：tjj-?:e--l*T37-t-B2Cofthin.41沖ulit■也門flidMMHrrmXpuErw-E^rdii4-8-]2白『―4,6SSE一上1_比3_且￥畦3-2ILR?flUC?lliFut.r*七百*3J*-金*才[$第5章任務(wù)監(jiān)控5.1頁面點(diǎn)擊”任務(wù)監(jiān)控”菜單進(jìn)入。默認(rèn)顯示前10條任務(wù)運(yùn)行歷史（按照創(chuàng)建時(shí)間排序）5.2查詢?nèi)蝿?wù)運(yùn)行歷史根據(jù)任務(wù)狀態(tài)、任務(wù)ID、任務(wù)實(shí)例ID、任務(wù)創(chuàng)建時(shí)間（任務(wù)運(yùn)行記錄創(chuàng)建時(shí)間）、業(yè)務(wù)日期這幾個(gè)條件任意組合篩選查詢；顯示的內(nèi)容包括：任務(wù)ID、任務(wù)實(shí)例ID、運(yùn)行節(jié)點(diǎn)、任務(wù)狀態(tài)、業(yè)務(wù)時(shí)問、任務(wù)開始時(shí)間、任務(wù)結(jié)束時(shí)間、運(yùn)行日志、提交標(biāo)記、等待標(biāo)記。提交標(biāo)記：0,表示系統(tǒng)自動(dòng)提交的任務(wù)；1,表示用戶手動(dòng)提交的任務(wù)；等待標(biāo)記：當(dāng)任務(wù)狀態(tài)為等待（WAITTING時(shí)才有意義。0,表示沒有資源而等待；1,表示父任務(wù)未全部完成而等待。查看任務(wù)運(yùn)行日志點(diǎn)擊任務(wù)監(jiān)控頁面某個(gè)運(yùn)行記錄中運(yùn)行日志的URL即可打開該任務(wù)實(shí)例的運(yùn)行日志頁面。T&EA3T&EA31m/lO/24-112^tilHUSXFIWHZl：3i：ll睥I日141/10/2421JR-'YJg'MiltlScll"l<2>aS>XJ2：l-€-LZ-24LZeZSjX：2C14-LS-24L1I31I1JWl-11I2911J工二lE-L二一ETL2；Z3i療問宅安公正同過治仙防不物試意用網(wǎng)琥開聊工a心聯(lián)n羈m?宓也r.好兀修可IsuzictxziQJcfc工a-2-二上二B-eat&曲己?8swifl**?teGsift?1ases?m?*Kj.111KnuaiLMldHfJOfe1T-SHIzom事Mi，n*Mim4JCll-12-J^Ml-Ml*-Id*J21112「XMTractap?皿,IbMVH<1WN/3AdVtUl?-3Hx4zuji-/lacaJ./^aSzap-G-￡0.2/bLn./"lalzcpj^b-匕￡:lifcN工1總士電UMt二im19dl力門翻903工?！鱿x1仙才電1*iisa'f！務(wù)IHl31d?H-39^"*1tnfatSuge-3snuartoersrnurter0里=召啦Q州七.??>?，Shy-33-3，匕”,一5f[：/中?_4，七7?9?￡；?*■SEu4◎09一■三agrMPru=**FU|1Iflt.***531as-有?I1.;面％Ulh.106%H*.r?d-je-tUE■■!f￥-3UCV?1""UE>-rvaucv■?。州qe立圜:r7u0?rrtdVfit■6曹2.E'Cli￡j.iei3^ab，2bt_20：-ICSIS111B_3liifiKJ即總配MJebsU/eKEg二注O'Hap!2BHDFEKfrfid￡"Z613373-1.三:D：FE；!m二ETZCES5重做任務(wù)在任務(wù)監(jiān)控頁面，當(dāng)任務(wù)狀態(tài)為結(jié)束狀態(tài)（SUCCESSFAILEDKILLED時(shí)候,點(diǎn)擊任務(wù)實(shí)例左側(cè)的“重做任務(wù)”超鏈接，出現(xiàn)提交任務(wù)的彈出框。

業(yè)務(wù)日期默認(rèn)為任務(wù)實(shí)例中的業(yè)務(wù)日期（可修改），選擇是否運(yùn)行子任務(wù),點(diǎn)擊“提交"按鈕。結(jié)果中出現(xiàn)"trues交成功”則表示提交成功KILL任務(wù)在任務(wù)監(jiān)控頁面中，當(dāng)任務(wù)狀態(tài)為等待（WAITTING或者正在運(yùn)行（RUNNING時(shí)候，可以進(jìn)行KILL操作。點(diǎn)擊”KIL超鏈接，出現(xiàn)Kill任務(wù)的彈出框，點(diǎn)擊"Kil核鈕。結(jié)果顯示"true則表示Kill成功，任務(wù)狀態(tài)被更新為KILLED第6章告警配置添加任務(wù)告警點(diǎn)擊“告警配置”添加任務(wù)告警”進(jìn)入。告警標(biāo)記：失敗告警：當(dāng)任務(wù)執(zhí)行失敗時(shí)候觸發(fā)告警；定時(shí)告警：當(dāng)任務(wù)在定時(shí)的時(shí)間內(nèi)未成功結(jié)束時(shí)候觸發(fā)告警（暫未實(shí)現(xiàn)）；告警時(shí)間：當(dāng)告警標(biāo)記為定時(shí)告警時(shí)候，選擇定時(shí)告警時(shí)間，格式為時(shí)：分。告警類型：郵件告警：發(fā)送告警郵件；短信告警：發(fā)送告警短信（暫未實(shí)現(xiàn)）；郵件和短信告警：同時(shí)發(fā)送告警郵件和告警短信（暫未實(shí)現(xiàn)）；郵件列表：當(dāng)告警類型中包含郵件告警時(shí)候，填入收件人郵箱列表，分號(hào)分隔；手機(jī)列表：當(dāng)告警類型中包含短信告警時(shí)候，填入收信人手機(jī)號(hào)列表，分號(hào)分隔；（暫未實(shí)現(xiàn)）任務(wù)失敗告警二一；音骸型▼手機(jī)列表用信三普也信上4現(xiàn)?？擅?下轉(zhuǎn)自牖醺加至三填入任務(wù)ID,告警標(biāo)記選擇“失敗告警”，選擇告警類型，填入郵件列表或手機(jī)列表，點(diǎn)擊“添加”。彈出框顯示"true,”表示添加成功。之后跳轉(zhuǎn)至“查詢配置任務(wù)告警”頁面。任務(wù)超時(shí)未完成告警查詢?nèi)蝿?wù)告警配置點(diǎn)擊"告警配置"”查詢配置任務(wù)告警”進(jìn)入。uqiDiiuqiDiil￡itSWTi西Rd的―1‘^E屆rt4才工吉?臺(tái)吟T-H蛆埒1*1咕*■?！HrAhLV，.慌N唳酶Sf*ubT中女11^:*董芒宣A”可輸入任務(wù)ID查詢修改任務(wù)告警在查詢?nèi)蝿?wù)告警配置頁面中點(diǎn)擊修改”超鏈接，進(jìn)入修改告警配置頁面手機(jī)列表is信吉?妝信入子機(jī)號(hào)歹慘，身邑不隔修改相關(guān)信息，點(diǎn)擊修改”按鈕，彈出框顯示修改結(jié)果刪除任務(wù)告警在查詢?nèi)蝿?wù)告警配置頁面中點(diǎn)擊刪除”超鏈接，出現(xiàn)刪除任務(wù)告警彈出框,點(diǎn)擊“刪除“按鈕確認(rèn)刪除。查詢告警發(fā)送記錄點(diǎn)擊告警配置”查詢?nèi)蝿?wù)告警發(fā)送記錄”菜單進(jìn)入S3jtiHrfl江f十JD4*VXTBBD■1!H-dit0■建a，iQ|可根據(jù)任務(wù)ID、告警發(fā)送時(shí)間、告警發(fā)送狀態(tài)進(jìn)行篩選查詢。告警發(fā)送狀態(tài)：0,表示發(fā)送成功；1,表示發(fā)送失敗。第7章系統(tǒng)部分運(yùn)行原理業(yè)務(wù)類型由于每種業(yè)務(wù)類型的任務(wù)，開發(fā)和生產(chǎn)環(huán)境使用的用戶都不一樣，不同業(yè)務(wù)的任務(wù)，需要用不同的用戶去執(zhí)行，因此，在添加任務(wù)時(shí)候，選擇正確的業(yè)務(wù)類型非常重要。在使用系統(tǒng)之初，需要與管理員溝通確定你的業(yè)務(wù)類型名稱，以及該業(yè)務(wù)類型使用哪個(gè)用戶。系統(tǒng)使用root用戶運(yùn)行服務(wù)，當(dāng)需要調(diào)度某個(gè)任務(wù)時(shí)，會(huì)根據(jù)該任務(wù)的業(yè)務(wù)類型，從元數(shù)據(jù)中獲取該業(yè)務(wù)類型的用戶名，然后su到該用戶去執(zhí)行程序程序路徑由于系統(tǒng)會(huì)存在多個(gè)JobWorker,如果任務(wù)沒指定運(yùn)行主機(jī)，就有可能被分配到任一JobWorker上，那么保存任務(wù)程序腳本的存儲(chǔ)必須使得每個(gè)JobWorker都能訪問到，最好的解決辦法就是使用HDFS當(dāng)JobWorker獲取到一個(gè)可執(zhí)行的任務(wù)時(shí)候，會(huì)判斷該任務(wù)的程序路徑，如果以“hdfs://開頭，表示存放于HDFS上，接下來在本地創(chuàng)建一個(gè)工作目錄，從HDFS上將程序腳本下載到本地工作目錄，使用本地工作目錄中的程序腳本執(zhí)行程序，結(jié)束后，將此次任務(wù)運(yùn)行的工作目錄刪除。如果不以“hdfs://開頭，表示存放于JobWorker本地，直接使用該路徑來執(zhí)行程序。需要注意的是：不論是程序路徑存放在JobWorker本地還是HDFS都必須使得業(yè)務(wù)類型對(duì)應(yīng)的用戶有訪問權(quán)限。指定任務(wù)運(yùn)行主機(jī)有些業(yè)務(wù)的程序復(fù)雜，在之前使用的機(jī)器上運(yùn)行很久了，不好遷移。這時(shí)候，可以將系統(tǒng)的JobWorker服務(wù)運(yùn)行在該機(jī)器上，這樣，也可以不用遷移程序，使用調(diào)度系統(tǒng)。在添加任務(wù)的時(shí)候，指定任務(wù)的運(yùn)行主機(jī)為你的機(jī)器主機(jī)名，這樣，JobManager在分配任務(wù)資源的時(shí)候，會(huì)將你的任務(wù)分配到你的機(jī)器上，而不會(huì)分配到其他的JobWorker上。有這種需求的提前和管理員聯(lián)系。調(diào)度的延遲系統(tǒng)采用類似生產(chǎn)者消費(fèi)者的模式，JobManager和JobMonitor會(huì)將待運(yùn)行的任務(wù)放入元數(shù)據(jù)庫中的任務(wù)池表，由JobWorker周期性獲取屬于自己的任務(wù)，這樣就會(huì)有延遲。這個(gè)延遲時(shí)間和各個(gè)服務(wù)掃描數(shù)據(jù)庫的周期有關(guān)，考慮對(duì)數(shù)據(jù)庫的壓力，目前設(shè)置的稍長，綜合下來，任務(wù)的調(diào)度延遲一般在10秒以內(nèi)。任務(wù)執(zhí)行命令系統(tǒng)會(huì)根據(jù)任務(wù)的程序路徑、程序類名、程序運(yùn)行參數(shù)拼接成任務(wù)執(zhí)行命令。JAVAjavaiar程序路徑程序類名程序運(yùn)行參數(shù)MRhadoopjar程序路徑程序類名程序運(yùn)行參數(shù)SHELLsh程序路徑程序運(yùn)行參數(shù)PYTHONpython程序路徑程序運(yùn)行參數(shù)第8章HTTP接口提交運(yùn)行任務(wù)請(qǐng)求URL：${skynetHost}:${skynetPort}/skynet/submitjob請(qǐng)求類型：POST/GET請(qǐng)求參數(shù)：參數(shù)名參數(shù)含義是否必須備注username登陸Skynet的用戶名是password登陸Skynet的密碼是job_id提交的任務(wù)ID是如：271job_business_time運(yùn)行任務(wù)的業(yè)務(wù)日期是如：2015-05-04submit_sons是否運(yùn)行子任務(wù)否1:運(yùn)行子任務(wù)；0:不運(yùn)行子任務(wù)；默認(rèn)為0job_batch_no任務(wù)批次號(hào)否一默認(rèn)為0{"status":。，//status為0表示提交成功"msg":"[true,0,job[278]提交成功，joblnstanceld:[25589],job_run_host:[idc-ds20-ad-02],job_batch_no:[1234],job_business_time:[2015-05-04]..,]"}KILL任務(wù)

請(qǐng)求URL.:${skynetHost}:${skynetPort}/skynet/killjob請(qǐng)求類型：POST/GET請(qǐng)求參數(shù)：參數(shù)名參數(shù)含義是否必須備注username登陸Skynet的用戶名是password登陸Skynet的密碼是job_instance_id任務(wù)運(yùn)彳T實(shí)例ID是如：25592返回格式：{"status":0,//status為0表示提交成功"msg":[true,0,null]}查詢?nèi)蝿?wù)運(yùn)行狀態(tài)和歷史請(qǐng)求URL：${skynetHost}:${skynetPort}/skynet/queryjoblog請(qǐng)求類型：POST/GET請(qǐng)求參數(shù)：參數(shù)名參數(shù)含義是否必須備注username登陸Skynet的用戶名是password登陸Skynet的密碼是job_id任務(wù)ID否job_business_time業(yè)務(wù)日期否默認(rèn)前一天job_instance_id任務(wù)運(yùn)彳T實(shí)例ID否如：25592job_status任務(wù)狀態(tài)否RUNNING,SUCCESS,FAILED,WAITTING,KILLEDcreate_time任務(wù)運(yùn)行創(chuàng)建時(shí)間否如：2015-05-04jobbusinesstype任務(wù)的業(yè)務(wù)類型否任務(wù)的業(yè)務(wù)類型page查詢分貝他否默認(rèn)0,每貝10條返回格式：{"status":0,"msg":[{"action":0,"job_app_location":"","job_batch_no":1233,"job_business_time":"2015-05-04","job_business_type":"","job_class_name":"","job_end_time":null,"job_id":278,"job_instance_id":25388,"job_last_update_time":"","job_run_args":"","job_run_host":"idc-ds20-ad-02","job_run_log":"http://idc-ds20-ad-02:9911/2015-05-05/job-278-25388.log","job_run_time":"2015-05-0510:36:30.0","job_start_time":"2015-05-0510:35:32.0","job_status":"RUNNING","job_submit_flag":1,"job_type":"","job_wait_flag":0},{"action":0,"job_app_location":"","job_batch_no":0,"job_business_time":"2015-05-04","job_business_type":"","job_class_name":"","job_end_time":"2015-05-0415:39:18.0","job_id":278,"job_instance_id":25333,"job_last_update_time":"","job_run_args":"","job_run_host":"idc-ds20-ad-02","job_run_log":"http:〃idc-ds20-ad-02:9911/2015-05-04/job-278-25333.log","job_run_time":"2015-05-0415:40:12.0","job_start_time":"2015-05-0415:39:03.0","job_status":"SUCCESS","job_submit_flag":0,"job_type":"","job_wait_flag":0},{"action":0,"job_app_location":"","job_batch_no":1232,"job_business_time":"2015-05-04","job_business_type":"","job_class_name":"","job_end_time":"2015-05-0415:28:00.0","job_id":278,"job_instance_id":25332,"job_last_update_time":"","job_run_args":"","job_run_host":"idc-ds20-ad-02","job_run_log":"http:〃idc-ds20-ad-02:9911/2015-05-04/job-278-25332.log","job_run_time":"2015-05-0415:28:51.0","job_start_time":"2015-05-0415:27:45.0","job_status":"SUCCESS","job_submit_flag":1,"job_type":"","job_wait_flag":0}]}附錄A動(dòng)態(tài)時(shí)間參數(shù)系統(tǒng)中附帶了動(dòng)態(tài)時(shí)間參數(shù)的解析功能，方便用戶使用。格式如下：${yyyy-MM-dd,-1d},將當(dāng)前時(shí)間減一天(-1d),格式為yyyy-MM-dd。比如：程序自動(dòng)運(yùn)行時(shí)候日期為2014年10月24日，則會(huì)將該參數(shù)替換為2014-10-23.${yyyy-MM-dd-HH,-2H},將當(dāng)前時(shí)間減2小時(shí)(-2H)，格式為yyyy-MM-dd-HH。比如：程序自動(dòng)運(yùn)行時(shí)候時(shí)間為2014年10月24日14時(shí)，則會(huì)將該參數(shù)替換為2014-10-24-12。參數(shù)中的時(shí)間格式需要是Java支持的日期格式。示例：任務(wù)A的運(yùn)行參數(shù)為"/user/hive/warehouse/tableA/dt=${yyyyMM-dd,-2d}”，那么2014年10月24日，調(diào)度系統(tǒng)在自動(dòng)觸發(fā)該任務(wù)時(shí)候會(huì)將參數(shù)替換為"/user/hive/warehouse/tableA/dt=201410-22”，作為最終的參數(shù)傳給程序運(yùn)行。特別注意：動(dòng)態(tài)時(shí)間參數(shù)在任務(wù)自動(dòng)調(diào)度觸發(fā)時(shí)候才會(huì)根據(jù)當(dāng)前時(shí)間來替換；手工提交任務(wù)時(shí)，會(huì)用填入的業(yè)務(wù)日期將參數(shù)中的動(dòng)態(tài)日期參數(shù)直接替換，不會(huì)做計(jì)算。比如：上面示例中的任務(wù)A,用戶手動(dòng)運(yùn)行該任務(wù)，并且，填入了業(yè)務(wù)日期2014-10-24,則最終的參數(shù)為"/user/hive/warehouse/tableA/dt=2014-10-24”.手工提交任務(wù)時(shí)候，會(huì)根據(jù)程序運(yùn)行參數(shù)中的動(dòng)態(tài)日期格式來判斷填入的業(yè)務(wù)日期是否符合格式，比如：任務(wù)A