Hadoop大數(shù)據(jù)解決方案進(jìn)階應(yīng)用Hadoop講師：迪倫（北風(fēng)網(wǎng)版權(quán)所有）YARN支持的計算框架(4)Tez數(shù)據(jù)處理引擎DAGAppMaster實(shí)現(xiàn)Tez優(yōu)化機(jī)制Tez應(yīng)用場景課程目標(biāo)Tez數(shù)據(jù)處理引擎Tez數(shù)據(jù)處理引擎實(shí)現(xiàn)了一些常見的組件Tez數(shù)據(jù)處理引擎的基礎(chǔ)是Sort（排序）和Shuffle（混洗）Tez提供了多種Input、Output、Task和Sort的實(shí)現(xiàn)Input實(shí)現(xiàn)

LocalMergedInput（多個文件本地合并后作為輸入）

ShuffledMergedInput（遠(yuǎn)程拷貝數(shù)據(jù)且合并后作為輸入）Output實(shí)現(xiàn)

InMemorySortedOutput（內(nèi)存排序后輸出）

LocalOnFileSorterOutput（本地磁盤排序后輸出）OnFileSortedOutput（磁盤排序后輸出）Task實(shí)現(xiàn)

RunTimeTaskSort實(shí)現(xiàn)

DefaultSorter（本地數(shù)據(jù)排序）

InMemoryShuffleSorter（遠(yuǎn)程拷貝數(shù)據(jù)并排序）DAG編程模型Tez通過有向圖模型組織應(yīng)用程序中的Task，這些Task按照依賴關(guān)系可形成一個DAG

TezApplicationMasterTezApplicationMaster直接源于MapReduce的ApplicationMaster，重用了大部分機(jī)制和代碼功能數(shù)據(jù)切分和作業(yè)分解任務(wù)調(diào)度與ResourceManager進(jìn)行通信，為DAG作業(yè)申請資源與NodeManager進(jìn)行通信，啟動DAG作業(yè)中的任務(wù)監(jiān)控DAG作業(yè)的運(yùn)行過程，確保它快速運(yùn)行結(jié)束每個DAGAppMaster負(fù)責(zé)管理一個DAG作業(yè)DAGAppMaster優(yōu)先為那些不依賴任何頂點(diǎn)的任務(wù)申請資源DAG中的一個頂點(diǎn)由一定數(shù)目的任務(wù)組成一旦一個頂點(diǎn)中所有任務(wù)運(yùn)行完成，則認(rèn)為該頂點(diǎn)運(yùn)行結(jié)束Tez優(yōu)化機(jī)制YARN當(dāng)前存在的問題每個作業(yè)啟用一個Application-Master，應(yīng)用程序延遲較大，即每個應(yīng)用程序要申請資源啟動AppMaster后，才可以啟動任務(wù)資源無法重用。MRAppMaster總是為未運(yùn)行的任務(wù)申請新的資源。Tez引入的優(yōu)化技術(shù)ApplicationMaster緩沖池預(yù)先啟動ContainerContainer重用

ApplicationMaster緩沖池作業(yè)提交到AMPoolServer上，預(yù)啟動若干個ApplicationMaster，形成緩沖池預(yù)先啟動ContainerApplicatoinMaster啟動時可預(yù)先啟動若干個ContainerContainer重用一個任務(wù)運(yùn)行完成后，ApplicationMaster不會馬上注銷它使用的Container，而是將它分配給其他任務(wù)Te挪z應(yīng)用首場景直接段編寫枯應(yīng)用昌程序直接自使用Te蜜z編寫DA羽G類型某的應(yīng)壤用程嫁序Te怨z提供辰了一鉗個MR到DA航G轉(zhuǎn)換差的工傭具，倦可通杜過該啞工具釀將多證個有翻依賴婚關(guān)系張的Ma長pR疲ed捆uc彎e作業(yè)舅合并巖成一膠個DA夢G作業(yè)優(yōu)化Pi序g、Hi算ve等引沫擎將Te悶z應(yīng)用瘋到Hi符ve引擎逆中（喪稱為St嫁in廟ge趴r）避免坐查詢瘋語句晶轉(zhuǎn)換位成過指多的Ma庫pR坦ed告uc元e作業(yè)我后長梯生大果量不引必要兵的網(wǎng)擔(dān)絡(luò)和繼磁盤I/桿O更智什能的佛任務(wù)共處理桑引擎領(lǐng)。Te然z可根陣據(jù)任鄭