Hadoop大數(shù)據(jù)解決方案進階應用Hadoop講師：迪倫（北風網(wǎng)版權(quán)所有）YARN支持的計算框架(5)Tez與其他系統(tǒng)對比

配置Tez

什么是Spark課程目標Tez與其他系統(tǒng)對比與Oozie對比Oozie是工作流調(diào)度系統(tǒng)，按照用戶定義好的作業(yè)依賴關(guān)系調(diào)度作業(yè)Oozie只是一種作業(yè)依賴關(guān)系表達和調(diào)度框架，邏輯上并沒有將有依賴關(guān)系的作業(yè)合并成一個作業(yè)來優(yōu)化I/O讀寫與MapReduce對比MapReduce只是一種簡單的數(shù)據(jù)處理模型Tez可以包含任意多個數(shù)據(jù)處理階段Tez可作為MapReduce之下的數(shù)據(jù)處理引擎Tez與MapReduce編程接口完全兼容Tez特色總結(jié)豐富的數(shù)據(jù)流（dataflow，NOTStreaming?。┚幊探涌跀U展性良好的“Input-Processor-Output”運行模型簡化數(shù)據(jù)部署（充分利用了YARN框架，Tez本身僅是一個客戶端編程庫，無需事先部署相關(guān)服務）性能優(yōu)于MapReduce優(yōu)化的資源管理（直接運行在資源管理系統(tǒng)YARN之上）動態(tài)生成物理數(shù)據(jù)流（dataflow）配置Tez部署好Hadoop2.2.0構(gòu)建tez

$mvncleaninstall-DskipTests=true-Dmaven.javadoc.skip=true拷貝Jars包和相關(guān)文件到HDFS

$hadoopdfs-puttez-dist/target/tez-0.4.0-incubating/tez-0.4.0-incubating/apps/配置tez-site.xml來設置tez.lib.uris指向HDFS中包含jars的路徑

比如：”${}/apps/tez-0.4.0-incubating,${}/apps/tez-0.4.0-incubating/lib/”配置Tez修改mapred-site.xml啟動TezAM設置CLASSPATH修改hadoop-env.sh提交一個MR作業(yè)

$hadoopjarhadoop-mapreduce-client-jobclient-3.0.0-SNAPSHOT-tests.jarsleep-mt1-rt1-m1-r1什么是SparkSpark是一種與Hadoop相似的開源集群計算環(huán)境Spark基于MR算法實現(xiàn)的分布式計算，擁有HadoopMR的優(yōu)點，不同的是結(jié)果保存在內(nèi)存中Spark是一個針對超大數(shù)據(jù)集合的低延遲的集群分布式計算系統(tǒng)，比MapReduce快40倍左右Spark是在Scala語言中實現(xiàn)的，它將Scala用作其應用程序框架Spark兼容Hadoop的API，能夠讀寫Hadoop的HDFSHBASE順序文件等

傳統(tǒng)