limit執(zhí)行原理介紹執(zhí)行計劃0102Limit執(zhí)行原理Content目錄01

介紹執(zhí)行計劃介紹執(zhí)行計劃Hive-SQL的執(zhí)行計劃主要用來描述SQL實際執(zhí)行的整體過程。

我們在寫Hive-SQL的時候，并不是直接在Hive上面跑出結(jié)果，而是通過Hive這樣一個組件，翻譯成MapReduce能理解的語句，在MapReduce上面運行，得出結(jié)果，再返回。

有時候我們寫SQL會產(chǎn)生比較慢的查詢結(jié)果，其原因可能單純地從SQL語法上看不出問題，此時如果能夠理解執(zhí)行計劃，知道Hive-SQL翻譯成MapReduce的執(zhí)行語句的過程，就能夠更好地定位問題并調(diào)優(yōu)。在Hive里，可以通過“explain+SQL語句”的方式查詢得到SQL運行時的執(zhí)行計劃。執(zhí)行計劃語法基本語法：EXPLAIN[EXTENDED|DEPENDENCY|AUTHORIZATION|LOCKS|VECTORIZATION]queryextended輸出更加詳細(xì)的信息denpendency輸出依賴的數(shù)據(jù)源authorization輸出執(zhí)行sql授權(quán)信息locks輸出鎖情況vectorization相關(guān)02

Limit執(zhí)行原理Limit執(zhí)行原理在hive查詢中要限制查詢輸出條數(shù)，可以用limit關(guān)鍵詞指定。

如selectcolumnname1fromtable1limit10;

這樣hive將輸出符合查詢條件的10個記錄。

從根本上說，hive是hadoop提交作業(yè)的客戶端，它使用antlr詞法語法分析工具，對SQL進(jìn)行分析優(yōu)化后翻譯成一系列MapReduce作業(yè)，向hadoop提交運行作業(yè)以得到結(jié)果。

Hive執(zhí)行計劃分析Limit執(zhí)行原理改執(zhí)行計劃顯示，Stage-1是一個MR程序，且只有map過程，沒有reduce過程,也就是說在Map過程就直接將結(jié)果輸出到HDFS文件系統(tǒng),Stage-0是依賴于Stage-1的文件讀取操作，它不是MR作業(yè)，只是一個基于hadoop文件系統(tǒng)客戶端的分布式文件讀取程序。

重點分析Stage-1過程，一條記錄被讀取后調(diào)用hive自定義mapper函數(shù)，依次經(jīng)過

TableScan

Operator->

FilterOperator->

SelectOperator->

LimitOperator->

FileOutputOperator,以上每一個Operator都是hive定義的一個處理過程。Limit執(zhí)行原理部分執(zhí)行流程：MapRunner會循環(huán)調(diào)用CombineHiveRecordReader的doNext方法讀入行記錄，直到doNext方法返回false,doNext方法中有一個重要的邏輯來控制記錄讀取是否結(jié)束Limit執(zhí)行原理LimitOperator的判斷邏輯：@OverridepublicvoidprocessOp(Objectrow,inttag)throwsHiveException{if(currCount<limit){forward(row,inputObjInspectors[tag]);currCount++;}else{setDone(true);}}currCount是一個記錄處理的計數(shù)器，初始值為0，當(dāng)該值大于等于limit后，將自己標(biāo)識成處理完成狀態(tài),即設(shè)置done=trueLimit執(zhí)行原理為什么limit1，map數(shù)為5的前提下，MapInputRecords是35而不是5？第一條記錄進(jìn)入LimitOperatordone為false；第二條記錄進(jìn)入LimitOperatordone為true；第三條記錄進(jìn)入SelectOperatordone設(shè)置為true；第四條記錄進(jìn)入FilterOperatordone設(shè)置為true；Limit執(zhí)行原理第五條記錄進(jìn)入TableScanOperatordone設(shè)置為true；第六條記錄進(jìn)入MapOperatordone設(shè)置為true；第7條記錄進(jìn)入ExecMapper靜態(tài)變量done設(shè)置為true；讀取第八條記錄時CombineHiveRecordReader發(fā)現(xiàn)ExecMapper的done已經(jīng)為true,結(jié)束數(shù)據(jù)讀取，從而MapRunner退出循環(huán)