Spark調(diào)優(yōu)方案：兩階段聚合

調(diào)優(yōu)概述數(shù)據(jù)傾斜發(fā)生時的現(xiàn)象兩階段聚合度/01基本介紹

調(diào)優(yōu)概述調(diào)優(yōu)概述

有的時候，我們可能會遇到大數(shù)據(jù)計算中一個最棘手的問題——數(shù)據(jù)傾斜，此時Spark作業(yè)的性能會比期望差很多。

數(shù)據(jù)傾斜調(diào)優(yōu)，就是使用各種技術(shù)方案解決不同類型的數(shù)據(jù)傾斜問題，以保證Spark作業(yè)的性能。/02基本介紹

數(shù)據(jù)傾斜發(fā)生時的現(xiàn)象數(shù)據(jù)傾斜發(fā)生時的現(xiàn)象絕大多數(shù)task執(zhí)行得都非常快，但個別task執(zhí)行極慢。比如，總共有1000個task，997個task都在1分鐘之內(nèi)執(zhí)行完了，但是剩余兩三個task卻要一兩個小時。這種情況很常見。原本能夠正常執(zhí)行的Spark作業(yè)，某天突然報出OOM（內(nèi)存溢出）異常，觀察異常棧，是我們寫的業(yè)務(wù)代碼造成的。這種情況比較少見。/03基本介紹

兩階段聚合（局部聚合+全局聚合）兩階段聚合（局部聚合+全局聚合）-（一）方案適用場景：對RDD執(zhí)行reduceByKey等聚合類shuffle算子或者在SparkSQL中使用groupby語句進行分組聚合時，比較適用這種方案。方案實現(xiàn)思路：這個方案的核心實現(xiàn)思路就是進行兩階段聚合。第一次是局部聚合，先給每個key都打上一個隨機數(shù)，比如10以內(nèi)的隨機數(shù)，此時原先一樣的key就變成不一樣的了，比如(hello,1)(hello,1)(hello,1)(hello,1)，就會變成(1_hello,1)(1_hello,1)(2_hello,1)(2_hello,1)。接著對打上隨機數(shù)后的數(shù)據(jù)，執(zhí)行reduceByKey等聚合操作，進行局部聚合，那么局部聚合結(jié)果，就會變成了(1_hello,2)(2_hello,2)。然后將各個key的前綴給去掉，就會變成(hello,2)(hello,2)，再次進行全局聚合操作，就可以得到最終結(jié)果了，比如(hello,4)。兩階段聚合（局部聚合+全局聚合）-（二）方案實現(xiàn)原理：將原本相同的key通過附加隨機前綴的方式，變成多個不同的key，就可以讓原本被一個task處理的數(shù)據(jù)分散到多個task上去做局部聚合，進而解決單個task處理數(shù)據(jù)量過多的問題。接著去除掉隨機前綴，再次進行全局聚合，就可以得到最終的結(jié)果。具體原理見下圖。方案優(yōu)點：對于聚合類的shuffle操作導(dǎo)致的數(shù)據(jù)傾斜，效果是非常不錯的。通常都可以解決掉數(shù)據(jù)傾斜，或者至少是大幅度緩解數(shù)據(jù)傾斜，將Spark作業(yè)的性能提升數(shù)倍以上。兩階段聚合（局部聚合+全局聚合）-（三）方案缺點：僅僅適用于聚合類的shuffle操作，適用范圍相對較窄。如果是join類的shuffle操作，還得用其他的解決方案。1.調(diào)優(yōu)概