groupByKey算子序言groupByKey算子/01序言RDD算子分為兩類：Transformation(轉(zhuǎn)換)與Action(行動)Transformation：根據(jù)數(shù)據(jù)集創(chuàng)建一個新的數(shù)據(jù)集，計算后返回一個新RDD；例如：Map將數(shù)據(jù)的每個元素經(jīng)過某個函數(shù)計算后，返回一個新的分布式數(shù)據(jù)集。groupByKey算子屬于Transformation(轉(zhuǎn)換)算子。序言Transformation變換/轉(zhuǎn)換算子：這種變換并不觸發(fā)提交作業(yè)，完成作業(yè)中間過程處理。

Transformation操作是延遲計算的，也就是說從一個RDD轉(zhuǎn)換生成另一個RDD的轉(zhuǎn)換操作不是馬上執(zhí)行，需要等到有Action操作的時候才會真正觸發(fā)運算。Action行動算子：這類算子會觸發(fā)SparkContext提交Job作業(yè)。Action算子會觸發(fā)Spark提交作業(yè)（Job），并將數(shù)據(jù)輸出Spark系統(tǒng)。序言-groupbykey的歸類

/02groupByKey算子

在一個由（K,V）對組成的數(shù)據(jù)集上調(diào)用，返回一個（K，Seq[V])對的數(shù)據(jù)集。注意：默認情況下，使用8個并行任務(wù)進行分組，你可以傳入numTask可選參數(shù)，根據(jù)數(shù)據(jù)量設(shè)置不同數(shù)目的Task。scala>valrdd0=sc.parallelize(Array((1,1),(1,2),(1,3),(2,1),(2,2),(2,3)),3)rdd0:org.apache.spark.rdd.RDD[(Int,Int)]=ParallelCollectionRDD[0]atparallelizeat:24scala>rdd0.collectres7:Array[(Int,Int)]=Array((1,1),(1,2),(1,3),(2,1),(2,2),(2,3))

groupByKey算子（一）

在一個由（K,V）對組成的數(shù)據(jù)集上調(diào)用，返回一個（K，Seq[V])對的數(shù)據(jù)集。注意：默認情況下，使用8個并行任務(wù)進行分組，你可以傳入numTask可選參數(shù)，根據(jù)數(shù)據(jù)量設(shè)置不同數(shù)目的Task。

scala>valrdd5=rdd0.groupByKey()rdd5:org.apache.spark.rdd.RDD[(Int,Iterable[Int])]=ShuffledRDD[1]atgroupByKeyat:25scala>rdd5.collectres8:Array[(Int,Iterable[Int])]=Array((1,CompactBuffer(1,2,3)),(2,CompactBuffer(1,2,3)))