試卷部分：/5______________________學(xué)年第____學(xué)期______________________課程期末考試試卷（B）共頁(yè)（閉卷考試）適用學(xué)生：_________________________________學(xué)院___________專業(yè)____級(jí)____班姓名___________學(xué)號(hào)___________題目一二三四總分得分一．單選題：本大題共20小題，每小題2分，共40分。1.下列不屬于Spark生態(tài)系統(tǒng)的是（）。A.SparkStreamingB.StormC.SharkSQLD.SparkR2.以下說(shuō)法正確的是（）。A.數(shù)組中的元素都屬于同一個(gè)數(shù)據(jù)類型B.默認(rèn)情況下，Scala使用的是可變映射C.List中不可以存放重復(fù)對(duì)象D.Set中可以有重復(fù)對(duì)象且Set中元素是有序的3.spark.deploy.recoveryMode不支持那種（）。A.ZooKeeperB.FileSystemC.NONED.Hadoop4.表達(dá)式“for(i<-1to3;j<-1to3;ifi!=j)print((i+j)+"")的”輸出結(jié)果是（）。A.343545B.123456C.246D.12465.有如下函數(shù)定義。deffac(n:Int):Int={varres=0for(i<-1ton){res+=i}res}則fac(5)的輸出結(jié)果是（）。A.14B.15C.0D.56.關(guān)于累加器，下面哪個(gè)是錯(cuò)誤的（）。A.支持加法B.支持?jǐn)?shù)值類型C.可并行D.不支持自定義類型7.在圖的屬性轉(zhuǎn)換過程中，哪個(gè)不是圖的屬性轉(zhuǎn)換方法（）。A.mapEdgesB.mapTripletsC.mapDegreeD.mapVertices8.下面哪一種全部是轉(zhuǎn)化操作？（）A.map、take、reduceByKeyB.map、filter、collectC.map、zip、reduceByKeyD.map、join、take9.Dstream的轉(zhuǎn)換操作中，將RDD進(jìn)行聚合的操作是（）。A.flatmap()B.reduce()C.count()D.union()10.下列適合Spark大數(shù)據(jù)處理場(chǎng)景的是（）。A.復(fù)雜的批處理B.基于歷史數(shù)據(jù)的交互式查詢C.基于實(shí)時(shí)數(shù)據(jù)流的數(shù)據(jù)處理D.PB級(jí)的數(shù)據(jù)存儲(chǔ)11.下列不屬于SparkStreaming的輸出操作的是（）。A.saveAsTextFilesB.saveAsStreamingFilesC.saveAsHadoopFilesD.saveAsObjectFiles12.DataFrame和RDD最大的區(qū)別（）。A.科學(xué)統(tǒng)計(jì)支持B.多了schemaC.存儲(chǔ)方式不一樣D.外部數(shù)據(jù)源支持13.下面哪個(gè)屬性是圖無(wú)法獲取到的（）。A.VertexRDDB.numVerticesC.EdgeVertexD.EdgeRDD14.下列不是MLlib數(shù)據(jù)類型的是（）。A.本地向量B.標(biāo)記向量C.本地矩陣D.向量矩陣15.下列不屬于大數(shù)據(jù)技術(shù)的是（）。A.大數(shù)據(jù)采集技術(shù)B.大數(shù)據(jù)存儲(chǔ)及管理技術(shù)C.財(cái)務(wù)報(bào)表分析技術(shù)D.大數(shù)據(jù)分析及挖掘技術(shù)二．填空題：本大題有9小題，共10空，每空2分，共20分。1.Scala是__________________，每個(gè)值都是一個(gè)對(duì)象，包括基本數(shù)據(jù)類型和函數(shù)，每個(gè)操作都是方法的調(diào)用。Scala是一門__________________語(yǔ)言，每個(gè)函數(shù)都是一個(gè)值。2.Spark中使用__________________對(duì)RDD的關(guān)系進(jìn)行建模。3.Spark的一個(gè)重要特點(diǎn)是基于__________________計(jì)算的，因而更快。4.Scala中沒有基本類型的概念，Scala中沒有原生的數(shù)據(jù)類型，所有的數(shù)據(jù)類型都是__________________。5.在特征提取過程中，通過計(jì)數(shù)方法將一組文本文檔轉(zhuǎn)換為向量使用__________________方法。6.Stage的Task的數(shù)量由__________________的決定。7.SparkJob默認(rèn)的調(diào)度模式是__________________。8.如果一個(gè)RDD在計(jì)算過程中出錯(cuò)，可以直接通過它的父RDD重新計(jì)算得到，這就是Spark基于__________________的容錯(cuò)機(jī)制。9.Spark采用__________________和堆外內(nèi)存（Off-heapmemory）的規(guī)劃?rùn)C(jī)制。三．簡(jiǎn)答題：本大題有5小題，每小題6分，共30分。1.spark的有幾種部署模式，每種模式特點(diǎn)？2.Spark中Worker的主要工作是什么？3.什么是RDD寬依賴和窄依賴？4.spark有哪些組件？5.Spark為什么比mapreduce快？四．程序題：本大題有2小題，每小題10分，共20分。使用Spark編程對(duì)E:\\hello.txt中的單詞進(jìn)行統(tǒng)計(jì)，完成程序中的代碼。importorg.apache.spark.rdd.RDDimportorg.apache.spark.{SparkConf,SparkContext}objectSparkWordCountWithScala{defmain(args:Array[String]):Unit={valconf=newSparkConf()//設(shè)置運(yùn)行模式為localconf.setMaster("local")//設(shè)置任務(wù)名conf.setAppName("WordCount")//創(chuàng)建SparkCore的程序入口1._____________________________________//讀取文件生成RDDvalfile:RDD[String]=sc.textFile("E:\\hello.txt")//把每一行數(shù)據(jù)按照“,”分割2._____________________________________//讓每一個(gè)單詞都出現(xiàn)一次3._____________________________________//單詞計(jì)數(shù)4.___