大數(shù)據(jù)分析工程師崗位招聘考試試卷及答案試題部分一、填空題（共10題，每題1分）1.Hadoop中負(fù)責(zé)資源調(diào)度的核心組件是______。2.Spark的核心數(shù)據(jù)抽象且支持惰性求值的是______。3.數(shù)據(jù)倉庫基礎(chǔ)建模方式是______模型。4.Flink支持的窗口類型除滾動(dòng)窗口外還有______窗口。5.SQL中統(tǒng)計(jì)記錄行數(shù)的聚合函數(shù)是______。6.K-means算法屬于機(jī)器學(xué)習(xí)中的______任務(wù)。7.Hive默認(rèn)使用的元數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫是______。8.Redis的默認(rèn)監(jiān)聽端口是______。9.數(shù)據(jù)挖掘中發(fā)現(xiàn)關(guān)聯(lián)規(guī)則的經(jīng)典算法是______。10.HDFS的默認(rèn)數(shù)據(jù)副本數(shù)是______。二、單項(xiàng)選擇題（共10題，每題2分）1.以下不屬于Hadoop生態(tài)組件的是？A.HDFSB.YARNC.HiveD.MySQL2.Spark中，哪個(gè)操作會(huì)觸發(fā)實(shí)際計(jì)算？A.mapB.filterC.reduceD.flatMap3.數(shù)據(jù)倉庫與數(shù)據(jù)庫的核心區(qū)別是？A.存儲(chǔ)量更大B.面向主題C.實(shí)時(shí)更新D.結(jié)構(gòu)更簡單4.以下屬于實(shí)時(shí)計(jì)算框架的是？A.HiveB.FlinkC.HBaseD.MapReduce5.SQL中連接兩張表的關(guān)鍵字是？A.JOINB.UNIONC.INTERSECTD.EXCEPT6.線性回歸屬于機(jī)器學(xué)習(xí)的哪種任務(wù)？A.分類B.聚類C.回歸D.降維7.HBase的存儲(chǔ)結(jié)構(gòu)是？A.行式B.列式C.文檔式D.圖形式8.Redis中適合實(shí)現(xiàn)計(jì)數(shù)器的是哪種數(shù)據(jù)結(jié)構(gòu)？A.StringB.ListC.SetD.Hash9.Apriori算法用于發(fā)現(xiàn)什么？A.聚類B.關(guān)聯(lián)規(guī)則C.分類D.回歸10.以下屬于分布式計(jì)算框架的是？A.MySQLB.MongoDBC.SparkD.Elasticsearch三、多項(xiàng)選擇題（共10題，每題2分）1.Hadoop生態(tài)系統(tǒng)包含的組件有？A.HDFSB.YARNC.SparkD.HiveE.PostgreSQL2.Spark的核心特性包括？A.內(nèi)存計(jì)算B.惰性求值C.實(shí)時(shí)流處理D.僅支持批處理E.多計(jì)算模型3.數(shù)據(jù)倉庫的特點(diǎn)有？A.面向主題B.集成C.非易失D.實(shí)時(shí)更新E.面向應(yīng)用4.實(shí)時(shí)計(jì)算框架包括？A.FlinkB.StormC.SparkStreamingD.HiveE.MapReduce5.SQL中的聚合函數(shù)有？A.SUMB.AVGC.GROUPBYD.COUNTE.WHERE6.機(jī)器學(xué)習(xí)任務(wù)類型包括？A.分類B.聚類C.回歸D.降維E.異常檢測7.HBase的特點(diǎn)有？A.列式存儲(chǔ)B.高可靠性C.實(shí)時(shí)讀寫D.適合小文件E.僅支持批處理8.Redis支持的數(shù)據(jù)結(jié)構(gòu)有？A.StringB.ListC.SetD.HashE.SortedSet9.數(shù)據(jù)挖掘常用算法有？A.AprioriB.K-meansC.SVMD.線性回歸E.決策樹10.分布式系統(tǒng)的特點(diǎn)包括？A.高可用性B.可擴(kuò)展性C.容錯(cuò)性D.集中式管理E.低延遲四、判斷題（共10題，每題2分）1.HDFS適合存儲(chǔ)大量小文件。（）2.Spark的RDD是不可變的分布式數(shù)據(jù)集。（）3.數(shù)據(jù)倉庫可以完全替代數(shù)據(jù)庫。（）4.Flink支持精確一次語義（Exactly-Once）。（）5.SQL中JOIN操作必須指定ON連接條件。（）6.K-means算法需要預(yù)先指定聚類數(shù)K。（）7.Hive可直接查詢HDFS上的存儲(chǔ)數(shù)據(jù)。（）8.Redis是持久化的內(nèi)存數(shù)據(jù)庫。（）9.Apriori算法效率高于FP-growth算法。（）10.分布式系統(tǒng)比集中式系統(tǒng)更易實(shí)現(xiàn)高可用性。（）五、簡答題（共4題，每題5分）1.簡述Hadoop的HDFS和MapReduce的核心作用。2.Spark相比MapReduce的主要優(yōu)勢是什么？3.什么是數(shù)據(jù)倉庫的星型模型？4.實(shí)時(shí)流計(jì)算的定義及常用框架有哪些？六、討論題（共2題，每題5分）1.大數(shù)據(jù)分析中，如何平衡數(shù)據(jù)質(zhì)量與分析效率？2.大數(shù)據(jù)分析工程師需具備哪些核心技能？答案部分一、填空題答案1.YARN2.RDD3.星型4.滑動(dòng)5.COUNT()6.聚類7.Derby8.63799.Apriori10.3二、單項(xiàng)選擇題答案1.D2.C3.B4.B5.A6.C7.B8.A9.B10.C三、多項(xiàng)選擇題答案1.ABD2.ABCE3.ABC4.ABC5.ABD6.ABCDE7.ABC8.ABCDE9.ABCDE10.ABC四、判斷題答案1.×2.√3.×4.√5.√6.√7.√8.√9.×10.√五、簡答題答案1.HDFS作用：分布式文件系統(tǒng)，存儲(chǔ)海量數(shù)據(jù)，主從架構(gòu)（NameNode管理元數(shù)據(jù)、DataNode存儲(chǔ)數(shù)據(jù)），適合大文件，高容錯(cuò)。MapReduce作用：分布式計(jì)算框架，拆分任務(wù)為Map（局部處理生成鍵值對）和Reduce（聚合相同鍵結(jié)果），實(shí)現(xiàn)并行計(jì)算。2.①內(nèi)存計(jì)算：中間結(jié)果存內(nèi)存，減少磁盤IO，速度提升10-100倍；②惰性求值：行動(dòng)操作才執(zhí)行，優(yōu)化計(jì)劃；③多模型支持：批處理、流處理、機(jī)器學(xué)習(xí)等；④RDD彈性：支持緩存、容錯(cuò)（血統(tǒng)恢復(fù)）；⑤更豐富的操作API。3.星型模型由中心事實(shí)表（存儲(chǔ)度量數(shù)據(jù)+維度外鍵）和外圍維度表（存儲(chǔ)維度屬性，如時(shí)間、產(chǎn)品）組成，維度表主鍵關(guān)聯(lián)事實(shí)表外鍵，結(jié)構(gòu)簡單，減少連接，提升OLAP查詢效率。4.定義：對連續(xù)數(shù)據(jù)流實(shí)時(shí)處理，數(shù)據(jù)產(chǎn)生后立即計(jì)算（低延遲）。常用框架：Flink（精確一次語義）、SparkStreaming（微批處理）、Storm（純實(shí)時(shí)）、KafkaStreams（輕量集成Kafka）。六、討論題答案1.①采集階段：輕量校驗(yàn)（完整性、一致性），避免過度影響速度；②預(yù)處理：分布式工具（Spark）并行清洗，平衡效率與質(zhì)量；③建模：先輕量模型（邏輯回歸）驗(yàn)證，再優(yōu)化復(fù)雜模型；④監(jiān)控：實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)質(zhì)量指標(biāo)（缺失率、異常值），及時(shí)調(diào)整規(guī)則；⑤資源分配：按需求分配計(jì)算資源，兼顧速度與質(zhì)量檢查。2.①技術(shù)技能：分布式框架（Hadoop/Spark）、數(shù)據(jù)庫