大數(shù)據(jù)平臺搭建與配置管理第11頁共11頁《大數(shù)據(jù)平臺搭建與配置管理》期中試題期中試題（閉卷A）題號一二三四五六七八九十成績滿分30202030100得分【本套試卷共有4大題，計66小題】一、選擇題（20題，每題1.5分，共30分）1、Client端上傳文件的時候下列正確的是（）。A.數(shù)據(jù)經(jīng)過NameNode傳給DataNodeB.Client只上傳數(shù)據(jù)到一臺DataNodeC.Client端將文件切分為Block，依次上傳D.NameNode負(fù)責(zé)Block復(fù)制工作2、HDFS的NameNode負(fù)責(zé)管理文件系統(tǒng)的命名空間，將所有的文件和文件夾的元數(shù)據(jù)保存在一個文件系統(tǒng)樹中，這些信息也會在硬盤上保存成一下文件（）。A.日志B.命名空間鏡像C.兩者都是D.以上都不是3、MapReduce框架提供了一種序列化鍵/值對的方法，支持這種序列化的類能夠在Map和Reduce過程中充當(dāng)鍵或值，以下說法錯誤的是？（）A.實現(xiàn)Writable接口的類是值B.實現(xiàn)WritableComparable接口的類可以是值或鍵C.Hadoop的基本類型Text并不實現(xiàn)WritableComparable接口D.鍵和值的數(shù)據(jù)類型可以超出Hadoop自身支持的基本類型4、對MapReduce的體系結(jié)構(gòu)，以下說法不正確的是（）A.分布式編程架構(gòu)B.以數(shù)據(jù)為中心，更看重吞吐率C.分而治之的思想D.將一個任務(wù)合并成多個子任務(wù)5、在創(chuàng)建Linux分區(qū)時，一定要創(chuàng)建（）兩個分區(qū)。A.FAT/NTFSB.FAT/SWAPC.NTFS/SWAPD.SWAP/根分區(qū)6、下面哪個命令是用來定義shell的全局變量（）。A.exportfsB.aliasC.exportsD.export7、ZooKeeper可以實現(xiàn)（）。A.高吞吐量和低延遲數(shù)量B.高吞吐量和高延遲數(shù)量C.低吞吐量和低延遲數(shù)量D.低吞吐量和高延遲數(shù)量8、分布式應(yīng)用正在運(yùn)行的一組系統(tǒng)稱為（）。A.集群B.分布式系統(tǒng)C.單元D.組9、查詢速度的提升是以額外的（）為代價的。A.創(chuàng)建索引B.創(chuàng)建索引和存儲索引C.刪除索引D.存儲索引10、Hive的元數(shù)據(jù)不能夠存儲在哪些位置？（）A.mysqlB.derbyC.oracleD.文本文件11、HBase依賴（）提供消息通信機(jī)制。A.ZookeeperB.ChubbyC.RPCD.Socket12、LSM含義是？（）A.日志結(jié)構(gòu)合并樹B.二叉樹C.平衡二叉樹D.長平衡二叉樹13、HFile數(shù)據(jù)格式中的Data字段用于（）。A.存儲實際的KeyValue數(shù)據(jù)B.存儲數(shù)據(jù)的起點C.指定字段的長度D.存儲數(shù)據(jù)塊的起點14、下列不屬于StreamGrouping方式的是（）。A.ShuffleGroupingB.AllGroupingC.FieldsGroupingD.newGrouping15、Storm會在集群內(nèi)分配對應(yīng)并行度個數(shù)的（）來同時執(zhí)行這一組件。A.哈希值B.ThriftC.task線程D.Worker進(jìn)程16、Storm可以用來實時處理新數(shù)據(jù)和（）。A.刪除數(shù)據(jù)庫B.更新數(shù)據(jù)庫C.刪除節(jié)點D.更新表17、MapReduce編程模型，鍵值對<key,value>的key必須實現(xiàn)哪個接口？（）。A.WritableComparableB.ComparableC.WritableD.LongWritable18、HBase數(shù)據(jù)庫的BlockCache緩存的數(shù)據(jù)塊中，哪一項不一定能提高效率（）。A.–ROOT-表B..META.表C.HFileindexD.普通的數(shù)據(jù)塊19、HBase的Region組成中，必須要有以下哪一項（ ）。A.StoreFileB.MemStoreC.MetaStoreD.HFile20、設(shè)計分布式數(shù)據(jù)倉庫hive的數(shù)據(jù)表時，為取樣更高效，一般可以對表中的連續(xù)字段進(jìn)行什么操作（）。A.分桶B.分區(qū)C.索引D.分表二、填空題（20題，每題1分，共10分）21、Spouts會從外部讀取流數(shù)據(jù)并持續(xù)發(fā)出。22、當(dāng)Spout或者Bolt發(fā)送元組時，它會把元組發(fā)送到每個訂閱了該的Bolt上進(jìn)行處理。23、Storm采用了來作為分布式協(xié)調(diào)組件。24、HBase分布式模式最好需要個節(jié)點。25、LSM結(jié)構(gòu)的數(shù)據(jù)首先存儲在。26、HBase中Hmaster負(fù)責(zé)監(jiān)控的生命周期。27、Hive遠(yuǎn)程服務(wù)通過方式訪問Hive。28、Hive不支持的更新。29、Hive非常適合于對那些只在文本末尾添加數(shù)據(jù)的大型數(shù)據(jù)集進(jìn)行。30、分布式應(yīng)用程序可以基于Zookeeper實現(xiàn)諸如數(shù)據(jù)發(fā)布/訂閱、、命名服務(wù)、分布式協(xié)調(diào)/通知、、、分布式鎖和分布式隊列等功能。31、注冊成臨時節(jié)點后，再服務(wù)端出問題時，節(jié)點會自動的從zookeeper上。32、ZooKeeper提供了一項基本服務(wù)是。33、計算過程高度抽象到兩個函數(shù)和。34、每一個小數(shù)據(jù)都可以完全地進(jìn)行處理。35、大規(guī)模數(shù)據(jù)集的處理包括兩個核心環(huán)節(jié)。36、ResourceManager默認(rèn)的WebUI訪問端口號為：。37、Hadoop集群搭建中常用的4個配置文件為：、hdfs-site.xml、mapred-site.xml、。38、HA產(chǎn)生的背景是。39、網(wǎng)絡(luò)管理兩個重要任務(wù)分別是：和。40、命令是刪除文件命令。三、判斷題，正確填“T”，錯誤填“F”（20題，每題1分，共20分）41、Hadoop支持?jǐn)?shù)據(jù)的隨機(jī)讀寫（）。42、NameNode負(fù)責(zé)管理元數(shù)據(jù)信息metadata，client端每次讀寫請求，它都會從磁盤中讀取或會寫入metadata信息并反饋給client端（）。43、MapReduce的inputsplit一定是一個block（）。44、鏈?zhǔn)組apReduce計算中，對任意一個MapReduce作業(yè)，Map和Reduce階段可以有無限個Mapper，但Reducer只能有一個（）。45、HBase對于空（NULL）的列，不需要占用存儲空間。（）。46、MapReduce適于PB級別以上的海量數(shù)據(jù)在線處理（）。47、MapReduce計算過程中，相同的key默認(rèn)會被發(fā)送到同一個reducetask處理（）。48、HBase可以有列，可以沒有列族（columnfamily）（）。49、/tmp目錄主要用于存儲程序運(yùn)行時生成的臨時文件（）。50、Linux系統(tǒng)以文本文件的形式保存大備份系統(tǒng)日志，如lastlog（）。51、Hadoop是Java開發(fā)的，所以MapReduce只支持Java語言編寫（）。52、NameNode負(fù)責(zé)管理metadata，client端每次讀寫請求，它都會從磁盤中讀取或者會寫入metadata信息并反饋給client端（）。53、MapReduce程序可以直接讀取HBase內(nèi)存儲的數(shù)據(jù)內(nèi)容。（）54、所有消息交換都是通過MapReduce框架自身去實現(xiàn)的。（）55、更新ZooKeeper操作是非阻塞式的。（）56、在分布式鎖服務(wù)中，就是通過對集群進(jìn)行Master選舉，來解決分布式系統(tǒng)中的單點故障。（）57、分區(qū)的主要好處是加快查詢速度。（）58、Hive創(chuàng)建內(nèi)部表時，會將數(shù)據(jù)移動到數(shù)據(jù)倉庫指向的路徑。（）。59、MapReduce程序可以直接讀取HBase內(nèi)存儲的數(shù)據(jù)內(nèi)容。（）60、使用Shell命令insert對HBase中的一張表進(jìn)行數(shù)據(jù)添加操作。（）四、簡答題（6題，每題5分，共30分）61、簡述HBase的主要技術(shù)特點。答：62、HBase有哪些類型的訪問接口？答：63、是否所有的MapReduce程序都需要經(jīng)過Map和Reduce這兩個過程？如果不是，請舉例說明。答：64、請描述HDFSHA架構(gòu)組成組建及其具體功能。答：65、hadoop節(jié)點動態(tài)上線下線怎么操作?答：66、HAnamenode是如何工作的？答：《大數(shù)據(jù)平臺搭建與配置管理》期中標(biāo)答期中標(biāo)答A（閉卷）題號一二三四五六七八九十成績滿分30202030100得分一、選擇題（20題，每題1.5分，共30分）1-5：CCCDD 6-10：DAABD11-15：AAADC16-20：BADBA二、填空題（20題，每題1分，共20分）21、Tuple 22、Stream23、Zookeeper24、325、內(nèi)存中26、RegionServer27、JDBC28、級別29、批處理30、負(fù)載均衡集群管理Master選舉31、刪除32、分布式鎖33、MapReduce34、并行35、分布式存儲和分布式計算36、808837、core-site.xmlyarn-site.xml38、為了解決單NN那可能會出現(xiàn)宕機(jī)導(dǎo)致集群不可用或數(shù)據(jù)丟失的問題39、監(jiān)控控制40、rm三、判斷題（20題，每題1分，共20分）41-45：FFFTT46-50：FFFTF51-55：FFTTT56-60：TTTTF四、簡答題（6題，每題5分，共60分）61、答：（1）列式存儲（2）表數(shù)據(jù)是稀疏的多維映射表（3）讀寫的嚴(yán)格一致性（4）提供很高的數(shù)據(jù)讀寫速度（5）良好的線性可擴(kuò)展性（6）提供海量數(shù)據(jù)（7）數(shù)據(jù)會自動分片（8）對于數(shù)據(jù)故障，hbase是有自動的失效檢測和恢復(fù)能力。（9）提供了方便的與HDFS和MAPREDUCE集成的能力62、答：HBase提供了NativeJavaAPI,HBaseShell，ThriftGateway,RESTGateWay,Pig,Hive等訪問接口。63、答：不是。略64、答：在一個典型的HA集群中，一般設(shè)置兩個名稱節(jié)點，其中一個名稱節(jié)點處于“活躍”狀態(tài)，另一個處于“待命”狀態(tài)。處于活躍狀態(tài)的名稱節(jié)點負(fù)責(zé)對外處理所有客戶端的請求，而處于待命狀態(tài)的名稱節(jié)點則作為備用節(jié)點，保存了足夠多的系統(tǒng)元數(shù)據(jù)，當(dāng)名稱節(jié)點提供了“熱備份”，一旦活躍名稱節(jié)點出現(xiàn)故障，就可以立即切換到待命名稱節(jié)點，不會影響到系統(tǒng)的正常對外服務(wù)。65、答：1）節(jié)點上線操作：當(dāng)要新上線數(shù)據(jù)節(jié)點的時候，需要把數(shù)據(jù)節(jié)點的名字追加在dfs.hosts文件中（1）關(guān)閉新增節(jié)點的防火墻（2）在NameNode節(jié)點的hosts文件中加入新增數(shù)據(jù)節(jié)點的hostname（3）在每個新增數(shù)據(jù)節(jié)點的hosts文件中加入NameNode的hostname（4）在NameNode節(jié)點上增加新增節(jié)點的SSH免密碼登錄的操作（5）在NameNode節(jié)點上的dfs.hosts中追加上新增節(jié)點的hostname,（6）在其他節(jié)點上執(zhí)行刷新操作：hdfsdfsadmin-refreshNodes（7）在NameNode節(jié)點上，更改slaves文件，將要上線的數(shù)據(jù)節(jié)點hostname追加到slaves文件中（8）啟動DataNode節(jié)點（9）查看NameNode的監(jiān)控頁面看是否有新增加的節(jié)點2）節(jié)點下線操作：（1）修改/conf/hdfs-site.xml文件（2）確定需要下線的機(jī)器，dfs.osts.exclude文件中配置好需要下架的機(jī)器，這個是阻止下架的機(jī)器去連接NameNode。（3）配置完成之后進(jìn)行配置的刷新操作./bin/hadoopdfsadmin-refreshNodes,這個操作的作用是在后臺進(jìn)行block塊的移動。（4）當(dāng)執(zhí)行三的命令完成之后，需要下架的機(jī)器就可以關(guān)閉了，可以查看現(xiàn)在集群上連接的節(jié)點，正在執(zhí)行Decommission，會顯示：DecommissionStatus:Decommissioninprogress執(zhí)行完畢后，會顯示：DecommissionStatus:Decommissioned（5）機(jī)器下線完畢，將他們從excludes文件中移除。66、答：ZKFailoverController主要職責(zé)1）健康監(jiān)測：周期性的向它監(jiān)控的NN發(fā)送健康探測命令，從而來確定某個NameNode是否處于健康狀態(tài)，如果機(jī)器宕機(jī)，心跳失敗，那么zkfc就會標(biāo)記它處于一個不健康的狀態(tài)。2）會話管理：如果NN是健康的，zkfc就會在zookeeper中保持一個打開的會話，如果Name