1+x大數(shù)據(jù)模擬題與答案一、單選題（共20題，每題1分，共20分）1.使用java-api訪問hdfs時，數(shù)據(jù)塊副本數(shù)由下面那個決定？（）A、clientB、namenodeC、secondarynodeD、datanode正確答案：A2.下列描述中，哪項不屬于Sqoop的缺點（）A、無法控制任務的并發(fā)度B、格式緊耦合C、安全機制不夠完善D、connector必須符合JDBC模型正確答案：A答案解析：Sqoop的缺點包括格式緊耦合、安全機制不夠完善、connector必須符合JDBC模型等。而Sqoop可以通過設置參數(shù)等方式控制任務的并發(fā)度，所以無法控制任務的并發(fā)度不屬于其缺點。3.下列是關于flume和sqoop對比的描述，不正確的是（)A、flume主要用于采集多數(shù)據(jù)源小數(shù)據(jù)而sqoop用來遷移單數(shù)據(jù)源數(shù)據(jù)B、flume和sqoop都是分布式處理任務C、flume主要采集流式數(shù)據(jù)而sqoop主要用來遷移規(guī)范化數(shù)據(jù)D、flume主要用來采集日志而sqoop主要用來做數(shù)據(jù)遷移正確答案：B4.顯示當前所在目錄的命令是（）A、pwdB、lsC、cdD、mkdir正確答案：A答案解析：“pwd”命令用于顯示當前所在目錄?！發(fā)s”命令用于列出目錄內(nèi)容；“cd”命令用于切換目錄；“mkdir”命令用于創(chuàng)建目錄。所以顯示當前所在目錄的命令是“pwd”，答案選A。5.Sqoop將導入或?qū)С雒罘g成什么程序來實現(xiàn)導入導出（）A、TezB、SparkC、StormD、MapReduce正確答案：D6.下面哪個程序負責HDFS數(shù)據(jù)存儲？（）A、NameNodeB、JobtrackerC、DatanodeD、secondaryNameNodeE、tasktracker正確答案：C答案解析：NameNode負責管理文件系統(tǒng)的命名空間，維護文件系統(tǒng)樹以及文件樹中所有文件和目錄的元數(shù)據(jù)；JobTracker負責作業(yè)調(diào)度；Datanode負責數(shù)據(jù)的存儲，它按照NameNode的要求存儲數(shù)據(jù)塊；secondaryNameNode主要輔助NameNode，定期合并命名空間鏡像和編輯日志；tasktracker是MapReduce中負責執(zhí)行任務的節(jié)點。所以負責HDFS數(shù)據(jù)存儲的是Datanode。7.日志消息的級別中那個是不會影響系統(tǒng)但值得注意()A、ALEKKTB、CRITC、NOTICED、DEBUG正確答案：C答案解析：NOTICE級別表示不會影響系統(tǒng)但值得注意的信息。ALEKKT并不是標準的日志級別。CRIT級別表示嚴重的錯誤，會影響系統(tǒng)正常運行。DEBUG級別主要用于開發(fā)調(diào)試，通常包含大量詳細信息，也不只是“值得注意”這么簡單。8.下列哪項通常是集群的最主要瓶頸（）A、CPUB、網(wǎng)絡C、磁盤IOD、內(nèi)存（由于大數(shù)據(jù)面臨海量數(shù)據(jù)，讀寫數(shù)據(jù)都需要io，然后還要冗余數(shù)據(jù)，hadoop一般備3份數(shù)據(jù)，所以IO就會打折扣。）正確答案：C答案解析：由于大數(shù)據(jù)面臨海量數(shù)據(jù)，讀寫數(shù)據(jù)都需要IO，然后還要冗余數(shù)據(jù)，hadoop一般備3份數(shù)據(jù)，所以IO就會打折扣，磁盤IO通常是集群的最主要瓶頸。9.下列不屬于NameNode的功能（）。A、提供名稱查詢服務B、保存Block信息，匯報Block信息C、保存metadata信息D、metadata信息在啟動后會加載到內(nèi)存正確答案：B答案解析：NameNode主要負責管理文件系統(tǒng)的命名空間，提供名稱查詢服務，保存metadata信息并在啟動后加載到內(nèi)存。而保存Block信息并匯報Block信息是DataNode的功能。10.ZooKeeper是一個典型的分布式數(shù)據(jù)一致性解決方案,下列哪項是不屬于它實現(xiàn)的功能（）A、分布式鎖B、數(shù)據(jù)發(fā)布/訂閱C、響應用戶I/O請求D、負載均衡正確答案：C答案解析：ZooKeeper主要實現(xiàn)分布式協(xié)調(diào)服務，包括分布式鎖、數(shù)據(jù)發(fā)布/訂閱、命名服務、分布式通知等功能。響應用戶I/O請求并不是ZooKeeper的主要功能。負載均衡通常由專門的負載均衡器來實現(xiàn)，也不是ZooKeeper的功能。11.大數(shù)據(jù)平臺架構設計()的思想A、全分布設計B、分層模塊化設計C、高集合化設計D、統(tǒng)一結構化設計正確答案：B答案解析：分層模塊化設計是大數(shù)據(jù)平臺架構設計中常用的思想。它將整個架構按照功能、職責等劃分為不同的層次和模塊，各層次和模塊之間相互協(xié)作又相對獨立，這樣有利于系統(tǒng)的開發(fā)、維護、擴展和優(yōu)化。高集合化設計不利于系統(tǒng)的靈活性和可維護性；統(tǒng)一結構化設計并非大數(shù)據(jù)平臺架構設計的典型思想；全分布設計表述不準確，大數(shù)據(jù)平臺架構有多種部署方式并非單純?nèi)植肌?2.Sqoop是Hadoop和關系數(shù)據(jù)庫服務器之間傳送數(shù)據(jù)的工具，下列哪種數(shù)據(jù)庫是不支持使用Sqoop直接進行數(shù)據(jù)傳送（）A、PostgresB、OracleC、MySQLD、Redis正確答案：D答案解析：Sqoop主要用于在Hadoop和關系型數(shù)據(jù)庫之間傳輸數(shù)據(jù)，Postgres（PostgreSQL）、Oracle、MySQL都是關系型數(shù)據(jù)庫，支持使用Sqoop直接進行數(shù)據(jù)傳送。而Redis是一個開源的使用ANSIC語言編寫、支持網(wǎng)絡、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫，不是關系型數(shù)據(jù)庫，不支持使用Sqoop直接進行數(shù)據(jù)傳送。13.在hadoop配置中yarn-site.xml作用是（）A、用于定義系統(tǒng)級別的參數(shù)B、用于名稱節(jié)點和數(shù)據(jù)節(jié)點的存放位置C、用于配置JobHistoryServer和應用程序參數(shù)D、配置ResourceManager，NodeManager的通信端口正確答案：D答案解析：在hadoop配置中，yarn-site.xml主要用于配置ResourceManager，NodeManager的通信端口等相關參數(shù)，以定義YARN集群的相關屬性，實現(xiàn)各個組件之間的通信和協(xié)作。A選項說的是core-site.xml的作用；B選項說的是hdfs-site.xml的作用；C選項說的是mapred-site.xml的作用。14.列出mysql數(shù)據(jù)庫中的所有數(shù)據(jù)庫sqoop命令是？（）A、sqooplist-databases–connectB、sqooplist-tables–connectC、sqoopcreate-hive-table–connectD、sqoopimport–connect正確答案：A答案解析：要列出MySQL數(shù)據(jù)庫中的所有數(shù)據(jù)庫，使用的sqoop命令是`sqooplist-databases--connect<jdbc:mysql://host:port>`，其中`--connect`后面接MySQL的連接字符串。選項A符合列出數(shù)據(jù)庫的命令格式。選項B`list-tables`是列出表，選項C`create-hive-table`是創(chuàng)建Hive表，選項D`import`是用于導入數(shù)據(jù)，均不符合列出數(shù)據(jù)庫的需求。15.hadoop平臺下檢查h3cu目錄的健康狀態(tài)采用（）命令A、hadoopfs-lsr/h3cuB、list/h3cuC、hdfsfsck/h3cuD、find/h3cu正確答案：C16.在HBase的組件中，哪一個負責日志記錄（）A、HRegionB、HFileC、MemStoreD、WAL正確答案：D答案解析：WAL（Write-AheadLog）即預寫式日志，是HBase中負責日志記錄的組件。當有數(shù)據(jù)寫入HBase時，首先會寫入到WAL中，以確保數(shù)據(jù)的持久性和恢復能力。只有在WAL成功寫入后，數(shù)據(jù)才會被寫入到MemStore中，最終刷寫到HFile中。HRegion是分布式存儲的基本單元；HFile是HBase數(shù)據(jù)存儲的文件格式；MemStore是內(nèi)存中的存儲結構，用于暫存數(shù)據(jù)。17.ZooKeeper的特點不包括（）A、順序一致性B、原子性C、可靠性D、復合系統(tǒng)映像正確答案：D答案解析：ZooKeeper的特點包括順序一致性、原子性、可靠性等。順序一致性指所有的客戶端對同一數(shù)據(jù)的讀/寫請求按順序執(zhí)行；原子性指更新操作要么成功，要么失敗，不會存在部分更新的情況；可靠性指保證服務的高可用和數(shù)據(jù)的可靠存儲。而復合系統(tǒng)映像是不存在的概念，不是ZooKeeper的特點。18.Flume在什么地方將事件轉(zhuǎn)換為數(shù)據(jù)輸出?A、源B、通道C、槽D、攔截器正確答案：B答案解析：Flume在通道中會將事件轉(zhuǎn)換為數(shù)據(jù)輸出。源負責采集數(shù)據(jù)，將數(shù)據(jù)以事件的形式發(fā)送到通道；通道存儲事件，在這里事件會被轉(zhuǎn)換為數(shù)據(jù)以便后續(xù)處理；槽是通道中的數(shù)據(jù)存儲單元；攔截器用于在事件進入通道之前對其進行攔截和處理。所以是在通道中進行事件到數(shù)據(jù)的轉(zhuǎn)換。19.下列有關flume的描述不正確的是A、flume是Apache的一個子項目B、flume主要是一個日志采集，傳輸系統(tǒng)C、flume和sqoop功能相似，因此可以相互替代D、flume可以同時采集集群內(nèi)部和集群外部的日志數(shù)據(jù)正確答案：C答案解析：flume主要用于日志采集、聚合和傳輸，而sqoop主要用于在Hadoop和關系型數(shù)據(jù)庫之間高效傳輸數(shù)據(jù)，它們功能不同，不能相互替代。選項A，flume確實是Apache的一個子項目；選項B，flume主要功能就是日志采集和傳輸系統(tǒng)；選項D，flume可以采集集群內(nèi)部和外部的日志數(shù)據(jù)。20.下面關于分布式文件系統(tǒng)HDFS的描述正確的是：（）A、分布式文件系統(tǒng)HDFS是谷歌分布式文件系統(tǒng)GFS（GoogleFileSystem）的一種開源實現(xiàn)B、分布式文件系統(tǒng)HDFS比較適合存儲大量零碎的小文件C、分布式文件系統(tǒng)HDFS是GoogleBigtable的一種開源實現(xiàn)D、分布式文件系統(tǒng)HDFS是一種關系型數(shù)據(jù)庫正確答案：A答案解析：HDFS是谷歌分布式文件系統(tǒng)GFS的開源實現(xiàn)。B選項，HDFS不適合存儲大量零碎小文件，更適合存儲大文件。C選項，HDFS不是GoogleBigtable的開源實現(xiàn)。D選項，HDFS是分布式文件系統(tǒng)，不是關系型數(shù)據(jù)庫。二、多選題（共20題，每題1分，共20分）1.下列關于HDFS對文件分塊存儲的作用描述正確的是（）A、有利于負載均衡B、便于并行處理C、最小化尋址開銷D、支持大規(guī)模文件存儲正確答案：ABCD答案解析：1.**有利于負載均衡**：將大文件分成多個塊存儲在不同的DataNode上，避免單個節(jié)點負載過高，實現(xiàn)了負載均衡。2.**便于并行處理**：多個塊可以并行地進行讀寫操作，提高了數(shù)據(jù)處理的效率。3.**最小化尋址開銷**：因為數(shù)據(jù)分散存儲，尋址時只需要找到包含目標塊的DataNode，而不是整個大文件的位置，減少了尋址范圍，最小化了尋址開銷。4.**支持大規(guī)模文件存儲**：通過分塊，HDFS能夠高效地存儲和管理非常大的文件，理論上可以支持極大規(guī)模的文件存儲。2.下面描述正確的是()A、HDFS將數(shù)量眾多的廉價機器使得硬件錯誤成為常態(tài)B、HDFS支持多種軟硬件平臺中的可移植性C、HDFS上的一個文件大小是G或T數(shù)量級的，支持的文件數(shù)量達到千萬數(shù)量級D、HDFS上的文件可以任意修改正確答案：ABC答案解析：選項A，HDFS確實是構建在大量廉價機器之上，硬件錯誤較為常見；選項B，HDFS具有良好的可移植性，支持多種軟硬件平臺；選項C，HDFS適合存儲大文件，一個文件大小通常是GB或TB數(shù)量級，且支持的文件數(shù)量能達到千萬數(shù)量級；選項D錯誤，HDFS上的文件一般是一次寫入，多次讀取，不支持任意修改。3.Hive有哪些方式保存元數(shù)據(jù)（）A、multiusermodeB、telnetusermodeC、remoteusermodeD、singleusermode正確答案：ACD答案解析：1.**Metastore模式介紹**：-**單用戶模式（Singleusermode）**：-這是一種保存元數(shù)據(jù)的方式。在單用戶模式下，同一時間只有一個用戶可以訪問元數(shù)據(jù)，適用于開發(fā)和測試場景，此時可以方便地對元數(shù)據(jù)進行各種操作，如創(chuàng)建表、修改表結構等。-**多用戶模式（Multiusermode）**：-支持多個用戶同時訪問元數(shù)據(jù)，能滿足企業(yè)級多用戶并發(fā)操作元數(shù)據(jù)的需求，比如不同的數(shù)據(jù)分析團隊成員可以同時對元數(shù)據(jù)進行查詢、修改等操作。-**遠程用戶模式（Remoteusermode）**：-允許遠程用戶訪問元數(shù)據(jù)，通過網(wǎng)絡等方式，使得不同地點的用戶都能使用Hive的元數(shù)據(jù)服務，方便分布式團隊協(xié)作處理數(shù)據(jù)相關任務。-**telnetusermode**：-Telnet是一種網(wǎng)絡協(xié)議，主要用于遠程登錄。但它并不是Hive保存元數(shù)據(jù)的一種特定模式，Hive保存元數(shù)據(jù)與Telnet本身沒有直接關聯(lián)，所以它不屬于保存元數(shù)據(jù)的方式。綜上所述，ABC選項是Hive保存元數(shù)據(jù)的方式，D選項不是。4.下面屬于HDFS的優(yōu)點的是（）A、處理超大文件。HDFS能夠處理TB級甚至PB級的數(shù)據(jù)。B、支持流式數(shù)據(jù)訪問。C、低成本運行。HDFS可運行在低廉的商用硬件集群上。D、適合處理低延遲的數(shù)據(jù)訪問E、適合處理大量的小文件F、支持多用戶寫入及任意修改文件正確答案：ABC答案解析：1.**處理超大文件**：-HDFS的設計初衷就是能夠高效地存儲和處理超大規(guī)模的數(shù)據(jù)，它可以輕松應對TB級甚至PB級的數(shù)據(jù)存儲和管理，所以選項A是其優(yōu)點。2.**支持流式數(shù)據(jù)訪問**：-對于像日志分析、數(shù)據(jù)挖掘等應用場景，需要對大量數(shù)據(jù)進行順序讀取，HDFS非常適合這種流式的數(shù)據(jù)訪問方式，所以選項B是其優(yōu)點。3.**低成本運行**：-HDFS可以運行在由普通商用硬件組成的集群上，不需要昂貴的高端設備，大大降低了硬件成本，所以選項C是其優(yōu)點。4.**不適合處理低延遲的數(shù)據(jù)訪問**：-HDFS由于其設計特點，主要側重于高吞吐量的數(shù)據(jù)存儲和處理，對于低延遲的數(shù)據(jù)訪問場景表現(xiàn)不佳，所以選項D不是其優(yōu)點。5.**不適合處理大量的小文件**：-在HDFS中存儲大量小文件時，會消耗大量的NameNode內(nèi)存來存儲文件元數(shù)據(jù)，并且磁盤I/O效率也不高，所以選項E不是其優(yōu)點。6.**不支持多用戶寫入及任意修改文件**：-HDFS不支持多用戶同時寫入一個文件，也不支持任意修改文件，寫入操作主要是一次寫入一個文件，文件一旦寫入很少進行修改，所以選項F不是其優(yōu)點。5.以下哪些組件屬于Hadoop生態(tài)圈（）A、MySQLB、HiveC、HDFSD、Sqoop正確答案：BCD答案解析：MySQL是一種關系型數(shù)據(jù)庫管理系統(tǒng)，不屬于Hadoop生態(tài)圈。Hive是基于Hadoop的數(shù)據(jù)倉庫工具；HDFS是Hadoop分布式文件系統(tǒng)，是Hadoop的核心組件之一；Sqoop是用于在Hadoop與傳統(tǒng)數(shù)據(jù)庫之間高效傳輸數(shù)據(jù)的工具，它們都屬于Hadoop生態(tài)圈。6.下列關于壓縮在MapReduce中的使用描述正確的是（）A、可以對輸入文件進行壓縮B、可以對Map任務輸出進行壓縮C、可以對整個作業(yè)的輸出進行壓縮D、如果輸入文件是壓縮的，MapReduce會在讀取文件時自動解壓縮正確答案：ABCD7.ZooKeeper的節(jié)點類型有？（）A、臨時節(jié)點B、持久節(jié)點C、順序節(jié)點D、監(jiān)控節(jié)點正確答案：ABC答案解析：ZooKeeper的節(jié)點類型主要有臨時節(jié)點、持久節(jié)點、順序節(jié)點。臨時節(jié)點在創(chuàng)建節(jié)點的客戶端與ZooKeeper斷開連接后會被自動刪除；持久節(jié)點會一直存在，直到被主動刪除；順序節(jié)點會在節(jié)點名稱后自動追加一個單調(diào)遞增的序號。而監(jiān)控節(jié)點并不是ZooKeeper的節(jié)點類型。8.Linux版本分為以下哪幾類（）A、發(fā)行版B、測試版C、內(nèi)核版D、開發(fā)版正確答案：AC答案解析：Linux版本主要分為內(nèi)核版和發(fā)行版。內(nèi)核版是Linux操作系統(tǒng)的核心，發(fā)行版則是在Linux內(nèi)核的基礎上，添加了各種軟件包、工具、桌面環(huán)境等，方便用戶使用。測試版通常是在軟件發(fā)布前進行測試的版本，不屬于Linux版本的分類范疇。開發(fā)版更多的是針對開發(fā)者而言，用于開發(fā)和測試新功能等，也不是Linux版本的標準分類。9.下列屬于hadoop的發(fā)行版本的是（）A、ApacheB、ClouderaC、RedhatD、Centos正確答案：ABC10.下面的命令描述正確的是()A、刪除用戶名為Tom的命令：userdelTomB、改用戶Tom設置密碼命令：passwdTomC、創(chuàng)建一個名稱為test組的命令：groupaddtestD、切換當前用戶帳戶為admin的命令：suadmin正確答案：ABC11.Hadoop能夠使用戶輕松開發(fā)和運行處理大數(shù)據(jù)的應用程序，那它主要有下面哪些特點（）A、高可靠性B、高擴展性C、高效性D、高容錯性正確答案：ABCD答案解析：Hadoop具有高可靠性，它通過多副本存儲數(shù)據(jù)等機制保證數(shù)據(jù)的安全性和可用性；具有高擴展性，可以方便地增加節(jié)點來擴展存儲和計算能力；具有高效性，能夠快速處理大規(guī)模數(shù)據(jù)；具有高容錯性，當部分節(jié)點出現(xiàn)故障時，依然可以正常工作，保證任務的執(zhí)行。所以ABCD四個選項都是Hadoop的特點。12.HDFS保障可靠性的措施（）A、數(shù)據(jù)冗余機制B、數(shù)據(jù)節(jié)點心跳包C、數(shù)據(jù)節(jié)點塊報告D、數(shù)據(jù)完整性檢測正確答案：ABD13.Hadoop集群驗證步驟包括（）A、初始化集群，使用Hadoop命令啟動集群。B、使用Hadoop命令，創(chuàng)建HDFS文件夾。C、使用HDFS命令查看文件系統(tǒng)“/”路徑下是否存在文件。D、用Hadoop自帶的WordCount程序去測試MapReduce正確答案：ABCD答案解析：-選項A：初始化集群并使用Hadoop命令啟動集群是驗證集群是否正常運行的基礎步驟。-選項B：創(chuàng)建HDFS文件夾可以檢驗HDFS文件系統(tǒng)的創(chuàng)建功能是否正常。-選項C：查看文件系統(tǒng)“/”路徑下是否存在文件，能了解HDFS文件系統(tǒng)的基本情況以及文件操作是否正確。-選項D：用Hadoop自帶的WordCount程序測試MapReduce可以驗證集群的計算能力和MapReduce框架是否正常工作。14.驗證SSH無密碼登錄需要（）步驟A、修改Master節(jié)點authorized_keys文件B、修改Slave節(jié)點authorized_keys文件C、驗證Master到每個Slave節(jié)點無密碼登錄D、驗證兩個Slave節(jié)點到Master節(jié)點無密碼登錄正確答案：ABCD答案解析：首先需要修改Master節(jié)點的authorized_keys文件，將Slave節(jié)點的公鑰添加進去，這是實現(xiàn)Master到Slave無密碼登錄的基礎，所以A步驟是必要的；同理，修改Slave節(jié)點的authorized_keys文件，添加Master節(jié)點公鑰，實現(xiàn)Slave到Master的無密碼登錄，B步驟也不可或缺；然后要驗證Master到每個Slave節(jié)點能夠無密碼登錄，C步驟是對配置效果在這一方向的驗證；同時也需要驗證兩個Slave節(jié)點到Master節(jié)點無密碼登錄，D步驟是對配置效果在另一方向的驗證。只有完成這四個步驟，才能全面驗證SSH無密碼登錄。15.下列哪個是Hadoop運行的模式A、單機版B、偽分布式C、分布式