大數(shù)據(jù)實(shí)驗(yàn)環(huán)境構(gòu)建一、選擇題1．下列哪個(gè)屬性是hdfs-site.xml中的配置（A）？dfs.replicationfs.defaultFSyarn.resourcemanager.address2．Hadoop-3.1.0版本上NameNode的WebUI默認(rèn)的訪問端口是（D）？8080500705009098703、Linux中用于創(chuàng)建目錄的命令是（B）。cdmkdrirmdirpwd4．Linux中用于刪除目錄的命令是（C）。cdmkdrirmdirpwd5．以下哪一種不屬于VMwareWorkstation提供的網(wǎng)絡(luò)模式（D）。橋接模式權(quán)主機(jī)模式NAT模式容器模式二、填空題1．HDFS默認(rèn)的文件備份數(shù)量是3。2．groupaddgroup1命令用于向Linux中增加一個(gè)新的用戶組group1。3．mvdir1dir2命令用于將Linux的目錄dir1更名為dir2。4．“ssh-keygen-trsa”執(zhí)行后，會(huì)在Linux的/root/.ssh目錄下生成私鑰文件：id_rsa和公鑰文件：id_rsa_pub。5．Linux中擁有最高權(quán)限的用戶是root。三、簡(jiǎn)答題1．簡(jiǎn)述HDFS集群的組成和NameNode和DataNode的作用。答：NameNode的功能：管理整個(gè)文件系統(tǒng)的名稱空間和文件數(shù)據(jù)塊的地址映射，它維護(hù)著整個(gè)文件系統(tǒng)的文件目錄樹、文件/目錄的元信息和每個(gè)文件對(duì)應(yīng)的數(shù)據(jù)塊列表、接收用戶的操作請(qǐng)求。DataNode的功能：提供真實(shí)文件數(shù)據(jù)的存儲(chǔ)服務(wù)，負(fù)責(zé)文件系統(tǒng)或者客戶端的讀寫操作，在NameNode的調(diào)度下對(duì)數(shù)據(jù)塊進(jìn)行創(chuàng)建、存儲(chǔ)、刪除、備份等操作。2．簡(jiǎn)述Hadoop系統(tǒng)3.0版本與2.0版有什么不同。答：（1）最低Java版本從7升級(jí)到8（2）引入糾刪碼(ErasureCoding)：主要解決數(shù)據(jù)量大到一定程度磁盤空間存儲(chǔ)能力不足的問題；（3）重寫了Shell腳本，修改了之前版本長(zhǎng)期存在的一些錯(cuò)誤，并提供一些新功能；（4）NameNode(增加了容錯(cuò)性)：在Hadoop3中允許用戶使用多個(gè)備用的NameNode（5）MapReduce引入了一個(gè)NativeMapOutputCollector的本地化(C/C++)實(shí)現(xiàn)，對(duì)于shuffle密集的任務(wù)，可能提高30%或者更高的性能；（6）DataNode內(nèi)部實(shí)現(xiàn)Balancer：之前的DataNodeBalancer只能實(shí)現(xiàn)DN之間的數(shù)據(jù)平衡，Hadoop3.x實(shí)現(xiàn)了內(nèi)部的數(shù)據(jù)平衡；。（7）重做的后臺(tái)和任務(wù)堆內(nèi)存管理；（8）HDFS實(shí)現(xiàn)服務(wù)器級(jí)別的Federation分流；（9）Yarn的時(shí)間線服務(wù)升級(jí)到V2，Yarn實(shí)現(xiàn)更多種資源類型的管理；（10）容量調(diào)度器實(shí)現(xiàn)API級(jí)別的配置；（11）許多服務(wù)的默認(rèn)端口改變了；3．Hadoop系統(tǒng)中Yarn的作用是什么？答：Yarn在Hadoop系統(tǒng)中負(fù)責(zé)資源調(diào)度和任務(wù)管理，其主要作用是“資源管理”，“節(jié)點(diǎn)管理”和“應(yīng)用程序調(diào)度”，它包括四個(gè)組件：（1）ResourceManager1）處理客戶端請(qǐng)求；2）監(jiān)控NodeManager，對(duì)各個(gè)NodeManager上的資源進(jìn)行統(tǒng)一管理和調(diào)度；3）給ApplicationMaster分配空閑的Container運(yùn)行并監(jiān)控其運(yùn)行狀態(tài)(Scheduler來完成)；主要組成：資源調(diào)度器(Sheduler)和應(yīng)用程序管理器(ApplicationManager)。（2）NodeManager1）負(fù)責(zé)管理單個(gè)節(jié)點(diǎn)上的資源；2）定時(shí)的向RM匯報(bào)本節(jié)點(diǎn)上的資源使用情況和Container的運(yùn)行狀態(tài)。（3）ApplicationMaster1）負(fù)責(zé)整個(gè)任務(wù)執(zhí)行的監(jiān)控，可以向RM匯報(bào)任務(wù)執(zhí)行的狀態(tài)，重啟失敗任務(wù)等；2）向RM為應(yīng)用程序申請(qǐng)資源并分配給內(nèi)部的任務(wù)。（4）Cont