項目1習題答案選擇題1.A解析：虛擬機準備流程為創(chuàng)建虛擬機→安裝操作系統(tǒng)→加載VMwareTools→安裝補丁程序，對應任務1.1.3中虛擬機創(chuàng)建與Ubuntu安裝步驟。2.C解析：文檔1.1.3提到，虛擬機安裝后需通過VMwareTools安裝驅動，而非硬件廠商驅動或系統(tǒng)自動安裝。3.C解析：虛擬機的核心優(yōu)勢是隔離性，操作不影響宿主計算機數據（任務1.1.2虛擬化工具對比）。4.AC解析：VMware軟件包括VMwareWorkstation（專業(yè)版）和VMwarePlayer（免費版），文檔1.1.2提及。5.B解析：Docker啟動速度為毫秒級，相當于宿主機上的一個進程，無需完整操作系統(tǒng)資源（任務1.2.2容器技術對比）。6.B解析：Dockerfile通過減少存儲層結構提升性能，而dockercommit會保留冗余層（任務1.2.3鏡像構建說明）。7.C解析：獲取Docker鏡像的命令為dockerpull（任務1.2.3步驟1：sudodockerpullubuntu）。二、問答題1.大數據的特征oVolume（容量）：數據規(guī)模龐大，如IDC報告顯示2025年全球數據將達175ZB。oVelocity（速度）：數據增長速度快，每天產生491EB數據。oVariety（多樣性）：包括結構化（成績、消費數據）和非結構化數據（日志、圖片）。oVeracity（真實性）：數據來源多樣，需保證準確性。oValue（價值）：數據價值密度低，需挖掘隱含信息（如校園數據輔助管理決策）。2.Hadoop主要特點o分布式架構：基于HDFS（存儲）和YARN（資源調度）的分布式集群。o高容錯性：數據多副本存儲（默認3份），節(jié)點故障不影響整體。o高吞吐量：適合海量數據批處理，如MapReduce并行計算。o可擴展性：支持動態(tài)添加節(jié)點，適應數據增長。o低成本：基于普通硬件，開源免費。3.SSH免密登錄設置過程o生成密鑰對：ssh-keygen-trsa（全程回車默認配置）。o復制公鑰到目標主機：cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys。o權限設置：chmod600~/.ssh/authorized_keys（確保僅所有者可讀寫）。4.Hadoop安裝過程o環(huán)境準備：安裝JDK并配置JAVA_HOME（任務1.2.3步驟10）。o解壓Hadoop：tar-zxvfhadoop-3.2.1.tar.gz-C/usr/local/（任務1.3.3）。o配置環(huán)境變量：修改/etc/profile，添加HADOOP_HOME及Path（任務1.3.3）。o修改配置文件：單機模式：無需額外配置，直接驗證版本。偽分布式/分布式：配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等（任務1.3.3）。o格式化NameNode：hadoopnamenode-format。o啟動集群：start-all.sh（分布式需配置SSH免密及節(jié)點映射）。5.啟動配置容器的方法odockerrun：創(chuàng)建并啟動新容器（如dockerrun-it--namemasterubuntu/jdkinstalled）。odockerstart<容器名>：啟動已停止的容器（如dockerstartmaster）。odockerrestart<容器名>：重啟容器（如dockerrestartmaster）。項目2習題答案一、選擇題1.A解析：HDFS架構源于Google分布式文件系統(tǒng)（GFS）（任務2.1.2HDFS簡介）。2.A解析：HDFS是Hadoop的分布式存儲層，負責海量數據的存儲（任務2.1.2）。3.D解析：HDFS設計目標是一次寫入，多次讀?。ㄈ蝿?.1.2HDFS特點）。4.B解析：Anaconda是開源Python發(fā)行版，集成科學計算庫（任務2.2.2）。5.D解析：Anaconda3支持Windows、macOS、Linux所有主流操作系統(tǒng)（任務2.2.3下載鏈接）。6.A解析：Anaconda官方下載地址為（任務2.2.3）。7.B解析：HDFS屬于Sharenothing架構，節(jié)點獨立存儲與計算（任務2.1.2架構）。8.B解析：機架感知確保數據塊副本存儲在不同機架的DataNode，提升容錯性（任務2.1.2HDFS架構）。9.D解析：SecondaryNameNode用于備份NameNode元數據，緩解單節(jié)點故障風險（任務2.1.2）。10.C解析：HDFS默認將文件塊復制3份存放（任務2.1.2HDFS架構）。11.C解析：hadoopfs-get和-put支持文件和目錄操作（任務2.3.2DFSShell命令）。12.D解析：安全模式下不允許修改文件系統(tǒng)（如創(chuàng)建/刪除文件），僅檢查數據塊有效性（任務2.1.2HDFS容錯機制）。二、問答題1.HDFS體系架構主要包括oNameNode：管理文件系統(tǒng)命名空間、元數據及客戶端訪問。oDataNode：存儲實際數據塊，執(zhí)行讀寫操作。oSecondaryNameNode：輔助NameNode，定期合并編輯日志與鏡像文件。oClient：與NameNode交互獲取文件元數據，與DataNode交互讀寫數據。2.HDFS不適用的場景o低延遲數據訪問（如實時查詢）。o小文件存儲（元數據開銷大）。o頻繁修改文件（僅支持追加寫，不支持隨機修改）。o高IOPS需求（適合高吞吐量，非高并發(fā)）。3.HDFS包含的兩種節(jié)點o主節(jié)點（NameNode）：管理元數據與命名空間。o從節(jié)點（DataNode）：存儲數據塊并執(zhí)行讀寫命令。4.pyhdfs.HdfsClient相關函數與參數描述答案實例化HdfsClient的參數hosts（NameNode地址）、user_name（用戶名）、timeout（超時時間）等返回用戶根目錄的函數get_home_directory()返回可用NameNode節(jié)點的函數get_active_namenode()創(chuàng)建目錄的函數mkdirs(path,permission=None)上傳本地文件到HDFS的函數copy_from_local(localsrc,dest)5.將Mnist數據集上傳到HDFS的代碼importpyhdfs#連接HDFSfs=pyhdfs.HdfsClient(hosts=':9870',user_name='root')#本地Mnist數據集路徑（示例）local_mnist_path='/path/to/local/mnist/'#HDFS目標路徑hdfs_dest='/user/root/python/'#創(chuàng)建目標目錄ifnotfs.exists(hdfs_dest):fs.mkdirs(hdfs_dest)#上傳文件（假設數據集包含train-images-idx3-ubyte等文件）forfilein['train-images-idx3-ubyte','train-labels-idx1-ubyte','t10k-images-idx3-ubyte','t10k-labels-idx1-ubyte']:local_path=f'{local_mnist_path}/{file}'hdfs_path=f'{hdfs_dest}/{file}'fs.copy_from_local(local_path,hdfs_path)print(f'上傳成功：{hdfs_path}')解析：通過pyhdfs.HdfsClient連接HDFS，使用mkdirs創(chuàng)建目錄，copy_from_local上傳本地文件到目標路徑。項目三一、選擇題答案（1）BFlume核心功能是分布式采集日志、事件等數據，并非文件存儲、數據庫管理或網絡監(jiān)控。（2）AFlume數據流的最小單位是Event，包含Headers（元數據）和Body（實際數據）。（3）BChannel是Source和Sink之間的緩沖區(qū)，暫存數據以解耦兩者，常見類型有MemoryChannel、FileChannel。（4）BFlume配置文件默認路徑為環(huán)境變量$FLUME_HOME下的conf目錄，其他選項非標準路徑。（5）BKafka本質是分布式消息系統(tǒng)，可用于日志收集，但核心定位是消息傳遞與存儲。（6）CBroker即Kafka服務器節(jié)點，負責存儲Topic的分區(qū)數據；Producer生產消息，Consumer消費消息，Zookeeper管理集群元數據。（7）BTopic是消息的分類標識，生產者將消息發(fā)送到指定Topic，消費者從Topic訂閱消息。（8）Akafka-topics.sh用于創(chuàng)建、刪除、查看Topic；B是生產者命令，C是消費者命令，D是啟動Kafka服務的命令。（9）BSqoop主要用于“關系型數據庫（如MySQL）到HDFS/Hive”的批量數據導入，也支持反向導出，但核心場景是前者。（10）BHDFS文件中的每條記錄，對應導入到關系型數據庫表中的一行數據。二、問答題答案（1）Flume中Event、Flow、Agent和Source的區(qū)別和聯系區(qū)別：Event：Flume數據流的最小單位，由Headers（鍵值對元數據，如時間戳、來源）和Body（字節(jié)數組形式的實際數據）組成。Flow：數據從“源頭（如日志文件）到目的地（如HDFS）”的完整傳輸路徑，包含一個或多個Agent串聯。Agent：Flume的獨立運行實例，是數據傳輸的基本單元，單個Agent包含Source、Channel、Sink三個核心組件。Source：Agent的數據輸入組件，負責從外部數據源（如Taildir、SpoolingDirectory）采集數據，并將其轉換為Event發(fā)送到Channel。聯系：Source采集數據后生成Event，Event先暫存到Channel。Sink從Channel讀取Event并發(fā)送到下一個Agent或最終目的地，多個Agent串聯形成Flow，完成端到端數據傳輸。（2）Kafka中的Partition機制及其對消息順序的影響Partition機制：Partition（分區(qū)）是Topic的物理拆分，一個Topic可分為多個Partition，每個Partition存儲部分Topic數據。分區(qū)數據以“日志文件（Segment）”形式存儲在Broker上，且每個Partition內部的消息按寫入順序生成唯一Offset（偏移量），保證分區(qū)內有序。分區(qū)可分布在不同Broker上，實現數據分片存儲，提升Kafka集群的吞吐量和擴展性。對消息順序的影響：分區(qū)內有序：同一Partition中的消息，按生產者寫入順序存儲，消費者按Offset順序讀取，能保證消息順序?？绶謪^(qū)無序：不同Partition之間的消息Offset相互獨立，生產者可能將消息寫入不同Partition，消費者同時消費多個Partition時，無法保證整體消息順序。（3）Kafka的數據寫入和消費的基本流程數據寫入流程：生產者（Producer）通過Kafka客戶端連接集群，指定要寫入的Topic。生產者根據“分區(qū)策略（如按Key哈希、輪詢）”確定消息要寫入的Partition。生產者將消息發(fā)送到該Partition所在的Broker節(jié)點，Broker確認接收后，將消息追加到Partition的日志文件中，并更新Partition的最新Offset。數據消費流程：消費者（Consumer）加入一個消費者組（ConsumerGroup），并訂閱指定Topic。Kafka集群為消費者組中的每個消費者分配該Topic的部分Partition（同一Partition只能被組內一個消費者消費）。消費者從分配的Partition中，按指定的Offset（如從最新位置、指定位置）讀取消息，消費完成后提交Offset（記錄已消費的位置，避免重復消費）。（4）Sqoop的主要功能和它在數據遷移中的作用主要功能：數據導入：將關系型數據庫（MySQL、Oracle等）中的結構化數據，批量導入到Hadoop生態(tài)系統(tǒng)（HDFS、Hive、HBase）中。數據導出：將HDFS/Hive中的數據，導出回關系型數據庫的表中。自動化操作：支持通過命令行或腳本，自動完成數據遷移的全流程，包括數據格式轉換、字段映射、增量/全量遷移。在數據遷移中的作用：打通數據通道：解決“結構化數據庫”與“大數據平臺”之間的數據孤島問題，實現數據互通。提升遷移效率：基于MapReduce框架實現并行數據遷移，處理大規(guī)模數據時性能優(yōu)于傳統(tǒng)單節(jié)點工具。降低操作成本：無需手動編寫復雜的讀寫代碼，通過簡單配置即可完成遷移，減少開發(fā)工作量。（5）Sqoop的導入和導出工具的基本工作流程導入工具（從關系型數據庫到HDFS/Hive）工作流程：用戶通過sqoop-import命令，指定源數據庫（URL、用戶名、密碼）、目標表、目標存儲位置（如HDFS路徑）。Sqoop連接源數據庫，讀取目標表的元數據（字段類型、結構），生成對應的MapReduce作業(yè)。MapReduce作業(yè)并行讀取源數據庫表的數據，將數據轉換為指定格式（如TextFile、Parquet）。將轉換后的數據寫入到目標存儲位置（HDFS或Hive表），完成導入。導出工具（從HDFS/Hive到關系型數據庫）工作流程：用戶通過sqoop-export命令，指定源數據位置（HDFS路徑或Hive表）、目標數據庫（URL、表名）、字段映射關系。Sqoop讀取源數據的元數據，連接目標數據庫，檢查目標表結構是否匹配。生成MapReduce作業(yè)，并行讀取源數據文件中的記錄。將讀取的記錄轉換為SQL插入語句，批量寫入到目標數據庫表中，完成導出。項目四1、選擇題（1）C（2）C（3）D（4）B（5）B（6）B（7）D（8）B（9）B（10）D2、簡答題（1）MapReduce基本工作流程圖輸入分片→Map階段→Shuffle階段→Reduce階段→輸出結果輸入分片：數據被切分為多個分片，每個分片由一個Map任務處理Map階段：對每個分片執(zhí)行Map函數，輸出鍵值對Shuffle階段：對Map輸出進行排序、分區(qū)，傳輸到Reduce節(jié)點Reduce階段：對相同鍵的值進行聚合處理輸出結果：Reduce結果寫入HDFS（2）手動導入依賴庫方法下載Hadoop相關JAR包（如hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-core）在IDEA中創(chuàng)建普通Java項目右鍵項目→OpenModuleSettings→Libraries→點擊+→選擇JAR文件將添加的庫導出為JAR包或通過壓縮包分享給他人3、實訓題（1）//MapperpublicclassScoreMapperextendsMapper<LongWritable,Text,Text,IntWritable>{@Overrideprotectedvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException{String[]fields=value.toString().split("\\s+");intscore=Integer.parseInt(fields[3]);context.write(newText("score"),newIntWritable(score));if(score>80){context.write(newText("excellent"),newIntWritable(1));}}}//ReducerpublicclassScoreReducerextendsReducer<Text,IntWritable,Text,DoubleWritable>{@Overrideprotectedvoidreduce(Textkey,Iterable<IntWritable>values,Contextcontext)throwsIOException,InterruptedException{if(key.toString().equals("score")){intsum=0,count=0;for(IntWritableval:values){sum+=val.get();count++;}context.write(newText("平均成績"),newDoubleWritable(sum*1.0/count));}elseif(key.toString().equals("excellent")){intcount=0;for(IntWritableval:values)count++;context.write(newText("優(yōu)秀人數"),newDoubleWritable(count));}}}（2）//MapperpublicclassWordCountMapperextendsMapper<LongWritable,Text,Text,IntWritable>{privatefinalstaticIntWritableone=newIntWritable(1);privateTextword=newText();@Overrideprotectedvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException{String[]words=value.toString().split("\\s+");for(Stringw:words){word.set(w);context.write(word,one);}}}//ReducerpublicclassWordCountReducerextendsReducer<Text,IntWritable,Text,IntWritable>{@Overrideprotectedvoidreduce(Textkey,Iterable<IntWritable>values,Contextcontext)throwsIOException,InterruptedException{intsum=0;for(IntWritableval:values)sum+=val.get();context.write(key,newIntWritable(sum));}}//DriverpublicclassWordCountDriver{publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();Jobjob=Job.getInstance(conf,"wordcount");job.setJarByClass(WordCountDriver.class);job.setMapperClass(WordCountMapper.class);job.setCombinerClass(WordCountReducer.class);job.setReducerClass(WordCountReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job,newPath(args[0]));FileOutputFormat.setOutputPath(job,newPath(args[1]));System.exit(job.waitForCompletion(true)?0:1);}}項目五選擇題答案ANoSQL全稱是“NotOnlySQL”，強調其不僅局限于傳統(tǒng)關系型數據庫的范式，支持非結構化、半結構化數據存儲。（2）CHBase是列族數據庫，數據按列族（ColumnFamily）組織存儲，列族是表的schema定義的一部分，同一列族的數據物理上存儲在一起。（3）CHBase客戶端讀寫數據前，需先通過ZooKeeper定位數據所在的Region服務器（RegionServer），這是后續(xù)操作的前提。（4）AHBaseShell中，help命令用于查看所有命令的幫助信息，可加具體命令名查看詳細用法（如help'create'）。（5）AHBaseShell中，create命令用于創(chuàng)建表，語法為create'表名','列族1','列族2'...。（6）Alist命令用于列出HBase中所有已創(chuàng)建的表。（7）Aput命令用于向表中指定行、列族和列添加或更新數據，是HBase寫入數據的核心命令。（8）Aget命令用于獲取表中指定行的全部數據或某個單元格的內容，語法為get'表名','行鍵',['列族:列名']。（9）Ddeleteall命令用于刪除表中指定行的所有數據；delete用于刪除單個單元格數據。（10）A刪除表需先禁用表（disable'表名'），再執(zhí)行drop'表名'命令；delete用于刪除單元格或行數據，不用于刪表。問答題答案NoSQL的定義及三種類型的特點定義：NoSQL（NotOnlySQL）是一類非關系型數據庫的統(tǒng)稱，不遵循傳統(tǒng)關系型數據庫的ACID特性和固定schema，主要用于存儲和處理海量非結構化、半結構化數據，支持高并發(fā)、高可擴展性。三種類型及特點：鍵值型數據庫（如Redis）：以鍵值對（Key-Value）形式存儲數據，查詢速度快，適合緩存、會話存儲等場景，但不支持復雜查詢。列族型數據庫（如HBase）：數據按列族組織，適合存儲海量結構化或半結構化數據，支持高寫入吞吐量和橫向擴展，常用于日志存儲、時序數據等場景。文檔型數據庫（如MongoDB）：以JSON/BSON等文檔格式存儲數據，schema靈活，支持嵌套結構，適合內容管理、社交應用等需要頻繁變更數據結構的場景。（2）HBaseShell創(chuàng)建表的過程及命令示例創(chuàng)建過程：啟動HBaseShell（執(zhí)行hbaseshell命令）；使用create命令，指定表名和列族（HBase表的schema僅需定義列族，列可動態(tài)添加）；表創(chuàng)建后可通過list命令驗證。命令示例（創(chuàng)建表mytable，含列族info和details）：create'mytable','info','details'（3）HBaseShell中put命令的作用及示例作用：向表中指定行、列族和列插入或更新數據，若該位置已有數據則覆蓋，若不存在則新增。命令示例（向表mytable的行鍵row1、列族info的列name插入值Alice）：put'mytable','row1','info:name','Alice'三、配置題答案（1）HBaseShell創(chuàng)建user_behavior表的命令create'user_behavior','user','behavior'（2）PyCharm中Python連接HBase的環(huán)境配置步驟及安裝命令配置步驟：打開PyCharm項目，進入“File>Settings>Project:[項目名]>PythonInterpreter”；點擊“+”添加依賴庫，分別搜索并安裝thrift和happybase；若安裝緩慢，可配置國內鏡像源（如清華源）。安裝命令：安裝thrift：pipinstall-i/simplethrift安裝happybase：pipinstall-i/simplehappybase==1.1.0項目六選擇題C（2）C（3）B（4）A（5）A（6）B（7）D（8）C（9）C（10）C簡答題Hive的數組組織方式及其特點組織方式：Hive中的數組使用ARRAY<data_type>定義，元素在表中以同一字段的多值形式存儲特點：數組元素必須是相同數據類型通過索引訪問，如array_name[0]訪問第一個元素支持數組函數：size()、explode()等在建表時定義數組字段，數據文件用特定分隔符（如逗號）分隔數組元素（2）數據倉庫、數據湖及傳統(tǒng)數據庫的區(qū)別維度傳統(tǒng)數據庫數據倉庫數據湖數據類型結構化數據結構化數據結構化、半結構化、非結構化數據時效實時/近實時歷史數據實時+歷史數據處理模式OLTP（事務處理）OLAP（分析處理）批處理+流處理Schema寫時模式讀時模式讀時模式主要用途業(yè)務交易商業(yè)智能機器學習、數據分析3、實訓題（1）查詢2023年3月份銷售記錄SELECT*FROMsalesWHEREsale_date='202303';（2）創(chuàng)建Hudi表并插入數據--創(chuàng)建Hudi表CREATETABLEemployees(idINT,nameSTRING,departmentSTRING)USINGhudiTBLPROPERTIES('primaryKey'='id','preCombineField'='');--插入員工數據INSERTINTOemployeesVALUES(1,'張三','技術部'),(2,'李四','銷售部'),(3,'王五','市場部'),(4,'趙六','技術部'),(5,'錢七','人事部');項目七1、選擇題（1）C（2）B（3）C（4）C（5）B（6）B（7）C（8）C（9）B（10）A2、問答題（1）DAGScheduler劃分階段的原理DAGScheduler根據RDD的依賴關系將作業(yè)劃分為不同階段的過程：依賴類型識別：識別RDD之間的窄依賴和寬依賴階段劃分原則：遇到寬依賴（Shuffle依賴）時劃分新的階段階段類型：ShuffleMapStage：產生shuffle數據的中間階段ResultStage：執(zhí)行action操作的最終階段劃分過程：從最終的RDD開始反向遍歷，遇到寬依賴就創(chuàng)建新的階段邊界任務生成：每個階段生成一組任務，在相應的數據分區(qū)上執(zhí)行（2）Spark在金融行業(yè)的應用場景風險控制：實時交易欺詐檢測，通過SparkStreaming分析交易模式信用評分：使用MLlib構建信用評估模型，處理多維度用戶數據市場分析：實時分析股票市場數據，識別交易機會反洗錢監(jiān)控：批量處理交易記錄，檢測異常資金流動模式客戶行為分析：分析客戶交易歷史，提供個性化金融服務高頻交易：利用Spark的低延遲特性處理實時市場數據3、實訓題（1）圖書推薦系統(tǒng)Spark程序importorg.apache.spark.sql.SparkSessionimportorg.apache.spark.ml.evaluation.RegressionEvaluatorimportorg.apache.spark.ml.recommendation.ALSimportorg.apache.spark.sql.functions._objectBookRecommendation{defmain(args:Array[String]):Unit={valspark=SparkSession.builder().appName("BookRecommendation").master("local[*]").getOrCreate()importspark.implicits._//讀取數據vallibraryDF=spark.read.option("header","true").option("inferSchema","true").csv("libraryBook.csv")//數據預處理valratingsDF=libraryDF.select(col("userID").cast("int"),col("bookID").cast("int"),col("rating").cast("float"),col("borrowTime")).filter(col("rating").isNotNull)//劃分訓練集和測試集valArray(training,test)=ratingsDF.randomSplit(Array(0.8,0.2))//構建ALS推薦模型valals=newALS().setMaxIter(10).setRegParam(0.01).setUserCol("userID").setItemCol("bookID").setRatingCol("rating").setColdStartStrategy("drop")//訓練模型valmodel=als.fit(training)//生成推薦valuserRecs=model.recommendForAllUsers(10)//為每個用戶推薦10本書valbookRecs=model.recommendForAllItems(10)//為每本書推薦10個可能喜歡的用戶//顯示結果println("用戶推薦結果:")userRecs.show(false)println("圖書推薦結果:")bookRecs.show(false)//為指定用戶生成推薦（例如用戶ID=1001）valspecificUserRecs=model.recommendForUserSubset(Seq(1001).toDF("userID"),10)println("指定用戶推薦結果:")specificUserRecs.show(false)spark.stop()}}（2）DataFrame操作命令a.從文件創(chuàng)建DataFrame：spark.read.format("csv").option("header","true").load("file_path")b.顯示DataFrame的前n行：df.show(n)c.選擇特定列：df.select("col1","col2")d.過濾數據：df.filter("col>value")或df.filter(col("col")>value)e.對列進行聚合操作：df.groupBy("col").agg(avg("col2"),max("col3"))f.對DataFrame進行排序：df.orderBy(desc("col"))g.對兩DataFrame進行連接操作：df1.join(df2,df1("id")===df2("id"),"inner")h.對列進行重命名：df.withColumnRenamed("old_name","new_name")i.刪除特定列：df.drop("col_name")j.統(tǒng)計DataFrame的行數：df.count()k.獲取DataFrame的列名列表：df.columns項目八選擇題CHadoop糾刪編碼技術通過將數據分片并生成校驗塊，用更少的存儲空間實現與三副本相當的容錯能力，主要替代默認的三副本存儲以節(jié)省空間。（2）Anode.handler.count用于配置NameNode處理RPC調用的線程數，影響NameNode的并發(fā)處理能力；B是DataNode的RPC線程數，C是副本數，D是塊大小。（3）CHDFS默認數據塊大小為128M（不同版本可能有差異，現代Hadoop版本默認多為128M），較大的塊可減少尋址開銷，適合大數據處理。（4）Adfs.datanode.data.dir用于指定DataNode存儲數據塊的本地目錄；B是Hadoop臨時文件目錄，C是I/O緩沖區(qū)大小，D是回收站文件保留時間。（5）BYARN中，NodeManager負責單個節(jié)點的資源管理（CPU、內存）和任務監(jiān)控；ResourceManager是集群資源總管理器，ApplicationMaster管理單個應用，DataNode是HDFS組件。（6）D網絡延遲屬于性能問題，而非安全威脅；數據泄露、未授權訪問、內部威脅均為大數據平臺常見的安全風險。（7）AKDC（KeyDistributionCenter）即密鑰分發(fā)中心，是Kerberos的核心組件，包含認證服務器（AS）和票據授予服務器（TGS）。（8）A票據（Ticket）是Kerberos中用戶向服務證明身份的憑證，包含用戶身份信息和會話密鑰，由KDC加密頒發(fā)，避免用戶直接傳遞密碼。（9）C相互認證是指用戶和服務雙向驗證對方身份，防止中間人偽造身份進行攻擊；其他選項是安全機制的整體目標，非相互認證的特定目的。（10）DHadoop透明加密通過創(chuàng)建EncryptionZone（加密區(qū)）實現細粒度控制，不同加密區(qū)可配置不同密鑰，對用戶透明且不影響現有操作。問答題（1）HDFS糾刪編碼技術提高可靠性和容錯性的原理原理：糾刪編碼（如RS編碼）將原始數據分割為k個數據塊，通過算法生成m個校驗塊（總塊數k+m），存儲在不同節(jié)點。可靠性：當最多m個塊（數據塊或校驗塊）丟失時，可通過剩余k個數據塊和校驗塊重構原始數據，與三副本（允許丟失2個副本）相比，用更少的存儲空間（如k=6,m=3僅需1.5倍存儲）實現同等或更高容錯能力。容錯性：通過分布式存儲和校驗塊冗余，避免單點故障導致的數據丟失，提升集群整體數據可靠性。（2）Linux系統(tǒng)中調整內核參數優(yōu)化磁盤I/O性能的方法常見通過修改/etc/sysctl.conf配置以下參數：vm.dirty_ratio和vm.dirty_backg