《Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用》課程單元教學(xué)設(shè)計(jì)31課程名稱Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用授課單元單元學(xué)時(shí)2授課教師職稱授課地點(diǎn)機(jī)房教學(xué)目標(biāo)知識目標(biāo)能力目標(biāo)素質(zhì)目標(biāo)了解Spark概述、組成結(jié)構(gòu)、運(yùn)行架構(gòu)、部署方式掌握Spark編程實(shí)踐掌握Spark編程實(shí)踐結(jié)合其作為大數(shù)據(jù)處理核心引擎的技術(shù)特性（如內(nèi)存計(jì)算、高速迭代、多語言支持、流批一體等），深度融入課程思政元素，實(shí)現(xiàn)技術(shù)能力培養(yǎng)與價(jià)值觀塑造的有機(jī)統(tǒng)一。教學(xué)重難點(diǎn)教學(xué)重點(diǎn)Spark概述、組成結(jié)構(gòu)、運(yùn)行架構(gòu)、部署方式教學(xué)難點(diǎn)Spark編程實(shí)踐教學(xué)策略教學(xué)組織分組合作；借助翻轉(zhuǎn)課堂理念的線上線下混合式教學(xué)模式教學(xué)方法借助翻轉(zhuǎn)課堂理念的線上線下混合式教學(xué)模式教學(xué)準(zhǔn)備環(huán)境準(zhǔn)備機(jī)房，內(nèi)存8G及以上資料準(zhǔn)備實(shí)驗(yàn)手冊資源準(zhǔn)備/zyq/tft2aiwodadol2ixs教學(xué)實(shí)施過程教學(xué)環(huán)節(jié)教學(xué)內(nèi)容教師活動(dòng)學(xué)生活動(dòng)設(shè)計(jì)意圖（含思政融入點(diǎn)）課前準(zhǔn)備課程導(dǎo)入：Spark概述與問題驅(qū)動(dòng)發(fā)布《Spark理論學(xué)習(xí)資源包》，包含：Spark官方簡介文檔（中文版）；對比視頻：“MapReducevsSpark性能實(shí)測”；預(yù)習(xí)思考題清單（如“為什么Spark能做到‘一次計(jì)算，多次使用’？”）。提出引導(dǎo)性問題，激發(fā)學(xué)生思考：“如果你要實(shí)時(shí)分析千萬用戶點(diǎn)擊行為，用MapReduce合適嗎？有沒有更快的方案？”

“除了Spark，還有哪些工具能處理實(shí)時(shí)數(shù)據(jù)？它們各有什么優(yōu)缺點(diǎn)？”明確本課目標(biāo)：“理解Spark是什么、為什么快、由哪些部分組成、如何運(yùn)行?！毕螺d并閱讀教學(xué)資源，完成課前預(yù)習(xí)?；仡橦adoopMapReduce的局限性，思考其在實(shí)時(shí)/迭代場景下的不足。初步了解Spark的核心優(yōu)勢：“內(nèi)存計(jì)算”、“DAG執(zhí)行”、“多語言支持（Scala/Java/Python）”。記錄疑問（如“Spark和Flink到底誰更適合流處理？”），準(zhǔn)備課堂深入探討。在課前讓學(xué)生了解下一次課的主要學(xué)習(xí)內(nèi)容課中Spark簡介：核心概念與特性解析系統(tǒng)講解Spark的定義、發(fā)展歷程（始于UCBerkeleyAMPLab）及核心特性。結(jié)合實(shí)際案例說明“通用性”價(jià)值：“一個(gè)電商公司可用Spark同時(shí)做：用戶畫像（MLlib）、實(shí)時(shí)推薦（Streaming）、銷售報(bào)表（SQL）?！睆?qiáng)調(diào)“內(nèi)存計(jì)算≠全部數(shù)據(jù)放內(nèi)存”：Spark會(huì)智能管理內(nèi)存與磁盤溢出（spilltodisk）。鼓勵(lì)提問：“Spark是不是完全不需要Hadoop？”（答案：可獨(dú)立運(yùn)行，但常與Hadoop生態(tài)集成）學(xué)習(xí)Spark的核心概念，理解其“快”和“通用”的技術(shù)根源。對比自己熟悉的編程語言（如Python），思考SparkAPI的使用門檻。主動(dòng)查閱資料，了解Spark在工業(yè)界的應(yīng)用（如Netflix、阿里、騰訊）。在筆記中總結(jié)Spark的四大優(yōu)勢，并舉例說明。激發(fā)學(xué)生興趣Spark由美國加州大學(xué)伯克利分校發(fā)起，雖為開源項(xiàng)目，但其核心生態(tài)（如Databricks平臺）仍由國外主導(dǎo)。我國正大力發(fā)展自主可控的大數(shù)據(jù)技術(shù)棧（如阿里云Blink、華為MindSpore集成Spark優(yōu)化）。Spark組成結(jié)構(gòu)：模塊功能詳解通過二維動(dòng)畫或架構(gòu)圖動(dòng)態(tài)展示Spark各模塊關(guān)系，強(qiáng)調(diào)“SparkCore是地基，其他是上層建筑”。舉例說明模塊協(xié)同：“先用SparkSQL讀取用戶表→用MLlib訓(xùn)練推薦模型→用StructuredStreaming實(shí)時(shí)打分?！碧釂栆龑?dǎo)：“如果只做批處理統(tǒng)計(jì)，需要加載所有模塊嗎？”（答案：只需SparkCore+SQL）觀看動(dòng)畫或架構(gòu)圖，直觀理解Spark模塊間的層次與協(xié)作關(guān)系。在筆記本上繪制Spark模塊結(jié)構(gòu)圖，標(biāo)注每個(gè)模塊的典型應(yīng)用場景。思考自己未來項(xiàng)目可能用到哪些模塊（如“我想做輿情分析，可能用Streaming+MLlib”）。記錄模塊縮寫含義（如RDD=ResilientDistributedDataset）。由已知到未知的學(xué)習(xí)過程高性能計(jì)算引擎是數(shù)字經(jīng)濟(jì)的“心臟”，關(guān)鍵技術(shù)必須掌握在自己手中Spark運(yùn)行架構(gòu)與部署模式講解Spark應(yīng)用的生命周期，結(jié)合流程圖說明Driver與Executor的協(xié)作機(jī)制。對比不同運(yùn)行模式的適用場景：“本地調(diào)試用local[*]，生產(chǎn)環(huán)境推薦YARN或K8s。”強(qiáng)調(diào)關(guān)鍵概念：“Task是最小執(zhí)行單元，Stage由Shuffle邊界劃分?！闭故網(wǎng)ebUI（http://driver:4040）截圖，說明如何監(jiān)控Jobs、Stages、Tasks。學(xué)習(xí)Spark運(yùn)行架構(gòu)，理解Driver、Executor、ClusterManager的職責(zé)分工。區(qū)分四種運(yùn)行模式的啟動(dòng)命令差異（如--masterlocal[*]vs--masteryarn）。思考：“為什么生產(chǎn)環(huán)境不推薦Standalone？”（答案：資源隔離弱，運(yùn)維復(fù)雜）嘗試在本地啟動(dòng)SparkShell，觀察4040端口WebUI的結(jié)構(gòu)。培養(yǎng)學(xué)生自主學(xué)習(xí)能力增強(qiáng)學(xué)生的民族使命感和創(chuàng)新責(zé)任感課后拓展課后作業(yè)：Spark理論知識鞏固布置明確作業(yè)要求：“請完成《Spark理論作業(yè)》?！碧峁﹨⒖即鸢敢c(diǎn)（非全文），鼓勵(lì)獨(dú)立思考。強(qiáng)調(diào)：“不要死記硬背，重在理解原理與應(yīng)用場景?！遍_放答疑，支持學(xué)生澄清概念混淆（如RDDvsDataFrame）