《Hadoop大數(shù)據(jù)平臺(tái)構(gòu)建與應(yīng)用》課程單元教學(xué)設(shè)計(jì)32課程名稱Hadoop大數(shù)據(jù)平臺(tái)構(gòu)建與應(yīng)用授課單元單元學(xué)時(shí)2授課教師職稱授課地點(diǎn)機(jī)房教學(xué)目標(biāo)知識(shí)目標(biāo)能力目標(biāo)素質(zhì)目標(biāo)了解Spark概述、組成結(jié)構(gòu)、運(yùn)行架構(gòu)、部署方式掌握Spark編程實(shí)踐掌握Spark編程實(shí)踐結(jié)合其作為大數(shù)據(jù)處理核心引擎的技術(shù)特性（如內(nèi)存計(jì)算、高速迭代、多語言支持、流批一體等），深度融入課程思政元素，實(shí)現(xiàn)技術(shù)能力培養(yǎng)與價(jià)值觀塑造的有機(jī)統(tǒng)一。教學(xué)重難點(diǎn)教學(xué)重點(diǎn)Spark概述、組成結(jié)構(gòu)、運(yùn)行架構(gòu)、部署方式教學(xué)難點(diǎn)Spark編程實(shí)踐教學(xué)策略教學(xué)組織分組合作；借助翻轉(zhuǎn)課堂理念的線上線下混合式教學(xué)模式教學(xué)方法借助翻轉(zhuǎn)課堂理念的線上線下混合式教學(xué)模式教學(xué)準(zhǔn)備環(huán)境準(zhǔn)備機(jī)房，內(nèi)存8G及以上資料準(zhǔn)備實(shí)驗(yàn)手冊(cè)資源準(zhǔn)備/zyq/tft2aiwodadol2ixs教學(xué)實(shí)施過程教學(xué)環(huán)節(jié)教學(xué)內(nèi)容教師活動(dòng)學(xué)生活動(dòng)設(shè)計(jì)意圖（含思政融入點(diǎn)）課前準(zhǔn)備項(xiàng)目導(dǎo)入：Spark分布式計(jì)算框架安裝發(fā)布《Spark安裝教學(xué)資源包》，包含：Spark安裝操作手冊(cè)（圖文版）安裝視頻微課（分步驟演示）常見錯(cuò)誤排查指南（如JAVA_HOME未設(shè)置、端口沖突）預(yù)習(xí)任務(wù)單（思考題：“Spark為什么比MapReduce快？”）明確實(shí)驗(yàn)?zāi)繕?biāo)：“每位同學(xué)需在本地Linux虛擬機(jī)中完成SparkStandalone模式安裝，并成功啟動(dòng)Master和Worker?！币龑?dǎo)預(yù)習(xí)：“Spark是否依賴Hadoop？它能單獨(dú)運(yùn)行嗎？”下載并閱讀教師提供的教學(xué)資源，完成課前預(yù)習(xí)。檢查本地實(shí)驗(yàn)環(huán)境：確保已安裝Linux系統(tǒng)（如CentOS/Ubuntu）、JDK8+，并正確配置JAVA_HOME。初步了解Spark的運(yùn)行模式（Local/Standalone/YARN），明確本次安裝目標(biāo)為Standalone。記錄預(yù)習(xí)疑問（如“Master和Worker是什么關(guān)系？”、“SparkWebUI端口是多少？”），準(zhǔn)備課堂深入學(xué)習(xí)。在課前讓學(xué)生了解下一次課的主要學(xué)習(xí)內(nèi)容課中Spark安裝：關(guān)鍵步驟講解系統(tǒng)講解Spark安裝的關(guān)鍵配置項(xiàng)，強(qiáng)調(diào)：“SPARK_MASTER_HOST必須是可解析的主機(jī)名或IP，不能是localhost（除非單機(jī)測(cè)試）”；“spark-env.sh需從spark-env.sh.template復(fù)制而來”；“Worker必須連接到Master的spark://URL，端口默認(rèn)7077”。對(duì)比Local模式（spark-shell--masterlocal[*]）與Standalone模式的區(qū)別。提問引導(dǎo)：“如果Master啟動(dòng)后WebUI打不開，可能是什么原因？”（答案：防火墻、端口占用、SPARK_MASTER_HOST配錯(cuò)）認(rèn)真聽講，理解每個(gè)配置參數(shù)的作用與依賴關(guān)系。在筆記中記錄關(guān)鍵命令與配置模板，標(biāo)注易錯(cuò)點(diǎn)（如路徑拼寫、空格、權(quán)限）。思考Spark啟動(dòng)機(jī)制：“Master負(fù)責(zé)調(diào)度，Worker負(fù)責(zé)執(zhí)行任務(wù)，類似YARN的RM/NM”。準(zhǔn)備在實(shí)操環(huán)節(jié)復(fù)現(xiàn)安裝流程，并嘗試修改內(nèi)存參數(shù)觀察效果。培養(yǎng)學(xué)生專注力Spark常處理用戶行為、消費(fèi)記錄、社交關(guān)系等敏感數(shù)據(jù)，若算法設(shè)計(jì)不當(dāng)，可能導(dǎo)致隱私泄露、算法歧視或“大數(shù)據(jù)殺熟”。實(shí)操：Spark安裝與驗(yàn)證在投影上演示Spark安裝全過程，邊操作邊講解：如何解壓tar包、設(shè)置權(quán)限；如何編輯spark-env.sh；如何啟動(dòng)Master和Worker；如何提交測(cè)試任務(wù)：bin/spark-submit--classorg.apache.spark.examples.SparkPi\--masterspark://node1:7077\examples/jars/spark-examples_*.jar10巡回指導(dǎo)學(xué)生操作，重點(diǎn)關(guān)注：JAVA_HOME是否指向JDK（而非JRE）；主機(jī)名是否與/etc/hosts一致；防火墻是否關(guān)閉（影響8080、7077端口）；Worker是否連接到正確的MasterURL。在自己的Linux虛擬機(jī)上獨(dú)立完成Spark安裝與啟動(dòng)。使用jps和WebUI驗(yàn)證集群狀態(tài)，確認(rèn)Worker已注冊(cè)到Master。嘗試運(yùn)行SparkPi示例任務(wù)，觀察控制臺(tái)輸出與WebUI任務(wù)進(jìn)度。若遇到問題（如“Worker無法連接Master”），主動(dòng)查看日志（logs/目錄）、檢查網(wǎng)絡(luò)配置或向教師求助。培養(yǎng)學(xué)生實(shí)踐能力在編寫Spark程序時(shí)，強(qiáng)調(diào)數(shù)據(jù)脫敏、匿名化處理。總結(jié)：Spark安裝問題分析與解決組織集中答疑，邀請(qǐng)學(xué)生提出安裝中遇到的具體問題。對(duì)高頻問題進(jìn)行統(tǒng)一演示修復(fù)（如重設(shè)JAVA_HOME、補(bǔ)充hosts條目）。引導(dǎo)學(xué)生建立排錯(cuò)思維：“先看日志→再查配置→最后驗(yàn)網(wǎng)絡(luò)”。總結(jié)Spark安裝“三要素”：環(huán)境干凈、配置準(zhǔn)確、網(wǎng)絡(luò)暢通。主動(dòng)提出自己在安裝過程中遇到的問題，描述現(xiàn)象與已嘗試的解決方法。傾聽他人問題，思考是否曾遇到類似情況，分享自己的經(jīng)驗(yàn)。學(xué)習(xí)教師的排錯(cuò)邏輯，提升自主解決問題的能力。整理個(gè)人“Spark安裝避坑清單”，用于未來項(xiàng)目參考。反思必須遵守《數(shù)據(jù)安全法》《個(gè)人信息保護(hù)法》，杜絕濫用數(shù)據(jù)。課后拓展課后作業(yè)：Spark安裝實(shí)踐布置明確作業(yè)要求：“請(qǐng)?jiān)谀愕腖inux虛擬機(jī)中完成SparkStandalone模式安裝，并提交上述三項(xiàng)驗(yàn)證截圖至職教云平臺(tái)。”設(shè)定合理截止時(shí)間，并說明評(píng)分標(biāo)準(zhǔn)（完整性、正確性、獨(dú)立性）。鼓勵(lì)學(xué)生嘗試擴(kuò)展操作（如配置兩個(gè)Worker、調(diào)整內(nèi)存參數(shù)），作為加分項(xiàng)。提供持續(xù)在線支持（如課程群答疑），保障學(xué)生順利完成。按要求完成Spark安裝與