PAGE8PAGE8PAGE7PAGE7

課題數(shù)據(jù)處理與分析（一）課時(shí)2課時(shí)（90min）教學(xué)目標(biāo)知識(shí)技能目標(biāo)：（1）了解常見的大數(shù)據(jù)計(jì)算模式。（2）理解MapReduce的概念和工作流程。思政育人目標(biāo)：感受大數(shù)據(jù)處理與分析技術(shù)在現(xiàn)代生產(chǎn)生活中的巨大作用和價(jià)值，不斷增強(qiáng)創(chuàng)新意識(shí)、合作意識(shí)、愛國主義情懷和民族自豪感。教學(xué)重難點(diǎn)教學(xué)重點(diǎn)：MapReduce的概念和工作流程教學(xué)難點(diǎn)：MapReduce的概念和工作流程教學(xué)方法案例分析法、問答法、討論法、講授法教學(xué)用具電腦、投影儀、多媒體課件、教材教學(xué)設(shè)計(jì)第1節(jié)課：→→傳授新知（23min）→課堂討論（15min）第2節(jié)課：→傳授新知（15min）→實(shí)戰(zhàn)演練（20min）→課堂小結(jié)（3min）→作業(yè)布置（2min）教學(xué)過程主要教學(xué)內(nèi)容及步驟設(shè)計(jì)意圖第一節(jié)課考勤

（2min）【教師】使用文旌課堂APP【學(xué)生】按照老師要求簽到培養(yǎng)學(xué)生的組織紀(jì)律性，掌握學(xué)生的出勤情況案例導(dǎo)入（5min）【教師】講述“華科師生團(tuán)隊(duì)榮獲2021年圖計(jì)算挑戰(zhàn)賽全球冠軍”案例，使學(xué)生感受大數(shù)據(jù)處理與分析技術(shù)的作用和價(jià)值，培養(yǎng)學(xué)生的民族自豪感【學(xué)生】聆聽、理解、感受大數(shù)據(jù)處理與分析技術(shù)在現(xiàn)代生產(chǎn)生活中的巨大作用和價(jià)值通過案例導(dǎo)入的方法，引導(dǎo)學(xué)生感受大數(shù)據(jù)處理與分析技術(shù)的作用和價(jià)值，培養(yǎng)學(xué)生的民族自豪感，激發(fā)學(xué)生的學(xué)習(xí)興趣傳授新知

（23min）【教師】介紹常見大數(shù)據(jù)計(jì)算模式，以及離線計(jì)算與實(shí)時(shí)計(jì)算的相關(guān)知識(shí)一、常見大數(shù)據(jù)計(jì)算模式?【教師】提出問題：常見大數(shù)據(jù)計(jì)算模式有哪些？?【學(xué)生】思考、舉手回答目前，常見的大數(shù)據(jù)計(jì)算模式有批處理計(jì)算、流計(jì)算、圖計(jì)算、迭代計(jì)算、查詢分析計(jì)算等。?【教師】提出問題：批處理計(jì)算用于解決什么問題？?【學(xué)生】思考、舉手回答?【教師】總結(jié)學(xué)生的回答批處理計(jì)算主要用于解決大規(guī)模數(shù)據(jù)的批量處理問題，是最為常見的數(shù)據(jù)處理需求。它在應(yīng)對(duì)大量、持久數(shù)據(jù)方面表現(xiàn)極為出色，因此經(jīng)常用于對(duì)歷史數(shù)據(jù)進(jìn)行分析，代表框架或平臺(tái)有MapReduce、Spark等。（詳見教材）?【教師】利用多媒體輔助講解流計(jì)算模式流數(shù)據(jù)（也稱數(shù)據(jù)流）是指在時(shí)間分布和數(shù)量上無限的一系列動(dòng)態(tài)數(shù)據(jù)的集合體，如用戶使用Web或移動(dòng)應(yīng)用程序時(shí)生成的日志數(shù)據(jù)、網(wǎng)購數(shù)據(jù)、社交數(shù)據(jù)、游戲玩家數(shù)據(jù)、金融交易數(shù)據(jù)、地理空間服務(wù)數(shù)據(jù)、來自數(shù)據(jù)中心內(nèi)所連接設(shè)備或儀器的遙測(cè)數(shù)據(jù)等。?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“高手點(diǎn)撥”部分，通過案例了解流計(jì)算在實(shí)際生活中的應(yīng)用。?【學(xué)生】自主學(xué)習(xí)、思考、理解?【教師】利用多媒體輔助講解圖計(jì)算由于具有良好的表達(dá)能力，圖數(shù)據(jù)結(jié)構(gòu)被廣泛用來對(duì)元素間具有復(fù)雜聯(lián)系的數(shù)據(jù)進(jìn)行建模，如社交網(wǎng)絡(luò)、知識(shí)圖譜等。隨著圖數(shù)據(jù)規(guī)模的高速增長，復(fù)雜的業(yè)務(wù)需求不斷涌現(xiàn)，處理這類大規(guī)模數(shù)據(jù)，需要采用圖計(jì)算模式。（詳見教材）?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“高手點(diǎn)撥”部分，進(jìn)一步了解圖計(jì)算。?【學(xué)生】自主學(xué)習(xí)、思考、理解?【教師】利用多媒體輔助講解迭代計(jì)算迭代計(jì)算主要用于機(jī)器學(xué)習(xí)過程中需要處理全量數(shù)據(jù)并進(jìn)行多次迭代的計(jì)算，它利用計(jì)算機(jī)運(yùn)算速度快、適合做重復(fù)性操作的特點(diǎn)，讓計(jì)算機(jī)對(duì)一組指令（或一定步驟）進(jìn)行重復(fù)執(zhí)行，在每次執(zhí)行這組指令（或步驟）時(shí)，都可以從變量的原值推出它的新值。（詳見教材）

?【教師】利用多媒體輔助講解查詢分析計(jì)算針對(duì)超大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢分析，需要提供實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的響應(yīng)，才能很好地滿足企業(yè)經(jīng)營管理的需求。例如，Google公司開發(fā)的Dremel就是適用于大數(shù)據(jù)環(huán)境下的一款可擴(kuò)展的、交互式的實(shí)時(shí)查詢系統(tǒng)，它能做到在2～3s內(nèi)完成PB級(jí)別數(shù)據(jù)的查詢。（詳見教材）二、離線計(jì)算與實(shí)時(shí)計(jì)算?【教師】提出以下問題：閱讀課本，思考離線計(jì)算是什么？離線計(jì)算的特點(diǎn)有哪些？?【學(xué)生】思考、舉手回答?【教師】總結(jié)學(xué)生的回答離線計(jì)算是指在計(jì)算開始前要準(zhǔn)備好所有輸入數(shù)據(jù)，且輸入數(shù)據(jù)不會(huì)發(fā)生變化，在此前提下進(jìn)行的解決一個(gè)問題后就要立即得到結(jié)果的計(jì)算模式。離線計(jì)算具有如下特點(diǎn)：①數(shù)據(jù)量巨大，保存時(shí)間長；②可進(jìn)行復(fù)雜的批量運(yùn)算；③數(shù)據(jù)在計(jì)算之前已經(jīng)完全到位，不會(huì)發(fā)生變化；④能夠方便地查詢計(jì)算結(jié)果。（詳見教材）?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“高手點(diǎn)撥”部分，進(jìn)一步了解離線計(jì)算。?【學(xué)生】自主學(xué)習(xí)、思考、理解?【教師】利用多媒體輔助講解實(shí)時(shí)計(jì)算為了能夠滿足用戶在某些場(chǎng)景下的實(shí)時(shí)性要求，很多技術(shù)方案加入了實(shí)時(shí)計(jì)算。實(shí)時(shí)計(jì)算是指輸入數(shù)據(jù)實(shí)時(shí)產(chǎn)生，產(chǎn)生后立刻以序列化的方式逐個(gè)輸入并進(jìn)行處理。也就是說，它在計(jì)算開始前并不需要知道所有的輸入數(shù)據(jù)。（詳見教材）?【教師】提出以下問題：對(duì)比離線計(jì)算和實(shí)時(shí)計(jì)算，有哪些不同點(diǎn)？?【學(xué)生】思考、舉手回答?【教師】總結(jié)學(xué)生的回答比較而言，離線計(jì)算的數(shù)據(jù)源一般存儲(chǔ)在HDFS中且數(shù)據(jù)量大，處理速度慢，延遲高，任務(wù)完成即可結(jié)束；實(shí)時(shí)計(jì)算的數(shù)據(jù)源一般是消息隊(duì)列（如Kafka，需要實(shí)時(shí)增加），處理速度快，延遲低，需要不間斷進(jìn)行（即7×24小時(shí)持續(xù)進(jìn)行）?！緦W(xué)生】聆聽、記錄、理解通過教師的講解和演示，互動(dòng)以及案例，使學(xué)生了解大數(shù)據(jù)計(jì)算模式的相關(guān)知識(shí)課堂討論（15min）【教師】組織學(xué)生以小組為單位閱讀“實(shí)踐創(chuàng)新”部分，（詳見教材），說一說對(duì)你有什么啟示？【學(xué)生】聆聽、思考、小組討論，由小組代表上臺(tái)發(fā)表討論結(jié)果【教師】與學(xué)生一起評(píng)價(jià)各組的討論結(jié)果通過課堂討論，加深學(xué)生對(duì)大數(shù)據(jù)計(jì)算模式的了解第二節(jié)課問題導(dǎo)入（5min）【教師】提出問題：什么是分布式并行編程模型？【學(xué)生】聆聽、思考、舉手回答通過問題導(dǎo)入，引導(dǎo)學(xué)生主動(dòng)思考，激發(fā)學(xué)生的學(xué)習(xí)興趣傳授新知（15min）【教師】通過學(xué)生的回答引入新的知識(shí)，介紹分布式并行編程模型MapReduce工作流程及程序編寫步驟MapReduce是一種并行編程模型，它極大地方便了分布式編程，使得編程人員在不深入理解分布式并行編程的情況下，也可以很容易地將自己的程序運(yùn)行在分布式系統(tǒng)上，完成對(duì)海量數(shù)據(jù)集的計(jì)算。一、MapReduce簡(jiǎn)介?【教師】提出以下問題：用自己的話說一說什么是MapReduce？?【學(xué)生】思考、舉手回答?【教師】對(duì)學(xué)生的回答進(jìn)行總結(jié)MapReduce是Hadoop系統(tǒng)中最重要的計(jì)算引擎，它不僅直接支持交互式應(yīng)用、基于程序的應(yīng)用，還是Hive等組件的基礎(chǔ)。它主要用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算，可以并行執(zhí)行大規(guī)模數(shù)據(jù)處理任務(wù)。（詳見教材）?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“高手點(diǎn)撥”部分，了解分布式并行計(jì)算的分層和區(qū)別。?【學(xué)生】自主學(xué)習(xí)、思考、理解?【教師】提出以下問題：閱讀教材相關(guān)內(nèi)容說一說MapReduce的特點(diǎn)有哪些？?【學(xué)生】思考、舉手回答?【教師】對(duì)學(xué)生的回答進(jìn)行總結(jié)MapReduce在大數(shù)據(jù)處理方面具有以下幾個(gè)優(yōu)點(diǎn)。（1）開發(fā)簡(jiǎn)單且易于實(shí)現(xiàn)。（2）良好的可擴(kuò)展性。（3）高容錯(cuò)性?！ㄔ斠娊滩模?【教師】利用多媒體輔助講解MapReduce的局限性MapReduce存在以下局限性：（1）計(jì)算局限。（2）性能局限。（3）應(yīng)用局限。二、MapReduce的工作流程?【教師】提出以下問題：閱讀教材相關(guān)內(nèi)容說一說MapReduce的工作流程有哪幾個(gè)階段？?【學(xué)生】思考、舉手回答?【教師】對(duì)學(xué)生的回答進(jìn)行總結(jié)總體而言，可將MapReduce的工作流程分為5個(gè)階段，分別是輸入分片和數(shù)據(jù)格式化、Map過程、Shuffle過程、Reduce過程及結(jié)果輸出。……（詳見教材）?【教師】利用多媒體詳細(xì)講解MapReduce的工作流程1．輸入分片和數(shù)據(jù)格式化在執(zhí)行Map任務(wù)之前，MapReduce會(huì)將存儲(chǔ)在分布式文件系統(tǒng)中的大規(guī)模數(shù)據(jù)集切分成獨(dú)立的輸入分片（InputSplit），并且每一個(gè)輸入分片對(duì)應(yīng)著一個(gè)Map任務(wù)。2．Map過程Map過程利用map()函數(shù)來處理數(shù)據(jù)，map()函數(shù)接收<key1,value1>形式的數(shù)據(jù)輸入。3．Shuffle過程通常，map()函數(shù)的輸出并不會(huì)直接交給Reduce任務(wù)，而是需要經(jīng)過一系列處理，然后將處理后的數(shù)據(jù)作為Reduce任務(wù)的輸入。這一系列處理過程稱為Shuffle（洗牌）過程。4．Reduce過程Reduce任務(wù)接收歸并排序后的數(shù)據(jù)流，并對(duì)已有序的相同key的鍵值對(duì)調(diào)用一次reduce()函數(shù)。（詳見教材）?【教師】提出以下問題：閱讀教材相關(guān)內(nèi)容說一說MapReduce的Shuffle過程具體如何進(jìn)行的？?【學(xué)生】思考、舉手回答?【教師】對(duì)學(xué)生的回答進(jìn)行總結(jié)（1）Map端的Shuffle過程。（2）Reduce端的Shuffle過程。（詳見教材）三、MapReduce程序編寫步驟?【教師】利用多媒體輔助講解MapReduce程序編寫步驟Hadoop支持多種語言開發(fā)MapReduce程序，但對(duì)Java語言的支持最好，其提供了很多方便的JavaAPI。使用Java編寫一個(gè)MapReduce程序，需要新建3個(gè)類：Mapper類、Reducer類和程序執(zhí)行主類。當(dāng)然，Mapper類和Reducer類也可作為內(nèi)部類放在程序執(zhí)行主類中。（詳見教材）【通過講授，提問，討論等教學(xué)方式，讓學(xué)生了解并行編程模型MapReduce工作流程及程序編寫步驟實(shí)戰(zhàn)演練（20min）【教師】演示MapReduce二次排序編程，然后組織學(xué)生上機(jī)操作（1）自定義Sort2Bean類（2）自定義Sort2Mapper類（3）自定義GroupingComparator類（4）自定義Sort2Reducer類（5）自定義Sort2Driver類【教師】巡視指導(dǎo)，及時(shí)解決學(xué)生問題通過實(shí)戰(zhàn)演練，使學(xué)生熟練掌握MapReduce編程，為后面的學(xué)習(xí)打好基礎(chǔ)課堂小結(jié)

（3min）【教師】簡(jiǎn)要總結(jié)本節(jié)課的要點(diǎn)本節(jié)課學(xué)習(xí)了大數(shù)據(jù)計(jì)算模式和分布式并行編程模型MapReduce。希望大家在課下多加練習(xí)，鞏固所學(xué)知識(shí)。【學(xué)生】總結(jié)回顧知識(shí)點(diǎn)總結(jié)知識(shí)點(diǎn)，鞏固學(xué)生對(duì)大數(shù)據(jù)計(jì)算模式和分布式并行編程模型MapReduce相關(guān)知識(shí)的印象作業(yè)布置

（2min）【教師】布置課后作業(yè)（1）