《數據采集與預處理》課程標準課程名稱：數據采集與預處理學分：4計劃學時：72適用專業(yè)：大數據技術1．前言1.1課程性質《數據采集與預處理》課程是大數據技術專業(yè)核心課程，在整個專業(yè)課程體系中占有極為重要的地位。其前導課程為《程序設計基礎》、《Web前端設計》，后續(xù)課程為《大數據分析技術應用》。本課程的定位是使學生掌握python數據采集、預處理與存儲的綜合應用，通過上機實踐掌握對不同領域、不同來源、不同類型數據采集、數據預處理與存儲的基礎能力，為今后大數據技術工作打下堅實的基礎。1.2設計思路傳統(tǒng)的開發(fā)類課程的教學只是針對軟件開發(fā)工具的操作方法進行講授，理論知識點講完后，學生進行軟件工具的操作實驗以及完成課后練習，知識點多而散，到最后一學期下來，學生只會編寫簡單的開發(fā)語言以及開發(fā)軟件的基本使用，不會靈活的綜合各知識點進行軟件開發(fā)實踐，無法真正將所學的知識應用到實際的開發(fā)過程中。在信息時代，提倡把“知識”放在問題中，放到現實中，讓學生通過收集信息、分析信息、處理信息和運用信息，主動地探索、發(fā)現、體驗和解決問題，從而培養(yǎng)獲取新知識和利用知識進行創(chuàng)新的能力。為了提高學生的技能和改變以前的教學情況，信息技術系大數據教研室經過多年的教學模式研究以及培養(yǎng)方案探索，根據“以實踐為導向，以能力為本位”和“項目教學法”的教學思想，制定相應的項目教學方案，本課程課堂教學改革就是在上述教學思想的基礎上開始實施，改變原有的傳統(tǒng)教學模式，改革傳統(tǒng)的實驗、實踐教學模式，通過項目式的教學，引入知識點，學生容易接受，并能很好的應用所學知識和所學技能，最終使學生切實掌握大數據相關技術，培養(yǎng)學生成為面向社會的實踐型人才。本課程以Python語言為基礎，采用經典仿真案例進行分解與設計，將大數據技術知識點融入到項目案例設計中，設計出一套與崗位能力對接的項目實訓方案。2．課程目標2.1總體目標任務引領型的項目活動，旨在使學生掌握大數據技術的基本知識和綜合實踐技能，包括數據采集、數據預處理、網絡基礎與攻防知識、信息脫敏技術與基礎存儲等內容。重點關注數據獲取、字符串處理、JSON數據解析、網頁正則表達式、BeautifulSoup、XPath路徑解析、異步數據解析、模擬瀏覽器（Selenium）與網絡爬蟲框架（Scrapy）的運用等。最終通過一個個簡化的仿真項目，使學生在認知和實際操作上，對大數據采集與預處理有一個整體的認識和理解，并掌握使用Python語言技能。倡導學生在“做中學”，為提高學生的職業(yè)能力奠定良好的基礎。2.2具體目標通過理論和實踐教學，使學生掌握Python在大數據采集與預處理中的常用工具和方法，并培養(yǎng)良好的大數據采集與預處理的應用能力。2.2.1知識目標主要掌握大數據采集與預處理技術基本知識，結合項目案例掌握如下知識：（1）熟悉數據獲取方法與數據類型；（2）掌握采集與預處理應用環(huán)境配置；（3）熟悉網絡基礎與攻防知識；（4）掌握網絡數據采集與存儲；（5）掌握數據基礎預處理技術；（6）了解數據可視化應用；（7）了解網絡數據采集框架應用。2.2.2能力目標（1）具備開發(fā)環(huán)境部署的能力；（2）具備從不同的途徑獲取數據的能力；（3）具備HTML數據類型解析能力；（4）具備JSON數據類型解析能力；（5）具備簡單數據存儲的能力；（6）具備字符串基本預處理的能力；（7）具備數據獲取、解析與存儲綜合應用能力。2.2.3素質目標（1）培養(yǎng)學生的刻苦鉆研精神、創(chuàng)新能力、舉一反三與學以致用的能力。（2）培養(yǎng)學生知識的綜合實踐能力。（3）培養(yǎng)學生的集體協(xié)作能力，實事求是的學風、嚴謹的學習態(tài)度。（4）培養(yǎng)嚴謹的工作作風，利用較綜合性項目培養(yǎng)學生對大數據技術支持工作有直觀的了解和認識，使學生勝任今后的工作。3．課程內容與要求序號教學任務課程內容及教學要求教學設計參考學時1認識大數據1、熟悉大數據特征2、熟悉大數據關鍵技術3、掌握不同的數據獲取途徑4、具備分析簡單數據類型的能力理論講授、上機實訓、應用鞏固、總結提高32環(huán)境與語言基礎1、熟悉環(huán)境配置的要求2、能夠完成第三方工具包的配置、引入與使用3、熟悉Python數據結構、文件處理4、具備簡單答python對象抽象與封裝的能力理論講授、上機實訓、應用鞏固、總結提高93網絡數據獲取1、掌握網絡數據處理過程2、掌握網絡數據獲取方法3、能夠分析網絡數據采集行為的合法性4、會配置第三方包數據采集依賴庫理論講授、上機實訓、應用鞏固、總結提高64正則表達式1、了解正則表達式字符集2、熟悉正則常用函數3、具備使用正則表達式完成頁面解析的能力理論講授、上機實訓、應用鞏固、總結提高95HTML內容解析1、掌握BeautifulSoup數據解析2、掌握Lxml與Xpath的使用3、掌握JSON數據解析4、具備使用不同方法解析網頁數據的能力理論講授、上機實訓、應用鞏固、總結提高156數據存儲1、了解NoSql數據庫2、掌握CSV等文件存儲3、熟悉MongoDB數據庫安裝4、具備使用數據庫存儲數據的能力理論講授、上機實訓、應用鞏固、總結提高67多線程與多進程1、了解同步異步采集方式2、了解多線程與多進程差異3、會使用多進程完成簡單數據采集理論講授、上機實訓、應用鞏固、總結提高38異步加載數據1、熟悉異步加載概念2、掌握模擬瀏覽器加載3、具備使用Selenium框架完成數據采集的能力理論講授、上機實訓、應用鞏固、總結提高39Scrapy爬蟲框架1、熟悉Scrapy框架結構2、掌握Scrapy框架基礎運用3、了解Scrapy框架高級運用4、能夠使用Scrapy框架完成網頁數據采集理論講授、上機實訓、應用鞏固、總結提高310綜合應用實訓1、通過仿真項目，綜合所學的技能點，完成網絡數據采集應用方案設計與實現2、能過針對采集的數據集，拓展學習簡單的數據可視化與分析的能力上機實訓、應用鞏固1211期末復習測試期末考評上機實訓、應用鞏固3合計72注：“課程內容及教學要求”中，要分別體現技能內容及要求、知識內容及要求。4．實施建議4.1教材選用和編寫建議教材選用。應依據學生特點與本著實用性、應用性原則考慮教材的選用。編寫建議。必須依據本課程標準編寫教材。教材應充分體現任務引領、能力培養(yǎng)為導向的課程設計思想。教材以完成項目驅動，通過課內項目和課后拓展作業(yè)等多種手段，采用遞進和并列相結合的方式來組織編寫，使學生實施任務的過程掌握技能，并進行知識的歸納與拓展。教材應突出實際性，應避免把職業(yè)能力簡單理解為純粹的技能操作，同時要具有前瞻性。應將本課程中所用到的項目管理的其他知識納入其中，并要有思想方法的傳授。教材應以學生為本，文字表述要簡明扼要，內容展現應圖文并茂、突出重點，重在提高學生學習的主動性和積極性。教材中的任務具有可閱讀、可擴展性。4.2教學建議課程教學模式。以學生為主體，以能力為本位，以項目為驅動。學生為主體是前提，能力為本位是目標，項目為驅動是手段。教學方法。教師講授：教師講授以本課程標準為指南，結合教材和電子教案，通過講解、答疑等方式培養(yǎng)學生獨立思考、解決問題的能力。學生自學：自學內容包括閱讀教材，查找資料，以及獨立完成作業(yè)、小論文；除此之外，還有自我練習（含答案）題庫和推薦學習參考書目，供學生自我提高。習題教學：習題教學是檢驗、鞏固、應用所學知識的重要手段。在教學過程中，教師結合教學進度、教學重點和難點，安排適當的習題訓練，并對習題中的問題進行指導。實踐教學：通過課堂討論、案例分析、課程論文設計、社會調研等方式進行。在每章教學過程中都給學生進行案例分析和現實問題課堂討論，學習可事先上網查詢有關題目和參考資料。4.3教學考核評價建議本課程期末考試形式為上機開卷考查，期末課程結束，統(tǒng)一出題，統(tǒng)一考查。評分標準：滿分100分，其中平時成績占40%；期末成績占60%?？傇u分=平時成績*40%＋期末成績*60%；平時成績：包括出勤與課堂表現、作業(yè)三項；期末成績：實訓成績與期末考查成績；實訓成績：成績評定自評與他評相結合、過程與結果相結合；期末考查成績：采用課內考查的形式，統(tǒng)一出題，學生上機完成設計內容，根據結果評分。4.4課程資源的開發(fā)與利用隨著新課改的逐步深入，只有充分重視開發(fā)課程資源，豐富課程內容，有效地發(fā)揮教師的潛能，有利于教師的不斷成長，課改才有實質性意義。教師應創(chuàng)造性地利用一切可用的資源，為學生的學習、實踐服務。也就是說課程資源的開發(fā)和利用會加強課程內容與學生生活以及現代社會和科技發(fā)展的聯(lián)系，而且學生的經驗、疑問、情感、態(tài)度等也是課程資源的有機組成，關注了學生的學習興趣和經驗，有利于學生對課程內容的理解，有利于學生的發(fā)展。課程資源的開發(fā)和利用可促進教師專業(yè)成長，課程資源開發(fā)也促進教師專業(yè)化發(fā)展，這也是課程資源開發(fā)的價值體現之一。課程資源的開發(fā)對教師提出了新的專業(yè)能力要求，即課程開發(fā)的專業(yè)素養(yǎng)和能力。教師應該成為學生利用課程資源的引導者、開發(fā)者。教師必須具備根據具體的教學目的和內容開發(fā)與選擇課程資源的能力，充分挖掘各種資源的潛力和深層次價值：標準與規(guī)范。注重實訓指導書的開發(fā)和應用，編寫時必須注意時代性、實踐性和可操作性。注重教學過程中的講練結合，增加上機操作時間。教學設施。爭取配備背投的教室，如果能上網教學效果會更好。實訓條件。人手一臺電腦，根據實訓指導書進行實訓。4.5教學條件配備建議本課程的實施必須依賴于一定的教學條件配備，如計算機機房，WPS軟件、Python、PyCharm等必備的軟件平臺。實踐教學環(huán)境。利用現有學校教學設備，引導學生學習專業(yè)知識，構建系統(tǒng)性的教學內容體系。學校擁有實驗教學計算機房，可進行開放性實驗。教學實驗教室擁有計算機、音響等多媒體設備，可供進行計算機程序設計實驗之用。這些實驗教學的軟