PAGE課程名稱：Python語言與數(shù)據(jù)分析課程報告項目名稱班級學(xué)號姓名任課教師開課學(xué)期：20至20學(xué)年第學(xué)期完成時間：20年月日

PAGE參考方向可參考下面方向自定研究題目，本頁在正式報告中請刪除！新冠肺炎疫情數(shù)據(jù)分析與可視化從網(wǎng)絡(luò)獲取新冠肺炎疫情相關(guān)數(shù)據(jù)（中外均可），展示疫情發(fā)展變化情況、區(qū)域差異，可結(jié)合地圖展示中國大學(xué)排行榜從具有一定權(quán)威性的網(wǎng)站獲取中國大學(xué)在某個方面（如錄取分?jǐn)?shù)、畢業(yè)生薪酬等）的排行，分析地域差異，展示排名隨年度變化情況某大學(xué)招生錄取數(shù)據(jù)分析從某大學(xué)招生就業(yè)處或研究生院網(wǎng)站獲取近若干年招生分?jǐn)?shù)和人數(shù)信息，分析各專業(yè)、各省份差異及年度變化情況全球國家基本情況分析分析全球主要國家國土面積、人口數(shù)量、GDP等信息，結(jié)合地圖展示中國大學(xué)國內(nèi)期刊論文發(fā)表情況分析獲取中國大學(xué)在國內(nèi)期刊論文發(fā)表數(shù)據(jù)，對學(xué)校、個人進(jìn)行排名，分析研究主題熱點隨時間變化情況滬深股票數(shù)據(jù)分析利用Tushare等平臺獲取滬深股票相關(guān)數(shù)據(jù)進(jìn)行分析和可視化全國電影票房與備案數(shù)據(jù)分析利用Tushare等平臺獲取全國電影票房與劇本備案數(shù)據(jù)進(jìn)行分析和可視化新聞數(shù)據(jù)分析利用Tushare等平臺獲取新聞通訊、新聞聯(lián)播文字稿等數(shù)據(jù)，進(jìn)行分析和可視化天氣數(shù)據(jù)分析對若干城市某段時間以來的天氣、空氣質(zhì)量等數(shù)據(jù)進(jìn)行分析和可視化40個微觀數(shù)據(jù)庫參考《40個微觀數(shù)據(jù)庫.docx》其他自選方向自己編寫爬蟲程序，或從在線數(shù)據(jù)集平臺（Datatang、kesci、阿里云天池等）獲取你感興趣的數(shù)據(jù)集做你感興趣的分析。注意：禁止抄襲、復(fù)制同學(xué)或網(wǎng)上已有數(shù)據(jù)分析報告，如發(fā)現(xiàn)將按0分處理。 20XX-20XX（X）PythonPrograming&DataAnalyticsPAGE《項目名稱》數(shù)據(jù)分析報告目錄《XX》數(shù)據(jù)分析報告PAGE61概述2019年，一種新型冠狀病毒出現(xiàn)，這是本世紀(jì)繼SARS,MERS之后，冠狀病毒的第三次襲擊人類，被稱為2019-nCoV全球第一個病例在我國武漢報道，我國政府采取有力措施，在2020年5月份疫情基本撲滅，雖今年2月份疫情有復(fù)發(fā)趨勢，但到現(xiàn)在已經(jīng)被有效控制?，F(xiàn)階段，國內(nèi)外疫情仍較為嚴(yán)重，不僅對嚴(yán)重危害了人類的生命，同時也阻礙了全球的經(jīng)濟(jì)發(fā)展。本文通過Python的Request庫進(jìn)行網(wǎng)絡(luò)爬取，這樣可以使得實驗的數(shù)據(jù)為最新且實時動態(tài)更新，更有利于進(jìn)行疫情數(shù)據(jù)的分析。通過爬取到的數(shù)據(jù)，利用Pyecharts庫進(jìn)行可視化數(shù)據(jù)分析，將繁瑣的數(shù)據(jù)轉(zhuǎn)換為于理解的圖表形式，并發(fā)布在前端網(wǎng)頁上，方便用戶瀏覽和觀察。2數(shù)據(jù)描述針對2019年以來全國的新冠病毒肺炎日累計確診病例數(shù)和日累計死亡病例，傳統(tǒng)的手工收集方法是低效的且收集的數(shù)據(jù)很容易被由于主觀原因不符合真正的值。為了避免上述問題，本文采用基于Python語言的網(wǎng)絡(luò)爬蟲技術(shù)，獲取COVID-19的歷史數(shù)據(jù)并保存到CSV文件中，供后續(xù)實驗使用。具體步驟為:1)確定需要爬取數(shù)據(jù)的網(wǎng)址:hops:///g2/getOnslnfo?name=disease_other，在網(wǎng)頁空白處，點擊F12查看目標(biāo)網(wǎng)站源碼，找到數(shù)據(jù)接口；2)向服務(wù)器發(fā)送請求，等待響應(yīng)。若響應(yīng)成功，可獲得URL的信息，并保存響應(yīng)結(jié)果，以便后續(xù)對數(shù)據(jù)處理；若響應(yīng)失敗，需檢查程序，重新發(fā)送請求；3)對源碼進(jìn)行解析，若解析成功，在遍歷源碼Body的基礎(chǔ)上尋找目標(biāo)內(nèi)容的標(biāo)簽，如:日期、累計確診、新增確診和累計治愈等，對目標(biāo)內(nèi)容進(jìn)行獲取并保存至CSV文件；若解析失敗，則需檢查程序，重新解析源碼。具體的流程圖如圖2-1所示。圖2-1獲得疫情歷史數(shù)據(jù)流程圖3數(shù)據(jù)分析內(nèi)容爬取數(shù)據(jù)本文通過Python爬取提供疫情數(shù)據(jù)實時追蹤網(wǎng)站。首先用谷歌瀏覽器打開該網(wǎng)站，進(jìn)入開發(fā)者模式進(jìn)行分析。在開發(fā)者模式下，進(jìn)入network模塊，通過刷新網(wǎng)頁獲取數(shù)據(jù)源和數(shù)據(jù)接口，從而找到其所對應(yīng)的各個RequestURL以獲取所需要的數(shù)據(jù)。然后利用postman對數(shù)據(jù)接口的數(shù)據(jù)進(jìn)行測試，發(fā)現(xiàn)數(shù)據(jù)接口所返回數(shù)據(jù)為JSON格式，調(diào)用json.loads()將JSON格式轉(zhuǎn)換為字典類型。最后將數(shù)據(jù)存入數(shù)據(jù)庫持久化保存。制作疫情地圖借助ApacheEcharts繪畫圖表技術(shù)，Echarts是基于JSON的開源數(shù)據(jù)可視化圖標(biāo)庫，繪畫圖表簡便快捷，效果簡潔好看。在規(guī)劃了繪制地圖區(qū)域后準(zhǔn)備中國地圖信息的js文件，下載一個可用的導(dǎo)入到項目中后編寫echarts圖表配置信息通過將details表里的各市累計確診數(shù)據(jù)，以省分組進(jìn)行累加，將結(jié)果返回給前端。根據(jù)各省疫情確診的人數(shù)劃分為6個等級，確診人數(shù)由少到多，顏色隨嚴(yán)重程度的加深而加深。在左下角進(jìn)行顏色的說明。4數(shù)據(jù)分析圖表圖4-1全國累計確診地圖。5數(shù)據(jù)分析結(jié)果本文繪制了全國累計確診地圖。如圖4-1所示。采用分段可視化組件用不同顏色表示不同疫情數(shù)據(jù)值范圍，鼠標(biāo)懸停時將會顯示某省累計確診人數(shù)。從圖中可以看出，湖北疫情累計確診人數(shù)是全國最多，上海由于最新的一輪疫情，累計確診人數(shù)已經(jīng)上升至第二，西藏是我國感染疫情最少的省份。6總結(jié)通過本次設(shè)計，不但增強(qiáng)了我的動手能力，將以前在書本上學(xué)到的理論的知識用于實踐中。通過Python爬取提供疫情數(shù)據(jù)實時追蹤網(wǎng)站，獲取COVID-19的歷史數(shù)據(jù)并保存到CSV文件中，借助了ApacheEcharts繪畫圖表技術(shù)制作疫情地圖，最后通過疫情地圖信息，分析總結(jié)爬取的數(shù)據(jù)。這次課程設(shè)計使我對數(shù)據(jù)分析這門學(xué)科有了更深層次的理解與認(rèn)識，知道了數(shù)據(jù)分析的實際用途與用法，不僅如此，通過這次課程設(shè)計，我把這門課程的所有知識都統(tǒng)一了起來，在實際操作方面有了一些領(lǐng)悟，最主要的是對數(shù)據(jù)分析這門較為抽象的課程有了一個比較深刻的認(rèn)識。附錄-數(shù)據(jù)分析代碼importrequestsimportrequestsfromlxmlimportetreefrompyecharts.globalsimportThemeType#可視化部分importpandasaspdimportpyechartsfrompyecharts.chartsimportMap,Pagefrompyechartsimportoptionsasoptsurl="/nCoV/api/area"#2.向url發(fā)請求，并將獲取到的數(shù)據(jù)轉(zhuǎn)換成json格式s=requests.session()s.keep_alive=FalseresultJson=requests.get(url).json()#3.定義一個列表存儲最終結(jié)果province_data=[]#4.只取國內(nèi)數(shù)據(jù)foriteminresultJson['results']:ifitem['countryName']=="中國":province_data.append([item['provinceShortName'],item['confirmedCount']])c=(Map(init_opts=opts.InitOpts(theme=ThemeType.DARK)).add("全國確診人數(shù)",province_data,"china",is_map_symbol_show=False).set_global_opts(title_opts=opts.TitleOpts(title="新冠狀病毒全國疫情地圖",#subtitle="更新日期:{}".format(update_date),#subtitle="更新日期:2020-4-15",),