第Python爬蟲爬取疫情數(shù)據(jù)并可視化展示目錄知識點(diǎn)開發(fā)環(huán)境爬蟲完整代碼導(dǎo)入模塊分析網(wǎng)站發(fā)送請求獲取數(shù)據(jù)解析數(shù)據(jù)保存數(shù)據(jù)數(shù)據(jù)可視化導(dǎo)入模塊讀取數(shù)據(jù)死亡率與治愈率各地區(qū)確診人數(shù)與死亡人數(shù)情況

知識點(diǎn)

爬蟲基本流程

json

requests爬蟲當(dāng)中發(fā)送網(wǎng)絡(luò)請求

pandas表格處理/保存數(shù)據(jù)

pyecharts可視化

開發(fā)環(huán)境

python3.8比較穩(wěn)定版本解釋器發(fā)行版anacondajupyternotebook里面寫數(shù)據(jù)分析代碼專業(yè)性

pycharm專業(yè)代碼編輯器按照年份與月份劃分版本的

爬蟲完整代碼

導(dǎo)入模塊

importrequests#發(fā)送網(wǎng)絡(luò)請求模塊

importjson

importpprint#格式化輸出模塊

importpandasaspd#數(shù)據(jù)分析當(dāng)中一個非常重要的模塊

分析網(wǎng)站

先找到今天要爬取的目標(biāo)數(shù)據(jù)

/zt2025/page/feiyan.htm#/

找到數(shù)據(jù)所在url

發(fā)送請求

url='/g2/getOnsInfoname=disease_h5_=1638361138568'

response=requests.get(url,verify=False)

獲取數(shù)據(jù)

json_data=response.json()['data']

解析數(shù)據(jù)

json_data=json.loads(json_data)

china_data=json_data['areaTree'][0]['children']#列表

data_set=[]

foriinchina_data:

data_dict={}

#地區(qū)名稱

data_dict['province']=i['name']

#新增確認(rèn)

data_dict['nowConfirm']=i['total']['nowConfirm']

#死亡人數(shù)

data_dict['dead']=i['total']['dead']

#治愈人數(shù)

data_dict['heal']=i['total']['heal']

#死亡率

data_dict['deadRate']=i['total']['deadRate']

#治愈率

data_dict['healRate']=i['total']['healRate']

data_set.append(data_dict)

保存數(shù)據(jù)

df=pd.DataFrame(data_set)

df.to_csv('data.csv')

數(shù)據(jù)可視化

frompyechartsimportoptionsasopts

frompyecharts.chartsimportBar,Line,Pie,Map,Grid

讀取數(shù)據(jù)

df2=df.sort_values(by=['nowConfirm'],ascending=False)[:9]

df2

死亡率與治愈率

line=(

Line()

.add_xaxis(list(df['province'].values))

.add_yaxis("治愈率",df['healRate'].values.tolist())

.add_yaxis("死亡率",df['deadRate'].values.tolist())

.set_global_opts(

title_opts=opts.TitleOpts(title="死亡率與治愈率"),

line.render_notebook()

各地區(qū)確診人數(shù)與死亡人數(shù)情況

bar=(

Bar()

.add_xaxis(list(df['province'].values)[:6])

.add_yaxis("死亡",df['dead'].values.tolist()[:6])

.add_yaxis("治愈",df['heal'].values.tolist()[:6])

.set_global_opts(

title_opts=opts.TitleOpts(title="各地區(qū)確診人數(shù)與死亡人數(shù)情況"),

datazoom_opts=[opts.DataZoo