中國礦業(yè)大學計算機學院

且L級本科生課程報告

課程名稱信息內容安全

報告題目新冠疫情爬只及詞云與可視化地圖

報告時間202263()

姓名丁文翔___________

學號08193072__________

任課教師曹天杰___________

2021-2022（二）《信息內容安全》評分表

試題類型

考核類別考核內容支撐課程目標與分值比分數(shù)

例

目標3：掌握信息內容安仝的基礎知識，

課程報告（論文針對具體問題和要求選擇正確的技術路

課程報告，

結課考核綜述、設計、實線，通過在實驗環(huán)境中進行仿真實驗并能

100%

現(xiàn)、寫作規(guī)范）根據(jù)算法特點進行攻擊測試和綜合性能

評價，得到具有參考價值的結論。

目標1：掌握信息內容安全的基本概念、

分類、原理和相關技術，能夠根據(jù)課程基系統(tǒng)演示

1.基本概念、原

本知識對信息內容安全領域出現(xiàn)的問題及解說，

理

進行歸類、分析、并有初步分析和解決問30%

題的能力。

目標2：掌握信息內容安全處理相關的理

PPT講解

過程考核2.系統(tǒng)設計與論、技術以及健全的評價體系，能夠根據(jù)

與答辯，

分析具體問題分析算法、設計算法、實現(xiàn)算法

50%

并能綜合評價算法。

3.基本概念、作業(yè)或測

目標1

原理試，20%

過程考核：

結課考核與過程考核比例結課考核：60%

40%

評閱人：

2022年7月10日

報告摘要

始于2019年的全球新冠疫情，是人類百年工'也文明快速發(fā)展、全球化進程加快進程中突然

遭遇的重大傳染性疫病，近3年來，己經(jīng)改變、還在繼續(xù)改變幾十億人類的生命、生活、

生態(tài)和生產方式。為了更百觀的查看以及分析各地疫情，本項目將利用爬蟲技術，爬取中

國各地以及世界各個國家的新冠疫情數(shù)據(jù)，生成詞云，疫情地圖等可視化圖片或網(wǎng)頁，供

用戶觀看。

關鍵詞：爬蟲；新冠疫情；疫情地圖

Abstract

TheCOVID-19pandemic,whichstartedin2019,isamajorinfectiousdiseasesuddenly

encounteredinthecourseofrapiddevelopmentofindustrialcivilizationandaccelerated

globalization.Inthepastthreeyears,ithaschangedandcontinuestochangethewaybillionsof

peoplelive,live,andwork.Inordertoviewandanalyzetheepidemicsituationindifferent

placesmoredirectly,theprojectwillusecrawlertechnologytocrawltheCOVID-19epidemic

dataofdifferentplacesinChinaandothercountriesaroundtheworld,andgeneratewordcloud,

epidemicmapandothervisualpicturesorwebpagesforuserstowatch.

Keyword:crawler;COVID-19;Theoutbreakmap

報告正文

1、項目背景

正在發(fā)生的全球新冠疫情?，所造成的風險在公共化、全球化，給這個世界帶來巨大的不確

定性，預示著人類文明發(fā)展存在總體性危機。

全球新冠肺炎疫情的爆發(fā)，使當今世界局勢發(fā)生劇烈復雜變化，一場可能會影響全球格局

的巨大變革正在發(fā)生。各國采取不同的措施應對全球新冠肺炎疫情，美、歐、中等各經(jīng)濟

圈分裂的趨勢在加強。以美國為代表的西方國家，從對外擴張轉變?yōu)橄騼仁湛s或退守，體

現(xiàn)在本土主義的興起、貿易保護主義的反彈以及其他一些“逆全球化”的跡象。面對突如

其來的全球性新冠肺炎疫情，西方社會的內部矛盾，包括經(jīng)濟與文化方面的問題，開始全

面爆發(fā)，民眾的挫折與失望感越來越廣泛。所謂“發(fā)達社會”，也呈現(xiàn)出一副失序狀態(tài)：經(jīng)

濟失調、政治失序、安全失控、制度失靈。移民和難民大量涌入，對各國的本地傳統(tǒng)價值、

生活方式以及民族認同都會造成沖擊。經(jīng)濟利益的沖突與文化訴求的矛盾相互交織、彼此

糾葛，造成了西方社會嚴重的政治極化現(xiàn)象。

對中國這些發(fā)展中國家來說，外部環(huán)境變化的不確定性也非常明顯。西方打破了現(xiàn)有國際

體系的穩(wěn)定性，并導致國際體系出現(xiàn)快速、急劇的變化，這就給中國的外部環(huán)境帶來巨大

挑戰(zhàn)。如何處理與西方國家之間的問題、與國際秩序之間的問題，亦成為中國需要面對的

挑戰(zhàn)。

同時，新技術革命，尤其是人工智能、生物技術的迅即發(fā)展，對現(xiàn)有的生產、勞動和消費

結構沖擊，以及對文化變遷的深遠影響，都可能超越既有“現(xiàn)代秩序”的有效框架，蘊含

著巨大的未知風險。

有專家指出，新冠肺炎疫情帶來的這場全球性危機，不僅表現(xiàn)為生態(tài)和環(huán)境危機、資源和

氣候危機，而且還表現(xiàn)為深重的經(jīng)濟、金融危機和社會危機。上世紀“二戰(zhàn)”之后確定的

國際政治經(jīng)濟秩序在某種程度上處于內外交困的局面。世界正在滑向各種影響深遠的沖突

和戰(zhàn)爭：軍事沖突、貿易戰(zhàn)爭、政治和外交戰(zhàn)、金融戰(zhàn)爭等等，世界很可能進入了一個“巨

變”的時期。

2、項目介紹

該項目使用了爬蟲技術，通過url獲取網(wǎng)頁himl代碼，保存為json文件，在json文件中提

取我們需要的數(shù)據(jù)，獲取到數(shù)據(jù)之后，使用python庫中的worldcloud制作詞云圖，pyeckarts

制作疫情地圖

3、項目實現(xiàn)

3.1、使用爬蟲獲取數(shù)據(jù)

我們首先將使用requests方法獲得整個網(wǎng)頁的html代碼，并保存為1x1文件，便于分析，

這里我們需要注意偽造一下請求頭

classGet.data():

defget.data(self):

#“林url

url="https://voice.baidu.con/act/newpneumonia/newpneunonia/M

。偽裝請求頭

headers={

,User-Agent*:,Mozllla/5.0(WindowsNT16.6;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)1

,Chrone/8e.e.3987.149Safari/537.361

}

4發(fā)出get請求

response=requests.get(urlfheaders=headers)

n將請求的計i梨耳人文件.便于分析

withopen(*html.txt','w*)asfile:

file.write(response.text)

獲得himl文件后，我們需要找到，我們需要的數(shù)據(jù)，下面藍色的部分包含著我們需要的數(shù)

據(jù),它是以字典和列表的來回穿插的形式保存的.我們通過取下標0和對應的鍵就可以獲

得全部的疫情信息

.co?/i?/$tatlc/act/captaln/bun<lles/458/a6dc3ab?.<S9eW475.js-x/$cript><scrlpttype^^dpplicatlon/Json*

w<-,

ld?-captaln.coM19"><p49f:<tltXf:\u5b^\v65f6\u66f4\u65be\uffla\u^5be\u578b\u5U$\u72b6\u75c5\u6td2\u8eba\u7e8t\v75ab\u6ac5\v573e\v56ft'r

:口JhxTongJr：”8,?tvp?■:.mndoL.：?\u987八u9762".Y：8::?bXdu.co*V-ct\/ne?pceuBon￡a\/rwvpn?u?oM??.

-$har?Oesc-：-\u5168\u56fd\u65be\u$78b\u51a0\u72b6\u75c5\uM?d2\u8eba\u7e8e\u5b9e\u65f6\u5738\u56fe\

“3har?TItl??:-\u5MQ\u63f6\u6"4\u65b叭u”S\u65b8\u578b\u51ae\"2b6\u75c八u6bd八u8Bb?\u788,\unab\u6?<:“u5738\u56f??，?Shar“0g-:?http$:\八，?%?rn

a

.cdn.bcebos.coa\/MS-ros\/volc?fe\/captaln\/lMag?fi\/?cc4olbea447b66941?d(]59be5c2a81a.png?slze396*96"}v"coap<nent':({*backgroufMlColor*:*?89eac$"(

-

"titU-：*\u75ab\u68cS\uS09?\u6Sf6\u5927\u6S78\u6U?\u62?5\u544i*,"MpL>5tUpd3t?dTInt:-2922.06.2368:S9*r-c>stLi?f：({"conflr?td*:*1*.*e*r

,>-e>

■cru?d-：l-r*r?latlv?Tl??-：16$574B8SB,'r-ccnflrMdR?latlvt*:*e-t*<11?<l^latlvt-：*e-r-cur?dR?lttlve：-e*,*5v?pto?atlcR?litlvt-：8\"asY^>to<iatlc-：-e*,

-n?tiveRa^tlve-z-O-.-screeninsPositlvt^-r.-upditeTiRe-z-USSUlW^cvrConfirB-z-e-.-curCon/lrwRtUtlvt*：-0-.

,<-*<<

-noMativeRel?tlveO>vs"：\u8fdt\u7??d29\u?e2i\u67e8\u65te\u672c\u$71f\u65be\uS89t-.ovtr5<>5XnputRtUtlv?*:*ZlcuOi5>bl<>:l*t*area：-\u897f\u85€fr

-5vbllsf:(rcitv,:"\v62c9\v8428\"conflrMd-：-l\-dled*:-e-.*crved-：-l-.*conflr?edReUtlW：-r,-?sy?ptowticReX?tlYe',:',e\"asY?pto?stlc,：-e\

-B

-n?tiveRa?tlve-:e-.5cretftir^Positivt*:-r.*up<J?teTii??-：-U55861W*r-cvrConfir?-：-e\

?noMatlvtRnttlveO?y$*：,\u8fdt\v7te<J28\u4t2?\v67e8\v65t?\v672€\v571f\u^5be\u589t-,,cltyC^f:"lBe\"?J4n9trovsArtes-：{-svblltf：()Z?ortUH>：**>}J,

,,

-d?ngtrovsAre?s-：4*sueLisf:()r-?ortUrl*：--}}r{-conflr?ed*：-W-,*died-：-e\"cru*d-：''83",reUtlveTl?t-：-16557^080O-.-confir?e<JReUtive：-5\

B,,,-"

?updateTl?f：-U5586e323***cur€onflr?:15%€vrConflriiRelttlvt":*5*,*noll>ti￥eRt\ttlvt0ay4":"-/cXtYC?df:29n",ovtrsMSlnputRtVttlvt*：**,

-lcu01sablee：-l*,*ar?a-：*\u6fb3\u95e8",esutt.iSt-：(),-dangtrousAr?a$-：<esubLl$f:(J,?■oreUrX-：-<>},{-conf-died-z-e-.^crutd^-W,

?eUtW?Tf:7655748808?Jcon"rxdh“tW”：?0..-<H“R，lNl“?：?6，?cu”dhlZW??：?e，?“yipt8"lcmU"?："8?J”Spto?0tlc?：?e??

<*-e<e<e-

-natl￥?RtXatlvt*:e",*scr?tftln9Posltlv?:r.updat?Tli??"：*165586413^r*curConflr?：-e*.cuKonflr?Relatlve:e-.

--w

-noMatlvtR?latlveOay**：*\u8fd?\u7?e<ll\u4e2*\u6788\u65ee\u672c\u571f\u65b0\u589e\-overs?asInputReXitlve：-r-lcuOlfiable:l*,"ar<a-：>\u9752\u6d77".

,<w>w,w-w

"subList-：(rclty:"\u8y7#\u5Mlr"conflrB#d-：lS5-,*dl?d-：-e.cru?d*：-lM-r*conflrBedRetativt*:*e-."asy?ptOMtlcRel.?tlve：-e.a5ywptowtlc,:''e.

we->e

-natlYGRtXatlvt：e",*icr?tnln^Posltlv?*:r.up<Jat?Tl??"：-16558641S4-r-curConflr?：-0*.

"noM?tiveReUtlveO?ys*:*\u8f(lt\u7?edl\u4?2?\u670S\u65e9\u672c\u571f\u65be\u5S9e\-cityCod?*:*66\*dinflerou5Are?5-：{-?ubli5fzlJZBor^Url":**}},

e,-

<?city-"conflrB?dRtlatlvt*:*e-f*av?PtoaatlcRelitlve:'e*.?5y?ptOMtic*:*e",

-n^tlYeRelatlvt-：*e".?scree?insPosltlv?*:*r.,upd?ttTl?e":-165586413A-r"curConflr?":-?*.

"noMativ?ReUtlveO*ys-：*\u8fdt\u7?ed28\u?e2i\v67M\u65te\v672c\u571f\u65be\uS89t".,cityCode*：-6y-Z<J*?9?rousAr??5-：{,5ubLisf:(].*ioreUrX-：-?.

(?clty?：?\uW77\u4rc，?coc”eg?：?5???dlE-：?O?」cruX"：?5?Jco"lrxdP0UtW，?：?6???”y?pS,“chUtW-?：?O????sy?pto“tlc?：?O??

-n?tiYeRe\?tlvt,':,6-.?scretninsPo?ltiv?*:*r.?up<l?teTli??":?U55864134\"cvrConflr?*:M*.

?noMatlvtRelatIveOays*:,\u8fdt\u7ted2\u4e2*\u67es\u65?e\u672c\v571f\u65t)e\u5S9e?JSngMxsA””-:《rubl1st,:(<?>>,

<"city":,\u9ec4\u5357\v5<jdt\<€onflr?ed-：-4-,"died-r-e\-cru^-i^^-c^nflr^dRtXatlvt-^e-.-esyiptOMticReUtive-j-f.UariptOMtlc-j-e-.

然后我們使用xpath方法來解析數(shù)據(jù)

#生或HTML對象

ht?l=etree.HTML(response.text)

#解析故據(jù)

result=html.xpath('//script[ptype="application/json"]/text(),)

Uprint(type(result))

result=result⑻

Sprint(type(result))

result=json.loads(resul.t)

ffprint(type(result))

data_in=result['component'][0]['caseList']

foroachindata_in:

print(each)

print('\n-?*28)

data_out=result['coaponent'][B]['globalList']

foreachindata.out:

print(each)

print('\n"+*28)

獲得數(shù)據(jù)后，為了更加直觀的觀察數(shù)據(jù)和制作詞云，我們將它們保存到data.xlsx的excel

文件中，下圖可以看到我們成功保存國內各個省份的相大信息和以大州為分類的各個國家

信息

中國各個省份數(shù)據(jù)

省份;累計確診汨::治愈現(xiàn)仃確診素計確診1死「：甫斌治愈增求現(xiàn)仃確診增依

西藏13633b

澳

門

83,00

檸

海147'147o3

6，633

介

灣r

*3387061□480'137423316366U5o□6251

港

吞*335226*9396*63312弓30*59'171

州

貨r-Fr

185i83*0

林666

吉

4029540290

疆6333

新F

1008"1005rr

夏Qo3

宇"122'1226rQ33

內

郢

2081'1893r2b39-37

南

什%81*679brQ6

津

天F-rr

1993i9771r

西33

山

423422r

寧63Q3

遼'1718'16966*b3

黑

貶.F

L2987’13力973

海b33

南F一F

2886r282b63

北

河，007T7ri9986*brQ6

陜

.西

T*3295r飛

3316F3*bo

云

南T2154sr

2164F6*b2&

廣

西1649'16452rr

FbQo3

福

建F*333355

3389F430-i

上

海l29

33196o95方24724。2

北Fb

京Frl92▼-

36609^459r'19-14

江o

蘇F0

F_T4

22390^235r

四

川F6Q6

FFl3

23633力347-1

山

東F26*b

^748r7力729lr

江

西Fbo

Fr1

1384'1382r

直

慶1

，63o3

?096F

bb-i

國內疫情|亞洲|就W|非洲|大洋洲|mbit洲南都|其他|熱門（+）

亞洲國家數(shù)據(jù)

國家1累計確診死亡治愈現(xiàn)有確診累計確診增量

朝鮮4672450飛4646380?5997[7260

韓國"182983411?4474"18129388"144479*9283

塔吉克斯占7388’124^72646

阿拉伯聯(lián)*932067^30991258717171"1556

也門11824Z149*9108□67

老撾*210214?57號660201797

新甸613508"19434*592503"15714

敘利亞□59173150*52749’18飛

東帝汶*22945133力2796'166

吉爾吉斯攵0102429910964061627b

巧茲別克攵39895"1637士37791467

哈薩克斯,130601413663"1292200r2Q

土耳其150857421*98996149863404063

蒙古國92628221793132566108476

寒浦路斯491777‘1067"1243700663406

文萊158524025^1538874412缶2

孟加拉國"19580741%133"190598302958、74

4爾代夫1803843oo1163687163973

r

不丹□967421□9627066

巴勒斯坦□83293o356*5775274106

沙特阿拉1787212319176808739341143

r

約旦1697271‘14068,168296212416

印度尼西60729181’156702*590482531391'1678

r

亞美尼亞423104*86294126611814Ro

卡塔爾377482,78*372585*4219*662

阿塞拜疆793036?716*783181139飛

格魯吉亞165875516838"16372934624

巴基斯坦"15324641^30384"1498401弓679‘113

|國內疫情歐洲非洲j大洋洲北美洲南美洲其他熱門

實現(xiàn)代碼如F

ws.in.title="國內投情”

ws_in.append(「省份，，,累計確診L,死亡.，?治愈I?現(xiàn)有確診L'累計確診增童、,死亡培量、,治愈加篁1'現(xiàn)有碇/i■宣?])

foreachindata.in:

temp.llst=[each[?area*],each(?confirmed*],each('died(]feach[?crued*]feach[*curConf1m1*],

1

each('confirmedRelative']reach('diedRelative*),each('curedRelative],

each('curCorfirnRelative*]]

for1inrange(len(temp-list)):

iftenp_llst(i]=='?：

temp_list(i]=?€'

ws-in.append(temp.list)

換取國外疫情故樹

foreachindata.out;

print(each)

print(M\n*?*26)

sheet.title=each['area']

?劍建?個新的L件衣

ws.out=wb.create.sheet(sheet.title)

ws.out.appendCCaS,,?累計確診L'死亡L?治愈l,現(xiàn)有確診L,累計確診塌量’])

forcountryineach['sublist,]:

,

list.temp=(countryl'country*],country!?conflrned']rcountry!'died*],country1*crued]r

country['curConfirm*]rcountry1,confirmedRelative*]]

for1inrange(len(llst_temp)):|

Ifllst_tenp[i]==":

llst.tenp[i]=<0*

ws-out.appGnd(llst_temp)

tcnp)

性像存excel文件

wb.saveC./data.xlsx*)

我們也將解析的數(shù)據(jù)保存到json文件中，方便以后做整個中國及每個省份地圖和世界地圖

做準備

defparse_data(self):

withopen('html.txt','r')asfile:

text=file.readO

#生成HTML對象

html=etree.HTML(text)

n解析故據(jù)

result=html.xpath('//script[Qtype="application/json"]/text(),)

ffprint(type(result))

result=result[8]

#json.loods力:注可以.資主竹中我化加ython數(shù)界類型

result=json.loads(result)

result=json.dumps(result('component*][0]('caseLisf])

ttprint(type(result))

withopen('data.json*,'w')asfile:

file.write(result)

print(,數(shù)據(jù)已寫入json文件..J)

json文件如下：

8fd?\S”d2\u“2?\u67B8\u65?叭u“2c\uS71八u”be\u589，，?ci”Cod?七,167\-dangtrousArtas-：{-sueLlst":(),?■oreUrf：■?”.{?city-：/*51,

U\uB425\u5”3，?confined*:"JIB".*dl?r：-8，*cru?d,:-21S-r-conflr?<dR?latlv?*:"asyaptOMtlcRalativs*:"G"r'asyaptoMatic**:/

^?nitlveReXatlve":,e\"scretninePositive":-O",*updeteTl?e-：-1655856563","curConflr*":?0?,?noMitlveReXitlveDiys-：/

L\u8fd?\S”dl\u4e2"u6798n65?叭u672c\uS71八g5bO\u589e”，?cityCode":,281\*danqtrousAreas":{-subLlaf:(L?■oreUrl?：??”.{?city":?

BM(

\*\u4t39\u4tlc",,conflntd*:"96，"<H",：*e".-czob:*77"r?gnfli“R010tl“?：-e,?：F，a$y?ptonatlc':?

%*n>tlveRelatlve":*e\"scretnln^Posltlve-：-6，?up(U“Tfxr-1655856563-.?curConflr?":?19，*noHetlveReletiveOeys,:?

%>\u8fd?\u7?od3\uS929\u65?8\u672c\uS71f\u?5be\u5B9?-r"8"，"dangtrousAroas*:??sutoLlsf:()r?■or^Url*：{?city*:?\gc88\v9633..)

M

%?conflr^d*:"246"redl?d":*e\-CPSCT-"6\*confIrMdRolative*:"G",*asyiiptonatlcRelatlvo*:-8，*asynptonatlc:*8","natlveRolatlv**:j

%-screenlngPositive,:“8，-upditeTlBe-：?U55S56563*.-curConflr?*:-0-r?:-\uSfde\u7e?d29\u5929\u65e9\u672c\u571f\u65W\uM9?-

e

^?cityCode*:,58"rdan9crousArtas-：C?uHlsf:(].-BoroUrl"：?"}},Ccity,:"\u8fbd\u96Srr-conflrwd*:"12\"died*:"9",?crutd*:-12",‘

\*conflrMdRel?tiYe':"0".,?syuptOMtlcRelativf:?。，?e$yiiptoi?etlc-:*8\-netlveRelatlvt":?曠."scretnlnePosltlvt":*8\"updateTlue-：/

1655856563-.?curConflr?-：*0\*noH?ti*eRel?tlveOivs":,\u8fde\u7eed2\u4e2?\u6708\u65e0\?672c\u571f\u65b0\u589e-r,cltyCodt":*351\?

《?dang"ou“r"L:4-4ubllsf:[].?■oreUH-：->}r{"city*:"\u76d8\u9526\-conftrued-：-dl?d-：-8，?crutd*:"confXrn?<jRalatXvC:-0-,

^*aiynptoadtlcR?latlv?H:ee\"asyaptoeaxic*:*e*.*natlveReletive*:"0",?scrtenlngPosltlvt":"updeteTiw："1655856563*,"curConflni":"6?,)

M-

%*noNatlveR?latlveOavs：?\u8fdt\u7t?d2\u4?21\u679S\u65?e\u672c\u571f\u65b8\u589e",?cltyCo-1?*:228"r?dan9arousArtas":{-subLlsf:[],"■orHIrl":)

U">>，<"city*:"\u672c\u6oaa\"conflr??1":"5，PWcT:*e*,"cruad":?4?."conflrncdR?Xatlv?*:-6，*asyaptonatlcR?latlvt(*:，B3"asywptOflatlC:"6

%"nativeRelatlve*:"0",?scrtenlngPosltlte":?O"."updateTine,:"1655856563\"curConfIm-"I"."noHatlveRelatlveOays,:/

、?\v"d?\S?“l(fā)，\uS0g\u“2\"72uV/57”\M5b0\u5-3"eltyCode,:?dsn9.rovtAre..":<??vbLi?f:[].-?or.Url?:?"?,<-clty*