爬取豆瓣、貓眼、淘票票等網(wǎng)站上《我不是藥神》的信息并用PMh(m進(jìn)行分析。

《我不是藥神》是由文牧野執(zhí)導(dǎo)，徐崢、王傳君、周一圍、譚卓、章宇、楊新鳴

等主演的喜劇電影，于2018年7月6日在中國(guó)上映。

影片在上映前，大規(guī)模的點(diǎn)映積攢了相當(dāng)高的人氣和口碑，截止7月9日凌

晨：豆瓣評(píng)分：9.0分，貓眼：9.7分，淘票票：9.5分，時(shí)光網(wǎng)：8.8分。

為什么我說(shuō)這三個(gè)網(wǎng)站呢，因?yàn)槲覀兘裉旖?000+條短評(píng)數(shù)據(jù)就來(lái)自于此，用

專(zhuān)業(yè)的數(shù)據(jù)更有說(shuō)服力。

《我不是藥裨》短評(píng)數(shù)據(jù)情況

06

綜合幾家的數(shù)據(jù)：五星推薦如此之高，生活環(huán)境是真實(shí)的，情緒是真實(shí)的，困境

也是真實(shí)的，甚至女主角是一個(gè)真實(shí)的上了年紀(jì)的美女，有真實(shí)的皺紋！真實(shí)才

能帶來(lái)沉浸體驗(yàn)。表面說(shuō)的是藥，深層說(shuō)的是命。

藥能治病，命卻不由自主，直面中國(guó)底層生命的苦難和尊嚴(yán)，也沒(méi)有逃避對(duì)社會(huì)

制度和商業(yè)法則的拷問(wèn)，這是影片鍥入中國(guó)現(xiàn)實(shí)的關(guān)鍵，也是引發(fā)大眾共鳴的核

心C

《芨不是為特）星級(jí)推薦.?■"■H.二■■一力

盛世危言，卻讓人能看到希望，這部影片極有可能成為2018年最具有爆炸性的

話題。這也許就是未播先火，豆瓣16年后首部9.0高分電影的原因。

今天我們用5000+條數(shù)據(jù)來(lái)分析一下，哪些地區(qū)，什么樣的人，喜歡這部電影。

程勇只是個(gè)賣(mài)印度神油的小販，日子過(guò)的還湊合c老爹血管瘤急著做手術(shù)，住院

沒(méi)錢(qián)，妻子要帶兒子移民去國(guó)外發(fā)展，靠賣(mài)印度神油掙來(lái)的錢(qián)連水電費(fèi)都交不起,

處處都需要錢(qián)。

神秘男子呂受益找到程勇，讓他從印度幫忙代購(gòu)一款藥物。呂受益患有血液癌癥,

需要長(zhǎng)期服用抗癌藥物進(jìn)行治療。

正版藥“瑞十格列寧”非常昂貴，普通人家根本供應(yīng)不起"日在印度有一款仿制藥”

印度格列寧“價(jià)格卻只有1/20,但在中國(guó)是屬于禁藥，走私被抓，是需要負(fù)法律

責(zé)任的。

在巨大利益的驅(qū)使下，思慧，神父，黃毛先后出場(chǎng)，賣(mài)藥五人組團(tuán)建成功，他成

為一名“藥販子”。

對(duì)于病友來(lái)說(shuō)，他們擁有了活下去的機(jī)會(huì)，紛紛給程勇送錦旗，自此稱(chēng)其為“藥

神”。

代購(gòu)的藥出現(xiàn)問(wèn)題，假藥販子張長(zhǎng)林的出現(xiàn)威脅程勇，怕被抓,賣(mài)藥組正式散伙。

程勇開(kāi)了工廠，呂受益死，張長(zhǎng)林跑路，讓程勇完成第一次蛻變，許多病人無(wú)藥

可吃，程勇再次去印度并重新團(tuán)建賣(mài)藥。

警方嚴(yán)打假藥販子，張長(zhǎng)林被抓。警方發(fā)現(xiàn)程勇富點(diǎn)，黃毛為了掩護(hù)程勇而死,

讓他完成第二次蛻變。

以賠本價(jià)繼續(xù)代購(gòu)印度藥，送兒子移民，晚上賣(mài)藥被警察抓。三年后出獄，外面

已是改天換地。

《我不是藥神》的現(xiàn)實(shí)意義大于電影本身，許多人評(píng)論這部電影都有些揚(yáng)眉吐氣

的感覺(jué)，大家都在做一個(gè)中國(guó)電影終于敢說(shuō)真話的夢(mèng)。

截止7月9日凌晨，累積票房超過(guò)13個(gè)億，占當(dāng)天票房近84%。

實(shí)時(shí)票房

KSW：藝飄行客吳條號(hào)/腫」婕源

哪些地區(qū)貢獻(xiàn)的票房更多一些?

如這張圖片動(dòng)態(tài)展示的情況，你會(huì)發(fā)現(xiàn)貢獻(xiàn)最多的還是：北京、上海、廣州，二

線城市同樣成為票房的貢獻(xiàn)者。

從畫(huà)像來(lái)看，更趨于中年，油膩的中年，人人都怕老病死，人人都怕上下為難，

人人都有為謀生計(jì)不得不做的事情，人人亦都向往真與善……是這些時(shí)刻集中起

來(lái)讓煽情的《藥神》不那么脫離現(xiàn)實(shí)。

一因?yàn)閷⒁豢唇穸_(kāi)始終于

好片只是現(xiàn)在如。演技士必糕A沮點(diǎn)妞4

油支聶^篇嚅T(mén)黑嗯墨北產(chǎn).

只看-W

需箓鼠鬻鼠感人蠡社軟心比國(guó)好

滿(mǎn)分

應(yīng)該

蕨值得不中國(guó)電系眥生命

不a錯(cuò)t中國(guó)p不/涵現(xiàn)實(shí)感覺(jué)？汽我個(gè)

袤演這裨

―‘做劇俏題材徐崢?lè)请?女自…f故事人物產(chǎn)

導(dǎo)演共很多掩來(lái)越甄點(diǎn)期待何頤國(guó)］鷺限王傳召.冢為了

需費(fèi)印度完美世界譯￡為神土土管電滋院以常

其實(shí)可能反應(yīng)還有不能口碑

不會(huì)咫賓主3Z

從數(shù)據(jù)上來(lái)看評(píng)論:

好看，現(xiàn)實(shí)，好片，感人，淚點(diǎn)，作品很棒

哪導(dǎo)，我求求你，別再查“假藥”了行么。這藥假不假，我們這些吃的人還不知

道么？”

‘我吃了三年正版藥，房子吃沒(méi)了，家也吃垮了?，F(xiàn)在好不容易有了便宜藥，可

你們非說(shuō)這是“假藥不吃藥，我們就只能等死。

《我不是藥神》戳中的是每個(gè)人的痛點(diǎn)，誰(shuí)能保證這一輩子自己和家人不生病

呢？

一旦遇上大病，動(dòng)輒上萬(wàn)的高昂醫(yī)藥費(fèi)讓普通人家根本無(wú)力承擔(dān)。一人生病，全

家拖垮，真不是危言聳聽(tīng)。

回歸技術(shù)：分享一下我們?nèi)绾潍@取的數(shù)據(jù)

首先是豆瓣，豆瓣自從去年10月份已經(jīng)全面禁止爬取數(shù)據(jù)，僅僅放出500條

數(shù)據(jù)，豆瓣封IP,白天一分鐘可以訪問(wèn)40次，晚上一分鐘可以訪問(wèn)60次，

超過(guò)限制次數(shù)就會(huì)封IPo

importurllib

importrequests

fromurllibimportrequest

importtime

header={'User-Agent':'Moznia/5.0(WindowsNT10.0;Win32;x32;rv54.0)

Gecko/20100101Firefbx/54.0',

'Connection':'keep-alive)

cookies='v=3;

iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4F

F222CF03;webp=true;ci=1%2C%E5%8C%97%E4%BA%AC;

_guid=26581345.3954606544145667000.1530879049181.8303;

_lxsdk_cuid=1646f808301c8-0a4e1915421593-5d4e211f-100200-1646f808302c8;

_lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4

FF222CF03;monitor_count=1;_lxsdk_s=l6472ee89ec-de2-191-ed0%7C%7C5;

_mta=189118996.1530879050545.1530936763555.1530937843742.18,

defhlml_prase(url):

r=requests.get(url).content

returnr

cookie={}

forlineincookies.splitC;'):

name,value=cookies.stiip().split(1)

cookie[name]=value

defhlml_prase(url):

r=requests.get(url).content

returnr

foriinrange(1,100):

print。正在打印第％s頁(yè)‘%i)

try:

url=

'http:〃m./mmdb/comments/movie/1200486.json?_v_=yes&offset=%s&'%

(

i*15)

print(url)

proxy=html_prase(,9:5010/get/,)..decode('utf81)#代理是自建代

理池，有需要使用代理的可以聯(lián)系我，知乎ID：布道

htnil=requests.get(url=uil,cookies=cookie,headers=header,

proxies={"http":"http://|)format(proxy))).content

data=json.loads(html.dccode(,utf-8,))l，cmts'J

foritemindata:

comment=itemfeontent']

date=itemt'time'l.splitC')[0]

rate=item['score'1

city=itemf'cityName'l

img=itenit'avatariul']

print(date,rate,comment,city,)

withopen('maoyan_08.txt1,'a',encoding=*utf-8')as￡

￡write(date++str(rate)++comment++comment++city+'')

ifimg:

f=open('C:\UsersMyDesktopyaoshenimg\'+img.split(7')[-l]Jwb)

fwrite((urllib.request.ui-lDpen(img)).read())

except:

continue

tuw.sleep(5+float(random.randint(1,100))/20)

另外一種方式:Anyp「OKy+JS+Python+Monkeyrunner,可以爬取Web靜態(tài)網(wǎng)站、

App應(yīng)用、JS渲染數(shù)據(jù)的動(dòng)態(tài)網(wǎng)站的數(shù)據(jù)都可以進(jìn)行爬取。

中間人

?WEB/APP

安裝使用，請(qǐng)查閱：

官方Githubt

/alibaba/anyproxy

JS代碼:

varlogMap={)

varis=require(依')；

variconv=require('iconv-lite');

varlogger=fs.create\VriteStream('./urlLog.log',{

flags:'a'//'a'meansappendmg(olddatawillbepreserved)

})

lunctionlogPageFile(url){

if(!fogMap[url]){

bgMap[url]=true;

logger.write(url+'

)

)

functionpostData(post_data,path,cb){

////Buildthepoststringfromanobject

//varpost_data=JSON.stringify({

//(data':data

//})；

//Anobjectofoptionstoindicatewheretopostto

varpost_options={

host:1127.0.0.T,

port:,9999',

path:7+path,

method:'POST,

headers:{

'Content-Type':'applicatbn^son',

'Content-Length':Buflfer.byteLength(post_data)

}

I；

varhttp=requireChttp*);

//Setuptherequest

varpost_req=http.request(post_oplions,liinction(res){

res.setEncodingCutfB1);

res.onC'data',cb);

})；

bgger.write(*requestpostdata1')

//postthedata

post_rcq.writc(post_data);

k)gger.\vrite('requestpostdata2')

post_req.end();

}

module,exports={

summary:'aniletomodifyresponse',

*bcforeScndResponse(requestDctail,responseDctail){

if(/movic/1200486/i.tcst(rcqucstDctail.uil)){

logger.write('matehed:'+requestDetail.iul+'

if(responseDetail.response.loString()!=={

k)gger.\vrite(responseDetail.response.body.toString());

varpost_data=JSON.stringify({

'urf:requestDetailurl,

'body':responseDetail.response.body.toString()

})；

logger.write("postcommenttoserver--extH);

poslDala(post_data,'douban_commenl',function(chunk){

))；

}

)

1,

)；

使用AnyProxy加載JS代碼：

anyproxy-i--rulewxrulc.js

Senice代碼部分：

#!/usr/bin/envpython3

importasyncio

importre

importtextwrap

importthieading

importtime

importos

importpymysql

frommysqlmgrimportMysqlMgr

fromniongomgriinportMongoManager

fiomsubprocessimportcall

importrequests

fromIxmlimportetree

fiomIxmlimporthtml

fromaiohttp,webimportApplication,Response,StreamResponse,run_app

importjson

STATE.RUNNING=1

STATE_IN_TRANSACTION=2

running_state=0

run_swipe=True

last_history_time=time.clock()

#Athreadtosavedatatodatabaseinbackground

definsert_to_database(biz,msglist):

try:

formsginmsglist:

print(biz)

prim(msg「comm_msg_inId]['id'])

mongo_mgr.enqueue_data(msg['comm_msg_info'1['id'],biz,msg)

exceptExceptionase:

print(e)

defsave_data(biz,nisglist_str):

save_thrcad=threadmg.Thread(target=insert_to_database,args=(biz,msglist_str,))

save_thread.setDaemon(True)

save_thread.start()

defswipe_for_next_page():

whilerun_swipe:

time.sleep(5)

iftimc.clock()-last_history_time>120:

ifrunninog—state==—STATERUNNING:

reenter()

continue

call(["adb'\"shell","input,；''swipe","400",n1000H,"400'；'200"])

defrccntcr():

globalrunning_state

mnning_state=STATE」N_TRANSACTION

#模擬側(cè)滑實(shí)現(xiàn)返回上一頁(yè)

caUCCadb'1,"shelf；"input'；nswipe'；"0",M400'\"400,\"400"])

iime.sleep(2)

#點(diǎn)擊”進(jìn)入歷史消息”，每個(gè)手機(jī)的位置不一樣，需要單獨(dú)設(shè)置X和Y

call(f"adb",?'shell","input“，‘匕p“，ZOO“，“1200”])

time.sleep(2)

heade^CUser-Agent'fMozilla/S.O(WindowsNT10.0;Win64;x64;rv54.0)

Gecko/20100101Firefbx/54.0','Connection'fkeep-alive'}

defhtnil_prase(url):

r=rcquests.get(iul,header),content

returnhtml.fiomstring(r)

asyncdefreport_url(request):

resp=StreamResponse()

data=awaitrequest.json()

url=datafurf]

#print("urlreported:"+uii)

biz=re.findallC_biz=(."?)&',url)

iflcn(biz)==0:

awaitresp.prepare(request)

returnresp

biz=biz[01

printC'+biz+'')

mysql_mgr.enqueue_bizlbiz,")

bizs.add(biz)

biz=biz.encodeCutiB')

resp.content_type=^ext/plain*

awaitresp.prepare(request)

resp.write(biz)

awaitresp.write_eof()

returnresp

asyncdefinlro(request):

txt=textwrap.dedent(""1

Type{url}/hello/John{urlj/simpleor{iul}/change_body

inbrowserurlbar

).招門(mén)13(山1='127.0.().1:8()80')

binary=txt.encode('utf8')

resp=StreamResponseO

resp.content_length=len(binary)

resp.content_type='text/plain'

awaitrcsp.prcparc(rcqucst)

resp.write(binary)

returnresp

asyncdefsimplc(rcqucst):

returnResponse(text="Simpleanswer")

asyncdefchange_body(requesl):

resp=Response()

resp.body=b"Bodychanged"

resp.content_type='text/plain*

returnresp

#coding=utf-8

asyncdefapp_douban_comment(request):

resp=StreamResponse()

data=awaitrequest.json()

globalrunning_state

globalkist_history_time

msg_data=json.bads(data[,body,])[,data,]['cts,]

foriteminms乳data:

comment=ilem['ce'].strip().replace('

rate=iteml'cr*]

print(comment,rate)

withopcn('datc_ratc_cornmcnt_sg.txt','a*,cncoding='uti^8')asfi

fwrite('2018-07-06'++str(rate)++comment+'')

kist_history_timc=timc.clock()

rcsp.contcnt_typc='tcxt/plaiiY

awaitresp.prepare(request)

awaitresp.write_eof()

returnresp

Iast_history_time=time.clock()

resp.content_type='text/plain*

awaitresp.prepare(request)

awaitresp.write_eof()

returnresp

asyncdefinit(loop):

app=Application()

app.router.add-getC/1,iniro)

app.router.add_post(7url',report_url)

app.routcr.add_post(7douban_commcnt',app_douban_commcnt)

returnapp

defstart_swipe_thread():

try:

t=threading.Thread(

targct=swipc_fbr_ncxt_pagc,narnc=*swipc')

#setdaemonsomainthreadcanexitwhenreceivesctrl-c

t.setDacmon(Truc)

t.start()

exceptException:

print(HError:unabletostartthread'')

loop=asyncio.get_event_loop()

app=loop.run_until_complete(init(loop))

run_app(app,host='l\port=9999)

這是示例代碼，實(shí)際使用過(guò)程，需要進(jìn)行微調(diào)。獲取貓眼數(shù)據(jù)，最難是難在找貓

眼App的數(shù)據(jù)接口。

我費(fèi)了很大力氣才找到：

httpy/niniaoyan.coin/mnxib/comments/movie/1200486.json?_v_=yes&offcet=15'

接口怎么使用，直接看代碼，獲取淘票票的數(shù)據(jù)需要你自己去嘗試找一下。

importjson

uTiportrandom

importurllib

iniportrequests

fromurllibimportrequest

importtime

header={*User-Agent1:'Mozilla/5.0(WindowsNT10.0;Win32;x32;rv:54.0)

Gecko/20100101Firefox/54.0;

'Connection':'keep-alive)

cookies='v=3;

iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4F

F222CF03;wcbp=truc;ci=1%2C%E5%8C%97%E4%BA%AC;

_guid=26581345.3954606544145667000.1530879()49181.8303;

_lxsdk_cuid=1646f808301c8-0a4e195421593-5d4e21IM00200-1646f808302c8;

_lxsdk=IA6E888B4A4B29BI6FBAI299108DBE9CDCB327A9713C232B36E4DB4

FF222CF03;monitor_count=1;_lxsdk_s=16472ee89ec-dc2-191-cd0%7C%7C5;

__mta=189118996.1530879050545.1530936763555.1530937843742.18'

cookie=!|

forlineincookics.split(,;'):

name,value=cookies.sti*ip().split('=\1)

cookie[nair?c]=value

defhtml_prase(url):

r=requests.get(urI).content

returnr

foriinrange(1,100):

print，正在打印第％s頁(yè)‘%i)

try:

url=

'httpy/nimaoyan.com/mnidb/cominents/niovie/1200486.json?_v_=yes&offiset=%s&'

%(i*15)+'startTime=2018-07-01%2012%3A30%3A42'

print(url)

html=requests.get(url=ur1,cookies=cookie,headers=header).content

data=json.k)ads(html.decode(,utf-8'))[,cmts,J

foritemindata:

comment=iteml'content']

date=item['time'].split(,')[0]

rate=itemj'score'l

city=itemf'cityName']

ung=item[avatariu1']

print(date,rate,comment,city,)

withopcn('imoyan_08.txt,,*a',encoding=,utf-8")as

fwrite(date+'/+str(rate)++comment+comment+city+*')

ifimg:

f=openCCAUsersMyDesktopyaoshenimgV+img.sp111(7)[-1],'wb')

fwrite((urllib.requesLurlopen(img)).read())

except:

break

time.sleep(5+float(random.randint(1,1()()))/20)

動(dòng)態(tài)地圖展示代碼：

fiompyechartsimportStyle

frompyechartsimportGeo

city=[]

withopenCmaoyan.txt',mode='r\encoding='utf-8')asf

rows=frcadlincs()

forrowinrows:

ifIcnCrow.splitC/))==5:

city.appcnd(rovv.split(*,')|4].rcplacef',**))

defall_list(aiT):

result={}

loriinset(arr):

resultfi]=arr.count(i)

returnresult

data=[]

foriteminall_list(city):

data.append((item,a11_list(city)[item]))

style=Style(

title_cok)r="#fff\

title_pos="centerH,

width=12()(),

hcight=600,

background_color='#404a59'

)

geo=Geo("《我不是藥神》評(píng)論人群地理位置”，啜據(jù)來(lái)源：知乎ID：布道”,

**style.init_stylc)

attr,value=geo.cast(data)

geo.addCattr,value,visual_range=[0,100],

visual_text_color="#fff",is_legend_show=False,

symbolsize=20,is_visualmap=True,

tooltip_forniatter='',

hbcl_cniphasis_tcxtsizc=15,

label_cmphasis_pos='right')

geo.render()

每天爬取數(shù)據(jù)量代碼:

frompyechartsimportEftectScatter

frompyechartsimportStyle

style=Style(

title_cok)r=,'#19l970,\

title_pos=MleftH,

width=900,

height=450,

background_cobr='#F8F8FF'

)

es二EfifectScatterf《我不是藥神》短評(píng)數(shù)據(jù)情況”,”數(shù)據(jù)來(lái)源:知乎ID：布道”,

**stylc.init_style)

es.add("n,[1],[270J,s}Tnbol_size=20,eflect_scalc=4,

eflecl_period=5,symbol="pirT)

es.add(nn,[2],[606],symbol_size=20,eflect_scale=4,

efifect_period=5,symbol="pin")

es.add(m,,[3],[542],symbol_size=20,eflfect_scale=4,

eflfect_perk)d=5,synibol="pin'r)

cs.add(,,H,[4],[550],syinbol_size=20,cflcct_scalc=4,

effect_pcriod=5,symbol="pin")

es.add(UH,[5],[656],ssymbol_size=20,eflect_scale=4,

eflfecl_period=5,symbol："pin")

es.add(n",[6],[850],ssymbol_size=20,efiect_scale=4,

efiect_period=5,symbol="pin")

es.add(,H,,[7],[993J,symbolsize=20,eflect_scale=4,

eflfect_period=5,symbol=,,pinn)

es.add(m,,[8],[903],symbol_size=20,efifect_scale=4,

eflfect_period=5,symbol="pin'r)

es.render()

五星推薦河流圖代碼：

fiompyechartsimportStyle

frompyechartsimportThemeRiver

data=[

['2018/07/08,,802,'五星]「2018/07/08',28,'四星「2018/07/08',9,'三星

「2018/07/08',8,'二星

['2018/07/08',4」一星工

[,2018/07/07,802,'ES'l,['2018/07/07；166,['2018/07/07；17,'H￡

112018/07/07,0,'二星M2018/07/0718,'一星)

[,2018/07/06',667,'五星「2018/07/06',156,'四星『2018/07/06,13,'三星

['2018/07/06；10,'二星[「2018/07/06,4,'一星]

[,2018/07/05；567J五星)2018/07/05176。四星「2018/07/05',13,'三星工

[,2018/07/05；0,'二星「2018/07/05',0J一星1

[,2018/07/041,467,'五星]「2018/07/04',67。四星「2018/07/04',16J三星]

「2()18/07/04',(),'二星「2018/07/04',(),'-星

[,2018/07/03',478J五星工『2018/()7/03：56,'EM'],['2018/07/03',8,'三星]

[2018/07/0310「二星:12018/07/0310J一星]

[,2018/07/02',531,'五星工:2018/07/02167,'四星]12018/07/02,8」三星

[,2018/07/02',0,'二星「2018/07/02',0,'—星

[,2018/07/01;213,'五星「2018/07/01',45,'四星「2018/07/01',5,'三星

[-2018/07/01;1,'二星

[,2018/07/Or,1/—fil

1

style=Style(

iiUc_cok)r="#191970”，

titlc_pos="lcft",

widths1200,

height=600,

hackground_color='#F8F8FF'

)

tr=ThemeRiver("《我不是藥神》星級(jí)推薦，數(shù)據(jù)來(lái)源：知乎ID：布道”,

**style.init_style)

tr.add(「五星‘，‘四星」三星「二星丁一星jdata,is_label_show=True)

tr.render()

詞云圖：

importpickle

fiomosuiiportpath

importjieba

importmatplollib.pyplotaspit

fromwordcloudimportWordCloucl,STOPWORDS,ImageColorGenerator

defmake_worldcloud（file_path）:

text_from_file_with_apath=open（file_path/r',encoding='UTF-8'）.read（）

wordlist_afterjieba=jieba.cut（text_from_file_with_apath,cut_aIl=False）

wl_space_split="".join（wordlist_after_jieba）

p