網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)項(xiàng)目式教程《網(wǎng)絡(luò)爬蟲(chóng)項(xiàng)目實(shí)戰(zhàn)》進(jìn)階篇項(xiàng)目5旅游Requests+MTC爬蟲(chóng)項(xiàng)目5.2任務(wù)分解5.1項(xiàng)目介紹5.3項(xiàng)目實(shí)施目錄Content5.4課后練習(xí)5.5能力拓展5.2.1數(shù)據(jù)采集實(shí)施過(guò)程（1）訪問(wèn):50001/gotrip/go.html，顯示網(wǎng)站首頁(yè)，代表網(wǎng)站運(yùn)行正常。如下圖所示。5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程（2）打開(kāi)網(wǎng)站首頁(yè)，在頁(yè)面任意位置點(diǎn)擊鼠標(biāo)右鍵后，選擇“檢查”，選擇“Network”選項(xiàng)卡，查看HTTP請(qǐng)求和返回內(nèi)容。5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程點(diǎn)擊“Clear”按鈕，清除緩存，然后在左面頁(yè)面窗口中任意位置點(diǎn)擊鼠標(biāo)右鍵，選擇“重新加載”，再切換到“Doc”選項(xiàng)卡。5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程選擇“go.html”,查看RequestHeaders,保存User-Agent的屬性值。5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程切換到“XHR”選項(xiàng)卡，查看JSON數(shù)據(jù)，JSON數(shù)據(jù)的URL地址為：:50001/gotrip/json/go.json。5.2.1數(shù)據(jù)采集實(shí)施過(guò)程XHRXHR是XMLHttpRequest的簡(jiǎn)稱(chēng)，表示在后臺(tái)與服務(wù)器交換數(shù)據(jù)，這意味著能夠在不加載整個(gè)網(wǎng)頁(yè)的狀況下，對(duì)網(wǎng)頁(yè)某部分的內(nèi)容進(jìn)行更新。XHR是Ajax的一種用法，而Ajax并非一門(mén)語(yǔ)言，只是一種不須要加載整個(gè)網(wǎng)頁(yè)，只是更新局部?jī)?nèi)容的技術(shù)。5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程（3）打開(kāi)PyCharm，F(xiàn)ile→NewProject創(chuàng)建PyCharm項(xiàng)目gotrip，手工填寫(xiě)項(xiàng)目路徑,選擇Anaconda編譯器（python.exe），如下圖所示。5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程點(diǎn)擊“Create”按鈕,進(jìn)入窗口“OpenProject”，如下圖所示。5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程點(diǎn)擊“OK”按鈕，創(chuàng)建空項(xiàng)目gotrip，如下圖所示。5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程（4）在項(xiàng)目根目錄下New→PythonFile,創(chuàng)建data_spider.py，headers的“User-Agent”值使用上面RequestHeaders復(fù)制過(guò)來(lái)的內(nèi)容。importrequestsimportpprintimportcsvHeaders={

‘User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/78.0.3904.108Safari/537.36'}5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程（5）利用get請(qǐng)求獲取網(wǎng)頁(yè)的JSON數(shù)據(jù)。url=':50001/gotrip/json/go.json'result=requests.get(url,headers=Headers).json()print(result)運(yùn)行data_spider.py，PyCharm控制臺(tái)輸出如下結(jié)果：[{'title':'黔南6天5夜跟團(tuán)游','name':'網(wǎng)紅梵凈山·全景貴州六日游?真純玩?宿2景區(qū)內(nèi)?頭等艙車(chē)20人團(tuán)?豪華住宿?黃果樹(shù)瀑布?荔波小七孔?西江苗寨?鎮(zhèn)遠(yuǎn)古鎮(zhèn)+機(jī)票','pic':'./image/1.jpg','type':'跟團(tuán)游','cash':'3929','time':'6月16日...8月31日多團(tuán)期','buy':'33人已購(gòu)'},{'title':'三亞5天4夜自由行','name':'「官方自營(yíng)」「親子??情侶優(yōu)選」三亞麗禾溫德姆酒店，精選雅致房4晚??黃金地段、國(guó)際連鎖??坐擁15000平米商業(yè)廣場(chǎng)','pic':'./image/15.jpg','type':'自由行','cash':'983','time':'天天','buy':'0人已購(gòu)'}]5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程（6）修改JSON數(shù)據(jù)的格式。url=':50001/gotrip/json/go.json'result=requests.get(url,headers=Headers).json()pprint.pprint(result)[{'buy':'33人已購(gòu)','cash':'3929','name':'網(wǎng)紅梵凈山·全景貴州六日游?真純玩?宿2景區(qū)內(nèi)?頭等艙車(chē)20人團(tuán)?豪華住宿?黃果樹(shù)瀑布?荔波小七孔?西江苗寨?鎮(zhèn)遠(yuǎn)古鎮(zhèn)+機(jī)票','pic':'./image/1.jpg','time':'6月16日...8月31日多團(tuán)期','title':'黔南6天5夜跟團(tuán)游','type':'跟團(tuán)游'},{'buy':'0人已購(gòu)','cash':'983','name':'「官方自營(yíng)」「親子??情侶優(yōu)選」三亞麗禾溫德姆酒店，精選雅致房4晚??黃金地段、國(guó)際連鎖??坐擁15000平米商業(yè)廣場(chǎng)','pic':'./image/15.jpg','time':'天天','title':'三亞5天4夜自由行','type':'自由行'}]運(yùn)行data_spider.py，PyCharm控制臺(tái)輸出如下結(jié)果：5.2.1數(shù)據(jù)采集實(shí)施過(guò)程pprintpprint模塊提供了打印出任何Python數(shù)據(jù)結(jié)構(gòu)類(lèi)和方法。pprint包含一個(gè)“美觀打印機(jī)”，用于生成數(shù)據(jù)結(jié)構(gòu)的一個(gè)美觀視圖。格式化工具會(huì)生成數(shù)據(jù)結(jié)構(gòu)的一些表示，不僅可以由解釋器正確地解析，而且便于人類(lèi)閱讀。將原來(lái)輸出盡可能放在一行上而分解為多行顯示，并且?guī)в斜匾目s進(jìn)。5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程（7）利用for循環(huán)讀取每一個(gè)數(shù)據(jù)。url=':50001/gotrip/json/go.json'result=requests.get(url,headers=Headers).json()forinfoinresult:pprint.pprint(info)

break運(yùn)行data_spider.py，PyCharm控制臺(tái)輸出如下結(jié)果：{'buy':'33人已購(gòu)','cash':'3929','name':'網(wǎng)紅梵凈山·全景貴州六日游?真純玩?宿2景區(qū)內(nèi)?頭等艙車(chē)20人團(tuán)?豪華住宿?黃果樹(shù)瀑布?荔波小七孔?西江苗寨?鎮(zhèn)遠(yuǎn)古鎮(zhèn)+機(jī)票','pic':'./image/1.jpg','time':'6月16日...8月31日多團(tuán)期','title':'黔南6天5夜跟團(tuán)游','type':'跟團(tuán)游'}5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程（8）提取字段信息。url=':50001/gotrip/json/go.json'result=requests.get(url,headers=Headers).json()forinfoinresult:title=info['title']#線路標(biāo)題

name=info['name']#線路名稱(chēng)

type=info['type']#線路類(lèi)型

buy=info['buy']#已購(gòu)人數(shù)

print(title,name,type,buy)運(yùn)行data_spider.py，PyCharm控制臺(tái)輸出如下結(jié)果：黔南6天5夜跟團(tuán)游網(wǎng)紅梵凈山·全景貴州六日游?真純玩?宿2景區(qū)內(nèi)?頭等艙車(chē)20人團(tuán)?豪華住宿?黃果樹(shù)瀑布?荔波小七孔?西江苗寨?鎮(zhèn)遠(yuǎn)古鎮(zhèn)+機(jī)票跟團(tuán)游33人已購(gòu)三亞5天4夜自由行「官方自營(yíng)」「親子??情侶優(yōu)選」三亞麗禾溫德姆酒店，精選雅致房4晚??黃金地段、國(guó)際連鎖??坐擁15000平米商業(yè)廣場(chǎng)自由行0人已購(gòu)5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程（9）設(shè)置循環(huán)翻頁(yè)。importrequestsimportpprintimportcsvHeaders={'user-agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/78.0.3904.108Safari/537.36'}page_list=['','2','3','4','5']forpageinpage_list:url=':50001/gotrip/json/go{}.json'.format(page)result=requests.get(url,headers=Headers).json()forinfoinresult:#pprint.pprint(info)title=info['title']#線路標(biāo)題

name=info['name']#線路名稱(chēng)

type=info['type']#線路類(lèi)型

buy=info['buy']#已購(gòu)人數(shù)

print(title,name,type,buy)5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程運(yùn)行data_spider.py，PyCharm控制臺(tái)輸出如下結(jié)果：黔南6天5夜跟團(tuán)游網(wǎng)紅梵凈山·全景貴州六日游?真純玩?宿2景區(qū)內(nèi)?頭等艙車(chē)20人團(tuán)?豪華住宿?黃果樹(shù)瀑布?荔波小七孔?西江苗寨?鎮(zhèn)遠(yuǎn)古鎮(zhèn)+機(jī)票跟團(tuán)游33人已購(gòu)大理6天5夜跟團(tuán)游口碑純玩??溫泉酒店！升動(dòng)車(chē)返昆の5A精華景點(diǎn)+印象麗江+雪山登頂+吉普車(chē)環(huán)洱海+圣托里尼丨篝火晚會(huì)丨大理麗江6日跟團(tuán)游0人已購(gòu)三亞3天2夜自由行「好貨預(yù)售」三亞海棠灣紅樹(shù)林度假酒店聆海泳池一居別墅2晚|豪車(chē)接送+網(wǎng)紅體驗(yàn)自由行0人已購(gòu)可以看出，共爬取第1頁(yè)到第5頁(yè)的75條數(shù)據(jù)。5.2.1

數(shù)據(jù)采集實(shí)施過(guò)程（10）保存數(shù)據(jù)。importrequestsimportpprintimportcsvHeaders={'user-agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/78.0.3904.108Safari/537.36'}withopen('./data.csv',mode='a',encoding='utf-8',newline='')asf:f.truncate(0)writer=csv.writer(f)writer.writerow(['線路標(biāo)題','線路名稱(chēng)','線路類(lèi)型','已購(gòu)人數(shù)'])page_list=['']forpageinpage_list:url=':50001/gotrip/json/go{}.json'.format(page)result=requests.get(url,headers=Headers).json()forinfoinresult:#pprint.pprint(info)title=info['title']#線路標(biāo)題

name=info['name']#線路名稱(chēng)

type=info['type']#線路類(lèi)型

buy=info['buy']#已購(gòu)人數(shù)

print(title,name,type,buy)

withopen('./data.csv',mode='a',encoding='utf-8',newline='')asf:writer=csv.writer(f)writer.writerow([title,name,type,buy])5.2.2Pandas清洗數(shù)據(jù)（1）在項(xiàng)目根目錄New→PythonFile，創(chuàng)建data_clean.py。5.2.2Pandas清洗數(shù)據(jù)（2）讀入data.csv數(shù)據(jù)，并轉(zhuǎn)換為DataFrame類(lèi)型。importpandasaspdpd.set_option('display.width',None)#不限制顯示寬度pd.set_option('display.unicode.east_asian_width',True)#設(shè)置數(shù)據(jù)對(duì)齊df=pd.read_csv('data.csv',encoding='utf-8')print(df.head())運(yùn)行data_clean.py，PyCharm控制臺(tái)輸出如下結(jié)果：5.2.2Pandas清洗數(shù)據(jù)（3）從已購(gòu)人數(shù)中提取人數(shù)，并轉(zhuǎn)換為整型。df['已購(gòu)人數(shù)']=df['已購(gòu)人數(shù)'].str.replace("人已購(gòu)","")df['已購(gòu)人數(shù)']=df['已購(gòu)人數(shù)'].astype("int")print(df.head())運(yùn)行data_clean.py，PyCharm控制臺(tái)輸出如下結(jié)果：5.2.2Pandas清洗數(shù)據(jù)（4）從線路標(biāo)題中提取目的地。df['目的地']=df['線路標(biāo)題'].str.split("",expand=True)[0]print(df[['線路類(lèi)型','已購(gòu)人數(shù)','目的地']].head())運(yùn)行data_clean.py，PyCharm控制臺(tái)輸出如下結(jié)果：5.2.2Pandas清洗數(shù)據(jù)str.split()函數(shù)str.split()方法可以實(shí)現(xiàn)將DataFame中的一列數(shù)據(jù)按照對(duì)字符串進(jìn)?分割，然后以列表形式進(jìn)?輸出，expand=True表示將分割后擴(kuò)充成新的一列。5.2.2Pandas清洗數(shù)據(jù)（5）從線路標(biāo)題中提取旅游天數(shù)。df['旅游時(shí)間']=df['線路標(biāo)題'].str.split("",expand=True)[1]df['旅游天數(shù)']=df['旅游時(shí)間'].str.split("天",expand=True)[0]df['旅游天數(shù)']=df['旅游天數(shù)'].astype("int")print(df[['線路類(lèi)型','已購(gòu)人數(shù)','目的地','旅游天數(shù)']].head())運(yùn)行data_clean.py，PyCharm控制臺(tái)輸出如下結(jié)果：5.2.2Pandas清洗數(shù)據(jù)（6）刪除多余字段。df=df.drop(axis=1,labels=['線路名稱(chēng)','旅游時(shí)間'])print(df.head())運(yùn)行data_clean.py，PyCharm控制臺(tái)輸出如下結(jié)果：5.2.2Pandas清洗數(shù)據(jù)（7）完善data_clean.py，保存清洗后的數(shù)據(jù)。df.to_csv("data_clean.csv",header=False,index=True)運(yùn)行data_clean.py，PyCharm控制臺(tái)輸出如下結(jié)果：5.2.3MySQL存儲(chǔ)數(shù)據(jù)（1）創(chuàng)建數(shù)據(jù)庫(kù)tripdb。dropdatabaseifexiststripdb;createdatabasetripdb;結(jié)果如下：5.2.3MySQL存儲(chǔ)數(shù)據(jù)（2）創(chuàng)建表tripinfo。usetripdb;droptableifexiststripinfo;createtabletripinfo(idint,trip_titlevarchar(200),\

trip_typevarchar(200),trip_buyint,\

destinationvarchar(200),dayint,primarykey(id))\

charset=utf8;結(jié)果如下：5.2.3MySQL存儲(chǔ)數(shù)據(jù)（3）查看MySQL上傳目錄。showvariableslike'%secure_file_priv%';結(jié)果如下：（4）復(fù)制data_clean.csv到MySQL上傳目錄。5.2.3MySQL存儲(chǔ)數(shù)據(jù)（5）復(fù)制data_clean.csv絕對(duì)路徑到剪貼板。5.2.3MySQL存儲(chǔ)數(shù)據(jù)（6）導(dǎo)入data_clean.csv到tripinfo表。其中，替換data_clean.csv的絕對(duì)路徑中的“\”要換成“\\”，因?yàn)椤癨”在MySQL中是轉(zhuǎn)義符。loaddatalocalinfile"C:\\ProgramData\\MySQL\\MySQLServer5.7\\Uploads\\data_clean.csv"\intotabletripinfo\charactersetutf8fieldsterminatedby','

\linesterminatedby'\r\n'\(id,trip_title,trip_type,trip_buy,destination,day);結(jié)果如下：5.2.3MySQL存儲(chǔ)數(shù)據(jù)（7）執(zhí)行select語(yǔ)句，檢查前5條記錄。select*fromtripinfolimit5;結(jié)果如下：5.2.4Flask搭建服務(wù)（1）在項(xiàng)目根目錄New->PythonPackage，創(chuàng)建app包。（2）在app包下New->PythonPackage，創(chuàng)建views包。（3）在app目錄下New->Directory，創(chuàng)建目錄static，然后把echarts.min.js復(fù)制到app/static目錄。（4）在app包下New->PythonFile，創(chuàng)建extensions.py，定義db變量和config_extensions方法。fromflask_sqlalchemyimportSQLAlchemydb=SQLAlchemy()defconfig_extensions(app):db.init_app(app)5.2.4Flask搭建服務(wù)（5）在app/views包下New->PythonFile，創(chuàng)建main.py，定義blueprint變量。fromflaskimportBlueprintblueprint=Blueprint("main",__name__)（6）完善app/views/__init__.py，定義DEFAULT_BLUEPRINT變量。fromapp.views.mainimportblueprintDEFAULT_BLUEPRINT=((blueprint,""))5.2.4Flask搭建服務(wù)（7）完善app/__init__.py,定義Config類(lèi)、config_blueprint方法、create_app方法。fromflaskimportFlaskfromapp.extensionsimportconfig_extensionsfromapp.viewsimportblueprintclassConfig:SQLALCHEMY_COMMIT_ON_TEARDOWN=TrueSQLALCHEMY_TRACK_MODIFICATIONS=FalseSQLALCHEMY_DATABASE_URI="mysql+pymysql://root:123456@:3306/tripdb?charset=utf8"defconfig_blueprint(app):app.register_blueprint(blueprint,url_prefix="")defcreate_app(config):app=Flask(__name__)app.config.from_object(config)config_extensions(app)config_blueprint(app)

returnapp5.2.4Flask搭建服務(wù)（8）在app包下New->PythonFile，創(chuàng)建manager.py。fromflask_scriptimportManager,Serverfromappimportcreate_app,Configif__name__=='__main__':app=create_app(Config)manager=Manager(app)manager.add_command('runserver',Server(host='',use_debugger=True,use_reloader=True))manager.run()右鍵選中manager.py，選擇“RunManager”菜單,運(yùn)行程序，PyCharm控制臺(tái)輸出如下結(jié)果：usage:manager.py[-?]{runserver,shell}...positionalarguments:{runserver,shell}runserverRunstheFlaskdevelopmentserveri.e.app.run()shellRunsaPythonshellinsideFlaskapplicationcontext.optionalarguments:-?,--helpshowthishelpmessageandexit5.2.4Flask搭建服務(wù)點(diǎn)擊Run->EditConfiguration。選中manager,編輯Parameters,輸入“runserver”。5.2.4Flask搭建服務(wù)再次右鍵選中manager.py，選擇“RunManager”菜單,運(yùn)行程序。PyCharm控制臺(tái)輸出如下結(jié)果，代表Flask配置成功。*ServingFlaskapp"app"(lazyloading)*Environment:productionWARNING:Thisisadevelopmentserver.Donotuseitinaproductiondeployment.UseaproductionWSGIserverinstead.*Debugmode:on*Restartingwithstat*Debuggerisactive!*DebuggerPIN:263-346-767*Runningon:5000/(PressCTRL+Ctoquit)單擊“停止”按鈕，停止manager運(yùn)行。5.2.4Flask搭建服務(wù)（9）在app包下New->PythonPackage,創(chuàng)建包models。fromapp.extensionsimportdbclassTripinfo(db.Model):tablename_='tripinfo'id=db.Column(db.String(20),primary_key=True)trip_title=db.Column(db.String(200))trip_type=db.Column(db.String(200))trip_buy=db.Column(db.Integer)destination=db.Column(db.String(200))day=db.Column(db.Integer)（10）在包app/models下New->PythonFile,創(chuàng)建entities.py，定義Tripinfo類(lèi)。（11）完善app/models/__init__.py,開(kāi)放Tripinfo類(lèi)。from.entitiesimportTripinfo5.2.4Flask搭建服務(wù)（12）完善app/views/main.py,定義get_buy_by_trip_type和api_type_buy方法。fromflaskimportBlueprint,jsonify,render_templatefromsqlalchemyimportfunc,or_fromapp.extensionsimportdbfromapp.modelsimportTripinfoblueprint=Blueprint("main",__name__)defget_buy_by_trip_type():rows=db.session.query(Tripinfo.trip_type,func.avg(Tripinfo.trip_buy))\.group_by(Tripinfo.trip_type).all()x=[]y=[]forrowinrows:x.append(row[0])y.append((int)(row[1]))returnx,y@blueprint.route("/api/type_buy")defapi_type_buy():x,y=get_buy_by_trip_type()returnjsonify([x,y])5.2.4Flask搭建服務(wù)（13）運(yùn)行app/manager.py,打開(kāi)Chrome,訪問(wèn):5000/api/type_buy,從服務(wù)器返回包含不同類(lèi)型購(gòu)買(mǎi)人數(shù)的列表，表示Flask連接數(shù)據(jù)庫(kù)正常。5.2.5Flask+ECharts可視化數(shù)據(jù)（1）完善app/views/main.py,定義get_buy_by_trip_type方法。fromflaskimportBlueprint,jsonify,render_templatefromsqlalchemyimportfunc,or_fromapp.extensionsimportdbfromapp.modelsimportTripinfoblueprint=Blueprint("main",__name__)defget_buy_by_trip_type():rows=db.session.query(Tripinfo.trip_type,func.avg(Tripinfo.trip_buy))\.group_by(Tripinfo.trip_type).all()x=[]y=[]forrowinrows:x.append(row[0])y.append((int)(row[1]))returnx,y@blueprint.route("/type_buy")deftype_buy():x,y=get_buy_by_trip_type()returnrender_template('single_chart.html',x_data=x,y_data=y)5.2.5Flask+ECharts可視化數(shù)據(jù)（2）在app包下New->Directory，創(chuàng)建templates目錄。（3）在templates目錄下NewHTMLFile，創(chuàng)建single_chart.html。5.2.5Flask+ECharts可視化數(shù)據(jù)（4）修改single_chart.html的代碼。<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><title>單圖</title></head><body></body></html>5.2.5Flask+ECharts可視化數(shù)據(jù)（5）在single_chart.html中引入依賴(lài)的JS文件。<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><title>單圖</title><scr