綜合案例——爬取業(yè)務(wù)網(wǎng)站B

本章學(xué)習(xí)目標(biāo)分析豆瓣電影Top250的網(wǎng)頁結(jié)構(gòu)和內(nèi)容使用requests庫編寫爬蟲代碼獲取指定的靜態(tài)數(shù)據(jù)使用BeautifulSoup實(shí)現(xiàn)從網(wǎng)頁中提取數(shù)據(jù)使用pymysql庫實(shí)現(xiàn)數(shù)據(jù)的持久化4.4.1頁面分析

使用谷歌瀏覽器進(jìn)入業(yè)務(wù)網(wǎng)站網(wǎng)頁界面可以獲得相關(guān)信息，如電影名（moviename）、導(dǎo)演名（directorname）、年份（movieyear）、國籍（movienation）、電影類型（movietype）等的靜態(tài)數(shù)據(jù)，如圖4-1所示。圖4-14.4.2獲取靜態(tài)數(shù)據(jù)

在開發(fā)者工具中Elements選項(xiàng)卡中可以獲取得到電影的相關(guān)信息，如電影名，導(dǎo)演名，點(diǎn)評(píng)人數(shù)等，該類信息均為靜態(tài)數(shù)據(jù)，如圖4-2所示。因此這里可以使用requests庫和lxml庫編寫自定義的爬蟲代碼對(duì)這些靜態(tài)數(shù)據(jù)直接進(jìn)行獲取提供了依據(jù)。圖4-2Elements選項(xiàng)卡中的靜態(tài)數(shù)據(jù)

在“開發(fā)者工具”的network選項(xiàng)卡中可以觀察到該網(wǎng)頁的狀態(tài)碼（statuscode）、請(qǐng)求方式(requestmethod)、瀏覽器信息（User-Agent）等信息，如圖4-3所示。這些信息能夠?yàn)榻酉聛淼呐老x代碼更直接的提取出需要的信息。圖4-3瀏覽器詳細(xì)的Headers信息通過前面對(duì)該頁面進(jìn)行了詳細(xì)的結(jié)構(gòu)和內(nèi)容分析之后，現(xiàn)在可以開始使用requests和BeautifulSoup編寫自定義的爬蟲代碼對(duì)該部分的靜態(tài)數(shù)據(jù)直接進(jìn)行獲取了，這里主要包含三個(gè)步驟。1.準(zhǔn)備階段1）導(dǎo)入requests和BeautifulSoup,pandas,pymysql等，requests庫用于獲取URL的頁面響應(yīng)數(shù)據(jù)，BeautifulSoup用于從網(wǎng)頁中提取數(shù)據(jù)。importrequestsfrombs4importBeautifulSoupimportpandasaspdimportnumpyasnpimportre靜態(tài)數(shù)據(jù)獲取的總體步驟 2）構(gòu)建列表用于臨時(shí)存儲(chǔ)從網(wǎng)頁中爬取出來的相關(guān)信息 movie_names_lst=[] director_names=[] actor_names=[] movie_years=[] movie_nations=[] movie_types=[] lst_data_table=[] 3）構(gòu)造爬蟲代碼請(qǐng)求該URL的Headers頭部信息。在開發(fā)者工具的“Network”選項(xiàng)卡下的“Headers”選項(xiàng)卡中得到該默認(rèn)URL的Headers頭部信息。其目的是豆瓣的后臺(tái)服務(wù)器隱藏爬蟲代碼的真實(shí)身份，讓爬蟲代碼帶著這些請(qǐng)求信息偽裝成瀏覽器正常訪問該網(wǎng)站服務(wù)器的狀態(tài)，而不被服務(wù)器的反爬措施發(fā)現(xiàn)。 headers={ 'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64;rv:68.0) Gecko/20100101Firefox/68.0’ }2.發(fā)送請(qǐng)求并獲取響應(yīng) 1）向服務(wù)端發(fā)起請(qǐng)求，如果成功，服務(wù)端會(huì)返回當(dāng)前頁面的所有內(nèi)容（通常是一個(gè)html文件）然后手動(dòng)指定編碼集最后將請(qǐng)求之后的響應(yīng)傳入解析器。req=requests.get(url='movie.douban/top250?start=0',headers=headers)req.encoding='utf-8'soup=BeautifulSoup(req.text,features="lxml")3.解析需要的數(shù)據(jù) 1）使用BeautifulSoup中的find_all()方法定位到<divclass=”hd”>，從而縮小查找范圍，并將所有符合條件的標(biāo)簽返回的列表數(shù)據(jù)臨時(shí)保存在變量movie_item_hds中。movie_item_hds=soup.find_all('div',class_='hd’) 2）提取電影名稱，利用for循環(huán)遍歷movie_item_hds里面的數(shù)據(jù)，再次使用find_all()方法來查找電影名，并將查找到的數(shù)據(jù)臨時(shí)保存在變量movie_names中。formovie_item_hdinmovie_item_hds:movie_names_sub=[]movie_names=movie_item_hd.find_all('span',class_='title')formovie_nameinmovie_names:print(movie_name.text.strip())movie_names_sub.append(movie_name.text.strip())movie_names_lst.append(movie_names_sub[0]) 3）提取評(píng)價(jià)人數(shù)、分?jǐn)?shù)、電影導(dǎo)演等信息，在提取電影導(dǎo)演主演等信息的過程中是會(huì)發(fā)現(xiàn)有些數(shù)據(jù)由于導(dǎo)演名過長導(dǎo)致主演的信息被覆蓋，需要進(jìn)行一些特殊處理movie_item_bds=soup.find_all('div',class_='bd')formovie_item_bdinmovie_item_bds:director_name_sub=[]actor_names_sub=[]movie_years_sub=[]movie_nations_sub=[]movie_types_sub=[]movie_stars=movie_item_bd.find_all('div',class_='star')formovie_starinmovie_stars:movie_star_spans_comments=movie_star.find_all('span')[3]movie_star_spans_score=movie_star.find_all('span')[1]movie_item_p=movie_item_bd.find_all('p')[0]movie_item_p_string=movie_item_p.text.strip()if'豆瓣'inmovie_item_p_string: continueelse: result=re.split('主演:|主...',movie_item_p_string.strip())director_name_sub.append(result[0].strip().split("導(dǎo)演:")[1]) director_names.append(director_name_sub[0]) result2=re.split('主演:|主...',movie_item_p_string.strip()) movie_year=result2[1].split("\n")[1].strip()[0:4] movie_years_sub.append(movie_year) movie_years.append(movie_ye