第零基礎(chǔ)學(xué)習(xí)Python爬蟲(chóng)--codeing=utf-8--，開(kāi)頭的這個(gè)是設(shè)置編碼為utf-8，寫(xiě)在開(kāi)頭，防止亂碼。

然后下面import就是導(dǎo)入一些庫(kù)，做做準(zhǔn)備工作，（sqlite3這庫(kù)我并沒(méi)有用到所以我注釋起來(lái)了）。

下面一些find開(kāi)頭的是正則表達(dá)式，是用來(lái)我們篩選信息的。

（正則表達(dá)式用到re庫(kù)，也可以不用正則表達(dá)式，不是必須的。）

大體流程分三步走：

1.爬取網(wǎng)頁(yè)

2.逐一解析數(shù)據(jù)

3.保存網(wǎng)頁(yè)

先分析流程

1.爬取網(wǎng)頁(yè)

baseurl就是我們要爬蟲(chóng)的網(wǎng)頁(yè)網(wǎng)址，往下走，調(diào)用了getData（baseurl),

我們來(lái)看getData方法

foriinrange(0,10):#調(diào)用獲取頁(yè)面信息的函數(shù)，10次

url=baseurl+str(i*25)

這段大家可能看不懂，其實(shí)是這樣的：

因?yàn)殡娪霸u(píng)分Top250，每個(gè)頁(yè)面只顯示25個(gè)，所以我們需要訪問(wèn)頁(yè)面10次，25*10=250。

baseurl="/top250start="

我們只要在baseurl后面加上數(shù)字就會(huì)跳到相應(yīng)頁(yè)面，比如i=1時(shí)

/top250start=25

我放上超鏈接，大家可以點(diǎn)擊看看會(huì)跳到哪個(gè)頁(yè)面，畢竟實(shí)踐出真知。

然后又調(diào)用了askURL來(lái)請(qǐng)求網(wǎng)頁(yè)，這個(gè)方法是請(qǐng)求網(wǎng)頁(yè)的主體方法，

怕大家翻頁(yè)麻煩，我再把代碼復(fù)制一遍，讓大家有個(gè)直觀感受

defaskURL(url):

head={#模擬瀏覽器頭部信息，向豆瓣服務(wù)器發(fā)送消息

"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/80.0.3987.122Safari/537.36"

#用戶代理，表示告訴豆瓣服務(wù)器，我們是什么類(lèi)型的機(jī)器、瀏覽器（本質(zhì)上是告訴瀏覽器，我們可以接收什么水平的文件內(nèi)容）

request=urllib.request.Request(url,headers=head)

html=""

try:

response=urllib.request.urlopen(request)

html=response.read().decode("utf-8")

excepturllib.error.URLErrorase:

ifhasattr(e,"code"):

print(e.code)

ifhasattr(e,"reason"):

print(e.reason)

returnhtml

這個(gè)askURL就是用來(lái)向網(wǎng)頁(yè)發(fā)送請(qǐng)求用的，那么這里就有老鐵問(wèn)了，為什么這里要寫(xiě)個(gè)head呢？

這是因?yàn)槲覀円遣粚?xiě)的話，訪問(wèn)某些網(wǎng)站的時(shí)候會(huì)被認(rèn)出來(lái)爬蟲(chóng)，顯示錯(cuò)誤，錯(cuò)誤代碼

418

這是一個(gè)梗大家可以百度下，

418I'mateapot

TheHTTP418I'mateapotclienterrorresponsecodeindicatesthat

theserverrefusestobrewcoffeebecauseitisateapot.Thiserror

isareferencetoHyperTextCoffeePotControlProtocolwhichwasan

AprilFools'jokein1998.

我是一個(gè)茶壺

所以我們需要“裝”，裝成我們就是一個(gè)瀏覽器，這樣就不會(huì)被認(rèn)出來(lái)，

偽裝一個(gè)身份。

來(lái)，我們繼續(xù)往下走，

html=response.read().decode("utf-8")

這段就是我們讀取網(wǎng)頁(yè)的內(nèi)容，設(shè)置編碼為utf-8，目的就是為了防止亂碼。

訪問(wèn)成功后，來(lái)到了第二個(gè)流程：

2.逐一解析數(shù)據(jù)

解析數(shù)據(jù)這里我們用到了BeautifulSoup（靚湯）這個(gè)庫(kù)，這個(gè)庫(kù)是幾乎是做爬蟲(chóng)必備的庫(kù)，無(wú)論你是什么寫(xiě)法。

下面就開(kāi)始查找符合我們要求的數(shù)據(jù)，用BeautifulSoup的方法以及re庫(kù)的

正則表達(dá)式去匹配，

findLink=pile(r'ahref="(.*)"rel="externalnofollow"rel="externalnofollow"')#創(chuàng)建正則表達(dá)式對(duì)象，標(biāo)售規(guī)則影片詳情鏈接的規(guī)則

findImgSrc=pile(r'img.*src="(.*)"',re.S)

findTitle=pile(r'span(.*)/span')

findRating=pile(r'spanproperty="v:average"(.*)/span')

findJudge=pile(r'span(\d*)人評(píng)價(jià)/span')

findInq=pile(r'span(.*)/span')

findBd=pile(r'pclass=""(.*)/p',re.S)

匹配到符合我們要求的數(shù)據(jù)，然后存進(jìn)dataList，所以dataList里就存放著我們需要的數(shù)據(jù)了。

最后一個(gè)流程：

3.保存數(shù)據(jù)

#3.保存數(shù)據(jù)

saveData(datalist,savepath)#2種存儲(chǔ)方式可以只選擇一種

#saveData2DB(datalist,dbpath)

保存數(shù)據(jù)可以選擇保存到xls表，需要（xlwt庫(kù)支持）

也可以選擇保存數(shù)據(jù)到sqlite數(shù)據(jù)庫(kù)，需要（sqlite3庫(kù)支持）

這里我選擇保存到xls表，這也是為什么我注釋了一大堆代碼，注釋的部分就是保存到sqlite數(shù)據(jù)庫(kù)的代碼，二者選一就行

保存到xls的主體方法是saveData（下面的saveData2DB方法是保存到sqlite數(shù)據(jù)庫(kù)）：

defsaveData(datalist,savepath):

print("save.......")

book=xlwt.Workbook(encoding="utf-8",style_compression=0)#創(chuàng)建workbook對(duì)象

sheet=book.add_sheet('豆瓣電影Top250',cell_overwrite_ok=True)#創(chuàng)建工作表

col=("電影詳情鏈接","圖片鏈接","影片中文名","影片外國(guó)名","評(píng)分","評(píng)價(jià)數(shù)","概況","相關(guān)信息")

foriinrange(0,8):

sheet.write(0,i,col[i])#列名

foriinrange(0,250):

#print("第%d條"%(i+1))#輸出語(yǔ)句，用來(lái)測(cè)試

data=datalist[i]

forjinrange(0,8):

sheet.write(i+1,j,data[j])#數(shù)據(jù)

book.save(savepath)#保存

創(chuàng)建工作表，創(chuàng)列（會(huì)在當(dāng)前目錄下創(chuàng)建），

sheet=book.add_sheet('豆瓣電影Top250',cell_overwrite_ok=True)#創(chuàng)建工作表

col=("電影詳情鏈接","圖片鏈接","影片中文名","影片外國(guó)名","評(píng)分","評(píng)價(jià)數(shù)","概況","相關(guān)信息")

然后把dataList里的數(shù)據(jù)一條條存進(jìn)去就行。