第python爬蟲爬取指定內(nèi)容的解決方法目錄解決辦法：實(shí)列代碼如下：（以我們學(xué)校為例）爬取一些網(wǎng)站下指定的內(nèi)容，一般來(lái)說(shuō)可以用xpath來(lái)直接從網(wǎng)頁(yè)上來(lái)獲取，但是當(dāng)我們獲取的內(nèi)容不唯一的時(shí)候我們無(wú)法選擇，我們所需要的、所指定的內(nèi)容。

解決辦法：

可以使用forIn語(yǔ)句來(lái)判斷

如果我們所指定的內(nèi)容在這段語(yǔ)句中我們就把這段內(nèi)容爬取下來(lái)，反之就丟棄

實(shí)列代碼如下：（以我們學(xué)校為例）

importurllib.request

fromlxmlimportetree

defcreat_url(page):

if(page==1):

url='/channels/9260.html'

else:

url='/channels/9260_'+str(page)+'.html'

headers={

'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/101.0.4951.64Safari/537.36Edg/101.0.1210.53'

request=urllib.request.Request(url=url,headers=headers)

returnrequest

defcreat_respons(request):

respons=urllib.request.urlopen(request)

content=respons.read().decode('utf-8')

returncontent

defdown_2(url):

url=url

headers={

'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/100.0.4896.60Safari/537.36Edg/100.0.1185.29'

request=urllib.request.Request(url=url,headers=headers)

response=urllib.request.urlopen(request)

content2=response.read().decode('utf-8')

tree2=etree.HTML(content2)

returntree2

defdown_loads(content):

tree=etree.HTML(content)

name_list=tree.xpath('//div[@]/h4/a/text()')

url_list=tree.xpath('//div[@]/h4/a/@href')

foriinrange(len(name_list)):

ifkeyinname_list[i]:

withopen('學(xué)校黨員主題網(wǎng)址.txt','a',encoding='UTF-8')asfp:

fp.write(url_list[i]+'\n')

url=url_list[i]

tree=down_2(url)

tex_list=tree.xpath('//div[@]//p/span/text()')

name=name_list[i]

withopen(name+'.txt','w',encoding='UTF-8')asfp:

fp.write(str(tex_list))

if__name__=='__main__':

all_page=int(input('請(qǐng)輸入要爬取頁(yè)碼：'))

key=str(input('請(qǐng)輸入關(guān)鍵詞：'))

s_page=1

forpageinrange(s_page,all_page+1):

request=creat_url(page)

content=creat_res