2025年P(guān)ython二級考試真題解析：Python爬蟲技術(shù)與實踐考試時間：______分鐘總分：______分姓名：______一、1.使用Python發(fā)送一個GET請求，獲取指定URL的內(nèi)容。若URL為`?param1=value1¶m2=value2`，請寫出使用`requests`庫完成此任務(wù)的代碼片段，需要包含必要的參數(shù)設(shè)置。2.解釋HTTP狀態(tài)碼`403Forbidden`和`404NotFound`的含義，并說明它們在網(wǎng)頁爬取過程中可能遇到的原因。3.假設(shè)你需要從以下HTML片段中提取所有`<a>`標(biāo)簽的鏈接（即`href`屬性值）：```html<div><ahref="">Link1</a><ahref="">Link2</a><p>Sometexthere</p><ahref="">Link3</a></div>```請分別使用`BeautifulSoup`的CSS選擇器和Python內(nèi)置的`re`模塊（正則表達(dá)式）寫出提取鏈接的代碼片段。二、1.編寫Python代碼，使用`requests`庫向`/post`發(fā)送一個POST請求，數(shù)據(jù)包含鍵值對`name=John&age=30`。請設(shè)置自定義的請求頭`User-Agent:MyCrawler/1.0`，并捕獲并處理可能發(fā)生的請求異常。2.使用`BeautifulSoup`庫，從一個包含JavaScript動態(tài)加載數(shù)據(jù)的網(wǎng)頁（假設(shè)已獲取到頁面源碼存儲在變量`html_content`中）中，提取所有類名為`item`的`<div>`標(biāo)簽內(nèi)部文本內(nèi)容。要求使用`lxml`作為解析器，代碼中需包含創(chuàng)建`BeautifulSoup`對象的語句。三、1.編寫Python代碼，實現(xiàn)以下功能：從一個網(wǎng)頁中提取所有`<img>`標(biāo)簽的`src`屬性值，并將這些圖片鏈接存儲到一個名為`images.csv`的CSV文件中。文件的第一行應(yīng)為列標(biāo)題`image_url`，后續(xù)每行存儲一個圖片鏈接。假設(shè)已使用`BeautifulSoup`成功解析了網(wǎng)頁內(nèi)容，并將解析結(jié)果存儲在變量`soup`中。2.簡述將爬取到的數(shù)據(jù)存儲到SQLite數(shù)據(jù)庫的基本步驟。假設(shè)需要存儲的數(shù)據(jù)包含`url`（文本類型）、`title`（文本類型）和`content`（文本類型）三個字段，請寫出創(chuàng)建相應(yīng)數(shù)據(jù)表的SQL語句。四、1.解釋什么是“User-Agent偽裝”（或“User-AgentSwitching”），在編寫網(wǎng)絡(luò)爬蟲時為什么要使用它？請列舉至少兩種在Python爬蟲中實現(xiàn)User-Agent偽裝的方法。2.當(dāng)網(wǎng)站使用IP封禁來阻止爬蟲訪問時，可以采用哪些策略來應(yīng)對？請簡述使用代理IP池的基本思想，并說明其相較于固定代理或隨機(jī)更換User-Agent的優(yōu)勢。3.假設(shè)你需要編寫一個爬蟲程序，定期抓取某個新聞網(wǎng)站首頁的最新新聞標(biāo)題。請設(shè)計一個簡單的爬蟲流程，至少包含以下步驟：目標(biāo)網(wǎng)站分析、數(shù)據(jù)定位、數(shù)據(jù)抓取、數(shù)據(jù)解析（提取標(biāo)題）、數(shù)據(jù)存儲（將標(biāo)題存儲到列表，后續(xù)處理）。請用自然語言描述這個流程。五、編寫完整的Python代碼，實現(xiàn)一個簡單的爬蟲程序。該程序的目標(biāo)是抓取指定用戶在某個論壇（假設(shè)URL為`/user/username`）的個人主頁，解析并提取該用戶發(fā)布的帖子標(biāo)題列表。要求：1.使用`requests`庫發(fā)送請求。2.使用`BeautifulSoup`庫解析頁面內(nèi)容。3.假設(shè)帖子標(biāo)題被包含在`<a>`標(biāo)簽中，且這些`<a>`標(biāo)簽位于一個`<div`class="post-list">`容器內(nèi)，提取的標(biāo)題應(yīng)去除HTML標(biāo)簽。4.將提取到的所有帖子標(biāo)題存儲在一個名為`post_titles.txt`的文本文件中，每個標(biāo)題占一行。5.請在代碼中包含必要的錯誤處理，例如處理網(wǎng)絡(luò)連接錯誤和頁面解析異常。試卷答案一、1.```pythonimportrequestsurl=""params={'param1':'value1','param2':'value2'}headers={'User-Agent':'MyCrawler/1.0'}response=requests.get(url,params=params,headers=headers)#response.text獲取內(nèi)容```2.`403Forbidden`表示服務(wù)器理解了請求，但拒絕執(zhí)行。通常意味著請求者沒有足夠的權(quán)限訪問該資源。`404NotFound`表示服務(wù)器無法根據(jù)請求找到資源。在爬取中，403常因無權(quán)限、違反Robots協(xié)議或頻率限制引起；404常因URL錯誤或頁面已被刪除引起。3.CSS選擇器：```pythonfrombs4importBeautifulSouphtml="""<div><ahref="">Link1</a><ahref="">Link2</a><p>Sometexthere</p><ahref="">Link3</a></div>"""soup=BeautifulSoup(html,'html.parser')links_css=[a['href']forainsoup.select('diva')]#links_css結(jié)果:['','','']```正則表達(dá)式：```pythonimportrepattern=r'href="([^"]+)"'links_regex=re.findall(pattern,html)#links_regex結(jié)果:['','','']```二、1.```pythonimportrequestsurl="/post"data={'name':'John','age':30}headers={'User-Agent':'MyCrawler/1.0'}try:response=requests.post(url,data=data,headers=headers)#response.json()或response.text獲取響應(yīng)內(nèi)容exceptrequests.RequestExceptionase:print(f"Anerroroccurred:{e}")```2.```pythonfrombs4importBeautifulSouphtml_content="..."#假設(shè)此處為包含動態(tài)內(nèi)容的網(wǎng)頁源碼soup=BeautifulSoup(html_content,'lxml')titles=[div.get_text(strip=True)fordivinsoup.find_all('div',class_='item')]#titles結(jié)果:[提取到的div內(nèi)部文本列表]```三、1.```pythonimportcsvfrombs4importBeautifulSoup#假設(shè)soup包含了已解析的網(wǎng)頁內(nèi)容images=[img['src']forimginsoup.find_all('img',src=True)]withopen('images.csv','w',newline='',encoding='utf-8')asf:writer=csv.writer(f)writer.writerow(['image_url'])forimg_urlinimages:writer.writerow([img_url])```2.步驟：1.連接數(shù)據(jù)庫（使用`sqlite3.connect`）。2.創(chuàng)建游標(biāo)對象（`cursor.execute`）。3.編寫并執(zhí)行`CREATETABLE`SQL語句，定義表名和字段名及類型。4.關(guān)閉游標(biāo)和數(shù)據(jù)庫連接。SQL語句：```sqlCREATETABLEnews(idINTEGERPRIMARYKEYAUTOINCREMENT,urlTEXTNOTNULL,titleTEXTNOTNULL,contentTEXTNOTNULL);```四、1.User-Agent偽裝是指爬蟲程序模擬普通瀏覽器，使用特定的瀏覽器標(biāo)識符（User-Agent字符串）發(fā)送網(wǎng)絡(luò)請求，以繞過網(wǎng)站針對特定User-Agent的訪問限制或反爬蟲措施。使用原因：許多網(wǎng)站會限制或禁止某些User-Agent（如頻繁訪問的爬蟲框架User-Agent）的訪問，偽裝有助于提高爬取成功率，降低被封禁的風(fēng)險。方法：使用`requests`庫的`headers`參數(shù)動態(tài)設(shè)置不同的User-Agent；使用第三方庫（如`fake_useragent`）生成隨機(jī)或預(yù)設(shè)的User-Agent。2.應(yīng)對IP封禁策略：使用代理服務(wù)器（HTTP/HTTPS代理）將請求轉(zhuǎn)發(fā)，隱藏真實IP；使用代理IP池，定期更換不同的代理IP；分布式爬取，多臺機(jī)器或多個進(jìn)程使用不同代理并行爬取。代理IP池優(yōu)勢：相比固定代理不易被識別和封鎖；相比隨機(jī)更換User-Agent，能更有效地隱藏單一爬蟲行為模式；可以集中管理和調(diào)度代理資源。3.爬蟲流程：1.目標(biāo)分析：分析目標(biāo)網(wǎng)站（/user/username）的頁面結(jié)構(gòu)，確定用戶個人主頁的URL格式，以及帖子列表和帖子的HTML結(jié)構(gòu)。2.數(shù)據(jù)定位：找到帖子標(biāo)題在HTML中的位置，例如，確定標(biāo)題是否在`<a>`標(biāo)簽的`href`屬性指向的頁面中，或者是否直接在個人主頁的列表中。假設(shè)列表在`<divclass="post-list">`內(nèi)，標(biāo)題在其中的`<a>`標(biāo)簽內(nèi)。3.數(shù)據(jù)抓?。菏褂胉requests`庫，發(fā)送GET請求到用戶個人主頁URL，獲取頁面HTML源碼。4.數(shù)據(jù)解析：使用`BeautifulSoup`庫，加載抓取到的HTML內(nèi)容，根據(jù)定位到的選擇器（如`.post-lista`），提取所有`<a>`標(biāo)簽。5.數(shù)據(jù)提?。簭拿總€`<a>`標(biāo)簽中提取`get_text(strip=True)`獲取去除空白符的標(biāo)題文本。6.數(shù)據(jù)存儲：將提取到的所有標(biāo)題文本，按順序?qū)懭氲矫麨閌post_titles.txt`的文件中，每個標(biāo)題占一行。五、```pythonimportrequestsfrombs4importBeautifulSoup#假設(shè)目標(biāo)用戶主頁URLuser_home_url="/user/username"#用戶代理列表user_agents=['Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/58.0.3029.110Safari/537.3','Mozilla/5.0(Macintosh;IntelMacOSX10_15_7)AppleWebKit/605.1.15(KHTML,likeGecko)Version/14.0.3Safari/605.1.15','Mozilla/5.0(X11;Linuxx86_64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/44.0.2403.157UBrowser/44.0.2400.0Safari/537.36']#代理IP列表(示例，需替換為有效代理)proxies=[{'http':':8080'},{'http':':8080'}]deffetch_page(url,headers,proxy):try:response=requests.get(url,headers=headers,proxies=proxy,timeout=10)response.raise_for_status()#檢查響應(yīng)狀態(tài)碼returnresponse.textexceptrequests.RequestExceptionase:print(f"Errorfetching{url}withproxy{proxy}:{e}")returnNone#選擇一個User-Agent和代理ua_index=0proxy_index=0headers={'User-Agent':user_agents[ua_index]}proxy=proxies[proxy_index]#嘗試抓取頁面html_content=f