2026年P(guān)ython爬蟲技術(shù)與信息抽取題庫一、選擇題（每題2分，共20題）說明：本部分考察Python爬蟲基礎(chǔ)知識和信息抽取的基本概念。1.以下哪個庫最適合用于Python網(wǎng)頁爬取？A.BeautifulSoupB.ScrapyC.SeleniumD.Pandas2.在使用`requests`庫發(fā)送HTTP請求時，如何設(shè)置請求頭？A.`headers={}`B.`headers={"User-Agent":"your_user_agent"}`C.`headers=["User-Agent"]`D.`headers={"User-Agent":""}`3.以下哪個HTTP狀態(tài)碼表示請求成功？A.404B.500C.200D.3044.在Scrapy框架中，如何定義一個用于爬取數(shù)據(jù)的Item？A.`classItem(dict):pass`B.`classItem(object):pass`C.`classItem:pass`D.`scrapy.Item()`5.以下哪個庫主要用于解析HTML和XML文檔？A.PandasB.NumPyC.BeautifulSoupD.Matplotlib6.在使用XPath或CSS選擇器提取數(shù)據(jù)時，以下哪個符號表示子節(jié)點？A.`.`B.`>`C.`//`D.``7.以下哪個中間件可以用于處理Scrapy項目中的反爬策略？A.`DownloaderMiddleware`B.`SpiderMiddleware`C.`Middleware`D.`DownloaderProcessMiddleware`8.在Python中，如何使用正則表達式匹配郵箱地址？A.`re.findall(r"[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+",text)`B.`re.search(r"[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+",text)`C.`re.match(r"[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+",text)`D.以上均不正確9.在使用Selenium時，如何定位一個具有特定ID的元素？A.`driver.find_element_by_id("element_id")`B.`driver.find_element("id","element_id")`C.`driver.find_element_by_xpath("http://id='element_id'")`D.以上均不正確10.以下哪個庫可以用于數(shù)據(jù)清洗和預(yù)處理？A.ScrapyB.BeautifulSoupC.PandasD.Selenium二、填空題（每空1分，共10空）說明：本部分考察Python爬蟲和信息抽取的基本概念及操作。1.使用`requests`庫發(fā)送GET請求時，如何傳遞參數(shù)？__________2.Scrapy框架中的`pipelines`模塊用于__________。3.在BeautifulSoup中，如何選擇所有class為`example`的元素？__________4.XPath中，`@`符號用于選擇__________。5.在Selenium中，`WebDriverWait`結(jié)合`expected_conditions`可以用于__________。6.正則表達式中的`^`符號表示__________。7.使用`pandas`讀取CSV文件時，如何指定分隔符？__________8.在Scrapy中，如何設(shè)置爬蟲的User-Agent？__________9.CSS選擇器中，`:nth-child()`用于選擇__________。10.信息抽取中的實體識別通常指__________。三、簡答題（每題5分，共6題）說明：本部分考察Python爬蟲和信息抽取的實際應(yīng)用場景及解決方案。1.簡述使用`requests`庫爬取動態(tài)加載網(wǎng)頁數(shù)據(jù)的方法。2.解釋Scrapy框架中ItemPipeline的作用。3.如何使用XPath提取特定格式的日期數(shù)據(jù)？4.在使用Selenium爬取數(shù)據(jù)時，如何處理JavaScript動態(tài)生成的頁面？5.如何使用正則表達式去除文本中的所有標點符號？6.簡述信息抽取在電商數(shù)據(jù)分析中的應(yīng)用場景。四、編程題（每題15分，共4題）說明：本部分考察Python爬蟲和信息抽取的實戰(zhàn)能力。1.題目：編寫Python代碼，使用`requests`庫爬取指定URL（如`/list.html`）的頁面內(nèi)容，并提取所有文章標題（假設(shè)標題在`<h2>`標簽中）。要求：處理異常情況，如網(wǎng)絡(luò)請求失敗。python代碼區(qū)域2.題目：使用Scrapy框架創(chuàng)建一個爬蟲，爬取某招聘網(wǎng)站（如`/`）的職位列表頁，要求提取職位名稱、公司名稱和發(fā)布時間，并存儲到Item中。假設(shè)職位名稱在`<divclass="job-name">`中，公司名稱在`<divclass="company-name">`中，發(fā)布時間在`<divclass="time">`中。python代碼區(qū)域3.題目：使用BeautifulSoup和XPath，從以下HTML片段中提取所有`<li>`標簽的文本內(nèi)容：html<ul><li>Item1</li><li>Item2</li><li>Item3</li></ul>要求：使用XPath選擇所有`<li>`標簽，并提取其文本。python代碼區(qū)域4.題目：使用Selenium和Python，編寫代碼打開一個包含JavaScript動態(tài)加載數(shù)據(jù)的網(wǎng)頁（如`/dynamic.html`），等待頁面加載完成后，提取頁面上所有`<p>`標簽的文本內(nèi)容。python代碼區(qū)域答案與解析一、選擇題1.B解析：Scrapy是一個高效的爬蟲框架，適合大規(guī)模數(shù)據(jù)抓取。BeautifulSoup主要用于解析HTML，Selenium用于動態(tài)網(wǎng)頁，Pandas用于數(shù)據(jù)分析。2.B解析：`requests`庫通過`headers`參數(shù)設(shè)置請求頭，如`User-Agent`，避免被網(wǎng)站屏蔽。3.C解析：HTTP狀態(tài)碼200表示請求成功。404表示未找到頁面，500表示服務(wù)器錯誤。4.A解析：Scrapy的Item通過繼承`scrapy.Item`并定義字段來定義。`classItem(dict):pass`是一種常見的自定義方式。5.C解析：BeautifulSoup是解析HTML和XML的強大庫，Pandas用于數(shù)據(jù)分析，NumPy用于數(shù)值計算，Matplotlib用于繪圖。6.B解析：`>`表示子節(jié)點，`//`表示任意層級，`.`表示當前節(jié)點，``表示所有節(jié)點。7.A解析：`DownloaderMiddleware`可以用于處理反爬策略，如設(shè)置延遲、代理等。8.A解析：正則表達式`r"[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+"`可以匹配標準郵箱格式。9.A解析：`find_element_by_id`是Selenium中定位元素的常用方法。10.C解析：Pandas是數(shù)據(jù)清洗和預(yù)處理的專業(yè)庫，Scrapy是爬蟲框架，BeautifulSoup是解析庫，Selenium是瀏覽器自動化工具。二、填空題1.`params`解析：`requests.get(params={"key":"value"})`可以傳遞GET請求參數(shù)。2.數(shù)據(jù)持久化解析：`pipelines`模塊用于將爬取的數(shù)據(jù)保存到文件、數(shù)據(jù)庫等存儲系統(tǒng)。3.`.example`解析：CSS選擇器中，`.class`用于選擇class為`example`的元素。4.屬性解析：`@`符號在XPath中表示屬性，如`@id`表示`id`屬性。5.等待元素可見解析：`WebDriverWait`結(jié)合`expected_conditions`可以等待特定元素加載完成。6.行字符串開頭解析：`^`在正則表達式中表示字符串開頭。7.`sep=","`解析：`pandas.read_csv("file.csv",sep=",")`可以指定CSV文件的分隔符。8.`settings=ScrapySettings()`，`settings.set("USER_AGENT","your_user_agent")`解析：在Scrapy中通過`settings`模塊設(shè)置User-Agent。9.特定子元素解析：`:nth-child()`選擇特定位置的子元素，如`:nth-child(2)`選擇第二個子元素。10.實體識別解析：信息抽取中的實體識別指從文本中識別出人名、地名、組織名等實體。三、簡答題1.使用`requests`爬取動態(tài)加載網(wǎng)頁數(shù)據(jù)的方法：-使用`requests`模擬瀏覽器行為，配合`headers`、`cookies`等參數(shù)。-對于JavaScript動態(tài)加載的數(shù)據(jù)，可以嘗試分析網(wǎng)絡(luò)請求，直接使用`requests`獲取API返回的數(shù)據(jù)。-使用`selenium`或`pyppeteer`等瀏覽器自動化工具模擬動態(tài)加載。2.Scrapy中ItemPipeline的作用：-ItemPipeline用于處理爬取的數(shù)據(jù)，如清洗、驗證、存儲等。-可以自定義Pipeline實現(xiàn)數(shù)據(jù)持久化到數(shù)據(jù)庫、文件等。-Scrapy默認提供幾個內(nèi)置Pipeline，如`MongoDBPipeline`、`JSONPipeline`等。3.使用XPath提取特定格式的日期數(shù)據(jù)：-假設(shè)日期格式為`2023-01-01`，XPath表達式為`//div[@class="date"]/text()`。-使用正則表達式進一步處理，如`re.search(r"\d{4}-\d{2}-\d{2}",text)`。4.使用Selenium處理JavaScript動態(tài)頁面：-使用`WebDriver`打開網(wǎng)頁，如`driver.get("")`。-使用`WebDriverWait`等待頁面元素加載，如`WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,"element_id")))`。-提取數(shù)據(jù)后關(guān)閉瀏覽器，如`driver.quit()`。5.使用正則表達式去除文本中的所有標點符號：pythonimportretext="Hello,world!Howareyou?"clean_text=re.sub(r"[^\w\s]","",text)print(clean_text)#輸出:HelloworldHowareyou6.信息抽取在電商數(shù)據(jù)分析中的應(yīng)用場景：-從商品評論中提取情感傾向，用于產(chǎn)品優(yōu)化。-提取商品描述中的關(guān)鍵屬性，用于分類和推薦。-分析競爭對手的價格和促銷策略，用于定價決策。四、編程題1.`requests`爬取文章標題：pythonimportrequestsfrombs4importBeautifulSoupdeffetch_titles(url):try:response=requests.get(url,timeout=10)response.raise_for_status()soup=BeautifulSoup(response.text,"html.parser")titles=soup.find_all("h2")return[title.get_text()fortitleintitles]exceptrequests.RequestExceptionase:print(f"Error:{e}")return[]url="/list.html"titles=fetch_titles(url)print(titles)2.Scrapy爬取招聘信息：pythonimportscrapyclassJobSpider(scrapy.Spider):name="job_spider"start_urls=["/"]defparse(self,response):jobs=response.css("div.job-info")forjobinjobs:title=job.css("div.job-name::text").get()company=job.css("pany-name::text").get()time=job.css("div.time::text").get()yield{"title":title,"company":company,"time":time,}3.BeautifulSoup提取`<li>`標簽文本：pythonfrombs4importBeautifulSouphtml="""<ul><li>Item1</li><li>Item2</li><li>Item3</li></ul>"""soup=Beautifu