《大數(shù)據(jù)采集》期末考試復(fù)習(xí)題及答案

單選題

1.在字典中，如何同時(shí)遍歷鍵和值？

A、使用keys()方法

B、使用values()方法

C、使用items()方法

D、使用enumerate()方法

參考答案：C

2.在字典:1,E:2｝中，k和1分別是什么?

A、值和鍵

B、鍵和值

C、元組

D、列表

參考答案：B

3.在網(wǎng)絡(luò)爬蟲中，為什么Python是常用的編程語(yǔ)言?

A、Python只適用于網(wǎng)絡(luò)爬蟲

B、Python在網(wǎng)絡(luò)爬蟲領(lǐng)域具有豐富的支持和應(yīng)用

C^Python的圖形界面更好

D、Python比其他語(yǔ)言更安全

參考答案：B

1st

4.在使用requests庫(kù)發(fā)送請(qǐng)求時(shí)，可以使用哪個(gè)參數(shù)設(shè)置HTTP

請(qǐng)求的headers信息？

A^params

B、headers

C>ookies

D、ata

參考答案：B

5.在使用BeautifulSoup時(shí)，選擇哪個(gè)解析器可以提供最好的性

能？（）

A、re

B、Ixml

C、wps

D、print

參考答案：B

6.在爬蟲中，為了規(guī)避網(wǎng)站的反爬機(jī)制，我們需要將請(qǐng)求的身份

標(biāo)識(shí)偽裝成正常瀏覽器的標(biāo)識(shí)。這個(gè)身份標(biāo)識(shí)稱為什么？

A、User-Agent

B、Cookie

C、Referer

D、IP地址

參考答案：A

7.在爬蟲的工作中，什么是URL?

2nd

A、一種用于發(fā)送電子郵件的格式

B、一種用于創(chuàng)建圖像文件的文件擴(kuò)展名

C、一種用于編碼文本消息的方法

D、一種用于定位網(wǎng)頁(yè)的地址

參考答案：D

8.在哪里可以下載Python的安裝程序？

A、官方Python網(wǎng)站

B、MicrosoftOffice官網(wǎng)

C、AdobeCreativeCloud官網(wǎng)

D、官方Java網(wǎng)站

參考答案：A

9.在Xpath中，選擇所有名為'title'的元素的XPath表達(dá)式是什么？

0

A、*title

B、//title

C、title

D、tide

參考答案：B

10.在Xpath中,如何在XPath中選擇所有具有'price'屬性的'book，

元素？0

AN//book[price]

BN//book[price]

3rd

B、%

C、*

D、<

參考答案：A

15.在requests庫(kù)中，如何將參數(shù)添加到GET請(qǐng)求中？

A、通過(guò)設(shè)置headers參數(shù)

B、通過(guò)設(shè)置data參數(shù)

C、通過(guò)設(shè)置cookies參數(shù)

D、通過(guò)設(shè)置params參數(shù)

參考答案：D

16.在requests.get('https://.baidu.')中，requests.get代表什么？

A、發(fā)送一個(gè)POST請(qǐng)求

B、打開一個(gè)網(wǎng)頁(yè)

C、發(fā)送一個(gè)GET請(qǐng)求

D、保存一個(gè)文件

參考答案：C

17.在Python中使用BeautifulSoup解析網(wǎng)頁(yè)時(shí)，需要先導(dǎo)入哪個(gè)

庫(kù)？

A、pandas

B、numpy

C、requests

D>matplotlib

5th

參考答案：C

18.在Python中，字典是通過(guò)什么來(lái)訪問(wèn)值的？

A、索引

B、鍵

C、值

D、類型

參考答案：B

19.在Python中，用于循環(huán)遍歷列表元素的關(guān)鍵字是什么？

A、for

B、while

C、loop

D、foreach

參考答案：A

20.在Python中，如何向列表的末尾添加一個(gè)元素？

A、使用append()方法

彳更用insert()方法

C、使用extend()方法

D、使用add()方法

參考答案：A

21.在Python中，如何打印輸出文本到控制臺(tái)?

A、print()

B>display()

6th

C、show()

D、output()

參考答案：A

22.在Python中，哪個(gè)庫(kù)通常用于網(wǎng)絡(luò)爬蟲？

A、NumPv

BNPandas

C^Requests

D、Matplotlib

參考答案：C

23.在Python爬蟲中，用于保存數(shù)據(jù)到CSV文件的Python標(biāo)準(zhǔn)庫(kù)

是哪一個(gè)？

A、json

csv

C、os

D、sys

參考答案：B

24.在Python爬蟲中，為了防止對(duì)目標(biāo)網(wǎng)站造成過(guò)大負(fù)擔(dān)，我們

應(yīng)該采取哪種措施？

A、增加請(qǐng)求次數(shù)

B、減少請(qǐng)求間隔

C、頻繁請(qǐng)求

D、設(shè)置合理的請(qǐng)求間隔，減少壓力

7th

參考答案：D

25.在Python爬蟲中，通常用字典來(lái)存儲(chǔ)什么類型的數(shù)據(jù)？

A、視頻文件

B、圖片文件

C、文本內(nèi)容

D、音頻文件

參考答案：C

26.在Python爬蟲中，通常使用哪種數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)爬取的多個(gè)

數(shù)據(jù)項(xiàng)？

A、集合

B、列表

C、字符串

D、數(shù)字

參考答案：B

27.在Python爬蟲中，如果要提取一個(gè)網(wǎng)頁(yè)的標(biāo)題，應(yīng)該查找哪

個(gè)HTML元素？

A^<bodv>

B、<title>

C、<P>

D、<div>

參考答案：B

28.在Python爬蟲中，如果要連續(xù)爬取多個(gè)頁(yè)面，通常使用哪種

8th

技術(shù)？

A、循環(huán)

B、條件判斷

C、異常處理

D、類和對(duì)象

參考答案：A

29.在Python爬蟲中，“反爬蟲”是什么意思？

A、提高爬蟲速度

B、優(yōu)化爬蟲代碼

C、網(wǎng)站的防抓取措施

D、刪除爬蟲程序

參考答案：C

30.在GET請(qǐng)求中，如何與目標(biāo)網(wǎng)站建立連接？

A、通過(guò)電子郵件

B、使用HTTPGET請(qǐng)求

C、直接訪問(wèn)網(wǎng)站

D、通過(guò)電話

參考答案：B

31.在BeautifulSoup中,soup.tide.text的作用是什么？

A、改變網(wǎng)頁(yè)的結(jié)構(gòu)

B、打印所有屬性

C、獲取網(wǎng)頁(yè)標(biāo)題的文本

9th

D、查找所有的鏈接

參考答案：C

32.在BeautifulSoup庫(kù)中，如何獲取標(biāo)簽的文本內(nèi)容？()

A、使用get()方法

B、使用text屬性

C、使用content方法

D、使用arrt()屬性

參考答案：B

33.以下哪個(gè)軟件常用于爬蟲程序的編寫。()

A、Word

B、R

、

CPyJthon

D、C++

參考答案：C

34.以下哪個(gè)方法用于查找所有符合條件的標(biāo)簽？

A、min()

B、find_all()

C、search()

D>select()

參考答案：B

35.以下哪個(gè)標(biāo)簽用于定義頁(yè)面的標(biāo)題？

A、<titlc>

10th

<header>

C、＜head＞

D、＜hl＞

參考答案：A

36.要解析HTML文檔，我們通常使用哪個(gè)Python庫(kù)?

A、BcautifulSoup

B、Flask

C、Pygame

D、TensorFlow

參考答案：A

37.下面哪個(gè)運(yùn)算符用于判斷兩個(gè)值是否相等？

A、==

B、＞

C、＜

D、!

參考答案：A

38.下面哪個(gè)語(yǔ)句用于在Python中定義一個(gè)函數(shù)？

A、fun

B、def

C、define

D、mn

參考答案：B

llth

39.下面哪個(gè)語(yǔ)句導(dǎo)入了requests庫(kù)？

A、importreq

B、importreqs

C、importrequests

D、importpython

參考答案：C

40.下面哪個(gè)循環(huán)語(yǔ)句用于反復(fù)執(zhí)行一段代碼，直到條件不滿足?

A、if

B、for

C、while

D、else

參考答案：C

41.下面哪個(gè)選項(xiàng)正確地創(chuàng)建了一個(gè)空列表？

A、list=n

B、Ust={}

C、list二()

D、list=nn

參考答案：A

42.下列哪個(gè)不是Python網(wǎng)絡(luò)爬蟲的合法用途？

A、數(shù)據(jù)分析

B、數(shù)據(jù)采集

C、黑客攻擊

12th

D、搜索引擎優(yōu)化

參考答案：C

43.下列哪個(gè)HTTP方法通常用于獲取網(wǎng)頁(yè)數(shù)據(jù)？

A、fetch

B、get

C、put

D>elete

參考答案：B

44.我們使用response二requests.get('https:〃.baidu.')語(yǔ)句向百度發(fā)

送一個(gè)請(qǐng)求，其中requests.get方法屬于哪個(gè)庫(kù)？

A、Django

BAFlask

C、Requests

DNNumPvJ

參考答案：c

45.為什么在爬蟲中經(jīng)常使用字典來(lái)處理網(wǎng)頁(yè)數(shù)據(jù)？

A、字典可以播放音樂(lè)

B、字典可以方便地組織和存儲(chǔ)不同類型的網(wǎng)頁(yè)信息

C、字典可以用來(lái)畫圖

D、字典可以制作視頻

參考答案：B

46.網(wǎng)頁(yè)的基礎(chǔ)框架是什么語(yǔ)言？

13th

A、XML

B、HTML

C、WML

D、VRML

參考答案：B

47.網(wǎng)頁(yè)的基礎(chǔ)框架是什么語(yǔ)言？()

A、sql

B、HTML

C、WML

D、VRML

參考答案：B

48.網(wǎng)絡(luò)爬蟲首先需要做什么？

A、解析HTML

B、保存數(shù)據(jù)

C、跟進(jìn)鏈接

D、發(fā)送HTTP請(qǐng)求

參考答案：D

49.網(wǎng)絡(luò)爬蟲是用于什么目的？。

A、收集、提取和存儲(chǔ)網(wǎng)絡(luò)數(shù)據(jù)

B、收集和分析網(wǎng)絡(luò)流量

C、加速網(wǎng)絡(luò)連接速度

D、進(jìn)行網(wǎng)絡(luò)安全測(cè)試

14th

參考答案：A

50.網(wǎng)絡(luò)爬蟲如何理解網(wǎng)頁(yè)上的內(nèi)容？

A、通過(guò)執(zhí)行網(wǎng)頁(yè)的JavaScript代碼

B、通過(guò)解析網(wǎng)頁(yè)的HTML代碼

C、通過(guò)電子郵件

D、通過(guò)詢問(wèn)網(wǎng)站管理員

參考答案：B

51.提取數(shù)據(jù)之后，網(wǎng)絡(luò)爬蟲通常會(huì)做什么？

A、立即停止

B、刪除數(shù)據(jù)

C、保存數(shù)據(jù)

D、斷開網(wǎng)絡(luò)

參考答案：C

52.使用requests庫(kù)發(fā)送HTTP請(qǐng)求時(shí)，下面哪個(gè)方法用于發(fā)送G

ET請(qǐng)求？

A、requests.delete()

B、requests.post()

C、requests.get()

DNrequests.put()

參考答案：C

53.使用requests庫(kù)發(fā)送HTTPGET請(qǐng)求的常用方法？

A、scnd_gct(url)

15th

B、get_request(url)

C、requests.get(url)

D、req.get(url)

參考答案：C

54.使用Python爬蟲時(shí)，為什么有時(shí)需要模擬瀏覽器行為？

A、為了提高運(yùn)行速度

B、為了避免被網(wǎng)站的反爬蟲機(jī)制識(shí)別

C、為了減少內(nèi)存使用

D、為了簡(jiǎn)化代碼

參考答案：B

55.使用PythonRequests庫(kù)時(shí)，哪個(gè)方法用于添加請(qǐng)求頭？

A、requests.post('utTjson二{/key^value1})

B、requests.get('uH',data={'kcyYvalue*})

C、requests.get(inT,headers={,key,:'value,})

D、requests.put('utT,params={,key'：，value,})

參考答案：C

56.使用BeautifulSoup解析HTML時(shí)，哪個(gè)方法用于找到文檔中

的第一個(gè)標(biāo)簽？

A、find_all(式)

BNgCt(汽)

C、find(^)

D、sclect_one(宣)

16th

參考答案：C

57.如何用XPath選擇所有帶有'id'屬性的'book'節(jié)點(diǎn)？

A、//book[id]

//book[id]

C、book[id]

D、book/id

參考答案：B

58.如何訪問(wèn)列表中的第一個(gè)元素？

A、list.first()

B、list[0]

C、list.get(2)

D、list.front()

參考答案：B

59.如果一個(gè)Python爬蟲程序反復(fù)快速地請(qǐng)求同一個(gè)網(wǎng)站，可能

會(huì)發(fā)生什么？

A、數(shù)據(jù)下載更快

B、會(huì)被網(wǎng)站封禁

C、自動(dòng)保存數(shù)據(jù)

D、提高數(shù)據(jù)質(zhì)量

參考答案：B

60.如果要遍歷字典中的所有鍵，應(yīng)該使用哪種循環(huán)？

A、while循環(huán)

17th

for-in循環(huán)

C、do-while循環(huán)

D、switch-case循環(huán)

參考答案：B

61.如果你想要在爬蟲中存儲(chǔ)多個(gè)網(wǎng)頁(yè)的標(biāo)題和鏈接，你會(huì)如何組

織這些數(shù)據(jù)？

A、使用字符串

B、使用列表

C、使用wps

D、使用集合

參考答案：B

62.爬蟲中的“解析HTML”是什么意思？

A、創(chuàng)建HTML

B、讀取并理解HTML內(nèi)容

C、修改HTML

D、刪除HTML

參考答案：B

63.爬蟲在互聯(lián)網(wǎng)上的行為是否需要遵循規(guī)則？

A、不需要，爬蟲可以自由地瀏覽互聯(lián)網(wǎng)上的任何網(wǎng)站

B、只需要遵循國(guó)際互聯(lián)網(wǎng)規(guī)定的規(guī)則

C、是的，爬蟲需要遵循網(wǎng)站的robots.txt文件中的規(guī)則

D、只需要遵循本地法律規(guī)定的規(guī)則

18th

參考答案：C

64.爬蟲通常用于哪些任務(wù)？

A、網(wǎng)絡(luò)游戲開發(fā)

B、太空探索

C、數(shù)據(jù)采集、搜索引擎、信息抓取等

D、烹飪食譜編寫

參考答案：C

65.爬蟲是什么？

A、一種節(jié)慶慶典的慶祝活動(dòng)。

B、一種能源生產(chǎn)方式。

C、一種自動(dòng)化程序，用于從互聯(lián)網(wǎng)上收集信息

D、一種水下生物。

參考答案：C

66.爬蟲如何處理抓取到的數(shù)據(jù)？()

A、將數(shù)據(jù)存儲(chǔ)在本地?cái)?shù)據(jù)庫(kù)中

B、將數(shù)據(jù)存儲(chǔ)在大數(shù)據(jù)集群中

C、將數(shù)據(jù)以文本文件的形式存儲(chǔ)在本地磁盤中

D、所有答案都正確

參考答案：D

67.爬蟲可以幫助我們獲取有用的信息，但也可能會(huì)對(duì)目標(biāo)網(wǎng)站造

成壓力和損失。以下哪項(xiàng)不是開發(fā)爬蟲程序時(shí)需要遵守的道德規(guī)

范？()

19th

A、遵守相關(guān)法律法規(guī)

B、遵守網(wǎng)站的使用規(guī)定

C、盡量減少對(duì)目標(biāo)網(wǎng)站的負(fù)面影響

D、可以隨意爬取網(wǎng)站上的數(shù)據(jù)，無(wú)需征求網(wǎng)站的許可

參考答案：D

68.爬蟲技術(shù)是用來(lái)做什么的？

A、防止網(wǎng)站被搜索引擎索引

B、幫助網(wǎng)站增加流量

C、從網(wǎng)頁(yè)中提取數(shù)據(jù)

D、增加網(wǎng)站的廣告收入

參考答案：C

69.爬蟲的工作原理是什么？

A、爬蟲通過(guò)互聯(lián)網(wǎng)瀏覽器訪問(wèn)網(wǎng)頁(yè)并手動(dòng)復(fù)制粘貼信息

B、爬蟲使用機(jī)器學(xué)習(xí)算法來(lái)分析網(wǎng)頁(yè)內(nèi)容

C、爬蟲通過(guò)發(fā)送HTTP請(qǐng)求來(lái)獲取網(wǎng)頁(yè)數(shù)據(jù)，并解析HTML來(lái)

提取信息

D、爬蟲依賴人工輸入來(lái)指導(dǎo)其工作

參考答案：C

70.爬蟲程序中常用的數(shù)據(jù)存儲(chǔ)方式有多種，以下哪個(gè)不是常月的

數(shù)據(jù)存儲(chǔ)方式？

A、CSV

B、文本文件

20th

C、數(shù)據(jù)庫(kù)

D、視頻

參考答案：D

71.爬蟲程序與瀏覽器的主要區(qū)別是什么？

A、瀏覽器不能顯示數(shù)據(jù)

B、爬蟲程序不能發(fā)送請(qǐng)求

C、爬蟲程序不會(huì)解析響應(yīng)內(nèi)容以顯示給用戶

D、瀏覽器不發(fā)送請(qǐng)求

參考答案：C

72.爬蟲程序通過(guò)模擬瀏覽器的行為，向目標(biāo)網(wǎng)站發(fā)送HTTP請(qǐng)

求，然后解析網(wǎng)站返回的HTML內(nèi)容，提取所需的數(shù)據(jù)。以下

哪項(xiàng)不是爬蟲的實(shí)現(xiàn)原理？（）

A、解析網(wǎng)站返回的HTML內(nèi)容

B、模擬瀏覽器行為

C、發(fā)送HTTP請(qǐng)求

D、斷開網(wǎng)絡(luò)

參考答案：D

73.爬蟲程序首先做的是什么？

A、存儲(chǔ)數(shù)據(jù)

B、刪除數(shù)據(jù)

C、解析數(shù)據(jù)

D、獲取數(shù)據(jù)

21st

參考答案：D

74.爬蟲程序存儲(chǔ)數(shù)據(jù)的用途是什么?

A、加快服務(wù)器的處理速度

B、供以后使用和分析

C、減少服務(wù)器的壓力

D、提高數(shù)據(jù)的質(zhì)量

參考答案：B

75.哪個(gè)XPath表達(dá)式選中文檔中所有的節(jié)點(diǎn)？

A、node()

B、〃*

C、/descendant

D、*

參考答案：B

76.假設(shè)有一個(gè)名為studcnt_scores的字典，包含學(xué)生的成績(jī)信息

如下:student_scores={“張三”:90,“李四”:85J王五”:78,“錢六”:92},

如果要獲取學(xué)生“王五”的成績(jī)，應(yīng)該使用哪種方法？

A^student_scores(“王五”)

B、student_scores[HXiH]

C、student_scores.n王五”

D、studcnt_scores<n王五”>

參考答案：B

77.假設(shè)有一個(gè)名為smdcnt_scorcs的字典，包含學(xué)生的成績(jī)信息

22nd

如下:student_scores={H張三”:9()李四”:85J王五”:78,“錢六”:92},

你想要遍歷字典并打印每個(gè)學(xué)生的姓名和成績(jī)，應(yīng)該使用哪個(gè)方

法？

A、forscoreinstudent_scores.values():

B、fbrnameinstudent_scores.keys():

C、fbrnamc,scorcinstudcnt_scorcs:

D>foriteminsmdent_scores.items():

參考答案：D

78.假設(shè)有一個(gè)列表myjist,如何獲取列表中第三個(gè)元素的值？

ANmy_list[3]

B>my_list[l]

C>my_list[2]

D、my_list[O]

參考答案：C

79.關(guān)于小說(shuō)的爬取，以下說(shuō)法不正確的是()

A、不能夠?qū)⑴廊〉男≌f(shuō)用來(lái)商業(yè)牟利

B、如果要爬取的網(wǎng)站有明確聲明禁止爬蟲采集或者采取了反爬

措施時(shí)，可以采用一些技術(shù)手段，避開反爬措施，繼續(xù)爬取

C、不能編寫爬蟲程序?qū)е履繕?biāo)網(wǎng)站服務(wù)器崩潰

D、要尊重作者的知識(shí)產(chǎn)權(quán)，轉(zhuǎn)載必須注明來(lái)源

參考答案：B

80.當(dāng)需要向服務(wù)器傳遞敏感信息(如密碼)時(shí)，應(yīng)該使用哪種請(qǐng)

23rd

求方式？

A、GET

B、POST

C、PUT

D、ELETE

參考答案：B

81.當(dāng)使用Web爬蟲抓取網(wǎng)頁(yè)時(shí)，為什么要分析HTML結(jié)構(gòu)？

A、為了獲取網(wǎng)頁(yè)的字體和顏色信息

B、為了計(jì)算網(wǎng)頁(yè)的大小

C、為了提取所需的數(shù)據(jù)和鏈接

D、為了確定網(wǎng)頁(yè)的語(yǔ)言

參考答案：C

82.安裝Python時(shí)，為什么要選擇添加Python到系統(tǒng)環(huán)境變量

中？

A、讓Python可以在沒有網(wǎng)絡(luò)連接的情況下運(yùn)行

B、讓Python可以使用更多內(nèi)存

C、讓Python可以在任何地方運(yùn)行

D、讓Python可以在其他編程語(yǔ)言中運(yùn)行

參考答案：C

83.XPath中的'〃'和有什么不同？

A、7/選擇當(dāng)前節(jié)點(diǎn)，/選擇根節(jié)點(diǎn)

B、/選擇文檔中的節(jié)點(diǎn)，，//選擇直接子節(jié)點(diǎn)

24th

c、，//選擇文檔中任意位置的節(jié)點(diǎn)，/選擇直接子節(jié)點(diǎn)

D、沒有區(qū)別

參考答案：C

84.XPath使用路徑表達(dá)式來(lái)選取XML文檔中的節(jié)點(diǎn)或者節(jié)點(diǎn)集,

以下哪一種用來(lái)選取屬性？（）

A、$

B、%

C、D、*

參考答案：C

85.XPath的應(yīng)用場(chǎng)景包括：（）

A、網(wǎng)頁(yè)抓取和內(nèi)容提取

B、圖像處理和識(shí)別

C、聊天機(jī)器人開發(fā)

D、數(shù)據(jù)挖掘和分析

參考答案：A

86.Request的get請(qǐng)求通常用于什么目的？

A、發(fā)送大量數(shù)據(jù)

B、抓取網(wǎng)頁(yè)數(shù)據(jù)

C、上傳文件

D、加密信息

參考答案：B

87.rcquests庫(kù)主要用途是什么？

25th

A、發(fā)送電子郵件

B、發(fā)送短信消息

C、發(fā)送文件到云存儲(chǔ)

D、發(fā)送HTTP請(qǐng)求與Web服務(wù)通信

參考答案：D

88.rcqucsts.gct(*https://.baidu.1)執(zhí)行后，它將向哪里發(fā)送請(qǐng)求?

A、本地服務(wù)器

B、百度的服務(wù)器

C、Google的服務(wù)器

D、抖音的服務(wù)器

參考答案：B

89.Python爬蟲中通常使用哪種方法來(lái)避免被網(wǎng)站檢測(cè)到是爬

蟲？

A、更改操作系統(tǒng)

B、修改Python版本

C、更換IP地址

D^設(shè)置請(qǐng)求頭User-Agent

參考答案：D

90.Python爬蟲中，為什么需要設(shè)置請(qǐng)求頭？

A、為了增加請(qǐng)求速度

B、為了模仿瀏覽器行為

C、為了減少數(shù)據(jù)用量

26th

D、為了提高代碼質(zhì)量

參考答案：B

91.Python爬蟲通常用哪種格式保存抓取的數(shù)據(jù)?

A、PDF

B、PS

C、SV

D、OCX

參考答案：C

92.Python程序發(fā)送給服務(wù)器的信息被稱為什么？

A、響應(yīng)

B、請(qǐng)求

C、電子郵件

D、解析

參考答案：B

93.PyCharm是什么類型的軟件？

A、瀏覽器

B、Python集成開發(fā)環(huán)境（ID

C、游戲

D、媒體播放器

參考答案：B

94.HTML中的超鏈接使用哪個(gè)標(biāo)簽？

A、<link>

27th

<url>

C、<a>

D、<href>

參考答案：C

95.HTML中的標(biāo)簽是由什么字符包圍的？

A、()

B、n

C、<>

D、()

參考答案：C

96.BeautifulSoup庫(kù)中的find.all方法的作用是什么？()

A、查找第一個(gè)匹配的標(biāo)簽

B、查找文檔中所有標(biāo)簽

C、查找文檔中所有文本

D、查找文檔中的所有鏈接

參考答案：B

97.BeautifulSoup庫(kù)用于什么目的？()

A、瀏覽器

B、數(shù)據(jù)可視化

C、數(shù)據(jù)解析和提取

D、網(wǎng)絡(luò)安全

參考答案：C

28th

98.BeautifulSoup庫(kù)可以用于處理哪兩種類型的文檔？（）

A、只能處理XML文檔

B、只能處理文本文檔

C、可以處理HTML和XML文檔

D、只能處理\vps文檔

參考答案：C

99.BeautifulSoup庫(kù)的主要功能是（）

A、處理數(shù)字計(jì)算

B、處理聲音

C、處理圖像

D、處理HTML/XML文檔標(biāo)簽樹

參考答案：D

100.（）是解析網(wǎng)頁(yè)并提取文本，以及指向其他網(wǎng)頁(yè)鏈接的程序。

A、索引

B、爬蟲

C、樹

D、都不是

參考答案：B

判斷題

1.在XPath中，？和冒分別表示當(dāng)前節(jié)點(diǎn)和父節(jié)點(diǎn)。（）

A、正確

29th

B、錯(cuò)誤

參考答案：A

2.在Python中，字典的鍵必須是唯一的。

A、正確

B、錯(cuò)誤

參考答案：A

3.在Python中,importrequests語(yǔ)句用于導(dǎo)入requests庫(kù)。

A、正確

B、錯(cuò)誤

參考答案：A

4.在Python網(wǎng)絡(luò)爬蟲中，XPath和Request的功能完全相同°

A、正確

B、錯(cuò)誤

參考答案：B

5.在Python爬蟲中，通常使用字典來(lái)存儲(chǔ)音頻文件。

A、正確

B、錯(cuò)誤

參考答案：B

6.在Python代碼中,使用requests.get需要先導(dǎo)入Requests庫(kù)。

A、正確

B、錯(cuò)誤

參考答案：A

30th

7.在HTML中，所有標(biāo)簽都必須是成對(duì)出現(xiàn)的，包括開始標(biāo)簽和

結(jié)束標(biāo)簽。

A、正確

B、錯(cuò)誤

參考答案：A

8.我們使用rcqucsts.gct('https:〃.baidu.')語(yǔ)句向百度發(fā)送了一個(gè)

GET請(qǐng)求

A、正確

B、錯(cuò)誤

參考答案：A

9.網(wǎng)絡(luò)爬蟲只能用于爬取文本數(shù)據(jù)，不能爬取圖片

A、正確

B、錯(cuò)誤

參考答案：B

10.網(wǎng)絡(luò)爬蟲在爬取數(shù)據(jù)時(shí)不需要考慮服務(wù)器的負(fù)載。

A、正確

B、錯(cuò)誤

參考答案：B

11.網(wǎng)絡(luò)爬蟲無(wú)法處理分布式系統(tǒng)中的數(shù)據(jù)。

A、正確

B、錯(cuò)誤

參考答案：B

31st

12.網(wǎng)絡(luò)爬蟲的運(yùn)行不受網(wǎng)速和服務(wù)器響應(yīng)速度的影響。

A、正確

B、錯(cuò)誤

參考答案：B

13.通過(guò)requests庫(kù)發(fā)送POST請(qǐng)求時(shí)，可以在請(qǐng)求體中傳遞參數(shù)。

A、正確

B、錯(cuò)誤

參考答案：A

14.所有的網(wǎng)絡(luò)爬蟲都是合法的。

A、正確

B、錯(cuò)誤

參考答案：B

15.使用爬蟲獲取的數(shù)據(jù)可以隨意用于商業(yè)用途，無(wú)需考慮法律問(wèn)

題。

A、正確

B、錯(cuò)誤

參考答案：B

16.使用方括號(hào)口可以獲取字典中某個(gè)鍵對(duì)應(yīng)的值。

A、正確

B、錯(cuò)誤

參考答案：A

17.使用XPath,/和//是完全相同的，沒有任何區(qū)別。三、填空

32nd

題

A、正確

B、錯(cuò)誤

參考答案：B

18.使用requests庫(kù)之前需要安裝

A、正確

B、錯(cuò)誤

參考答案：A

19.使用requests庫(kù)可以向服務(wù)器發(fā)送GET請(qǐng)求。

A、正確

B、錯(cuò)誤

參考答案：A

20.如果要查找HTML文檔中第一個(gè)符合條件的標(biāo)簽，可以使用

find()方法。()

A、正確

B、錯(cuò)誤

參考答案：A

21.任何使用網(wǎng)絡(luò)爬蟲收集的數(shù)據(jù)都可以隨意公開和銷售。

A、正確

B、錯(cuò)誤

參考答案：B

22.爬蟲在收集數(shù)據(jù)時(shí)，不需要考慮版權(quán)問(wèn)題。

33rd

A、正確

B、錯(cuò)誤

參考答案：B

23.爬蟲無(wú)法通過(guò)解析網(wǎng)頁(yè)的HTML代碼來(lái)獲取內(nèi)容。

A、正確

B、錯(cuò)誤

參考答案：B

24.爬蟲通常用于網(wǎng)絡(luò)游戲開發(fā)。

A、正確

B、錯(cuò)誤

參考答案：B

25.爬蟲是通過(guò)人工操作來(lái)瀏覽網(wǎng)頁(yè)并復(fù)制其中的內(nèi)容。

A、正確

B、錯(cuò)誤

參考答案：B

26.爬蟲可以通過(guò)模擬瀏覽器行為來(lái)訪問(wèn)動(dòng)態(tài)生成的網(wǎng)頁(yè)內(nèi)容。

A、正確

B、錯(cuò)誤

參考答案：A

27.爬蟲可以訪問(wèn)和抓取互聯(lián)網(wǎng)上的任何網(wǎng)站，無(wú)需權(quán)限或許可o

A、正確

B、錯(cuò)誤

34th

參考答案：B

28.爬蟲技術(shù)主要用來(lái)處理圖像和音頻數(shù)據(jù)。

A、正確

B、錯(cuò)誤

參考答案：B

29.爬蟲技術(shù)可以用于黑客攻擊，這是一種合法用途。

A、正確

B、錯(cuò)誤

參考答案：B

30.爬蟲程序的第一步是向服務(wù)器發(fā)起請(qǐng)求以獲取數(shù)據(jù)。

A、正確

B、錯(cuò)誤

參考答案：A

31.分析HTML結(jié)構(gòu)是為了從網(wǎng)頁(yè)中提取字體和顏色信息。

A、正確

B、錯(cuò)誤

參考答案：B

32.安裝Python時(shí)，選擇添加Python到系統(tǒng)環(huán)境變量中是為了讓

Python可以在任何地方運(yùn)行。

A、正確

B、錯(cuò)誤

參考答案：A

35th

33.XPath中的路徑表達(dá)式'/bookstore/book，會(huì)選擇所有名為“boo

k”的節(jié)點(diǎn)。()

A、正確

B、錯(cuò)誤

參考答案：B

34.XPath中的text()函數(shù)用于選擇元素的文本內(nèi)容。

A、正確

B、錯(cuò)誤

參考答案：A

35.XPath只能在XML文檔中使用，不能在HTML中使用。

A、正確

B、錯(cuò)誤

參考答案：B

36.XPath使用SQL語(yǔ)法進(jìn)行查詢。

A、正確

B、錯(cuò)誤

參考答案：B

37.XPath可以用于在XML和HTML文檔中查找信息。()

A、正確

B、錯(cuò)誤

參考答案：A

38.Wcb爬蟲通常使用HTML標(biāo)簽來(lái)解析和抓取網(wǎng)頁(yè)上的數(shù)據(jù)。

36th

A、正確

B、錯(cuò)誤

參考答案：A

39.UA偽裝的目的就是為了模擬正常瀏覽器的行為，以規(guī)避網(wǎng)站

的反爬機(jī)制。

A、正確

B、錯(cuò)誤

參考答案：A

40.requests.get()方法在Python中用于發(fā)送POST請(qǐng)求。

A、正確

B、錯(cuò)誤

參考答案：B

41.Python在網(wǎng)絡(luò)爬蟲領(lǐng)域沒有任何支持和應(yīng)用，因此很少用于

網(wǎng)絡(luò)爬蟲。

A、正確

B、錯(cuò)誤

參考答案：B

42.Python的列表中的索引是從1開始的。

A、正確

B、錯(cuò)誤

參考答案：B

43.Python程序無(wú)法像瀏覽器一樣向服務(wù)器發(fā)送請(qǐng)求。

37th

A、正確

B、錯(cuò)誤

參考答案：B

44.PyCharm是一種Python集成開發(fā)環(huán)境(IDE)

A、正確

B、錯(cuò)誤

參考答案：A

45.HTML是一種編程語(yǔ)言。

A、正確

B、錯(cuò)誤

參考答案：B

46.find_all(%，)方法用于查找HTML文檔中的第一個(gè)標(biāo)簽。

A、正確

B、錯(cuò)誤

參考答案：B

47.BeautifulSoup是一個(gè)用于數(shù)據(jù)可視化的Python庫(kù)。

A、正確

B、錯(cuò)誤

參考答案：B

48.BcautifulSoup庫(kù)主要用于處理圖像數(shù)據(jù)

A、正確

B、錯(cuò)誤

38th

參考答案：B

49.BeautifulSoup庫(kù)是一^個(gè)用于創(chuàng)建office文檔的工具。

A、正確

B、錯(cuò)誤

參考答案：B

SO.BcautifulSoup不能用于解析HTML和XML文檔。

A、正確

B、錯(cuò)誤

參考答案：B

簡(jiǎn)答題

1.怎么樣能學(xué)好python爬蟲知識(shí)

答：1.學(xué)習(xí)Python編程基礎(chǔ)；2.理解HTTP和Web基礎(chǔ)知識(shí)；3.

學(xué)習(xí)爬蟲庫(kù)和框架。

2.在使用Requests庫(kù)發(fā)送請(qǐng)求時(shí)，可以設(shè)置headers參數(shù)來(lái)傳遞()。

答：請(qǐng)求頭

3.在XPath中，使用/表示選擇當(dāng)前節(jié)點(diǎn)的()子節(jié)點(diǎn)。

答：直接

4.在XPath中，使用//表示選擇()節(jié)點(diǎn)。

答：所有

5.在XPath中，/html/book表示匹配位于文檔根元素V111：1111＞下的

所有直接子元素名稱為()的元素。

39th

答：book

6.在XPath中，//div[class="abc”]表示選擇文檔中所有class屬性

值為Zbc”的()d元素

答：div

7.在Xpath語(yǔ)法中,語(yǔ)句html.xpath(7/a[href=nimage，T)表示查

找文檔中帶有href屬性且值為()的v4標(biāo)簽。

答：image

8.在Xpath語(yǔ)法中,語(yǔ)句html.xpath(7/a[href|,)表示查找文檔中

所有帶有0屬性的＜a＞元素。

答：href

9.在Xpath語(yǔ)法中,語(yǔ)句html.xpath(7/a/href)表示查找文檔中

所有()元素的href屬性值。

答：a

10.在Xpath語(yǔ)法中，tree.xpath('//div//a/href)表示以列表的形

式返回所有a標(biāo)簽中()屬性值。

答：href

11.在Xpath語(yǔ)法中,html=etree.HTML(sc)語(yǔ)句的作用是什么？

答：使用Ixml庫(kù)中的etree.HTML函數(shù)將一個(gè)字符串sc解析為可

供XPath查詢的HTML元素樹對(duì)象

12.在rcquests.gct('https://.baidu/)語(yǔ)句中，是向百度發(fā)送了一，個(gè)

0請(qǐng)求

答：get

40th

13.在Python中,importrequests語(yǔ)句用于導(dǎo)入()庫(kù)。

答：requests

14.在BcautifulSoup庫(kù)中,find.aU(V)方法的作用是什么？

答：用于在HTML文檔中查找所有的a標(biāo)簽元素。

15.在BeautifulSoup庫(kù)中,find(nan)方法的作用是什么？

答：用于在HTML文檔中查找第1個(gè)a標(biāo)簽元素。

16.在BeautifulSoup解析中,soup.find(,a,,id=*link2,)語(yǔ)句查找的

是什么內(nèi)容？

答：在文檔中查找第一個(gè)標(biāo)簽，并且該標(biāo)簽具有id屬性值等

于“Iink2”。

17.已知Flume服務(wù)的啟動(dòng)命令flume-ngagent-nal-cconf-fconf/file-t

o-hdfs.conf,請(qǐng)解釋-nal；-cconf；-fconf/file-to-hdfs.conf的含義?

答：-nal指定agent的名字；-cconf指定配置文件所在目錄；-fco

nf/file-to-hdfs.conf指定采集方案

18.為什么編寫爬蟲程序常用PyCharm集成環(huán)境？

答：提供了豐富的代碼編輯、調(diào)試、第三方庫(kù)。

19.網(wǎng)頁(yè)請(qǐng)求方式通?？梢苑譃間et和post請(qǐng)求，其中：get請(qǐng)求

用于獲取資源，而。請(qǐng)求用于提交數(shù)據(jù)。

答：post

20.網(wǎng)頁(yè)請(qǐng)求方式通?？梢苑譃間et和post請(qǐng)求，其中：()g請(qǐng)

求用于獲取資源，而post請(qǐng)求用于提交數(shù)據(jù)。

答：get

41st

21.網(wǎng)頁(yè)請(qǐng)求方式通?？梢苑譃?)和post請(qǐng)求.

答：get

22.網(wǎng)頁(yè)請(qǐng)求的過(guò)程通常包括兩個(gè)主要階段：(Request)()和(R

esponse)響應(yīng)

答：請(qǐng)求

23.搜索引擎是通用()最重要的應(yīng)用領(lǐng)域。

答：爬蟲

24.什么是爬蟲？

答：爬蟲是一種自動(dòng)化程序，用于通過(guò)訪問(wèn)網(wǎng)頁(yè)并提取數(shù)據(jù)。

25.什么是反爬蟲機(jī)制？

答：是網(wǎng)站為防止爬蟲程序訪問(wèn)和獲取數(shù)據(jù)而采取的措施，如驗(yàn)

證碼

26.什么是HTML解析器？

答：TML解析器是用于解析HTML文檔的工具

27.什么是HTML解析器？

答：HTML解析器是用于解析HTML文檔并提取信息的工具

28.如果my」ist是一個(gè)列表，那么my」ist[0]表示是列表的第()

個(gè)元素。

答：1

29.請(qǐng)解釋soup.find_all(id=”link2”)語(yǔ)句的作用？

答：用于在解析的文檔中查找所有具有指定id屬性值為"link2”

的HTML標(biāo)簽。

42nd

30.請(qǐng)簡(jiǎn)述Robots協(xié)議的作用？

答：定義了網(wǎng)絡(luò)爬蟲訪問(wèn)網(wǎng)站的規(guī)則。

31.請(qǐng)簡(jiǎn)述bs4數(shù)據(jù)解析的原理？

答：將HTML或XML文檔解析為標(biāo)簽樹，通過(guò)遍歷標(biāo)簽樹來(lái)獲

與I數(shù)據(jù)。

32.請(qǐng)分析語(yǔ)句soup.find_all("a",class_="example")'的作用是查找

什么標(biāo)簽？

答:查找所有名稱為a并具有class屬性值為example的標(biāo)簽列表。

33.爬蟲是用()語(yǔ)言編寫的程序，通常用于數(shù)據(jù)采集和網(wǎng)頁(yè)信息

抓取。

答：Python

34.爬蟲的數(shù)據(jù)存儲(chǔ)格式有哪些？

答：CSV、JSON、數(shù)據(jù)庫(kù)等

35.爬蟲程序通過(guò)模擬()的行為，向目標(biāo)網(wǎng)站發(fā)送HTTP請(qǐng)求，

然后解析網(wǎng)站返回的HTML內(nèi)容，提取所需的數(shù)據(jù)。

答：瀏覽器

36.解釋在kafka中kafka-console-consumer.sh-bootstrap-sen^erslave

1:9092—topichello—from-beginning語(yǔ)句的作用

答：連接到Kafka集群中的slavel服務(wù)器，并從頭開始消費(fèi)來(lái)自

hello主題的消息。

37.解釋在ApachcFlumc配置文件中的語(yǔ)句al.sourccs.rl.typc=nctca

t的作用？

43rd

答：指定Flume中名為rl的數(shù)據(jù)源綁定到的master主機(jī)，即監(jiān)

聽發(fā)送到master的數(shù)據(jù)源

38.解釋在ApachePlume配置文件中的語(yǔ)句al.sources.rl.type=netca

t的作用

答：指定Flume中的數(shù)據(jù)源(Source)的類型為netcat

39.解釋在ApachcFlumc配置文件中的語(yǔ)句al.channels.cl.typc=mc

moty的作用

答：指定Flume中名為cl的通道(Channel)的類型為memoryo

40.簡(jiǎn)述編寫爬蟲程序的一般思路

答：1.確定爬取的url網(wǎng)址，2.發(fā)送請(qǐng)求，3.解析數(shù)據(jù)，4.保存數(shù)

據(jù)

41.對(duì)于大量數(shù)據(jù)的爬取，一般選擇什么樣的數(shù)據(jù)存儲(chǔ)方式？

答：一般使用數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。如存儲(chǔ)在MySQL,CSV或JSON

文件。

42.當(dāng)客戶端發(fā)送請(qǐng)求，服務(wù)器返回狀態(tài)碼200,表示HTTP請(qǐng)求

已()o

答：成功

43.從木質(zhì)上來(lái)理解，xpath模塊是干什么的？

答：XPath模塊是用來(lái)在XML文檔中定位、選擇和提取特定數(shù)

據(jù)或節(jié)點(diǎn)的工具。

44.編寫爬蟲程序的倫理是什么？

答：1.不侵犯隱私權(quán)；2.不侵犯知識(shí)產(chǎn)權(quán)；3.避免對(duì)網(wǎng)站造成過(guò)大

44th

的負(fù)擔(dān)；4.合法用途

45.安裝kafka前需要準(zhǔn)備的環(huán)境

答：l.java環(huán)境2hadoop集群；3.zookeeper

46.XPath是用來(lái)做什么的？

答：XPath是一種用于在XML文檔中定位和選擇元素的查詢語(yǔ)

言，常用于網(wǎng)頁(yè)解析中。

47.XML與HTML區(qū)別？

答：XML和HTML都是標(biāo)記語(yǔ)言，XML的設(shè)計(jì)目的是為了描述

數(shù)據(jù)，而HTML則是為了呈現(xiàn)網(wǎng)頁(yè)的結(jié)構(gòu)和內(nèi)容

48.XML文檔中常見的節(jié)點(diǎn)有哪些？

答：根節(jié)點(diǎn)、元素節(jié)點(diǎn)、屬性節(jié)點(diǎn)、文本節(jié)點(diǎn)

49.XML文檔中常見的節(jié)點(diǎn)間關(guān)系包括什么?

答：父子、兄弟、祖先/后代

5O.User-Agent偽裝是指通過(guò)修改HTTP請(qǐng)求中的User-Agent字

段，使其偽裝成0身份。

答：瀏覽器

5LUser-Agent表示用戶（），用來(lái)標(biāo)識(shí)發(fā)起HTTP請(qǐng)求的客戶端

的相關(guān)信息。

答：代理

52.uH='https:〃