復(fù)習(xí)題一、單項選擇題1、下面有關(guān)Scrapy庫說法不正確的是（A）A、Scrapy不支持XPath選擇器B、可以使用pipinstallscrapy來安裝Scrapy框架。C、可以使用scrapystartprojectxxx來創(chuàng)建scrapy爬蟲項目。D、可以使用scrapyversion命令查看scrapy的版本信息。（A）2、有關(guān)Scrapy框架不正確的是（D）A、scrapygenspiderxxx表示使用模板創(chuàng)建爬蟲項目B、可以使用scrapycrawlxxx來啟動爬蟲項目C、Pycharm中可以直接運(yùn)行Scrapy爬蟲項目。D、scrapy框架中不能使用bs4模塊解析網(wǎng)頁數(shù)據(jù)二、判斷題1、Windows下只有確保安裝了wheel、lxml、PyOpenss1、Twisted、Pywin32成功安裝后，才能安裝Scrapy。（對）2、imagespipeline是Scrapy框架中一種特殊的pipeline(管道)，作用于圖片的下載。（對）3、Scrapy的配置文件settings.py，將命令“ROBOTSTXT_OBEY=True”表示不必遵守爬蟲協(xié)議。（錯）4、pipelines.py文件主要執(zhí)行保存數(shù)據(jù)的操作，數(shù)據(jù)對象來源于items.py。（對）5、Scrapy框架可以爬取Javascript等動態(tài)網(wǎng)站網(wǎng)頁。（錯）三、編程題1.請使用Scrapy爬蟲或selenium對對中國站長站素材欄目（/tupian/）的圖片進(jìn)行分頁式爬取。參考代碼：fromseleniumimportwebdriverfrommon.byimportByfromselenium.webdriver.support.uiimportWebDriverWaitimporttimeimporturllib.requestimportosbrowser=webdriver.Chrome()wait=WebDriverWait(browser,20)browser.get('/tupian/')pic_name=[]pic_url=[]defdownload_image(image_src):dirpath='downloadpic'#創(chuàng)建一個文件夾print(os.path.exists(dirpath))ifnotos.path.exists(dirpath):os.mkdir(dirpath)image_src="https:"+image_src#創(chuàng)建文件名filename=os.path.basename(image_src)#圖片路徑filepath=os.path.join(dirpath,filename)#發(fā)送請求，保存圖片headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/74.0.3729.131Safari/537.36',}request=urllib.request.Request(url=image_src,headers=headers)response=urllib.request.urlopen(request)withopen(filepath,'wb')asfp:fp.write(response.read())defparse_content():forninrange(1,41):pic_name.append(browser.find_element(By.XPATH,"http://*/div[@class='itemmasonry-brick'][{}]/div[@class='bot-div']/a[@class='name']".format(n)).text)pic_url.append(browser.find_element(By.XPATH,"http://div[@class='itemmasonry-brick'][{}]/img[@class='lazy']".format(n)).get_attribute('data-original'))forimage_srcinpic_url:download_image(image_src)time.sleep(2)#//div[@class='new-twoboxcontainer']/a[@class='nextpage']browser.find_element(By.XPATH,"http://*/div[@class='new-twoboxcontainer'