第python爬蟲用scrapy獲取影片的實(shí)例分析我們平時(shí)生活的娛樂中，看電影是大部分小伙伴都喜歡的事情。周圍的人總會(huì)有意無(wú)意的在談?wù)摚惺裁从捌嫌?，好不好看之類的話題，沒事的時(shí)候談?wù)撾娪笆欠浅２诲e(cuò)的話題。那么，一些好看的影片如果不去電影院的話，在其他地方看都會(huì)有大大小小的限制，今天小編就教大家用python中的scrapy獲取影片的辦法吧。

1.創(chuàng)建項(xiàng)目

運(yùn)行命令:

scrapystartprojectmyfrist（your_project_name）

文件說(shuō)明：名稱|作用--|--scrapy.cfg|項(xiàng)目的配置信息，主要為Scrapy命令行工具提供一個(gè)基礎(chǔ)的配置信息。（真正爬蟲相關(guān)的配置信息在settings.py文件中）items.py|設(shè)置數(shù)據(jù)存儲(chǔ)模板，用于結(jié)構(gòu)化數(shù)據(jù)，如：Django的Modelpipelines|數(shù)據(jù)處理行為，如：一般結(jié)構(gòu)化的數(shù)據(jù)持久化settings.py|配置文件，如：遞歸的層數(shù)、并發(fā)數(shù)，延遲下載等spiders|爬蟲目錄，如：創(chuàng)建文件，編寫爬蟲規(guī)則

注意：一般創(chuàng)建爬蟲文件時(shí)，以網(wǎng)站域名命名

2編寫spdier

在spiders目錄中新建daidu_spider.py文件

2.1注意

爬蟲文件需要定義一個(gè)類，并繼承scrapy.spiders.Spider

必須定義name，即爬蟲名，如果沒有name，會(huì)報(bào)錯(cuò)。因?yàn)樵创a中是這樣定義的

2.2編寫內(nèi)容

在這里可以告訴scrapy。要如何查找確切數(shù)據(jù)，這里必須要定義一些屬性

name:它定義了蜘蛛的唯一名稱

allowed_domains:它包含了蜘蛛抓取的基本URL；

start-urls:蜘蛛開始爬行的URL列表；

parse():這是提取并解析刮下數(shù)據(jù)的方法；

下面的代碼演示了蜘蛛代碼的樣子：

importscrapy

classDoubanSpider(scrapy.Spider):

name='douban'

allwed_url=''

start_urls=[

'/top250/'

defparse(self,response):

movie_name=response.xpath("http://div[@]//a/span[1]/text()").extract()

movie_core=response.xpath("http://div[@]/span[2]/text()").extract()

yield