趣學(xué)Python爬蟲爬蟲框架之分布式本課目錄INDEX什么是分布式框架實現(xiàn)分布式原理scrapy框架實現(xiàn)分布式什么是分布式分布式的官方解釋在一個分布式系統(tǒng)中，一組獨立的計算機(jī)展現(xiàn)給用戶的是一個統(tǒng)一的整體，就好像是一個系統(tǒng)似的。系統(tǒng)擁有多種通用的物理和邏輯資源，可以動態(tài)的分配任務(wù)，分散的物理和邏輯資源通過計算機(jī)網(wǎng)絡(luò)實現(xiàn)信息交換。系統(tǒng)中存在一個以全局的方式管理計算機(jī)資源的分布式操作系統(tǒng)。通常，對用戶來說，分布式系統(tǒng)只有一個模型或范型。分布式通俗解讀訪問萬門網(wǎng)站，你看到的都是同一個你熟悉的頁面，但是是由哪個服務(wù)器為你提供的頁面你并不知道，但是后臺有多個服務(wù)器可以給你提供，具體由哪個服務(wù)器為你服務(wù)由“統(tǒng)籌方”指定正正訪問服務(wù)器1服務(wù)器2服務(wù)器3服務(wù)器4一臺服務(wù)器的服務(wù)能力是有上限的，在這個案例是平均訪問壓力統(tǒng)籌方爬蟲框架scrapy結(jié)構(gòu)InternetScheduler

調(diào)度器Items/Pipelines

管道Downloader

下載器主引擎2345STARTSpider

爬蟲器7 6 1ENGINE88包含中間件包含中間件請求發(fā)起數(shù)據(jù)解析執(zhí)行請求或下載動作任務(wù)存儲任務(wù)執(zhí)行調(diào)度數(shù)據(jù)持久化保存特別注意特別注意框架實現(xiàn)分布式原理分布式爬蟲即在多個機(jī)器上運行scrapy爬取同一個網(wǎng)站機(jī)器1機(jī)器2機(jī)器3互聯(lián)網(wǎng)一互聯(lián)網(wǎng)二互聯(lián)網(wǎng)三scrapy-1scrapy-2scrapy-3框架實現(xiàn)分布式原理我們再來梳理一下實現(xiàn)過程引擎調(diào)度器爬蟲器下載器管

道實現(xiàn)的目標(biāo)是多個scrapy爬取同一個網(wǎng)站引擎1爬蟲器

下載器scrapy-redis共享調(diào)度器單個引擎（單個電腦）目標(biāo)分布式（多電腦聯(lián)合一個任務(wù)）引擎2爬蟲器

下載器引擎3爬蟲器

下載器scrapy-redis共享管道pipinstall

scrapy-redis實現(xiàn)分布式所需的環(huán)境Redis數(shù)據(jù)庫安裝，

大家可自行下載也可以從課件資料中下載數(shù)據(jù)庫Python庫https://redis.io/download關(guān)于Redis的簡單操作Redis服務(wù)配置文件Redis主服務(wù)可執(zhí)行文件Redis客戶端可執(zhí)行文件redis-cli–h192.168.X.X–p

6379keys

*查看所有鍵值的鍵名lrange鍵名0-1查看當(dāng)前鍵下所有值flushdb

清空數(shù)據(jù)庫lpush 鍵名字

訪問地址

向隊列推入任務(wù)關(guān)于Redis的簡單操