趣學(xué)Python爬蟲我與爬蟲有個(gè)約會(huì)本課目錄INDEX什么是爬蟲？爬蟲的數(shù)據(jù)延伸合理使用爬蟲爬蟲的分類爬蟲的業(yè)務(wù)場(chǎng)景關(guān)于反爬的說明爬蟲的基本原理Show一個(gè)小案例什么是爬蟲？爬蟲是一種大批量獲取數(shù)據(jù)的方法通俗易懂的說-爬蟲就是一個(gè)“機(jī)器/程序”，這臺(tái)“機(jī)器”根據(jù)目標(biāo)/關(guān)鍵字模擬人的行為去各個(gè)網(wǎng)站/頁面提取數(shù)據(jù)，然后把數(shù)據(jù)拉回來。這是個(gè)信息爆炸的時(shí)代，也是個(gè)數(shù)據(jù)封鎖的時(shí)代，各大網(wǎng)站和應(yīng)用（你懂的那些）他們會(huì)根據(jù)你的上網(wǎng)行為，用算法推薦你能看到哪些信息，但是這些信息真的是我們想看的嗎？我們?cè)趺凑莆罩鲃?dòng)權(quán)？批量爬取圖片 批量爬取關(guān)健文字 批量爬取視頻批量爬取購物網(wǎng)站價(jià)格 批量爬取某商品評(píng)論批量爬取某地房?jī)r(jià)…………爬蟲能做什么？

我的數(shù)據(jù)我做主爬蟲的數(shù)據(jù)延伸爬蟲課一向的重點(diǎn)是在爬這個(gè)層面上，那么本講與大家探討一下數(shù)據(jù)層的東西舉個(gè)簡(jiǎn)單的例子業(yè)務(wù)需求：老板讓我爬取某個(gè)商品在全國各個(gè)省份的平均價(jià)格？STEP1

如何去爬？STEP2

如何讓數(shù)據(jù)有價(jià)值？鎖定有效關(guān)鍵字鎖定關(guān)鍵信息源（網(wǎng)站）爬取方式數(shù)據(jù)預(yù)處理（可用）原始數(shù)據(jù)與公司數(shù)據(jù)比對(duì)比對(duì)后的結(jié)論無序數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)作為參考比對(duì)（分析）結(jié)論（輔助決策）合理使用爬蟲關(guān)于爬蟲使用倡議爬蟲的破壞力：過度使用爬蟲輕則導(dǎo)致服務(wù)器下線，重則可以導(dǎo)致網(wǎng)站徹底宕機(jī)；通過爬蟲獲取的敏感數(shù)據(jù)、個(gè)人數(shù)據(jù)、版權(quán)數(shù)據(jù)進(jìn)行銷售屬于嚴(yán)重違法，且爬蟲工程師連帶責(zé)任；爬蟲的合法性：在法律允許的范圍內(nèi)進(jìn)行注意使用中的法律風(fēng)險(xiǎn)（以爬蟲名義實(shí)施黑客行為）爬蟲的非正常使用如同黑客行為。且行且珍惜！出問題的從不是爬蟲，

是背后的“我們”，善用爬蟲讓他成為價(jià)值工具，

不要讓他成為作案工具爬蟲的分類通用爬蟲：抓取互聯(lián)網(wǎng)整個(gè)頁面數(shù)據(jù)，通常是搜索引擎使用，保證各個(gè)網(wǎng)站在搜索引擎上有一定的露出。聚焦爬蟲：聚焦爬蟲是通用爬蟲的升級(jí)版本，抓取特定的內(nèi)容，或者說基于某個(gè)關(guān)鍵字或規(guī)則抓取內(nèi)容。增量爬蟲：基于聚焦爬蟲的規(guī)則，

檢測(cè)是否有新的數(shù)據(jù)更新，如果有則進(jìn)行抓取。爬蟲的業(yè)務(wù)場(chǎng)景暢銷書排行分析驗(yàn)證碼破解用戶拓展關(guān)系分析模擬登陸系統(tǒng)文件下載助手開發(fā)音樂網(wǎng)站批量下載城市旅游數(shù)據(jù)分析購物網(wǎng)站數(shù)據(jù)挖掘分析電商信息數(shù)據(jù)分析論壇發(fā)帖、問答推廣、效果回訪爬取微信公眾號(hào)，進(jìn)行數(shù)據(jù)分析頭條自動(dòng)發(fā)文章，賺點(diǎn)廣告費(fèi)新聞數(shù)據(jù)分析個(gè)人信息檢索系統(tǒng)特定信息收集系統(tǒng)自動(dòng)填寫調(diào)查問卷爬蟲分析熱度排行爬蟲進(jìn)行股票分析爬取網(wǎng)站定向數(shù)據(jù)視頻網(wǎng)站視頻批量下載購物網(wǎng)站比價(jià)系統(tǒng)文章批量下載飛機(jī)票比價(jià)系統(tǒng)招聘公司爬取招聘信息爬取房產(chǎn)網(wǎng)站做房產(chǎn)分析財(cái)務(wù)報(bào)表下載排行分析不看不知道一看嚇一跳總有一款適合你數(shù)據(jù)出處：/爬蟲的業(yè)務(wù)場(chǎng)景為現(xiàn)有應(yīng)用提供數(shù)據(jù)數(shù)據(jù)作為分析基礎(chǔ)個(gè)人便利目的關(guān)于反爬的說明爬蟲和網(wǎng)站之間一直就在一個(gè)對(duì)立面上，是一個(gè)明刀明槍的對(duì)抗。網(wǎng)站知道爬蟲有什么爬取方法，那么網(wǎng)站會(huì)采取更新的反爬機(jī)制，有了機(jī)制爬蟲會(huì)再次升級(jí)自己，直到能繞過去這個(gè)機(jī)制。這是一個(gè)永不休止的“斗爭(zhēng)”所以說，爬蟲就是網(wǎng)站的一個(gè)逆向工程舉一個(gè)例子，

好比戰(zhàn)爭(zhēng)中交戰(zhàn)的雙方，一方加密自己的作戰(zhàn)指令，另一方想方設(shè)法破解對(duì)方的加密信息。關(guān)于反爬機(jī)制通過相應(yīng)的安全機(jī)制、策略或者用通俗的說法叫門檻限制機(jī)器（爬蟲、非人）直接獲取數(shù)據(jù)關(guān)于反反爬機(jī)制爬蟲制定相關(guān)的策略破解/穿透/繞過去網(wǎng)站的反爬機(jī)制，反反爬機(jī)制的核心就是讓你的爬蟲更像人robots.txt

協(xié)議Robots協(xié)議是一個(gè)防君子不防小人的協(xié)議，

規(guī)定本網(wǎng)站哪些數(shù)據(jù)可以被爬取，哪些不可以爬取，這不是一個(gè)技術(shù)手段，而是一個(gè)聲明，但是具有法律效應(yīng)。

https:///robots.txt

大家可以嘗試一下知乎的robots協(xié)議爬蟲的基本原理爬蟲其實(shí)就是WEB（網(wǎng)站）的逆向工程瀏覽器輸入

網(wǎng)址（）回車（向服務(wù)器發(fā)起請(qǐng)求）服務(wù)器接到請(qǐng)求返回代碼（前端代碼）瀏覽器接收代碼瀏覽器解析代碼展示出頁面發(fā)起請(qǐng)求返回代碼瀏覽器解析網(wǎng)站服務(wù)器靜態(tài)模式爬蟲的基本原理爬蟲其實(shí)就是WEB（網(wǎng)站）的逆向工程JS加載內(nèi)容動(dòng)態(tài)模式瀏覽器輸入

網(wǎng)址（）回車（向服務(wù)器發(fā)起請(qǐng)求）服務(wù)器接到請(qǐng)求返回部分前端和Javascript代碼Javascript再次發(fā)起請(qǐng)求加載頁面的實(shí)際內(nèi)容實(shí)際上能看到這個(gè)頁面，

除了用戶錄入回車一次請(qǐng)求，那么頁面還向服務(wù)器發(fā)送了一次請(qǐng)求，

又一次加載了具體內(nèi)容，比如課程列表等。用戶請(qǐng)求得到基礎(chǔ)頁面和js代碼js代碼Show一個(gè)小案例我想隨時(shí)查看中國任