老師：李挺第十二章網(wǎng)絡(luò)爬蟲(chóng)網(wǎng)絡(luò)爬蟲(chóng)（又稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁(yè)追逐者）是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。01爬蟲(chóng)爬蟲(chóng)簡(jiǎn)介實(shí)例演示視頻下載：/c/a3a86688-d96f-42b0-88c8-e81c37178565不是所有的網(wǎng)站視頻都可以爬取到原視頻地址。requests是python公認(rèn)的最優(yōu)秀的爬蟲(chóng)第三方庫(kù)，可以實(shí)現(xiàn)自動(dòng)爬取html頁(yè)面內(nèi)容。爬取網(wǎng)頁(yè)代碼非常簡(jiǎn)介，可以做到一行代碼即可實(shí)現(xiàn)網(wǎng)頁(yè)的爬取。urllib是python自帶的爬蟲(chóng)標(biāo)準(zhǔn)庫(kù)；python標(biāo)準(zhǔn)庫(kù)：/zh-cn/3/library/index.html官方網(wǎng)站：https://2.02requests庫(kù)方法方法說(shuō)明requests.request()構(gòu)造一個(gè)請(qǐng)求，支撐以下各方法的基礎(chǔ)方法requests.get()獲取HTML網(wǎng)頁(yè)的主要方法，對(duì)應(yīng)于HTTP的GETrequests.head()獲取HTML網(wǎng)頁(yè)頭信息的方法，對(duì)應(yīng)于HTTP的HEADrequests.post()向HTML網(wǎng)頁(yè)提交POST請(qǐng)求的方法，對(duì)應(yīng)于HTTP的POSTrequests.put()向HTML網(wǎng)頁(yè)提交PUT請(qǐng)求的方法，對(duì)應(yīng)于HTTP的PUTrequests.patch()向HTML網(wǎng)頁(yè)提交局部修改請(qǐng)求，對(duì)應(yīng)與HTTP的PATCHrequests.delete()向HTML頁(yè)面提交刪除請(qǐng)求,對(duì)應(yīng)于HTTP的DELETE常見(jiàn)的請(qǐng)求方法有兩種：get和postrequests.get(url,params=None,**kwargs)requests.get(url)構(gòu)造一個(gè)向服務(wù)器請(qǐng)求資源的Request對(duì)象由request庫(kù)自動(dòng)生成請(qǐng)求服務(wù)器接收到請(qǐng)求，會(huì)將對(duì)應(yīng)資源發(fā)送給客戶端返回一個(gè)包含服務(wù)器資源的Response對(duì)象url:獲取指定頁(yè)面的鏈接params：url中的額外參數(shù)，字典或字節(jié)流格式，可選的**kwargs：12個(gè)控制訪問(wèn)的參數(shù)，可選的返回的Response信息包含服務(wù)器返回的信息和Requests信息請(qǐng)可打開(kāi)pycharm觀察源代碼封裝屬性說(shuō)明r.status_codeHTTP請(qǐng)求的返回狀態(tài)，200表示連接成功r.textHTTP響應(yīng)內(nèi)容的字符串形式，即url對(duì)應(yīng)的頁(yè)面內(nèi)容r.encoding從HTTPheader中猜測(cè)的相應(yīng)內(nèi)容編碼方式r.apparent_encoding從內(nèi)容中分析出的相應(yīng)內(nèi)容編碼方式(備選編碼方式)r.contentHTTP相應(yīng)內(nèi)容的二進(jìn)制形式200表示連接成功，404代表客戶端在瀏覽網(wǎng)頁(yè)時(shí),服務(wù)器無(wú)法正常提供信息,或是服務(wù)器無(wú)法回應(yīng)且不知原因Response對(duì)象的信息HTTPheader/get該網(wǎng)站會(huì)判斷如果客戶端發(fā)起的是GET請(qǐng)求的話，它返回相應(yīng)的請(qǐng)求信息。添加額外信息現(xiàn)在想添加兩個(gè)額外信息，其中name是zhangsan,sex是man例如：info={'name':'zhangsan','sex':'man'}r=requests.get('/get',params=info)r=requests.get('http:///get?name=zhangsan&sex=man')百度和360搜索如何自動(dòng)的實(shí)現(xiàn)搜索關(guān)鍵詞？百度和360搜索為搜索關(guān)鍵詞提供了接口百度搜索接口：https:///s?wd=關(guān)鍵詞360搜索接口：https:///s?q=關(guān)鍵詞求的鏈接自動(dòng)被構(gòu)造成控制范圍字headers修改請(qǐng)求頭headers內(nèi)容http://host[path]host:合法的Internet主機(jī)域名或IP地址

path：請(qǐng)求資源的路徑，指主機(jī)服務(wù)器對(duì)應(yīng)的地址例如：/https:///creator/featured-question/knowledge-planHTTP的全稱是HyperTextTransferProtocol,中文名叫作超文本傳輸協(xié)議HTTPS的全稱是HyperTextTransferProtocoloverSecureSocketLayer，是以安全為目標(biāo)的HTTP通道，簡(jiǎn)單講是HTTP的安全版，即HTTP下加入SSL層，簡(jiǎn)稱為HTTPS。URL格式狀態(tài)碼：百度百科狀態(tài)碼即可；POST請(qǐng)求向服務(wù)器傳送數(shù)據(jù)表單信息data：提交字符信息files：文件上傳form：提交表單信息高級(jí)部分cookies：Cookies指某些網(wǎng)站為了辨別用戶身份、進(jìn)行會(huì)話跟蹤而存儲(chǔ)在用戶本地終端上的數(shù)據(jù)。http的一個(gè)特點(diǎn)無(wú)狀態(tài)：

http協(xié)議對(duì)事務(wù)處理是沒(méi)有記憶功能的。當(dāng)我們向服務(wù)器發(fā)送請(qǐng)求后，服務(wù)器解析此請(qǐng)求，然后返回對(duì)應(yīng)的響應(yīng)，服務(wù)器負(fù)責(zé)完成這個(gè)過(guò)程，而且這個(gè)過(guò)程是完全獨(dú)立的，服務(wù)器不會(huì)記錄前后狀態(tài)的變化，也就是缺少狀態(tài)記錄。例如密碼登錄無(wú)法實(shí)現(xiàn)。用于保持HTTP連接狀態(tài)的技術(shù)就出現(xiàn)了，它們分別是會(huì)話和Cookies會(huì)話和Cookies會(huì)話在服務(wù)端，也就是網(wǎng)站的服務(wù)器，用來(lái)保存用戶的會(huì)話信息；Cookies在客戶端，也可以理解為瀏覽器端，有了Cookies，瀏覽器在下次訪問(wèn)網(wǎng)頁(yè)時(shí)會(huì)自動(dòng)附帶上它發(fā)送給服務(wù)器，服務(wù)器通過(guò)識(shí)別Cookies并鑒定出是哪個(gè)用戶，然后再判斷用戶是否是登錄狀態(tài)，然后返回對(duì)應(yīng)的響應(yīng)。我們可以理解為Cookies里面保存了登錄的憑證，有了它，只需要在下次請(qǐng)求攜帶Cookies發(fā)送請(qǐng)求而不必重新輸入用戶名、密碼等信息重新登錄了。會(huì)話CookiesSet-Cookie高級(jí)部分--會(huì)話維持利用get()或post()每一次請(qǐng)求都是獨(dú)立的，相當(dāng)于每次發(fā)出請(qǐng)求類(lèi)似打開(kāi)一個(gè)新的瀏覽器訪問(wèn)，而不是瀏覽器中的選項(xiàng)卡中訪問(wèn)。如何實(shí)現(xiàn)下一次訪問(wèn)與上一次訪問(wèn)是相互關(guān)聯(lián)的？?jī)纱握?qǐng)求時(shí)設(shè)置一樣的cookies維持同一個(gè)會(huì)話相當(dāng)于打開(kāi)一個(gè)新的瀏覽器選項(xiàng)卡而不是新開(kāi)一個(gè)瀏覽器如何創(chuàng)建會(huì)話維持？requests.session()利用Session，可以做到模擬同一個(gè)會(huì)話而不用擔(dān)心Cookies的問(wèn)題。它通常用于模擬登錄成功之后再進(jìn)行下一步的操作。項(xiàng)目實(shí)現(xiàn)—模擬登錄爬取github網(wǎng)頁(yè)輸入賬號(hào)信息可能出現(xiàn)郵箱驗(yàn)證進(jìn)入個(gè)人主頁(yè)獲取當(dāng)前賬戶的設(shè)置/login/sessions/verified-device/session/settings/profile使用代理服務(wù)器代理服務(wù)器作為一種既是服務(wù)器又是客戶機(jī)的中間程序,主要用于轉(zhuǎn)發(fā)客戶系統(tǒng)的網(wǎng)絡(luò)訪問(wèn)請(qǐng)求。作用例如：1