標準性能模型什么是標準性能模型標準性能模型的使用什么是標準性能模型/01

當Scrapy正常運行且下載器為瓶頸時，就是Scrapy的標準性能模型。此時，調(diào)度器有一定數(shù)量的請求，下載器滿負荷運行。抓取器負荷不滿，并且加載的響應不會持續(xù)增加。什么是標準性能模型標準性能模型的使用/02

三項設置負責控制下載器的性能：CONCURRENT_REQUESTS，CONCURRENT_REQUESTS_PER_DOMAIN和CONCURRENT_REQUESTS_PER_IP。第一個是宏觀上的控制，無論任何時候，并發(fā)數(shù)都不能超過CONCURRENT_REQUESTS。另外，如果是單域或幾個域，CONCURRENT_REQUESTS_PER_DOMAIN也可以限制活躍請求數(shù)。如果設置了CONCURRENT_REQUESTS_PER_IP，CONCURRENT_REQUESTS_PER_DOMAIN就會被忽略，活躍請求數(shù)就是每個IP的請求數(shù)量。對于共享站點，比如多個域名指向一個服務器，這可以降低服務器的載荷。標準性能模型的使用

為了更簡明的分析，現(xiàn)在把per-IP的限制關閉，即使CONCURRENT_REQUESTS_PER_IP為默認值（0），并設置CONCURRENT_REQUESTS_PER_DOMAIN為一個超大值（1000000）。這樣就可以無視其它的設置，讓下載器的并發(fā)數(shù)完全受CONCURRENT_REQUESTS控制。吞吐量取決于下載網(wǎng)頁的平均時間，包括遠程服務器和我們系統(tǒng)（Linux、Twisted/Python）的延遲，tdownload=tresponse+toverhead。還可以加上啟動和關閉的時間。這包括從取得響應到Items離開pipeline的時間，和取得第一個響應的時間，還有空緩存的內(nèi)部損耗?？傊绻阋瓿蒒個請求，在爬蟲正常的情況下，需要花費的時間是：標準性能模型的使用

這時只需控制一部分參數(shù)就可以了。可以用一臺更高效的服務器控制toverhead，和tstart/stop，但是后者并不值得，因為每次運行只影響一次。除此之外，最值得關注的就是CONCURRENT_REQUESTS，它取決于如何使用服務器。如果將其設置成一個很大的值，在某一時刻就會使服務器或我們電腦的CPU滿負荷，這樣響應就會不及時，tresponse會急劇升高，因為網(wǎng)站會阻塞、屏蔽進一步的訪問，或者服務器會崩潰。讓我們驗證一下這個理論。我們抓取2000個items，tresponse∈{0.125s，0.25s，0.5s}，CONCURRENT_REQUESTS∈{8，16，32，64}：標準性能模型的使用完成2000個請求的時間如下：接下來復雜的數(shù)學推導，可以跳過。在圖5中，可以看到一些結(jié)果。將上一個公式變形為y=toverhead·x+tstart/stop，其中x=N/CONCURRENT_REQUESTS，y=tjob·x+tresponse。使用最小二乘法（LINESTExcel函數(shù)）和前面的數(shù)據(jù)，可以計算出toverhead=6ms，tstart/stop=3.1s。toverhead可以忽略，但是開始時間相