測(cè)量吞吐量和延時(shí)的擴(kuò)展如何測(cè)量吞吐量和延時(shí)的擴(kuò)展案例如何測(cè)量吞吐量和延時(shí)的擴(kuò)展/01用pipelines測(cè)量吞吐量(每秒的文件數(shù))和延遲(從計(jì)劃到完成下載的時(shí)間)的變化十分有趣。Scrapy已經(jīng)有了一個(gè)可以測(cè)量吞吐量的擴(kuò)展，LogStats，我們用它作為起點(diǎn)。為了測(cè)量延遲，我們連接信號(hào)request_scheduled、response_received和item_scraped。我們給每個(gè)蓋上時(shí)間戳，通過(guò)相減計(jì)算延遲，然后再計(jì)算平均延遲。如何測(cè)量吞吐量和延時(shí)的擴(kuò)展通過(guò)觀察信號(hào)的調(diào)用參數(shù)，我們發(fā)現(xiàn)了一些問(wèn)題。item__scraped只得到了Responses，request_scheduled只得到了Requests,response_received兩個(gè)都取得了。我們不必破解就可以傳遞參數(shù)。每個(gè)Response都有一個(gè)Request成員，它指向回Request,更好的是，無(wú)論是否有重定向，它都有一個(gè)metadict,并與原生的Requests的metadict相同。所以可以將時(shí)間戳存在里面。如何測(cè)量吞吐量和延時(shí)的擴(kuò)展案例/02首先我們看下代碼：案例前面兩個(gè)方法非常重要，因?yàn)樗鼈兙哂衅毡樾?。它們用一個(gè)Crawler對(duì)象啟動(dòng)中間件。我們會(huì)發(fā)現(xiàn)每個(gè)重要的中間件都是這么做的。用from_crawler(cls,crawler)是取得crawler對(duì)象。然后，我們看下init()方法引crawler.settings并設(shè)置了-個(gè)NotConfigured例外，如果沒有設(shè)置的話。可以看到許多FooBar擴(kuò)展控制著對(duì)應(yīng)的FOOBAR_ENABLED設(shè)置，如果后者沒有設(shè)置或?yàn)镕alse時(shí)。案例這是一個(gè)很常見的方式，讓settings.py設(shè)置(例如，ITEM__PIPELINES)可以包含相應(yīng)的中間件，但它默認(rèn)是關(guān)閉的，除非手動(dòng)打開。許多默認(rèn)的Scrapy中間件(例如，AutoThrottle或HttpCache)使用這種方式。在例子中，擴(kuò)展是無(wú)效的，除非設(shè)置LATENCIES_INTERVAL。而后在init給每個(gè)調(diào)用設(shè)置了信號(hào)，并且啟動(dòng)了一些成員變量。其余的類由信號(hào)操作。在_spider__opened(）,啟動(dòng)了一個(gè)定時(shí)器，每隔LATENCIES_INTERVAL秒，它會(huì)調(diào)用_log0方法。在_spider._closed()，我們關(guān)閉了定時(shí)器。在_request_scheduled0和_response_received()，在request.meta存儲(chǔ)了時(shí)間戳。在_item_scraped()，得到了兩個(gè)延遲，被抓取的items數(shù)量增加。_log0方法計(jì)算