Python中的pool問題_第1頁
免費預覽已結(jié)束，剩余1頁可下載查看

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認領

文檔簡介

1、python中的pool問題今日在幫一個兄弟找bug的時候發(fā)覺了一個與理論學問有點出入的地方，覺得還蠻故意思就共享一下。 這篇文章主要說明的是pool中map函數(shù)的運用，函數(shù)的主題是一個爬蟲，顯示的結(jié)果就是爬取的頁面提醒，所有代碼會在最后給大家附上，可以自己嘗試。 大家都知道m(xù)ap的函數(shù)原型為： map(func, iterable, chunksize=none)，其中iterable就是迭代器。 pool類中的map辦法，與內(nèi)置的map函數(shù)使用行為基本全都，它會使進程堵塞直到結(jié)果返回，這是大眾對于map函數(shù)的理解，所以基本產(chǎn)生的結(jié)果就是挨次執(zhí)行。但結(jié)果然是這樣嗎？ 1.首先來看看在迭代次數(shù)

2、很大時的效果： 1 可以看到因為池的數(shù)量和需要迭代的數(shù)量差距很大，所以存在資源的爭奪，即使程序的執(zhí)行速度很快，每個池的平均子進程數(shù)也是55，所以不會浮現(xiàn)循序執(zhí)行的結(jié)果。 2.迭代次數(shù)不變，進程池數(shù)量默認。 2 我們可以看到開頭的時候也不是挨次執(zhí)行的，這里就會引入一些假設： 1.其次個參數(shù)是一個迭代器，但在實際用法中，必需在囫圇隊列都就緒后，程序才會運行子進程 2.默認的進程池數(shù)量并不是1 要驗證上面兩種假設，就需要舉行下面的步驟。. 3.限定進程池的數(shù)量 3 霍，果真就是這樣，不過由于惟獨一個池，程序執(zhí)行的速度大大減慢了。寫到這里我們可以繼續(xù)往下挖一挖，看看每個池平均有幾個進程時不會嚴峻影響到程序的執(zhí)行挨次，換句話說資源的爭奪在一個池的進程執(zhí)行完后才開頭。 4.比例為4的時候（5在最上面）。 4 5 當比例為4的時候，可以看到開頭的時候基本會有一點小亂序，但后面基本就是挨次了，這個結(jié)果基本就很好了，再就是看看3的話是什么效果。 5.比例為3 6 果真，比例為三的時候基本就沒有亂序了，同時速度也很快。但是其實用法像lock等進程鎖的話基本就不會浮現(xiàn)亂序的問題，但從這件事中，不能盲目信任正式的說明。哈哈哈 另外我也在ipython中看了pool的相關說明，并沒有發(fā)覺默認進程池的數(shù)量，大概就是隨機的吧，但很少會是1. 后續(xù)我會繼續(xù)

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論