201809網絡爬蟲系統-項目建設方案_第1頁
201809網絡爬蟲系統-項目建設方案_第2頁
201809網絡爬蟲系統-項目建設方案_第3頁
201809網絡爬蟲系統-項目建設方案_第4頁
201809網絡爬蟲系統-項目建設方案_第5頁
已閱讀5頁，還剩9頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

---py^pi^erdashboardUAMdV抓取過程抓取是一個循環(huán)的過程，抓取工具從WebDB中生成了一個Fetchlist集合；抽取工具根據Fetchlist從網絡上下載網頁內容；工具程序根據抽取工具發(fā)現的新鏈接更新WebDB,然后再生成新的Fetchlist，周而復始。這個抓取循環(huán)在Nutch中經常指：generate/fetch/update循環(huán)。一般來說同一域名下的URL鏈接會被合成到同一個Fetchlist。這樣做的考慮是：當同時使用多個工具抓取的時候，不會產生重復抓取的現象。Nutch遵循RobotsExclusionProtocol,可以用robots.txt定義保護私有網頁數據不被抓去。上面這個抓取工具的組合是Nutch的最外層的，也可以直接使用更底層的工具，自己組合這些底層工具的執(zhí)行順序達到同樣的結果。這是Nutch的優(yōu)勢。具體工作過程如下：?創(chuàng)建一個新的WebDB(admindb-create)；把開始抓取的跟URL放入WebDb(inject)；從WebDb的新segment中生成Fetchlist(generate)；根據Fetchlist列表抓取網頁的內容(fetch)；根據抓取回來的網頁鏈接URL更新WebDB(updatedb)；重復上面c-e步驟直到到達指定的抓取層數；硬件配置方案主機、存儲資源本項目硬件配置包括數據庫服務器2臺、應用服務器2臺，具體配置如下；主機名稱CPU（個）內存⑹存儲⑹操作系統描述HR-APP-A4850RedHat6.5應用主機，需要安裝Tomcat7.0.73和JDK1.7HR-APP-B4850RedHat6.5應用主機，需要安裝Tomcat7.0.73和JDK1.7HR-DB-A16323515oracle數據庫主機，利舊HR-DB-B1632oracle數據庫主機，利舊軟件資源1)數據庫：Oracle11g2)操作系統:RedHat6.53)應用服務器:Tomcat7.0.73、JDK1.74)WEB服務器：Nginx1.10.3(公用)資源估算存儲主機存儲(G)估算依據HR-APP-A32門戶與應用腳本1G

系統緩存：2GTomcat日志：4G臨時數據接口存儲：8G數據集成平臺與啟動緩存：4G系統冗余比例：40%總存儲要求：(1+2+4+8+4)/(1-40%)=1.66GHR-APP-B32同上HR-DB-AHR-DB-B3515Oracle11g安裝空間：60G系統表空間：200G應用表空間：2200G系統冗余比例：30%總存儲要求：(60+200+1600)/(1-30%)=3514.29GCPU與內存滿足日常運行要求即可。建議配置如下：應用服務器：4Cpu

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論