網(wǎng)絡(luò)爬蟲和抽取系統(tǒng)設(shè)計購物比價網(wǎng)題號：603140608020軟件1401吳帥帥Contents01.爬蟲介紹02.項目介紹03.系統(tǒng)架構(gòu)01-1.什么是網(wǎng)絡(luò)爬蟲？01-2.爬蟲架構(gòu)02-1.什么是購物比價網(wǎng)？02-2.比價網(wǎng)的價值03-1.系統(tǒng)功能03-2.系統(tǒng)組成和分層架構(gòu)04.技術(shù)架構(gòu)04-1.爬蟲選擇04-2.WEB框架選擇01-3.爬蟲工作原理和價值02-2.

比價網(wǎng)的目標爬蟲介紹Crawlerintroduction01爬蟲介紹4什么是網(wǎng)絡(luò)爬蟲？網(wǎng)絡(luò)爬蟲：一段自動抓取互聯(lián)網(wǎng)信息的程序?；ヂ?lián)網(wǎng)URLURLURLURLURLURLURL人工爬蟲爬蟲價值數(shù)據(jù)爬蟲介紹爬蟲架構(gòu)5爬蟲URL管理器網(wǎng)頁下載器網(wǎng)頁解析器爬蟲調(diào)度端價值數(shù)據(jù)爬蟲介紹爬蟲架構(gòu)-運行流程6調(diào)度器URL管理器下載器應用解析器有待爬URL?是/否獲取1個待爬URLURL下載URL內(nèi)容URL內(nèi)容解析URL內(nèi)容價值數(shù)據(jù)、新URL列表價值數(shù)據(jù)新增到待爬取URL輸出價值數(shù)據(jù)循環(huán)項目介紹爬蟲的價值7商品價格對比網(wǎng)爬取多個購物網(wǎng)站的某件商品的價格，進行對比。招聘信息網(wǎng)爬取多個招聘網(wǎng)站，將招聘信息分類，供用戶查詢。技術(shù)文章大全爬取某知名博客網(wǎng)站，將某類文章爬取下來，制作成本地離線的電子書。新聞聚合閱讀器爬取多個新聞網(wǎng)站，將新聞聚集顯示，提供全面的實時信息。價值數(shù)據(jù)價值：互聯(lián)網(wǎng)數(shù)據(jù)，為我所用！項目介紹Projectintroduction02項目介紹購物比價網(wǎng)9

以價格比較為核心業(yè)務，從其他網(wǎng)上商城抓取產(chǎn)品信息，提供給用戶瀏覽和比較，為購買決策提供有力的參考。什么是購物比價網(wǎng)？項目介紹購物比價網(wǎng)價值10

解決用戶在購物時需打開多個網(wǎng)站，不斷自行比較的繁瑣問題。節(jié)省用戶購物時間優(yōu)化用戶的購物體驗，帶給用戶帶了更愉悅的購物經(jīng)歷。購物比價網(wǎng)有什么價值？項目介紹購物比價網(wǎng)目標11目標是徹底打撈網(wǎng)絡(luò)信息，從而擁有海量、準確的產(chǎn)品描述、報價、經(jīng)銷商通訊錄、產(chǎn)品測評和使用體驗，并通過盡可能簡單的操作，讓消費者精準鎖定中意的產(chǎn)品。購物比價網(wǎng)的目標？系統(tǒng)架構(gòu)SystemArchitecture03系統(tǒng)架構(gòu)用例圖13登錄瀏覽商品收藏商品查詢商品推薦商品對比價格<<include>><<include>><<include>>用戶系統(tǒng)架構(gòu)業(yè)務架構(gòu)14價格對比商品評價折扣搜索歷史價格分析商品推薦系統(tǒng)架構(gòu)業(yè)務組成15商品推薦根據(jù)用戶的瀏覽記錄和收藏夾，根據(jù)用戶喜好給用戶推薦商品。折扣搜索用戶搜索某一商品時，同時提供各電商網(wǎng)站的關(guān)于此商品的折扣信息。價格對比用戶查看某一商品的時候，提供價格對比的信息，幫助用戶決策。歷史價格分析用戶可以搜尋某商品的歷史價格分析圖，為什么時候購買提供決策信息。系統(tǒng)架構(gòu)分層架構(gòu)16

表現(xiàn)層

業(yè)務層

持久層

爬蟲層用戶信息數(shù)據(jù)庫商品信息數(shù)據(jù)庫歷史價格數(shù)據(jù)庫商品推薦價格比對歷史價格分析商品顯示商品購買入口價格走向圖評價信息數(shù)據(jù)庫折扣顯示折扣搜索商品價格爬蟲商品信息爬蟲商品折扣爬蟲評價信息展示評價信息爬蟲商品價格數(shù)據(jù)庫評價合并技術(shù)架構(gòu)TechnicalFramework04技術(shù)架構(gòu)技術(shù)選擇18爬蟲服務器數(shù)據(jù)庫服務器MySQLWEB應用服務器Browser客戶端<<HTTP>><<Internet>><<Internet>>技術(shù)架構(gòu)選擇爬蟲框架19

Python開發(fā)的一個快速,高層次的屏幕抓取和web抓取框架，用于抓取web站點并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)。Scrapy用途廣泛，可以用于數(shù)據(jù)挖掘、監(jiān)測和自動化測試。技術(shù)架構(gòu)選擇URL實現(xiàn)20內(nèi)存Python內(nèi)存待爬取URL集合:set()待爬取URL集合:set()MySQLurls(urls,is_crawled)Redis待爬取URL集合:set待爬取URL集合:set關(guān)系數(shù)據(jù)庫緩存數(shù)據(jù)庫URL管理器實現(xiàn)方式技術(shù)架構(gòu)技術(shù)選擇21爬蟲服務器數(shù)據(jù)庫服務器MySQLWEB應用服務器Browser客戶端<<HTTP>><<Internet>><<Internet>>RedisScrapy技術(shù)架構(gòu)選擇WEB架構(gòu)22

Django是python的一個web框架，主要目的是簡便、快速的開發(fā)數(shù)據(jù)庫驅(qū)動的網(wǎng)站。它強調(diào)代碼復用,多個組件可以很方便的以“插件”形式服務于整個框架，Django有許多功能強大的第三方插件，你甚至可以很方便的開發(fā)出自己的工具包。這使得Django具有很強的可擴展性。技術(shù)架構(gòu)選擇服務器23

Nginx是一個高性能的HTTP和反向代理服務器，也是一個IMAP/POP3/SMTP服務器。其將源代碼以類BSD許可證的形式發(fā)布，因它的穩(wěn)定性、豐富的功能集、示例配置文件和低系統(tǒng)資源的消耗而聞名。技術(shù)架構(gòu)系統(tǒng)部署24爬蟲服務器RedisScrapy數(shù)據(jù)庫服務器MySQLWEB應用服務器DjangouWSGINginxBrowser客戶端<<HTTP>><<Internet>><<Internet>>THANKYOUPPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Exce