指導(dǎo)教師：基于網(wǎng)絡(luò)爬蟲的搜索引擎班級(jí)：網(wǎng)絡(luò)工程10-2學(xué)生：李陽(yáng)學(xué)號(hào)：2目錄系統(tǒng)的背景及意義1需求分析2系統(tǒng)設(shè)計(jì)3系統(tǒng)實(shí)現(xiàn)4背景 搜索引擎是人們網(wǎng)上購(gòu)物、看電影、看小說、看圖片等網(wǎng)絡(luò)使用中的第一個(gè)首選入口。其重要性不言而喻?；ヂ?lián)網(wǎng)的海量信息，讓人眼花繚亂，如果在短時(shí)間內(nèi)沒有找到用戶想要的信息，不僅影響用戶的心情，而且影響用戶的工作效率。 為了方便人們?cè)诖罅糠彪s的網(wǎng)頁(yè)中尋找出自己需要的信息，搜索引擎就應(yīng)運(yùn)而生了。目前主流開發(fā)引擎

系統(tǒng)的背景及意義意義

1.深入剖析搜索引擎的具體原理

2.搜索引擎直接改變了人們的網(wǎng)絡(luò)習(xí)慣 3.提供對(duì)指定鏈接的信息深入獲取

4.實(shí)現(xiàn)對(duì)信息的搜索匹配系統(tǒng)的背景及意義系統(tǒng)功能 功能劃分 主要功能包括：數(shù)據(jù)采集、數(shù)據(jù)保存、數(shù)據(jù)排序、搜索引擎功能描述 （一）數(shù)據(jù)采集 對(duì)指定鏈接的網(wǎng)頁(yè)中的所有的超連接進(jìn)行采集，然后對(duì)沒一條超鏈接進(jìn)行進(jìn)一步的解析，按一定的規(guī)則把超鏈接的網(wǎng)頁(yè)的內(nèi)容采集出來。需求分析 （二）數(shù)據(jù)保存 把采集到的數(shù)據(jù)保存到數(shù)據(jù)庫(kù)。數(shù)據(jù)的主要內(nèi)容包括：網(wǎng)頁(yè)標(biāo)題、作者、內(nèi)容、發(fā)表時(shí)間、鏈接地址。 （三）數(shù)據(jù)排序 對(duì)符合搜索條件的數(shù)據(jù)進(jìn)行排序，排序規(guī)則是關(guān)鍵字的匹配和網(wǎng)頁(yè)的發(fā)表時(shí)間。 （四）搜索引擎

首先響應(yīng)用戶的HTTP請(qǐng)求，獲取搜索關(guān)鍵字；然后查詢數(shù)據(jù)庫(kù)里面匹配關(guān)鍵字的數(shù)據(jù)，把符合條件的數(shù)據(jù)提取出來，存到一個(gè)臨時(shí)表中；最后查詢臨時(shí)表的數(shù)據(jù)并排序，返回?cái)?shù)據(jù)。需求分析系統(tǒng)設(shè)計(jì)系統(tǒng)整體架構(gòu)

系統(tǒng)所采用的B/S模式在邏輯體系結(jié)構(gòu)上可以分為用戶表現(xiàn)層、業(yè)務(wù)邏輯層、數(shù)據(jù)服務(wù)層3層體系統(tǒng)結(jié)構(gòu)系統(tǒng)設(shè)計(jì)數(shù)據(jù)采集模塊

數(shù)據(jù)采集模塊的功能抓取web服務(wù)器上的web文檔系統(tǒng)設(shè)計(jì)搜索模塊

搜索引擎模塊主要完成用戶對(duì)數(shù)據(jù)的搜索功能。系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)采集的實(shí)現(xiàn)

數(shù)據(jù)采集的實(shí)現(xiàn)主要是用了javaswing技術(shù)。在操作界面中有url輸入框、設(shè)置抓取周期輸入框。url指的是采集目標(biāo)的網(wǎng)址。抓取周期是隔一定的時(shí)間抓取一次。當(dāng)點(diǎn)擊開始按鈕時(shí)，系統(tǒng)會(huì)檢查輸入url的合法性，如果url合法，則檢查抓取周期是否輸入。檢查都通過后，系統(tǒng)啟動(dòng)線程抓取數(shù)據(jù)。實(shí)現(xiàn)效果如圖。

系統(tǒng)實(shí)現(xiàn)搜索引擎的實(shí)現(xiàn)

搜索引擎的實(shí)現(xiàn)是整個(gè)系統(tǒng)的主要部分，其主要要解決的問題是提取出匹配搜索關(guān)鍵字的數(shù)據(jù)，并進(jìn)行排序。關(guān)鍵字的匹配方式是：先用關(guān)鍵字和數(shù)據(jù)庫(kù)中的newstitle字段進(jìn)行匹配，然后再匹配newscontent字段。排列的方式是：先把時(shí)間轉(zhuǎn)換成數(shù)字形式，然后用SQL語(yǔ)句中的從大到小排序。

界面效果圖大學(xué)本科的學(xué)習(xí)生活即將結(jié)束。在此，我要感謝所有曾經(jīng)教導(dǎo)過我的老師和關(guān)心過我的同學(xué)，他們?cè)谖页砷L(zhǎng)過程中給予了我很大的幫助。本文能夠順利完成