碩士學(xué)位論文 （專業(yè)學(xué)位） 網(wǎng)絡(luò)安全管理 系統(tǒng)的設(shè)計與實現(xiàn) 姓 名：張磊 學(xué) 號： 1134796 所在院系：軟件學(xué)院 職業(yè)類型： 工程碩士 專業(yè)領(lǐng)域：軟件工程 指導(dǎo)教師：張晨曦 教授 副 指導(dǎo)教師 ：許再良 二 一三 年 八 月 in 2010 2013 1134796 網(wǎng)絡(luò)安全管理系統(tǒng)的設(shè)計與實現(xiàn) 張磊 同濟(jì)大學(xué) 學(xué)位論文版權(quán)使用授權(quán)書 本人完全了解同濟(jì)大學(xué)關(guān)于 收集、保存、使用學(xué)位論文的規(guī)定，同意如下各項內(nèi)容：按照學(xué)校要求提交學(xué)位論文的印刷本和電子版本；學(xué)校有權(quán)保存學(xué)位論文的印刷本和電子版，并采用影印、縮印、掃描、數(shù)字化或其它手段保存論文；學(xué)校有權(quán)提供目錄檢索以及提供本學(xué)位論文全文或者部分的閱覽服務(wù)；學(xué)校有權(quán)按有關(guān)規(guī)定向國家有關(guān)部門或者機(jī)構(gòu)送交論文的復(fù)印件和電子版；在不以贏利為目的的前提下，學(xué)校可以適當(dāng)復(fù)制論文的部分或全部內(nèi)容用于學(xué)術(shù)活動。 學(xué)位論文作者簽名： 年 月 日 經(jīng)指導(dǎo)教 師同意，本學(xué)位論文屬于保密，在 年解密后適用本授權(quán)書。 指導(dǎo)教師簽名： 學(xué)位論文作者簽名： 年 月 日 年 月 日 濟(jì)大學(xué)學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下，進(jìn)行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本學(xué)位論文的研究成果不包含任何他人創(chuàng)作的、已公開發(fā)表或者沒有公開發(fā)表的作品的內(nèi)容。對本論文所涉及的研究工作做出貢獻(xiàn)的其他個人和集體，均已在文中以明確方式標(biāo)明。 本 學(xué)位論文原創(chuàng)性聲明的法律責(zé)任由本人承擔(dān)。 學(xué)位論文作者簽名： 年 月 日 同濟(jì)大學(xué) 碩士學(xué)位論文 摘要 I 摘要 隨著計算機(jī)和通信技術(shù)的發(fā)展，網(wǎng)絡(luò)信息的安全已成為一個至關(guān)重要且急需解決的問題。計算機(jī)網(wǎng)絡(luò)所具有的開放性、互連性和共享性等特征使網(wǎng)上信息安全 存在著先天不足，再加上系統(tǒng)軟件中的安全漏洞以及所欠缺的嚴(yán)格管理，致使網(wǎng)絡(luò)易受攻擊 。 針對于這些問題，網(wǎng)絡(luò)安全管理系統(tǒng)從 應(yīng)用 層面下手， 實現(xiàn)對站點頁面 的惡意篡改的監(jiān)測，同時對網(wǎng)頁中 木馬植入 的 情況 進(jìn)行檢測 。 本系統(tǒng)首先使用網(wǎng)絡(luò)爬蟲對指定站點的內(nèi)容進(jìn)行定 時抓取，并保存站點鏡像。再通過篡改分析模塊對站點鏡像內(nèi)容進(jìn)行分析和比對，來檢測出站點的惡意篡改情況。同時根據(jù)鏡像文件中的 內(nèi)容特征進(jìn)行木馬植入匹配，用于檢測站點的木馬植入情況。 最后系統(tǒng)將實時監(jiān)測的結(jié)果反饋給用戶，以便及時的發(fā)現(xiàn)和防護(hù)站點被植入木馬、惡意篡改的情況。 本 文 從 網(wǎng)絡(luò)安全管理的 相關(guān)知識 入手 ， 逐漸深入介紹 本 系統(tǒng)設(shè)計所使用到的技術(shù)原理和工具。 在 設(shè)計上 為 了滿足 高效、實時 監(jiān)測效果， 采用 了 C/S 與 B/在算法上采用了模糊哈希算法、編輯距離等算法來提高監(jiān)測的準(zhǔn)確性。 本系統(tǒng)特點在于利用網(wǎng)絡(luò)爬 蟲對站點頁面的惡意篡改與網(wǎng)頁中木馬植入情況的檢測與分析，實現(xiàn)保護(hù)互聯(lián)網(wǎng)站點 的 目的。本系統(tǒng)的優(yōu)勢在于 可以占用較低的系統(tǒng)資源來實現(xiàn)保護(hù)互聯(lián)網(wǎng)站點的目的，可用最簡單的方式實現(xiàn) 分布式部署 ，達(dá)到負(fù)載均衡的效果。 關(guān)鍵詞 : 網(wǎng)絡(luò)安全 ， 木馬植入 ， 惡意篡改 ，數(shù)據(jù)庫 I of a of as of in In to be to of in of To is to an on a in to of to be by in to of as is to of At is of to to as as in To an I a , to is by to a of to so as to of in a in 同濟(jì)大學(xué) 碩士學(xué)位論文 摘要 碩士學(xué)位論文 目錄 錄 第 1章 引言 . 7 題背景 . 7 內(nèi)外研究現(xiàn)狀 . 7 課題的目的和意義 . 2 文主要研究內(nèi)容 . 3 文的組織結(jié)構(gòu) . 4 第 2章 相關(guān)技術(shù) . 5 . 5 架 . 5 架 . 7 架 . 8 絡(luò)爬蟲技術(shù) . 10 絡(luò)爬蟲簡介 . 10 蟲實現(xiàn)技術(shù) . 11 改監(jiān)測技術(shù) . 12 改監(jiān)測簡述 . 12 糊哈希算法 . 16 輯距離算法 . 17 馬檢測技術(shù) . 20 頁植入木馬簡述 . 20 . 21 章小結(jié) . 22 第 3章 系統(tǒng)的需求分析 . 23 能性需求分析 . 23 . 25 . 25 統(tǒng)的性能 . 25 統(tǒng)的可擴(kuò)充性及可維護(hù)性 . 26 統(tǒng)用例分析 . 26 測站點管理的用例分析 . 26 同濟(jì)大學(xué) 碩士學(xué)位論文 目錄 V 改監(jiān)測結(jié)果的用例分析 . 27 馬檢測結(jié)果的用例分析 . 27 測結(jié)果統(tǒng)計的用例分析 . 28 戶管理模塊的用例分析 . 28 . 29 . 30 第 4章 系統(tǒng)的設(shè)計 . 31 統(tǒng)的整體架構(gòu) . 31 . 33 . 35 . 35 . 37 . 38 . 39 . 40 . 42 . 43 . 45 . 46 . 46 . 47 . 48 . 49 . 49 . 50 . 50 . 51 據(jù)庫的 設(shè)計 . 52 . 52 . 53 . 58 第 5章 系統(tǒng)的實現(xiàn) . 59 . 59 . 59 同濟(jì)大學(xué) 碩士學(xué)位論文 目錄 . 63 . 70 . 74 . 74 . 75 . 76 . 77 . 78 . 79 . 79 第 6章 總結(jié)與展望 . 81 致謝 . 83 參考文獻(xiàn) . 84 個人簡歷 在讀期間發(fā)表的學(xué)術(shù)論文與研究成果 . 86 同濟(jì)大學(xué) 碩士學(xué)位論文 目錄 1 章 引言 題背景 互 聯(lián)網(wǎng)是人類社會的重大科技發(fā)明，其發(fā)展、應(yīng)用和普及引發(fā)了前所未有的變革，已經(jīng)成為經(jīng)濟(jì)發(fā)展的重要引擎、社會運(yùn)行的重要基礎(chǔ)設(shè)施、文化建設(shè)的重要陣地、國際競爭的重要領(lǐng)域。 互聯(lián)網(wǎng)帶來了人與人、人與組織、人與社會之間的更多的互動，甚至每一個人都可以發(fā)布整合信息并成 為信息傳播的媒體。互聯(lián)網(wǎng)為社會的民主和進(jìn)步搭建了更為寬廣的平臺 。隨著國內(nèi)互聯(lián)網(wǎng)日益普及，網(wǎng)絡(luò)與信息 安全管理問題不斷涌現(xiàn)，對社會和公眾帶來負(fù)面影響。 目前互聯(lián)網(wǎng)上論壇、博客、微博客等新的應(yīng)用形式不斷涌現(xiàn)，網(wǎng)上有害信息的傳播途徑越來越多，網(wǎng)上斗爭的形勢日趨嚴(yán)峻，加強(qiáng)互聯(lián)網(wǎng) 安全監(jiān)測 的任務(wù)越來越重 ，而 現(xiàn)有的互聯(lián)網(wǎng)站管理系統(tǒng)技術(shù)模式、處理能力已明顯落后于互聯(lián)網(wǎng)的發(fā)展 。 對互聯(lián)網(wǎng)信息內(nèi)容進(jìn)行有效分析、 安全的管理 , 營造綠色、健康、有序的互聯(lián)網(wǎng)環(huán)境，凈化網(wǎng)絡(luò)不良內(nèi)容，營造綠色、健康、有序的互聯(lián)網(wǎng)環(huán)境，凈化網(wǎng)絡(luò)不良內(nèi)容，提升網(wǎng)絡(luò)服務(wù)品質(zhì) ,對 促進(jìn)網(wǎng)絡(luò)文化健康發(fā)展 這樣極其重要的意義 。 內(nèi)外研究現(xiàn)狀 網(wǎng)頁木馬、惡意 篡改這種安全威脅在中國萬維網(wǎng)上出現(xiàn)于 2003 年甚至更早 ， 很多國內(nèi)外研究者將新的智能處理技術(shù)引入網(wǎng)絡(luò)攻擊和病毒檢測中，提出了許多檢測網(wǎng)絡(luò)攻擊和惡意程序的新方法，如： 1、 在 2010 年 際會議上， J E 人提出基于 法的網(wǎng)絡(luò)入侵檢測系統(tǒng)，給系統(tǒng)通過在各個 對網(wǎng)絡(luò)活動進(jìn)行分析，匯總后識別網(wǎng)絡(luò)攻擊行為，可同濟(jì)大學(xué) 碩士學(xué)位論文 基于 系統(tǒng) 2 有效識別網(wǎng)絡(luò)入侵。但這種方法基本可歸于動態(tài)監(jiān)控方法，對潛 伏 的惡意篡改，木馬植入處理 仍有一定的局限性。 2、 人在 2005 年的報告中提出將數(shù)據(jù)挖掘技術(shù)用于木馬文件的 檢測。他們先利用數(shù)據(jù)挖掘的技術(shù)發(fā)現(xiàn)已知類型木馬的動態(tài)特征，然后利用這些特征構(gòu)造分類器來檢測木馬。 3、 微軟研究院的 目和 人通過蜜罐技術(shù)字段分析頁面，驗證了惡意網(wǎng)站的存在，當(dāng)時研究人員提出了基于客戶端的蜜罐技術(shù)的檢測方法。這種方法用于檢測和研究客戶端攻擊 ,主要功能是檢測惡意網(wǎng)頁和惡意服務(wù)器。但是由于 用與真實客戶端交互 的高客戶端交互方式進(jìn)行解析，從而需要充分的交互時間，并檢測大量的系統(tǒng)變化狀態(tài)，使得分析時間代價較大。 4、 中國科學(xué)技術(shù)大學(xué)的朱明等人提出了基于多 作實現(xiàn)未知木馬自動識別的方法，該方法利用駐留在局域網(wǎng)各機(jī)器檢測 網(wǎng)絡(luò)檢測 由協(xié)作 這些證據(jù)和初步判斷進(jìn)行融合印證并做出最終結(jié)論。該方法將 術(shù)引入木馬防范領(lǐng)域，但仍是通過動態(tài)執(zhí)行特性檢測木馬，對檢測潛伏木馬仍有一定局限性。 5、 武漢大學(xué)計算機(jī)學(xué)院的單長虹將人工智能中的啟發(fā)式分析技術(shù)引入木馬檢 測，提出一種啟發(fā)式分析的木馬實時殺毒模型。這種模型既可以實現(xiàn)對已知木馬的查殺，又可以對未知木馬驚醒啟發(fā)式分析，并將分析數(shù)據(jù)提交專家系統(tǒng)，由專家系統(tǒng)對其判定。 課題 的目的和意義 一個國家的信息安全體系實際上包括國家的法規(guī)和政策以及技術(shù)與市場的發(fā)展平臺 。 在構(gòu)建信息防衛(wèi)系統(tǒng)時 ， 應(yīng)著力發(fā)展自己獨特的安全產(chǎn)品 ， 要想真正解決網(wǎng)絡(luò)安全問題 ， 最終的辦法就是通過發(fā)展民族的安全產(chǎn)業(yè) ， 帶動網(wǎng)絡(luò)安全技術(shù)的整體提高。 信息安全是國家發(fā)展所面臨的一個重要問題 ， 對于這個問題我們還沒有從系統(tǒng)的規(guī)劃上去考慮它 ， 從技術(shù)上產(chǎn)業(yè)上政策上 來發(fā)展它 。 政府不僅應(yīng)該看見信息安全的發(fā)展是我國高科技產(chǎn)業(yè)的一部分 ， 而且應(yīng)該看到發(fā)展安全產(chǎn)業(yè)的政策是信息安全保障系統(tǒng)的一個重要組成部分 ， 甚至應(yīng)該看到它對我國未來電子 第 1章 引言 3 化信息化的發(fā)展將起到非常重要的作用。 信息安全問題已成為社會關(guān)注的焦點。特別是隨著 普及和電子商務(wù)、政府上網(wǎng)工程的啟動 。 一方面信息技術(shù)已經(jīng)成為整個社會經(jīng)濟(jì)和企業(yè)生存發(fā)展的重要基礎(chǔ) ， 在國計民生和企業(yè)經(jīng)營中的重要性日益凸現(xiàn) ； 另一方面政府主管機(jī)構(gòu)、企業(yè)和用戶對信息技術(shù)的安全性、穩(wěn)定性、可維護(hù)性和可發(fā)展性提出了越來越迫切的要求 。 因此 ， 從社會 發(fā)展和國家安全角度來看 ， 加大發(fā)展信息安全技術(shù)的力度已刻不容緩。 文主要 研究內(nèi)容 借鑒 國內(nèi)外成熟的網(wǎng)絡(luò)安全防護(hù)技術(shù) ，參 考一些成功 的 安全檢測設(shè)計與實現(xiàn)的案例 ，并結(jié)合 目前國內(nèi)網(wǎng)絡(luò)現(xiàn)狀 ，采取以實際應(yīng)用為目標(biāo)的設(shè)計思路進(jìn)行本課題的研究。 本課題設(shè)計是 采用 言 進(jìn)行開發(fā)， 采用傳統(tǒng)的 架，使用 為 后臺數(shù)據(jù)庫， 服務(wù)器，實現(xiàn)一個 網(wǎng)絡(luò)安全管理 系統(tǒng)。 本課題主要是設(shè)計和實現(xiàn)一個網(wǎng)絡(luò)安全管理系統(tǒng)，主要研究內(nèi)容包括： （ 1） 進(jìn)行項目需求分析。我們將 網(wǎng)絡(luò)安全管理 系統(tǒng)要實現(xiàn)的需求劃分為功能性需求和非功能性需求。功能性需求主要包含網(wǎng)絡(luò)爬蟲，安全管理，數(shù)據(jù)統(tǒng)計，用戶管理，系統(tǒng)管理等基本功能；在非功能需求中主要是考慮系統(tǒng) 安全性 ，性能和易用性 。 （ 2） 進(jìn)行該 系統(tǒng) 的總體設(shè)計：根據(jù)需求分析， 網(wǎng)絡(luò)爬蟲主要實現(xiàn)對監(jiān)測站點鏡像的爬取、與網(wǎng)安全管理系統(tǒng)交互功能 等； 安全管理包括監(jiān)測站點管理，篡改監(jiān)測分析，木馬植入分析等功能 。 數(shù)據(jù)統(tǒng)計，主要實現(xiàn)對監(jiān)測數(shù)據(jù)的一個數(shù)據(jù)挖掘功能，統(tǒng)計分析出站點的安全情況。用戶管理主要使用對用戶、用戶組、權(quán)限組間的配置實現(xiàn)系統(tǒng)用戶權(quán)限控制。系統(tǒng)管理功能包含了對系統(tǒng) 中必須參數(shù)的配置，以及系統(tǒng)正常運(yùn)行所需的數(shù)據(jù)管理。 （ 3） 進(jìn)行該 系統(tǒng) 的詳細(xì)設(shè)計和數(shù)據(jù)庫設(shè)計。 采用 式 引入的樣式、外觀，我們 可以 快捷地定義自己網(wǎng)站的風(fēng)格，使得每個頁面建設(shè)不再需要編寫重復(fù)的代碼。在設(shè)計 對 數(shù)據(jù) 庫 問時，利用 持久層框架 完整的封裝了同濟(jì)大學(xué) 碩士學(xué)位論文 基于 系統(tǒng) 4 數(shù)據(jù)的操作，而且支持業(yè)務(wù)對象，對實現(xiàn)多層結(jié)構(gòu)的應(yīng)用提供了簡便的方法。 （ 4） 進(jìn)行網(wǎng)絡(luò)安全管理系統(tǒng)的開發(fā)工作，實現(xiàn)了各模塊的功能，整合各模塊后對系統(tǒng)進(jìn)行集中調(diào)試與測試。 文的組織結(jié)構(gòu) 本文的組織結(jié)構(gòu)如下： 第 1 章 是 引言，主要 論述 了課題的背景，意義和目的，以及 網(wǎng)絡(luò)安全管理系統(tǒng)的發(fā)展現(xiàn)狀和本課題的 主要研究內(nèi)容 。 第 2 章 是 相關(guān)技術(shù)，主要介紹了系統(tǒng)在設(shè)計和開發(fā)過程中所涉及到的方法和技術(shù)。 第 3 章 是 該 網(wǎng)絡(luò)安全 管理系統(tǒng) 的需求分析， 分析了該系統(tǒng)功能性需求和非功能性需求。 并 給出了不同角色在各種情況下的用例圖。 第 4 章 是 該 網(wǎng)絡(luò)安全管理 系統(tǒng) 的設(shè)計，在本章中，我們 運(yùn)用了 流程圖 描述了各模塊的處理邏輯和過程。并介紹了該系統(tǒng)所具有的角色和權(quán)限。本章還描述了該系統(tǒng)的 數(shù)據(jù)庫 設(shè)計，并給出了數(shù)據(jù)庫表和 第 5 章 是 系統(tǒng)的實現(xiàn)， 詳細(xì)介紹了各模塊的編程實現(xiàn)，給出了 界面截圖以及部分代碼 。 第 6 章 是 總 結(jié)與展望，主要是對 本文的工作 進(jìn)行總結(jié)，并 指出 下一步的工作 。 第 2章 相關(guān)技術(shù) 5 第 2 章 相關(guān)技術(shù) 架簡介 架 網(wǎng)絡(luò)安全系統(tǒng)采用 架進(jìn)行系統(tǒng)構(gòu)建，它 是 件基金會（ 助的一個開源項目。它最初是 目中的一個子項目，并在 2004年 3 月成為 頂級項目。它通過采用 術(shù)，實現(xiàn)了基于E 用的 計模式的應(yīng)用框架，是 典設(shè)計模式中的一個經(jīng)典產(chǎn)品。 同濟(jì)大學(xué) 碩士學(xué)位論文 基于 6 圖 架結(jié)構(gòu)圖 在 ，已經(jīng)由一個名為 當(dāng) 控制器(角色，根據(jù)描述模型、視圖、控制器對應(yīng)關(guān)系的 配置文件，轉(zhuǎn)發(fā)視圖 (請求，組裝響應(yīng)數(shù)據(jù)模型（ 在 模型 （ 分，經(jīng)常劃分為兩個主要子系統(tǒng)（ 系統(tǒng)的內(nèi)部數(shù)據(jù)狀態(tài) 與 改變數(shù)據(jù)狀態(tài)的邏輯動作 ），這兩個概念子系統(tǒng)分別具體對應(yīng) 的 個需要繼承實現(xiàn)超類。在這里， 以與各種標(biāo)準(zhǔn)的數(shù)據(jù)訪問技術(shù)結(jié)合在一起，包括 , 視圖 （ 端，除了使用標(biāo)準(zhǔn)的 外，還提供了大量的標(biāo)簽庫使用，同時也可以與其他表現(xiàn)層組件技術(shù)（產(chǎn)品）進(jìn)行整合，比 第 2章 相關(guān)技術(shù) 7 如 。通過應(yīng)用 框架，最終用戶可以把大部分的關(guān)注點放在自己的業(yè)務(wù)邏輯（ 映射關(guān)系的配置文件（ 。 架 在系統(tǒng) 框架 的 整合 上，我們 通過 架 來進(jìn)行整合 ，他 說 是一個輕量級的 控制反轉(zhuǎn) （ 面向切面（ 容器 框架 。 控制反轉(zhuǎn)： 過一種稱作控制反轉(zhuǎn)（ 技術(shù)促進(jìn)了松耦合。當(dāng)應(yīng)用了 個對象依賴的其它對象會通過被動的方式傳遞進(jìn)來，而不是這個對象自己創(chuàng)建或者查找依賴對象。你可以認(rèn)為 反 不是對象從容器中查找依賴，而是容器在對象初始化時不等對象請求就主動將依賴傳遞給它。 面向切面： 供了面向切面編程的豐富支持，允許通過分離應(yīng)用的業(yè)務(wù)邏輯與系統(tǒng)級服務(wù)（例如審計（ 事務(wù) （ 理）進(jìn)行內(nèi)聚性的開發(fā)。應(yīng)用對象只實現(xiàn)它們應(yīng)該做的 完成業(yè)務(wù)邏輯 僅此而已。它們并不負(fù)責(zé)（甚至是意識）其它的系統(tǒng)級關(guān)注點，例如日志或事務(wù)支持。 容器 ： 含并管理應(yīng)用對象的配置和生命周期，在這個意義上它是一種容器，你可以配置你的每個 何被創(chuàng)建 基于一個可配置原型（ 你的 以創(chuàng)建一個單獨的實例或者每次需要時都生成一個新的實例 以及它們是如何相互關(guān)聯(lián)的。然而， 應(yīng)該被混同于傳統(tǒng)的重量級的 器，它們經(jīng)常是龐大與笨重的 ，難以使用。 框架 ： 以將簡單的組件配置、組合成為復(fù)雜的應(yīng)用。在 ，應(yīng)用對象被聲明式地組合，典型地是在一個 件里。 提供了很多基礎(chǔ)功能（事務(wù)管理、持久化框架集成等等），將應(yīng)用邏輯的開發(fā)留給了你。 同濟(jì)大學(xué) 碩士學(xué)位論文 基于 8 圖 架 在系統(tǒng)數(shù)據(jù)持久層上，采用 架來進(jìn)行搭建。 一個開放源代碼的對象關(guān)系映射框架，它對 行了非常輕量級的對象封裝，使得序員可以隨心所欲的使用對象編程思維來操縱數(shù)據(jù)庫。 以應(yīng)用在任何使用 場合，既可以在 客戶端程序使用，也可以在 用中使用，最具革命意義的是， 以在應(yīng)用 2構(gòu)中取代 成數(shù)據(jù)持久化的重任。 第 2章 相關(guān)技術(shù) 9 圖 要圖 核心接口一共有 6 個，分別為 : 6 個核心接口在任何開發(fā)中都會 用到。通過這些 接口 ，不僅可以對持久化 對象 進(jìn)行存取，還能夠進(jìn)行事務(wù)控制。下面對這 6 個核心接口分別加以介紹。 口 ： 口負(fù)責(zé)執(zhí)行被持久化對象的 作 (任務(wù)是完成與數(shù)據(jù)庫的交流，包含了很多常見的 句。 )。 但需要注意的是象是非線程安全的。同時， 同于 用中的里當(dāng)使用 個術(shù)語時，其實指的是 的 以后會將 象稱為用戶 口 ： 口負(fù)責(zé)初始化 充當(dāng)數(shù)據(jù)存儲源的代理，并負(fù)責(zé)創(chuàng)建 象。這里用到了工廠模式。需要注意的是不是輕量級的，因為一般 情況下，一個項目通常只需要一個夠，當(dāng)需要操作多個數(shù)據(jù)庫時，可以為每個數(shù)據(jù)庫指定一個 ： 負(fù)責(zé)配置并啟動 創(chuàng)建象。在 啟動的過程中， 的實例首先同濟(jì)大學(xué) 碩士學(xué)位論文 基于 10 定位映射文檔位置、讀取配置，然后創(chuàng)建 象。 1 口 ： 口負(fù)責(zé)事務(wù)相關(guān)的操作。它是可選的， 開發(fā)人員也可以設(shè)計編寫自己的底層事務(wù)處理代碼 口 ： 口負(fù)責(zé)執(zhí)行各種數(shù)據(jù)庫查詢。它可以使用 句或 句兩種表達(dá)方式。 絡(luò)爬蟲技術(shù) 絡(luò)爬蟲簡介 網(wǎng)絡(luò) 爬蟲 即 一個很形象的名字。把 互聯(lián)網(wǎng) 比喻成一個蜘蛛網(wǎng)，那么 是在網(wǎng)上爬來爬去的蜘蛛。 網(wǎng)絡(luò) 爬蟲 是通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁 ， 通過網(wǎng)站某一個頁面（通常是首頁）開始，讀取網(wǎng)頁的內(nèi)容，找到在網(wǎng)頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網(wǎng)頁，這樣一直循環(huán)下去，直到把這個網(wǎng)站所有的網(wǎng)頁都抓取完為止。如果把整個互聯(lián)網(wǎng)當(dāng)成一個網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。 為了解決 集的關(guān)鍵問題，研究者們經(jīng)過不斷地研究與實踐，將爬行器由最早期單純的基于整個 爬 行器發(fā)展到可滿足不同需要的多種采集技術(shù)的爬行器。歸納起來，大致可以分為以下幾種類型： 第一種是基于整個 爬行器。主要是指目標(biāo)為從一些種子 充到整個 爬行器，這種爬行器通常是作為門戶站點搜索引擎和大型的 務(wù)提供商的數(shù)據(jù)采集部分。這類信息采集由于目標(biāo)是采集整個 此對內(nèi)存和硬盤等硬件的要求比較高，對采集頁面的順序要求相對較低。 第二種是增量式的爬行器。傳統(tǒng)的爬行器根據(jù)自己的需要采集足量的信息后停止采集，當(dāng)過一段時間這些數(shù)據(jù)過時后，它會重新采集一遍來代替先前的信息，稱為周期性 集器。而增量式的爬行器對待就的頁面采用增量式更新，即采集器在需要的時候采集新產(chǎn)生的或己經(jīng)發(fā)生了變化的頁面，而對沒有變化的頁面不進(jìn)行采集。和周期性信息采集相比，增量式信息采集能極大地減小數(shù)據(jù)采集量，從而極大地減少了采集的時間與空間開銷。但是與此同時，增量式信息采集也增加了算法的復(fù)雜性和技術(shù)難度。 第 2章 相關(guān)技術(shù) 11 第三種是基于主題的爬行器是指選擇性地搜尋那些與預(yù)先定義好的主題相關(guān)的頁面的爬行器。和基于整個 爬行器相比，它并不采集那些與主題無關(guān)的頁面，所以大大地節(jié)省了硬件和網(wǎng)絡(luò)資源，保存的頁面也由于數(shù)量少而更新快。加之它可 以很好地滿足一些特定人群對特定領(lǐng)域信息的需求，成為時下研究的熱門重點。但它的問題也是顯而易見的，例如如何定義有實際意義的主題，如何在采集時判定頁面與主題的相關(guān)性以及如何提高系統(tǒng)的搜索精度和完全度等。 第四種是基于用戶個性化的爬行器。不同的用戶對一個搜索引擎提交同一個檢索詞，他們期待的結(jié)果是不盡相同的。而通用的搜索引擎卻只能返回相同的檢索結(jié)果，這顯然不完全符合用戶的需要。而基于用戶個性化的爬行器是一種輕量級的采集系統(tǒng)，它的目標(biāo)就是通過用戶興趣制導(dǎo)或與用戶交互等手段來采集信息，給用戶提供個性化服務(wù)。 第五種是移 動的爬行器。這種爬行器并不像其他爬行器一樣在本地客戶機(jī)向 點服務(wù)器發(fā)送頁面請求，而是將自己上載到它所要采集的服務(wù)器中，在當(dāng)?shù)剡M(jìn)行采集，并將采集結(jié)果壓縮后，再回傳到本地。這樣做大量地節(jié)省了源，大量的剪裁工作將在被采集對象的服務(wù)器上完成。 第六種是基于元搜索的爬行器。它對用戶的提交的查詢請求通過多個領(lǐng)域或門戶搜索引擎搜索，并將結(jié)果整合后返回給用戶。一般元搜索引擎并不保存面的索引文件，但是有一些元搜索引擎會保存為它服務(wù)的每個搜索引擎的信息特征，以后根據(jù)用戶請求做出選擇。作為搜索引擎首要部件的 爬行器在元搜索引擎中功能有所退化，但依然是 集的一個研究方向，被稱作基于元搜索的信息采集。 蟲實現(xiàn)技術(shù) 本系統(tǒng)實現(xiàn)了簡單 功能 的網(wǎng)絡(luò)爬蟲， 爬取指定站點的站內(nèi)頁面鏡像。首先爬蟲以系統(tǒng)提供的站點地址作為爬取的起點，解析頁面中所有連接地址，首先將連接地址進(jìn)行站內(nèi)過濾，即爬蟲只爬取同一網(wǎng)站下的頁面，不爬取外網(wǎng)鏈接。 根據(jù)遍歷算法，不斷的遞歸提交每一個要爬取的 址，解析 蟲在做頁面 析時使用的是 行解析。他是 一款 直接解析某個 址、 本內(nèi)容。 提供了一套非常省力的同濟(jì)大學(xué) 碩士學(xué)位論文 基于 12 通過 及類似于 操作方法來取出和操作數(shù)據(jù)。 它能從 一個 件或字符串中解析 以 使用 擇器來查找、取出數(shù)據(jù) ，還可以 操作 素、屬性、文本； 圖 絡(luò)爬蟲基本流程 解析完成 后，爬蟲將爬取的頁面文件下載到本地，進(jìn)行保存。每一個站點的鏡像保存內(nèi)容都包含三部分： 頁面鏡像： 頁面爬取完成后的 件內(nèi)容，已經(jīng)該文件中所引用的 式文件。并對爬取的文件名進(jìn)行 碼加密。 成功清單： 保存所有成功獲取鏡像文件的文件名，以及其對應(yīng)的 址。 失敗清單： 保存所有因各種原因（網(wǎng)絡(luò)異常，未找到頁面，無權(quán)限訪問等）未能成功獲取到頁面鏡像的頁面地址。 改 監(jiān)測 技術(shù) 改監(jiān)測簡述 目前較為常見的篡改監(jiān)測技術(shù)有 以下三種： 第 2章 相關(guān)技術(shù) 13 1)外掛輪詢技術(shù) ， 用一個網(wǎng)頁讀取和檢測程序，以輪詢方式讀出要監(jiān)控的網(wǎng)頁，與真實網(wǎng)頁相比較，來判斷網(wǎng)頁內(nèi)容的完整性，對于被篡改的網(wǎng)頁進(jìn)行報警和恢復(fù)。 2)核心內(nèi)嵌技術(shù) ， 將篡改檢測模塊內(nèi)嵌在 務(wù)器軟件里，它在每一個網(wǎng)頁流出時都進(jìn)行完整性檢查，對于篡改網(wǎng)頁進(jìn)行實時訪問阻斷，并予以報警和恢復(fù)。 3)事件觸發(fā)技術(shù) ， 利用操作系統(tǒng)的文件系統(tǒng)或驅(qū)動程序接口，在網(wǎng)頁文件的被修改時進(jìn)行合法性檢查，對于非法操作進(jìn)行報警和恢復(fù)。 下面分別對這三種監(jiān)測防護(hù)技術(shù)進(jìn)行分析對比： 圖 術(shù)對比 外掛輪詢技術(shù)：無法阻止公眾訪問到被篡改網(wǎng)頁，它只能在被篡改后一段時間發(fā)現(xiàn)和進(jìn)行恢復(fù)，因此公眾有很大可能訪問到被篡改網(wǎng)頁。 事件觸發(fā)技術(shù)：將安全保障建立在“網(wǎng)頁不可能被隱秘地篡改”這種假設(shè)上，因此也沒有對網(wǎng)頁流出進(jìn)行任何檢查，在一些情形下（具體情形見下文），同濟(jì)大學(xué) 碩士學(xué)位論文 基于 14 公眾是有可能訪問到被篡改網(wǎng)頁的。 核心內(nèi)嵌技術(shù)：守住 頁流出的最后一道關(guān)口，因此能夠完全杜絕被篡改的網(wǎng)頁被公眾訪問到，真正做到萬無一失。 外掛輪詢技術(shù)：所監(jiān)測到的動態(tài)網(wǎng)頁是網(wǎng)頁腳本和內(nèi)容混合后的結(jié)果，而網(wǎng)頁內(nèi)容是根據(jù)訪問情況時時 在變化的，外掛輪詢技術(shù)又無法區(qū)分網(wǎng)頁腳本和內(nèi)容，因此無法實現(xiàn)對動態(tài)網(wǎng)頁的防篡改保護(hù)。 事件觸發(fā)技術(shù)：事件觸發(fā)僅工作在操作系統(tǒng)層面上，未和 務(wù)器軟件發(fā)生關(guān)聯(lián)，因此無法獲得用戶的 求數(shù)據(jù)，對動態(tài)內(nèi)容的篡改則是完全無能為力的。 核心內(nèi)嵌技術(shù)：內(nèi)嵌于 務(wù)器軟件內(nèi)部，能夠完全截獲用戶請求數(shù)據(jù)，通過阻擋對數(shù)據(jù)庫的注入式攻擊來保護(hù)動態(tài)網(wǎng)頁內(nèi)容的安全。 3. 服務(wù)器負(fù)載 外掛輪詢技術(shù)：由于從外部不斷地和獨立地掃描 務(wù)器文件，因此對務(wù)器形成相當(dāng)?shù)呢?fù)載，并且掃描頻度（亦即安全程度）和負(fù)載總是矛盾的。 事件觸發(fā)技術(shù)：由于只在正常網(wǎng)頁發(fā)布時進(jìn)行安全檢查，因此對網(wǎng)頁訪問的影響幾乎為零，額外占用的服務(wù)器負(fù)載也基本上為零。 核心內(nèi)嵌技術(shù)：篡改檢測模塊內(nèi)嵌于 務(wù)器軟件里， 務(wù)器軟件讀出網(wǎng)頁文件后，由篡改檢測模塊進(jìn)行水印比對，因此要占用一定 算時間。但這個計算是在內(nèi)存中進(jìn)行的，比起 務(wù)器軟件從硬盤中讀取網(wǎng)頁文件的操作來，額外產(chǎn)生的負(fù)載是非常小的。 4. 帶寬占用 外掛輪詢技術(shù)：從外部獨立檢測網(wǎng)頁，因此需要占用訪問的網(wǎng)絡(luò)帶寬。 事件觸發(fā)技術(shù)和核心內(nèi)嵌技術(shù)：檢測都在服務(wù)器本機(jī)上進(jìn)行，不占用網(wǎng) 絡(luò)帶寬。 5. 繞過檢測機(jī)制 外掛輪詢技術(shù)：由外部主機(jī)進(jìn)行，不可能繞過檢測。 事件觸發(fā)技術(shù)：并不能確保捕獲對文件的所有方式的修改（例如直接寫磁盤、直接寫內(nèi)核驅(qū)動程序、利用操作系統(tǒng)漏洞等），非常容易被專業(yè)黑客很容易繞過；而且一旦成功，它沒有任何手段來察覺和恢復(fù)。它的技術(shù)特點決定了它 第 2章 相關(guān)技術(shù) 15 類似于防病毒工具（以黑防黑）而不是專門針對網(wǎng)站保護(hù)的系統(tǒng)。 核心內(nèi)嵌技術(shù)：整合在 務(wù)器軟件里的，對每一個網(wǎng)頁都進(jìn)行篡改檢查，不可能有網(wǎng)頁繞過檢測機(jī)制。 6. 連續(xù)篡改攻擊 有意進(jìn)行惡意攻擊的黑客可以利用其他技術(shù)的掃描間隔來進(jìn)行 連續(xù)的篡改攻擊，即在網(wǎng)頁被恢復(fù)后立即重新篡改網(wǎng)頁。 外掛輪詢技術(shù)：由于重篡改過程可以利用程序自動和連續(xù)進(jìn)行，并只針對一個重要網(wǎng)頁（例如網(wǎng)站首頁）進(jìn)行，因此即使的掃描時間間隔設(shè)置得再?。ɡ?1 分鐘），也無法阻止篡改后的網(wǎng)頁被公眾訪問到。 事件觸發(fā)技術(shù)：對 務(wù)器軟件沒有控制能力，它發(fā)現(xiàn)篡改后沒有辦法去協(xié)調(diào) 務(wù)器工作，對于大規(guī)模或精心策劃的攻