碩士學(xué)位論文 （專業(yè)學(xué)位） 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 姓 名： 學(xué) 號： 所在院系：軟件學(xué)院 職業(yè)類型：工程碩士 專業(yè)領(lǐng)域：軟件工程 校內(nèi)導(dǎo)師： 校外導(dǎo)師： 二 一三年十月 A in he of 2013 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 同濟(jì)大學(xué) 學(xué)位論文版權(quán)使用授權(quán)書 本人完全了解同濟(jì)大學(xué)關(guān)于收集、保存、使用學(xué) 位論文的規(guī)定，同意如下各項內(nèi)容：按照學(xué)校要求提交學(xué)位論文的印刷本和電子版本；學(xué)校有權(quán)保存學(xué)位論文的印刷本和電子版，并采用影印、縮印、掃描、數(shù)字化或其它手段保存論文；學(xué)校有權(quán)提供目錄檢索以及提供本學(xué)位論文全文或者部分的閱覽服務(wù)；學(xué)校有權(quán)按有關(guān)規(guī)定向國家有關(guān)部門或者機(jī)構(gòu)送交論文的復(fù)印件和電子版；在不以贏利為目的的前提下，學(xué)?？梢赃m當(dāng)復(fù)制論文的部分或全部內(nèi)容用于學(xué)術(shù)活動。 學(xué)位論文作者簽名： 年 月 日 同濟(jì)大學(xué)學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下，進(jìn)行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本學(xué)位論文的研究成果不包含任何他人創(chuàng)作的、已公開發(fā)表或者沒有公開發(fā)表的作品的內(nèi)容。對本論文所涉及的研究工作做出貢獻(xiàn)的其他個人和集體，均已在文中以明確方式標(biāo)明。本學(xué)位論文原創(chuàng)性聲明的法律責(zé)任由本人承擔(dān)。 學(xué)位論文作者簽名： 年 月 日 同濟(jì)大學(xué) 碩士論文 摘要 I 摘要 在實際工作中，管理 理人員在巡查運營商 房工作過程中發(fā)現(xiàn)某些運營商沒有按照自身實際域名備案情況來執(zhí)行而是存在一些域名沒有備案，這樣網(wǎng)安人員就不清楚他們究竟有哪些域名在使用。因此管理好域名信息的確是一件繁重而重復(fù)的勞動，而且實際情況是他們花了很大力氣但結(jié)果仍然收效甚微。 在此情況下我們積極配合、協(xié)助網(wǎng)安人員解決該棘手的難題。 在跟網(wǎng)安人員溝通、協(xié)商，深入獲取客戶需求，并經(jīng)過反復(fù)的論證以后，研發(fā)了本系統(tǒng) ，即互聯(lián)網(wǎng)域名信息管理系統(tǒng)。 系統(tǒng)采用典型的三層架構(gòu)設(shè)計，分為前臺、數(shù)據(jù)庫和后臺三個部分。前臺是數(shù)據(jù)比對和數(shù)據(jù)展示平臺，跟用戶提供領(lǐng)號的操作界面，注重用戶體驗。同時負(fù)責(zé)數(shù)據(jù)比對，找出報備的和未報備的域名和 據(jù)庫是中間部分，負(fù)責(zé)存儲從后臺解析出來的域名和 臺是解析平臺，具有千兆的解析能力，抓取原始數(shù)據(jù)包以后負(fù)責(zé)解析數(shù)據(jù)，獲取里面的原始域名和 后再向數(shù)據(jù)庫存儲。形成一個完整的工作流程。 從產(chǎn)品設(shè)計之初，我們就決定堅持從實際情況出發(fā)，做到操作簡單，使用方便，結(jié)果準(zhǔn)確，注重實戰(zhàn)。將易用性和準(zhǔn)確 性相結(jié)合，將具體功能與實際應(yīng)用相結(jié)合，確保本系統(tǒng)能解決用戶的實際問題。 使用該系統(tǒng)可以準(zhǔn)確獲取最原始的域名信息，可以有效鑒別跟運營商存在的未報備的域名和 對違法信息發(fā)現(xiàn)后及時處置并生成報表，既降低了網(wǎng)安人員的工作強度，又提高了工作效率，徹底解放了網(wǎng)安人員在域名管理方面的困擾。 實踐證明，該系統(tǒng)的確是網(wǎng)安人員做域名信息管理的“好助手”。 關(guān)鍵詞 ： 管，報備域名，解析 絡(luò)監(jiān)測 n DC is a to DC is no so do is a is a of In we to In in to of A is in is on P is P is is to of P; to a at we to be to on of of to of of of P. of of of of in is a II to P, 濟(jì)大學(xué) 碩士論文 目錄 錄 第 1章 . 緒論 . 1 課題背景 . 1 國內(nèi)外研究現(xiàn)狀 . 1 本課題的目的意義 . 2 課題研究內(nèi)容 . 2 本文的組織結(jié)構(gòu) . 3 第 2章 . 相關(guān)理論或技術(shù) . 4 協(xié)議分析技術(shù) . 4 據(jù)庫 . 4 C+ 和面向?qū)ο笏枷?. 4 . 5 第 3章 . 系統(tǒng)的需求分析 . 6 功能性需求 . 6 管理平臺需求 . 6 解析平臺需求 . 8 整體功能結(jié)構(gòu) . 10 非功能性需求 . 10 系統(tǒng)用例圖分析 . 11 第 4章 . 系統(tǒng)設(shè)計 . 15 整體架構(gòu)設(shè)計 . 15 管理平臺模塊介紹 . 19 解析平臺模塊介紹 . 24 劃分各類簡介 . 24 子模塊介紹 . 27 第 5章 . 數(shù)據(jù)庫設(shè)計 . 36 數(shù)據(jù)表類 . 36 . 40 數(shù)據(jù) (庫 )關(guān)系圖 . 41 觸發(fā)器 . 43 據(jù)觸發(fā)器 . 43 據(jù)觸發(fā)器 . 45 第 6章 . 系統(tǒng)實現(xiàn) . 47 系統(tǒng)關(guān)鍵技術(shù) . 47 系統(tǒng)運行界面和代碼 . 47 同濟(jì)大學(xué) 碩士論文 目錄 V 系統(tǒng)運行主頁 . 47 狀態(tài)信息 . 62 第 7章 . 系統(tǒng)測試 . 64 部署測試環(huán)境 . 64 硬件和軟件環(huán)境 . 64 網(wǎng)絡(luò)環(huán)境拓?fù)鋱D . 64 測試目的 . 65 測試執(zhí)行情況 . 66 功能性測試 . 66 非功能性測試 . 71 測試結(jié)論 . 72 測試綜述 . 72 測試情況統(tǒng)計 . 72 測試結(jié)論 . 73 第 8章 . 總結(jié) . 74 總結(jié) . 74 下一步工作 . 74 致謝 . 76 參考文獻(xiàn) . 77 個人簡歷、在讀期間發(fā)表的學(xué)術(shù)論文與研究成果 . 79 第 1 章 緒論 1 第 1章 . 緒論 課題背景 近年來，隨著信息化和網(wǎng)安工作的快速發(fā)展，互聯(lián)網(wǎng)基礎(chǔ)數(shù)據(jù)采集和互聯(lián)網(wǎng)安全監(jiān)管 等基礎(chǔ)工作的重要性日益凸現(xiàn)。為進(jìn)一步夯實網(wǎng)安部門基礎(chǔ)工作，推進(jìn)網(wǎng)安基礎(chǔ)工作信息化建設(shè)，按照公安部黨委“基礎(chǔ)工作信息化，信息工作基礎(chǔ)化”的總體要求，公安部第十一局正組織全國網(wǎng)安部門集中開展互聯(lián)網(wǎng)基礎(chǔ)數(shù)據(jù)采集和基礎(chǔ)數(shù)據(jù)庫建設(shè)工作。 為配合業(yè)務(wù)工作的開展，根據(jù)公安部十一局新頒布的互聯(lián)網(wǎng)基礎(chǔ)數(shù)據(jù)庫數(shù)據(jù)格式規(guī)范對數(shù)據(jù)采集的要求，實現(xiàn)對各類基礎(chǔ)數(shù)據(jù)的錄入、維護(hù)，對網(wǎng)安業(yè)務(wù)基礎(chǔ)信息進(jìn)行匯總、查詢和分析，向全國各級網(wǎng)安部門提供在線網(wǎng)安基礎(chǔ)信息的綜合查詢服務(wù)，同時向其他警種業(yè)務(wù)部門提供相關(guān)基礎(chǔ)數(shù)據(jù)共享，為處置網(wǎng)上安全 事件和突發(fā)事件、偵辦網(wǎng)絡(luò)違法犯罪案件提供信息支持。不過如何保證基礎(chǔ)庫信息被完全上報，如何保證準(zhǔn)確上報，公安機(jī)關(guān)也不能時刻去檢查，只能采用抽查的方式去做調(diào)研。 但是對公安人員來說，基礎(chǔ)庫（ 案信息的監(jiān)督管理是非常困難的。就一線城市而言，每個城市向網(wǎng)安備案的域名信息達(dá)到幾十萬個，沒有備案的域名信息更多，而且備案的域名信息又存在變更后沒有再次備案的。如何保證運營商數(shù)據(jù)報備的準(zhǔn)確？如何保證運營商將數(shù)據(jù)完全報備？可見管理機(jī)房備案信息是一件繁重而重復(fù)的勞動，網(wǎng)安人員根本沒有足夠多的精力來完成這項工作 ，而且實際情況是，他們花了很大力氣但結(jié)果仍然收效甚微。 在此情況下，我們積極協(xié)助網(wǎng)安人員解決該棘手的問題，在跟網(wǎng)安人員溝通、協(xié)商、深入獲取客戶需求，并經(jīng)過反復(fù)的論證以后，我們研發(fā)了本系統(tǒng)，即互聯(lián)網(wǎng)服務(wù)商備案信息抽查系統(tǒng)，簡稱互聯(lián)網(wǎng)域名抽查系統(tǒng)或抽查工具。 國內(nèi)外研究現(xiàn)狀 本系統(tǒng)的核心技術(shù)在網(wǎng)絡(luò)內(nèi)容監(jiān)控方面，國內(nèi)的網(wǎng)絡(luò)內(nèi)容監(jiān)管是這一技術(shù)點同濟(jì)大學(xué) 碩士論文 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 2 的本土化延伸。 由于 網(wǎng)絡(luò)內(nèi)容監(jiān)管 是在流量識別的基礎(chǔ)上進(jìn)行的，因此流量識別可以看作是系統(tǒng)中最為核心的部分，其識別技術(shù)的性能對于一個 內(nèi)容 管理系統(tǒng)的評價指標(biāo)優(yōu)劣至關(guān)重要。 國外對 內(nèi)容 管理 方面的研究同樣開展較多，并且已經(jīng)較成熟，并采用了先進(jìn)的聚類分析、 度流檢測）等手段來，結(jié)合傳統(tǒng)的端口， 度包檢測）等手段來對網(wǎng)絡(luò)流量進(jìn)行分類，分類準(zhǔn)確度較高，并且自適應(yīng)性較好 ，傳統(tǒng)的方法是鏡像數(shù)據(jù) 。 科等傳統(tǒng)網(wǎng)絡(luò)設(shè)備廠商根據(jù)此類技術(shù)推出了專門的行為管理解決方案。而國內(nèi)研究機(jī)構(gòu)也在流量分析領(lǐng)域取得了一些進(jìn)展，比如基于連接模式的特征識別，同時也涌現(xiàn)出了一批網(wǎng)絡(luò) 內(nèi)容 管理廠商，根據(jù)自己的技術(shù)，結(jié)合國內(nèi)的網(wǎng)絡(luò)應(yīng)用環(huán)境，定制開發(fā)了一系列的網(wǎng)絡(luò) 內(nèi)容監(jiān)管 產(chǎn)品，其中目前占據(jù)市場份額比較大的前兩位公 司分別為深信服公司和 啟明星辰 。 本課題的目的意義 在日常工作中，我們經(jīng)過多次客戶調(diào)研，意識到客戶對該方面要求較為強烈，繁忙的日常工作讓他們整天疲于應(yīng)對而仍然得不到徹底解決。公安人員問機(jī)房管理者是否已經(jīng)將基礎(chǔ)信息域名和 全報備，他們肯定說是，至于是否真的報備或者報備到什么程度，公安人員也是束手無策，無法驗證。通過使用該系統(tǒng)能夠可以解決此問題。一方面能夠提高上報數(shù)據(jù)的質(zhì)量，另一方面也能夠避免漏報。有效地起到了監(jiān)督規(guī)范的作用。同時也在很大程度上解放了公安人員的日常工作，使他們在浩如煙海的基礎(chǔ)數(shù)據(jù)中操作起來游 刃有余。 課題研究內(nèi)容 本課題主要研究基礎(chǔ)數(shù)據(jù)信息上報的準(zhǔn)確性，檢查 謂 即 互聯(lián)網(wǎng)數(shù)據(jù)中心 ，是指在互聯(lián)網(wǎng)上提供的各項增值服務(wù)的機(jī)構(gòu)。它包括：申請 域名 、租用 虛擬主機(jī) 空間、 主機(jī)托管 等業(yè)務(wù)的服務(wù)。 機(jī)位、機(jī)架、 、資源出租 (如 虛擬主機(jī) 業(yè)務(wù)、 數(shù)據(jù)存儲 服務(wù) )、系統(tǒng)維護(hù) (系統(tǒng)配置、數(shù)據(jù)備份、故障排除服務(wù) )、管理服務(wù) (如帶寬管理、流量分析、負(fù)載均衡、入侵檢測、系統(tǒng)漏洞診斷 )，以及其他支撐、運行服務(wù)等。 第 1 章 緒論 3 擬主機(jī)和電子商務(wù)等。比如網(wǎng)站發(fā)布，單位通過托管 主機(jī)，從電信部門分配到互聯(lián)網(wǎng) 靜態(tài) 址 后，即可發(fā)布自己的 自己的產(chǎn)品或服務(wù)通過互聯(lián)網(wǎng)廣泛宣傳；虛擬主機(jī)是單位通過托管主機(jī)，將自己主機(jī)的海量硬盤空間出租，為其他客戶提供虛擬主機(jī)服務(wù)，使自己成為 子商務(wù)是指單位通過托管主機(jī)，建立自己的 電子商務(wù)系統(tǒng) ，通過這個商業(yè)平臺來為供應(yīng)商、批發(fā)商、經(jīng)銷商和最終用戶提供完善的服務(wù)。 根據(jù)公安部相關(guān)規(guī)定，任何 系統(tǒng)就是為了檢查 本文的組織結(jié)構(gòu) 本文后續(xù)各章的具體組織如下： 第二章介紹了系統(tǒng)用到的相關(guān)理論和技術(shù)。為后面系統(tǒng)開發(fā)和設(shè)計做鋪墊。 第三章是系統(tǒng)的需求分析，按照需求規(guī)格說明書的模板，詳細(xì)描述了本系統(tǒng)的業(yè)務(wù)需求。 第四章是系統(tǒng)的設(shè)計部分，詳細(xì)介紹了系統(tǒng)的分層架構(gòu)設(shè)計、模塊劃分和各個 子模塊的功能和流程設(shè)計、數(shù)據(jù)庫設(shè)計、開發(fā)技術(shù)和運行環(huán)境選擇。 第五章介紹了數(shù)據(jù)庫設(shè)計，給出了關(guān)鍵模塊的數(shù)據(jù)表， ，觸發(fā)器等。 第六章是系統(tǒng)的實現(xiàn)部分，分別按前臺系統(tǒng)和后臺管理系統(tǒng)兩塊，詳細(xì)描述了主要類圖和主要業(yè)務(wù)功能的實現(xiàn)流程。 第七章是系統(tǒng)的性能測試與調(diào)優(yōu)。詳細(xì)介紹了系統(tǒng)性能調(diào)優(yōu)步驟，以及檢驗調(diào)優(yōu)效果所使用的壓力測試工具，同時給出了基于該壓力測試工具的調(diào)優(yōu)前后的測試結(jié)果。 最后，在第八章中，對本文的研究內(nèi)容進(jìn)行了總結(jié)，并對進(jìn)一步研究工作做了展望。同濟(jì)大學(xué) 碩士論文 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 4 第 2章 . 相關(guān)理論或技術(shù) 本系統(tǒng)的設(shè)計和開發(fā)都采用了 目前主流的技術(shù)比如協(xié)議分析技術(shù)、面向?qū)ο笏枷搿?論和 計模式。 下面我們分別介紹這幾種將要使用到的技術(shù)理論： 協(xié)議分析技術(shù) 協(xié)議分析（ 一個程序或設(shè)備是解碼網(wǎng)絡(luò)協(xié)議頭部和尾部來了解這個數(shù)據(jù)和在分組內(nèi)部由一個協(xié)議壓縮的信息的過程。為了管理協(xié)議分析，避免數(shù)據(jù)分組丟失，必須實時捕獲數(shù)據(jù)分組并用于線路速度分析或隨后分析。比如分析后解開數(shù)據(jù)包是 議，通過數(shù)據(jù)包重組技術(shù)獲取整個數(shù)據(jù)流的實體內(nèi)容，通過該技術(shù)解析，最終得到我們需要的域名信息和 息。 據(jù) 庫 聯(lián)數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性 。 于其體積小、速度快、總體擁有成本低的特點，一般中小型網(wǎng)站的開發(fā)都選擇 可以搭配 組成良好的開發(fā)環(huán)境。 C+ 和面向?qū)ο笏枷?C+語言是一種優(yōu)秀的面向?qū)ο蟪绦蛟O(shè)計語言，它在 C 語言的基礎(chǔ)上發(fā)展而來，但它比 C 語言更容易為人們學(xué)習(xí)和掌握。 C+以其獨特的語言機(jī)制在計 算機(jī)科學(xué)的各個領(lǐng)域中得到了廣泛的應(yīng)用。面向?qū)ο蟮脑O(shè)計思想是在原來結(jié)構(gòu)化程序設(shè)計方法基礎(chǔ)上的一個質(zhì)的飛躍， C+完美地體現(xiàn)了面向?qū)ο蟮母鞣N特性。面向?qū)ο蟪绦蛟O(shè)計有 4 個主要特點：抽象、封裝、繼承和多態(tài)性。 第 2 章 相關(guān)理論或技術(shù) 5 言及 術(shù)具有卓越的通用性、高效性、平臺移植性和安全性，廣泛應(yīng)用于個人 據(jù)中心、游戲控制臺、科學(xué)超級計算機(jī)、移動電話和互聯(lián)網(wǎng)，同時擁有全球最大的開發(fā)者專業(yè)社群。在全球云計算和移動互聯(lián)網(wǎng)的產(chǎn)業(yè)環(huán)境下， 計模式的優(yōu)點 圖 2模型 (視圖 (控制器(縮寫，一種軟件設(shè)計典范，用于組織代碼用一種業(yè)務(wù)邏輯和數(shù)據(jù)顯示分離的方法，這個方法的假設(shè)前提是如果業(yè)務(wù)邏輯被聚集到一個部件里面，而且界面和用戶圍繞數(shù)據(jù)的交互能被改進(jìn)和個性化定制而不需要重新編寫業(yè)務(wù)邏輯 理和輸出功能在一個邏輯的圖形化用戶界面的結(jié)構(gòu)中。同濟(jì)大學(xué) 碩士論文 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 6 第 3章 . 系統(tǒng)的需求分析 通過市場人員收集用戶的需求， 包括用戶對本產(chǎn)品的需求，包括功能需求 (包含協(xié)議需求 )、性能需求、非功能需求。對各個需求方向的需求點進(jìn)行了初步的描述，功能需求描述了系統(tǒng)的基本功能，這是一個系統(tǒng)的基礎(chǔ)部分，是一個底層的平臺，是其他需求的載體。性能需求描述了產(chǎn)品應(yīng)該達(dá)到的性能標(biāo)準(zhǔn)，它反應(yīng)了系統(tǒng)的工作效率。非功能需求描述了系統(tǒng)的健壯性，包括系統(tǒng)安全性、可靠性、可擴(kuò)展性、可伸縮性等。下面我們分別通過可訪問的 管理平臺和底層采集平臺來分別介紹。 功能性需求 管理平臺需求 管理平臺是向用戶展示數(shù)據(jù)的一組用戶界面。它從數(shù)據(jù)庫里面讀取數(shù)據(jù)，根據(jù)用戶的需要，向 用戶提供數(shù)據(jù)接口，用戶可移植性插入、修改、刪除、查詢、導(dǎo)入、導(dǎo)出、分析等操作。 用戶登錄 需求 用戶通過該頁面輸入控制面板的用戶名、密碼、驗證碼，身份認(rèn)證后進(jìn)入主機(jī)控制面板。本頁面為用戶登錄主機(jī)控制面板頁面，用戶輸入用戶名、密碼、驗證碼，點擊登錄按鈕，進(jìn)行驗證后登錄到控制面板。 密碼修改需求 用戶通過系統(tǒng)主頁的“密碼修改”功能項進(jìn)入密碼修改控制面板。本頁面為用戶進(jìn)入修改密碼控制面板頁面，用戶輸入舊密碼、新密碼、重復(fù)新密碼，點擊提交按鈕，進(jìn)行驗證后提示修改成功。 退出系統(tǒng)需求 用戶通過系統(tǒng)主 頁的“退出”功能注銷當(dāng)前用戶的登錄狀態(tài)，釋放相應(yīng)的資源并回到系統(tǒng)登錄首頁。本功能沒有多次交互的流程，用戶直接點擊“退出”按鈕。 第 3 章 系統(tǒng)的需求分析 7 據(jù)采集需求 始采集后，提取用戶端 過 礎(chǔ)信息庫的 把最終的報備情況保存在數(shù)據(jù)庫中。 據(jù)采集需求 始采集后，提取 取服務(wù)器 名信息，通過和 把最終的報備情況保存在數(shù)據(jù)庫中。 礎(chǔ)信息庫需求 照一定格式的模版進(jìn)行導(dǎo)入到本系統(tǒng)的 詢，刪除功能。 礎(chǔ)信息庫需求 照一定格式的模版進(jìn)行導(dǎo)入到本系統(tǒng)的 礎(chǔ)信息庫中。 詢，刪除功能。 統(tǒng)計報表需求 主頁在結(jié)束采集后，用戶點擊生成報表，根據(jù)當(dāng)前采集的數(shù)據(jù)類型生成不同的報表。 備詳情中顯示 址，報備情況。 對應(yīng)關(guān)系錯誤； 名未報備；域名正確報備， 備詳情中顯示序號，頂級域名，域名， 備情況，其中頂級域名一樣的需要單元格合并。 位”為統(tǒng)計條件，顯示該“單位”的域名報備情況，報備情況分“域名報備”和“域名未報備”兩種。 備需求 位”為統(tǒng)計條件，顯示該“單位”的 備情況分“ “ 種。 同濟(jì)大學(xué) 碩士論文 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 8 狀態(tài)查詢需求 狀態(tài)查詢主要是為了完成對系統(tǒng)當(dāng)前網(wǎng)卡接收包數(shù)、丟棄包數(shù)、丟棄比例、當(dāng)前流量、平均流量，以及操作系統(tǒng) 存，硬盤使用率情況。 解析平臺需求 并行接入需求 解析平臺 式捕包時，只需要把鏡像好的旁路數(shù)據(jù)接入過來，簡單配置捕包的網(wǎng)卡就可以開始工作了。 千兆網(wǎng)絡(luò)接入需求 采集平臺工作正常的情況下，其采集和解碼能力要達(dá)到 1000右，在此流量下正常解析能力應(yīng)該在 95%，平均連續(xù)工作 7*24小時無異常退出。 接入方式 鏡像數(shù)據(jù)可以通過電口方式輸入，也可以通過光口方式輸入，底層對光口和電口類型的數(shù)據(jù)抓包要一致 ,數(shù)據(jù)類型需要支持 種類型的互聯(lián)網(wǎng)數(shù)據(jù)。 采集信息 系統(tǒng)同時支持 統(tǒng)的功能區(qū)域應(yīng)該顯示的把 示區(qū)分開來，避免混淆。 后臺與管理平臺處理分離 采集平臺是指“后臺”，管理平臺是指“前臺”。要求前后臺各自獨立，耦合性小。后臺可以通過下發(fā) 標(biāo)準(zhǔn)格式的配置文件或數(shù)據(jù)庫交互實現(xiàn)對前臺的控制。比如前后臺都需要單獨的安裝包，安裝包做到一鍵安裝或直接解壓縮運行。前后臺都需要自啟動腳本和監(jiān)控腳本，做到開機(jī)自啟動。 管理平臺對采集平臺的控制 雖然前臺與后臺各自保持獨立，但是后臺對前臺有一定的控制能力。管理平臺，下發(fā)標(biāo)準(zhǔn)格式的配置文件控制后臺，后臺根據(jù)配置信息作為采集或者采集策略，對數(shù)據(jù)進(jìn)行提取、過濾和輸出。包括前臺采集控制開關(guān)通過啟動和停止后臺解析程序的腳本實現(xiàn)；采集數(shù)據(jù)的類型（ 采集單位通過點擊開始采集時更新數(shù)據(jù)庫某個字段實現(xiàn)；后臺程 序采集到數(shù)據(jù)時把記錄輸出到一個臨時第 3 章 系統(tǒng)的需求分析 9 文件中，前臺采集信息輸出頁面通過定期讀取臨時文件把最新的采集信息展示在頁面中。 采集方式調(diào)度處理 不同的網(wǎng)絡(luò)環(huán)境下采用不同的采集模式，比如在問題跟蹤時采用文件模式，在實際工作環(huán)境下采用 集平臺采用靈活的配置，要求只需要修改配置參數(shù)就能夠運行不同的模式工作。 加密保存需求 鑒于數(shù)據(jù)的極其保密性，堅決避免任何環(huán)節(jié)的數(shù)據(jù)被非法獲取，在數(shù)據(jù)還原以后關(guān)鍵數(shù)據(jù)需要加密保存到硬盤，就是說硬盤上保存的是密文。 數(shù)據(jù)加密需求 數(shù)據(jù)從后臺回傳到前臺時，要求傳輸 的是密文。 硬盤 I/O 控制需求 硬盤使用超過一定閥值（由用戶通過配置文件設(shè)定，默認(rèn)值為 90）之后所有數(shù)據(jù)都不保存，檢測主要是檢測數(shù)據(jù)分區(qū)（由用戶指定數(shù)據(jù)分區(qū)，默認(rèn)值為/ 內(nèi)存 I/O 控制需求 內(nèi)存使用大小，要求可以在內(nèi)存使用超過一個閥值（由用戶通過配置文件設(shè)定）之后，內(nèi)存不足程序退出，再自動重啟，且在重啟之前進(jìn)行日志輸出。 流量統(tǒng)計需求 為方便定位問題和跟蹤程序運行過程，可以即時的觀察采集平臺的工作狀態(tài)，比如：數(shù)據(jù)包數(shù)，丟包數(shù)， 接數(shù)， 接數(shù)，當(dāng)前數(shù)據(jù)流量，最大數(shù)據(jù)流量。 日 志信息 為方便定位問題和跟蹤程序運行過程，增加日志信息，分為錯誤日志和系統(tǒng)日志。錯誤日志是用來在運行過程中如果該關(guān)鍵代碼處出現(xiàn)異常，比如創(chuàng)建線程失敗，需要寫入錯誤日志。有時候跟蹤程序運行狀態(tài)，內(nèi)存使用超過設(shè)定值后臺程序退出，寫入系統(tǒng)日志。 同濟(jì)大學(xué) 碩士論文 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 10 整體功能結(jié)構(gòu) 根據(jù)以上管理平臺和采集平臺兩個部分的需求點描述，我們初步搭建了系統(tǒng)整體的功能模塊圖，見下圖所示： 圖 3能模塊圖 非功能性需求 表 3功能性需求表 非功能性需求項 要求 類型 需求項 性能需求 響應(yīng)時間 簡單查詢 2秒；復(fù)雜查詢 5秒 第 3 章 系統(tǒng)的需求分析 11 更新處理時間 單條更新 1秒；批量更新 5秒 數(shù)據(jù)傳輸時間 視數(shù)據(jù)量而定，可參照相應(yīng)時間。 計算時間 一般性的計算 10 秒；復(fù)雜的條件計算 30 秒 連接建立時間 3秒 并發(fā)數(shù)支持 支持 1000 界面數(shù)支持 10 個以上 頁面內(nèi)存占用 不超過 150M 表單字段數(shù) 200 個以上 荷率 正常情況下服務(wù)器 25%（ 5分鐘間隔），工作站 35%（ 5 分鐘間隔）；事故情況下：服務(wù)器 40%（ 5分鐘間隔），工作站 50%（ 5分鐘間隔） 網(wǎng)絡(luò)負(fù)荷率 正常情況下平均負(fù)荷 10%（任意 5 分鐘內(nèi)），事故情況下平均負(fù)荷 20%（任意 5分鐘內(nèi)） 穩(wěn)定性需求 平均無故障時間 3104h 系統(tǒng)故障恢復(fù)時間 2h 系統(tǒng)用例圖分析 本系統(tǒng)分為 備管理、 礎(chǔ)數(shù)據(jù)庫管理和狀態(tài)管理四大模塊。用例圖關(guān)系如下： 同濟(jì)大學(xué) 碩士論文 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 12 圖 3能管理用例圖 用戶在使用該系統(tǒng)以前，必須先導(dǎo)入對應(yīng)的基礎(chǔ)數(shù)據(jù)?；A(chǔ)庫數(shù)據(jù)分為兩種，分別是 圖 3礎(chǔ)庫管理用例圖 報備查詢模塊式系統(tǒng)主要模塊之一，它包含總體報備查詢、 名報備查詢、 備查詢、域名二次分析，共 5 個子模塊。其中總體報備查詢可以查詢名查詢可以查詢所有捕獲到的域名信息， 詢可以查詢該 應(yīng)的若干個域名信息，域名二次分析可以在才、基礎(chǔ)庫比對結(jié)果的基第 3 章 系統(tǒng)的需求分析 13 礎(chǔ)上再根據(jù)其他方式進(jìn)行進(jìn)一步的比對，進(jìn)而提高數(shù)據(jù)結(jié)果的準(zhǔn)確性。見下圖： 圖 3角色管理模塊，可以實現(xiàn)對各角色和其對應(yīng)的權(quán)限管理。比如 管理員權(quán)限可以實現(xiàn)對普通用戶的添加、修改、刪除等操作，也可以查詢某用戶的信息。 同濟(jì)大學(xué) 碩士論文 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 14 圖 3色管理用例圖 第 4 章 系統(tǒng) 設(shè)計 15 第 4章 . 系統(tǒng)設(shè)計 整體架構(gòu)設(shè)計 本 系統(tǒng)總體由三部分組成，分別是采集平臺部分、數(shù)據(jù)庫部分和管理平臺部分（見下圖）。其中采集平臺也成為解析平臺，負(fù)責(zé)采集數(shù)據(jù)，解析數(shù)據(jù)，最后還原數(shù)據(jù)成明文，進(jìn)而獲取該數(shù)據(jù)里面的域名信息。數(shù)據(jù)庫模塊是將獲取到的域名信息添加到數(shù)據(jù)庫，同時將本地基礎(chǔ)庫信息導(dǎo)入到數(shù)據(jù)庫，進(jìn)而作結(jié)果比對。管理平臺負(fù)責(zé)結(jié)果展示，比如獲取到的 息、域名和 面分別描述 這三部分模塊的具體設(shè)計。 采 集 平 臺數(shù) 據(jù) 庫 管 理 平 臺圖 4體結(jié)構(gòu)圖 管理平臺 根據(jù)設(shè)計要求，管理平臺需要劃分為六大模塊，首頁查詢、 備情況、備情況、 據(jù)信息、 據(jù)信息和狀態(tài)信息模塊。其中 備情況模塊劃分為 體報備情況、 據(jù)信息模塊劃分為基礎(chǔ)庫 息和 記兩個子模塊。 據(jù)信息模塊劃分為基礎(chǔ)庫 性結(jié)構(gòu)展示如下圖所示：同濟(jì)大學(xué) 碩士論文 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 16 I S P / I D C 機(jī) 房應(yīng) 用 系 統(tǒng) 客 戶 端互 聯(lián) 網(wǎng) 服 務(wù) 商 備 案 信 息 抽 查 系 統(tǒng)數(shù) 據(jù) 采 集 基 礎(chǔ) 信 息 庫 統(tǒng) 計 報 表 狀 態(tài) 查 詢解 析 平 臺 系統(tǒng)鏡 像 網(wǎng) 絡(luò) 數(shù) 據(jù) 流數(shù) 據(jù) 庫 系 統(tǒng)I S P 采 集信 息I D C 采 集信 息I S P 基 礎(chǔ)庫 信 息I D C 基 礎(chǔ)庫 信 息系 統(tǒng) 配 置信 息數(shù) 據(jù) 分 析 、入 庫緩存數(shù)據(jù)入庫圖 4理平臺結(jié)構(gòu)圖 管理平臺通過基礎(chǔ)庫 入互聯(lián)網(wǎng)基礎(chǔ)數(shù)據(jù)庫 息，并根據(jù)解析系統(tǒng)解析的 域名信息與 息進(jìn)行比對，將比對結(jié)果存入數(shù)據(jù)庫中，通過 理平臺總體流程圖如下： 第 4 章 系統(tǒng) 設(shè)計 17 C T - 2 3 0 0 互 聯(lián) 網(wǎng) 服 務(wù) 商 備 案 信 息 抽 查 系 統(tǒng)首頁I D 報備情況I D 理平臺功能結(jié)構(gòu)圖 下表是管理平臺的主要模塊信息： 表 4塊信息表 模塊名 程序文件名 運行平臺 編程語言 數(shù)據(jù)庫模塊 權(quán)模塊 務(wù)模塊 持模塊 面展示模塊 濟(jì)大學(xué) 碩士論文 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 18 采集平臺 采集平臺共分為十二個模塊，分別是主控模塊、管理調(diào)度模塊、文件采集模塊、 層解碼模塊、鏈接管理模塊，協(xié)議識別模塊，應(yīng)用層解碼模塊、業(yè)務(wù)處理模塊，數(shù)據(jù)格式化輸出模塊、資源模塊和統(tǒng)計模塊。圖 4集平臺功能結(jié)構(gòu)圖 第 4 章 系統(tǒng) 設(shè)計 19 采集平臺的主要模塊如下表： 表 4集模塊表 編號 模塊名稱 功能描述 1 主控模塊 程序入口，控制采集平臺的開始采集，結(jié)束采集等操作。 2 管理調(diào)度模塊 通過解析輸入配置腳本作為控制參數(shù)，確定平臺數(shù)據(jù)輸入的方式，是文件方式還是驅(qū)動方式。 3 文件采集模塊 第一代解析平臺支持解析 4 通過 后提交給協(xié)議解碼模塊。需要考慮 持百以太網(wǎng)絡(luò)。 5 底層解碼模塊 對捕獲到的數(shù)據(jù)包進(jìn)行底層解碼，解析出數(shù)據(jù)包的包頭部分，即 6 鏈接管理模塊 做鏈接維護(hù)，超時處理工作。 7 協(xié)議識別模塊 識別過來的數(shù)據(jù)屬于哪一種協(xié)議，目前僅關(guān)注 8 應(yīng)用層解碼模塊 對捕獲到的數(shù)據(jù)包進(jìn)行應(yīng)用層解碼，解析出每個的 分。 9 業(yè)務(wù)處理模塊 應(yīng)用層解碼完成 后，做輸出前的預(yù)處理工作，根據(jù)用戶設(shè)置的過濾條件，將符合條件的數(shù)據(jù)傳遞到輸出模塊，其他不符過濾條件的被丟棄。 11 資源模塊 主要是內(nèi)存管理、日志管理等。 12 統(tǒng)計模塊 運行過程中實時統(tǒng)計數(shù)據(jù)，比如：當(dāng)前流量值、最大流量值、據(jù)包數(shù)，丟包數(shù)等。 上面我們描述了系統(tǒng)整體結(jié)構(gòu)，對系統(tǒng)有了一個概括地認(rèn)識，接下來我們對系統(tǒng)個子模塊做詳細(xì)的描述。我們還是分成管理平臺和解析平臺兩個模塊來介紹。 管理平臺模塊介紹 用戶登錄子模塊 同濟(jì)大學(xué) 碩士論文 互聯(lián)網(wǎng)域名抽查系統(tǒng)的設(shè)計及實現(xiàn) 20 用戶通過該頁面輸入控制面板的用戶名、密碼、驗證碼， 身份認(rèn)證后進(jìn)入主機(jī)控制 面板。本頁面為用戶登錄主機(jī)控制面板頁面，用戶輸入用戶名、密碼、驗證碼，點擊登錄按鈕，進(jìn)行驗證后登錄到控制面板。其 業(yè)務(wù)流程圖如下：頁 面 初 始 化輸 入 用 戶 名 輸 入 密 碼是 否 為 空長 度 是 否 小于 6 位數(shù) 據(jù) 校 驗是 否 通 過否 否登 錄 系 統(tǒng)是是 是否圖 4錄流程圖 密碼修改子模塊 用戶通過系統(tǒng)主頁的“密碼修改”功能項進(jìn)入密碼修改控制面板。本頁面為用戶進(jìn)入修改密碼控制面板頁面，用戶輸入舊密碼、新密碼、重復(fù)新密碼。點擊提交第 4 章 系統(tǒng) 設(shè)計 21 按鈕，進(jìn)行驗證后提示修改成功。其 業(yè)務(wù)流程圖如下： 系 統(tǒng) 主 頁輸 入