第10頁共10頁《電子商務(wù)應(yīng)用》實驗報告驗實驗3《《及搜索引擎及SEO實驗》》實驗學(xué)時：2每組人數(shù)：1實驗類型：2（1：基礎(chǔ)性2：綜合性3：設(shè)計性4：研究性）實驗要求：1（1：必修2：選修3：其它）實驗類別：3（1：基礎(chǔ)2：專業(yè)基礎(chǔ)3：專業(yè)4：其它）一、實驗?zāi)康?．研究并學(xué)習(xí)幾種常見的搜索引擎算法，包括網(wǎng)絡(luò)蜘蛛爬行策略、中文分詞算法、網(wǎng)頁正文提取算法、網(wǎng)頁去重算法、PageRank和MapReduce算法，了解它們的基本實現(xiàn)原理；2．運用所學(xué)SEO技術(shù)對網(wǎng)頁進(jìn)行優(yōu)化。二、實驗內(nèi)容1.研究常用的網(wǎng)絡(luò)蜘蛛爬行策略，如深度優(yōu)先策略、廣度優(yōu)先策略、網(wǎng)頁選擇策略、重訪策略和并行策略等，了解其實現(xiàn)原理；2.研究至少兩種中文分詞算法，了解其實現(xiàn)原理；3.研究至少兩種網(wǎng)頁正文提取算法，了解其實現(xiàn)原理；4.研究至少兩種網(wǎng)頁去重算法，了解其實現(xiàn)原理；5.研究Google的PageRank和MapReduce算法，了解它們的實現(xiàn)原理；6.使用所學(xué)的SEO技術(shù)，對實驗二所設(shè)計的網(wǎng)站靜態(tài)首頁實施SEO，在實施過程中需采用如下技術(shù)：(1)網(wǎng)頁標(biāo)題(title)的優(yōu)化；(2)選取合適的【關(guān)鍵詞】：^p并對【關(guān)鍵詞】：^p進(jìn)行優(yōu)化；(3)元標(biāo)簽的優(yōu)化；(4)網(wǎng)站結(jié)構(gòu)和URL的優(yōu)化；(5)創(chuàng)建robots.t_t文件，禁止蜘蛛抓取網(wǎng)站后臺頁面；(6)網(wǎng)頁內(nèi)部鏈接的優(yōu)化；(7)Heading標(biāo)簽的優(yōu)化；(8)圖片優(yōu)化；(9)網(wǎng)頁減肥技術(shù)。7.使用C++、C#和等任意一種編程語言，設(shè)計并實現(xiàn)一個簡單的網(wǎng)絡(luò)蜘蛛爬行程序，要求在輸入【關(guān)鍵詞】：^p、設(shè)置爬行深度和初始網(wǎng)頁URL之后能夠?qū)崿F(xiàn)網(wǎng)頁搜索，輸出包含【關(guān)鍵詞】：^p的網(wǎng)頁的URL和網(wǎng)頁標(biāo)題。【注：實驗7為補充實驗，不要求每個同學(xué)都完成，感興趣者可自行實現(xiàn)該程序，不計入實驗報告評分?！咳嶒炓?.研究幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略，填寫相應(yīng)的表格，表格必須填寫完整；2.研究兩種中文分詞算法，填寫相應(yīng)的表格，表格必須填寫完整；3.研究兩種網(wǎng)頁正文提取算法，填寫相應(yīng)的表格，表格必須填寫完整；4.研究兩種網(wǎng)頁去重算法，填寫相應(yīng)的表格，表格必須填寫完整；5.研究PageRank算法和MapReduce算法，填寫相應(yīng)的表格，表格必須填寫完整；6.提供實施SEO之后的網(wǎng)站靜態(tài)首頁界面和HTML代碼，盡量多地使用所學(xué)SEO技術(shù)；7.嚴(yán)禁大面積拷貝互聯(lián)網(wǎng)上已有文字資料，盡量用自己的理解來闡述算法原理，必要時可以通過圖形來描述算法；8.使用任意一種編程語言實現(xiàn)一個簡單的網(wǎng)絡(luò)蜘蛛程序，需提供網(wǎng)絡(luò)蜘蛛程序完整代碼及實際運行結(jié)果。四、實驗步驟1.通過使用搜索引擎并查閱相關(guān)資料，研究并整理幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略相關(guān)資料，填寫相應(yīng)的表格；2.通過使用搜索引擎并查閱相關(guān)資料，研究并整理兩種中文分詞算法的基本原理，填寫相應(yīng)的表格；3.通過使用搜索引擎并查閱相關(guān)資料，研究并整理兩種網(wǎng)頁正文提取算法的基本原理，填寫相應(yīng)的表格；4.通過使用搜索引擎并查閱相關(guān)資料，研究并整理兩種網(wǎng)頁去重算法的基本原理，填寫相應(yīng)的表格；5.通過使用搜索引擎并查閱相關(guān)資料，研究并整理PageRank算法和MapReduce算法的基本原理，填寫相應(yīng)的表格；6.對實驗二所設(shè)計的網(wǎng)站靜態(tài)首頁實施SEO；7.使用任意一種編程語言，設(shè)計并實現(xiàn)一個簡單的網(wǎng)絡(luò)蜘蛛爬行程序。五、實驗報告1．完成本項目實驗后，學(xué)生應(yīng)提交實驗報告。2．實驗報告格式與要求見附件。《電子商務(wù)應(yīng)用》實驗報告項目名稱專業(yè)班級學(xué)號姓名實驗成績：良良批閱教師：20__年1月9日驗實驗3《《及搜索引擎及SEO實驗》》實驗學(xué)時：實驗地點：實驗日期：一、實驗?zāi)康难芯坎W(xué)習(xí)幾種常見的搜索引擎算法，包括網(wǎng)絡(luò)蜘蛛爬行策略、中文分詞算法、網(wǎng)頁正文提取算法、網(wǎng)頁去重算法、PageRank和MapReduce算法，了解它們的基本實現(xiàn)原理；運用所學(xué)SEO技術(shù)對網(wǎng)頁進(jìn)行優(yōu)化。二、實驗內(nèi)容和方法1.研究常用的網(wǎng)絡(luò)蜘蛛爬行策略，如深度優(yōu)先策略、廣度優(yōu)先策略、網(wǎng)頁選擇策略、重訪策略和并行策略等，了解其實現(xiàn)原理；2.研究至少兩種中文分詞算法，了解其實現(xiàn)原理；3.研究至少兩種網(wǎng)頁正文提取算法，了解其實現(xiàn)原理；4.研究至少兩種網(wǎng)頁去重算法，了解其實現(xiàn)原理；5.研究Google的PageRank和MapReduce算法，了解它們的實現(xiàn)原理；6.使用所學(xué)的SEO技術(shù)，對實驗二所設(shè)計的網(wǎng)站靜態(tài)首頁實施SEO，在實施過程中需采用如下技術(shù)：(1)網(wǎng)頁標(biāo)題(title)的優(yōu)化；(2)選取合適的【關(guān)鍵詞】：^p并對【關(guān)鍵詞】：^p進(jìn)行優(yōu)化；(3)元標(biāo)簽的優(yōu)化；(4)網(wǎng)站結(jié)構(gòu)和URL的優(yōu)化；(5)創(chuàng)建robots.t_t文件，禁止蜘蛛抓取網(wǎng)站后臺頁面；(6)網(wǎng)頁內(nèi)部鏈接的優(yōu)化；(7)Heading標(biāo)簽的優(yōu)化；(8)圖片優(yōu)化；(9)網(wǎng)頁減肥技術(shù)。7.使用C++、C#和等任意一種編程語言，設(shè)計并實現(xiàn)一個簡單的網(wǎng)絡(luò)蜘蛛爬行程序，要求在輸入【關(guān)鍵詞】：^p、設(shè)置爬行深度和初始網(wǎng)頁URL之后能夠?qū)崿F(xiàn)網(wǎng)頁搜索，輸出包含【關(guān)鍵詞】：^p的網(wǎng)頁的URL和網(wǎng)頁標(biāo)題。【注：實驗7為補充實驗，不要求每個同學(xué)都完成，感興趣者可自行實現(xiàn)該程序，不計入實驗報告評分。】三、實驗要求1.研究幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略，填寫相應(yīng)的表格，表格必須填寫完整；2.研究兩種中文分詞算法，填寫相應(yīng)的表格，表格必須填寫完整；3.研究兩種網(wǎng)頁正文提取算法，填寫相應(yīng)的表格，表格必須填寫完整；4.研究兩種網(wǎng)頁去重算法，填寫相應(yīng)的表格，表格必須填寫完整；5.研究PageRank算法和MapReduce算法，填寫相應(yīng)的表格，表格必須填寫完整；6.提供實施SEO之后的網(wǎng)站靜態(tài)首頁界面和HTML代碼，盡量多地使用所學(xué)SEO技術(shù)；7.嚴(yán)禁大面積拷貝互聯(lián)網(wǎng)上已有文字資料，盡量用自己的理解來闡述算法原理，必要時可以通過圖形來描述算法；8.使用任意一種編程語言實現(xiàn)一個簡單的網(wǎng)絡(luò)蜘蛛程序，需提供網(wǎng)絡(luò)蜘蛛程序完整代碼及實際運行結(jié)果。四、實驗步驟1.通過使用搜索引擎并查閱相關(guān)資料，研究并整理幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略相關(guān)資料，填寫相應(yīng)的表格；2.通過使用搜索引擎并查閱相關(guān)資料，研究并整理兩種中文分詞算法的基本原理，填寫相應(yīng)的表格；3.通過使用搜索引擎并查閱相關(guān)資料，研究并整理兩種網(wǎng)頁正文提取算法的基本原理，填寫相應(yīng)的表格；4.通過使用搜索引擎并查閱相關(guān)資料，研究并整理兩種網(wǎng)頁去重算法的基本原理，填寫相應(yīng)的表格；5.通過使用搜索引擎并查閱相關(guān)資料，研究并整理PageRank算法和MapReduce算法的基本原理，填寫相應(yīng)的表格；6.對實驗二所設(shè)計的網(wǎng)站靜態(tài)首頁實施SEO；7.使用任意一種編程語言，設(shè)計并實現(xiàn)一個簡單的網(wǎng)絡(luò)蜘蛛爬行程序。五、實驗結(jié)果1.研究幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略并填寫如下表格：策略名稱基本原理參考資料深度優(yōu)先策略深度優(yōu)先搜索是一種在開發(fā)爬蟲早期使用較多的方法。它的目的是要達(dá)到被搜索結(jié)構(gòu)的葉結(jié)點(即那些不包含任何超鏈的HTML文件)。在一個HTML文件中，當(dāng)一個超鏈被選擇后，被鏈接的HTML文件將執(zhí)行深度優(yōu)先搜索，即在搜索其余的超鏈結(jié)果之前必須先完整地搜索單獨的一條鏈。深度優(yōu)先搜索沿著HTML文件上的超鏈走到不能再深入為止，然后返回到某一個HTML文件，再繼續(xù)選擇該HTML文件中的其他超鏈。當(dāng)不再有其他超鏈可選擇百度百科深度優(yōu)先搜索：view/288277時，說明搜索已經(jīng)結(jié)束。廣度優(yōu)先策略寬度優(yōu)先搜索算法（又稱廣度優(yōu)先搜索）是最簡便的圖的搜索算法之一，這一算法也是很多重要的圖的算法的原型。Dijkstra單最短路徑算法和Prim最小生成樹算法都采用了和寬度優(yōu)先搜索類似的思想。其別名又叫BFS，屬于一種盲目搜尋法，目的是系統(tǒng)地展開并檢查圖中的所有節(jié)點，以找尋結(jié)果。換句話說，它并不考慮結(jié)果的可能位址，徹底地搜索整張圖，直到找到結(jié)果為止。百度百科廣度優(yōu)先搜索：view/1242613網(wǎng)頁選擇策略對搜索引擎而言，要搜索互聯(lián)網(wǎng)上所有的網(wǎng)頁幾乎不可能，即使全球知名的搜索引擎google也只能搜索整個Inter網(wǎng)頁的30％左右。其中的原因主要有兩方面，一是抓取技術(shù)的瓶頸。網(wǎng)絡(luò)爬蟲無法遍歷所有的網(wǎng)頁；二是存儲技術(shù)和處理技術(shù)的問題。因此，網(wǎng)絡(luò)爬蟲在抓取網(wǎng)頁時。盡量先采集重要的網(wǎng)頁，即采用網(wǎng)頁優(yōu)先抓取策略。網(wǎng)頁選擇策略是給予重要程度、等級較高的Web頁以較高的抓取優(yōu)先級，即Web頁越重要，則越應(yīng)優(yōu)先抓取。其實質(zhì)上是一種使網(wǎng)絡(luò)爬蟲在一定條件下較快地鎖定互聯(lián)網(wǎng)中被用戶普遍關(guān)注的重要信息資的方法。而實現(xiàn)該策略的前提是正確評測Web頁的重要程度bJ，目前評測的主要指標(biāo)有PageRank李志義《網(wǎng)絡(luò)爬蟲的優(yōu)化策略探略》，廣東廣州510631重訪策略(1)依據(jù)Web站點的更新頻率確定重訪頻率此法符合實際情況，能夠更有效地管理和利用網(wǎng)絡(luò)爬蟲。例如，門戶網(wǎng)站通常每天要不斷地更新信息和添加新的信息，重訪的頻率則以天或小時為周期進(jìn)行網(wǎng)頁的重訪。(2)不關(guān)心Web站點的更新頻率問題，而是李志義《網(wǎng)絡(luò)爬蟲的優(yōu)化策略探略》，廣東廣州510631間隔一段時間重訪已被抓取的岡頁。其弊端是重復(fù)抓取的概率大，容易造成不必要的資浪費。(3)根據(jù)搜索引擎開發(fā)商對網(wǎng)頁的主觀評價，提供個性化的服務(wù)網(wǎng)頁的重訪需要搜索引擎開發(fā)商對主要的站點進(jìn)行網(wǎng)頁更新頻率的主觀評價，可以根據(jù)需求提供個性化的服務(wù)。并行策略實施并行策略的核心是在增加協(xié)同工作的爬蟲數(shù)量的同時，科學(xué)合理地分配每個爬蟲的任務(wù)，盡量避免不同的爬蟲做相同的Web信息抓取。一般通過兩種方法來分配抓取任務(wù)，一是按照Web站點所對應(yīng)的m地址劃分任務(wù)，一個爬蟲只需遍歷某一組地址所包含Web頁即可；另一種方法是依據(jù)Web站點的域名動態(tài)分配爬行任務(wù)，每個爬蟲完成某個或某些域名段內(nèi)Web信息的搜集。李志義《網(wǎng)絡(luò)爬蟲的優(yōu)化策略探略》，廣東廣州510631注：參考資料格式如下：[1]developerWorks中國：設(shè)計模式.developerworks/cn//design/.[2]閻宏.與模式.北京:電子工業(yè)出版社,20__4.[3]于滿泉,陳鐵睿,許洪波.基于分塊的網(wǎng)頁信息解析器的研究與設(shè)計.計算機應(yīng)用,20__5,25(4).2.研究兩種中文分詞算法并填寫如下表格：算法名稱基本原理參考資料算法一：最大匹配算法最大匹配算法是一種有著廣泛應(yīng)用的機械分詞方法，該方法依據(jù)一個分詞詞表和一個基本的切分評估原則．即“長詞優(yōu)先”原則，來進(jìn)行分詞張玉茹肇慶526070《中文分詞算法之最大匹配算法的研究》算法二:基于無詞典的分詞算法基于漢字之間的互信息和t-測試信息的分詞算法。漢語的詞可以理解為字與字之間的穩(wěn)定結(jié)合，因此。如果在上下文中某幾個相鄰的字出現(xiàn)的次數(shù)越多，那么，這幾個字成詞的可能性就很大。根據(jù)這個道理引入互信息(Mutualinformation)和t-測試值(t-score)的概念，用來表示兩個漢字之間結(jié)合關(guān)系的緊密程度。該方法的分詞原理是：對于一個漢字字符串，計算劉紅芝徐州醫(yī)學(xué)院圖書館江蘇徐州221004《中文分詞技術(shù)的研究》漢字之間的互信息和t-測試差信息，選擇互信息和t-測試差信息大的組成詞。該方法的局限性是只能處理長度為2的詞，且對于一些共現(xiàn)頻率高的但并不是詞的字組，常被提取出來，并且常用詞的計算開銷大，但可以識別一些新詞，消除歧義。對于一個成熟的分詞系統(tǒng)來說，不可能單獨依靠某一個算法來實現(xiàn)，都需要綜合不同的算法，在實際的應(yīng)用中，要根據(jù)具體的情況來選擇不同的分詞方案。3.研究兩種網(wǎng)頁正文提取算法并填寫如下表格：算法名稱基本原理參考資料算法一基于相似度的中文網(wǎng)頁正文提取算法正文文本在HTML文件中有兩種修飾方式：有標(biāo)簽提示和無標(biāo)簽提示。有標(biāo)簽文本中標(biāo)簽的作用一般包含分塊信息、表格信息、或者文本的字體顏色信息等。這種文本采用基于分塊的方法能有不錯的效果。而無標(biāo)簽信息的正文文本處理之后不在分塊中，也不在表格內(nèi)。采用先分塊后提取放入網(wǎng)頁正文提取方法，無法達(dá)到理想的精度。本文提出根據(jù)相似度來提取網(wǎng)頁正文的算法。算法分為兩個步驟：首先取出網(wǎng)頁中包含中文最多的行，然后利用鑒于此余弦相似度匹配和標(biāo)簽相似度來提取網(wǎng)頁正文。該算法最大的特點是避免了上述的分塊步驟。熊子奇張暉林茂松(西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院四川綿陽620)《基于相似度的中文網(wǎng)頁正文提取算法》算法二基于FFT的網(wǎng)頁正文提取算法研究與實現(xiàn)給定一個底層網(wǎng)頁的HTML文件，求解最佳的正文區(qū)問。對于任何字符串區(qū)間(b,e),(O≤6lt;e≤ss為文件的長度．S為文件)，都有一個評價值，問題轉(zhuǎn)化為求評價函數(shù)的最大解。李蕾，王勁林，白鶴，胡晶晶《基于