1、,搜索引擎工作原理,SEO基礎(chǔ),課程目標(biāo),認(rèn)識搜索引擎的工作原理 記憶搜索引擎的工作流程,目錄,網(wǎng)頁收集,搜索引擎是如何收集互聯(lián)網(wǎng)中的網(wǎng)頁的？ 蜘蛛程序抓取例如：,認(rèn)識蜘蛛,什么是蜘蛛？ 網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人），是一種按照一定的規(guī)則，自動的抓取互聯(lián)網(wǎng)中網(wǎng)頁的程序或者腳本 蜘蛛的工作方式 蜘蛛是通過鏈接進(jìn)行爬行并抓取網(wǎng)頁的,認(rèn)識種子站點(diǎn),種子站點(diǎn) 蜘蛛起始的抓取站點(diǎn)，這類站點(diǎn)具有一定的權(quán)威性和導(dǎo)航性，如新浪、hao123等,搜索引擎收集機(jī)制,收集機(jī)制 根據(jù)網(wǎng)站的更新周期 定期定量的收集 三天打魚兩天曬網(wǎng),原始數(shù)據(jù),原始數(shù)據(jù)庫 蜘蛛抓取的頁面所要儲存的位置 百度快照,目錄,思考,

2、什么是預(yù)處理？ 蜘蛛抓取的原始頁面并不能直接用于查詢排名，需要對其進(jìn)行一定的處理,提取文字,分析鏈接,建立索引,中文分詞,去除重復(fù)頁面,計(jì)算網(wǎng)頁重要度,2,1,3,4,5,6,預(yù)處理的工作流程,提取文字,1. 提取文字 搜索引擎是以文字內(nèi)容為基礎(chǔ)的，從網(wǎng)頁文件中去除標(biāo)簽、程序，提取出可以用于排名的網(wǎng)頁文字內(nèi)容,中文分詞,2. 中文分詞 分詞 分詞是搜索引擎特有的步驟，把網(wǎng)頁中提取的文字按照詞組進(jìn)行劃分 例：百度聯(lián)盟 可拆分成 百度 聯(lián)盟 百度聯(lián)盟 消噪 對內(nèi)容沒有任何影響卻大量出現(xiàn)的詞，如：的、 地、得、啊、哦、呀、不但、而且等,去除重復(fù)頁面,3. 去除重復(fù)頁面 鏡像網(wǎng)頁 內(nèi)容完全相同，網(wǎng)址不

3、同 傾向原創(chuàng),計(jì)算網(wǎng)頁重要度,4. 計(jì)算網(wǎng)頁重要度 積分制計(jì)算 通過被指向鏈接計(jì)算 網(wǎng)頁的原創(chuàng)性,認(rèn)識索引,5. 建立索引 索引是建立關(guān)鍵詞與網(wǎng)頁之間的對應(yīng)表，建立索引的最大好處在于可快速獲取對應(yīng)的數(shù)據(jù),頁面,關(guān)鍵詞,關(guān)鍵詞,頁面,正排索引,倒排索引,旅游,頁面1 頁面3,頁面1,旅游,頁面2,美容,頁面3,旅游,認(rèn)識索引,索引示意圖,網(wǎng)站A,網(wǎng)站B,關(guān)鍵詞C,關(guān)鍵詞C,關(guān)鍵詞C,正排索引,正排索引,倒排索引,倒排索引,提取鏈接,6. 提取鏈接 根據(jù)頁面中存在的鏈接繼續(xù)抓取,預(yù)處理,小結(jié),4305,4501,提問,搜索引擎的預(yù)處理包含哪些工作？,提取文字 中文分詞 去除重復(fù)網(wǎng)頁 計(jì)算網(wǎng)頁重要度 建立索引 分析頁面中的鏈接,小結(jié),WWW,蜘蛛,網(wǎng)頁分析器,索引器,檢索器,百度,用戶,原始數(shù)據(jù)庫,索引數(shù)據(jù)庫,目錄,思考,4305,4501,提問,如何展現(xiàn)用戶所搜索的關(guān)鍵詞？,查詢詞的處理 獲取倒排索引,檢索服務(wù),查詢詞的處理 搜索詞進(jìn)行分詞 獲取排序 獲取倒排索引,總結(jié),網(wǎng)頁收集 認(rèn)識蜘蛛、種子站點(diǎn)、收集機(jī)制、原始數(shù)據(jù)庫 預(yù)處理 提取文字、分詞、去除重復(fù)頁面、計(jì)算重要度、建立索引、提取鏈接 檢