1、SEO 教程：搜索引擎優(yōu)化基礎(chǔ)實(shí)戰(zhàn)入門(mén)第1章 搜索引擎簡(jiǎn)述本章導(dǎo)讀本章主要講解了搜索引擎的種類和搜索引擎的工作原理通過(guò)本章學(xué)習(xí)，讀者對(duì)搜索引擎的工作流程將有一個(gè)大概的了解學(xué)習(xí)目標(biāo)了解搜索引擎掌握搜索引擎工作流程掌握百度特效搜索技能要點(diǎn)掌握搜索引擎工作流程如何吸引搜索引擎蜘蛛來(lái)抓取頁(yè)面掌握搜索引擎的抓取順序?qū)嵱?xùn)任務(wù)模擬百度蜘蛛抓取頁(yè)面提取文字測(cè)試百度特效搜索效果欣賞 1.1 了解搜索引擎 1.1.1 搜索引擎定義搜索引擎（Search Engine）是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。 1

2、.1.2 搜索引擎的種類 1國(guó)內(nèi)搜索引擎市場(chǎng)份額如圖 1-1 所示，圖中為大家展示的是 2017 年 6 月國(guó)內(nèi)主要搜索引擎的市場(chǎng)份額，其中：百度國(guó)內(nèi)市場(chǎng)份額為 80.50%，排名第一（即最大） ；360 搜索排名第二，市場(chǎng)份額為 8.83%；神馬排名第三，市場(chǎng)份額為 4.82%；搜狗搜索排名第四，市場(chǎng)份額為 2.50%；Google 排名第五，市場(chǎng)份額為 1.70%；必應(yīng)排名第六，市場(chǎng)份額為 1.11%；圖1-1 中的大部分搜索引擎大家都應(yīng)該有所了解，這里重點(diǎn)講解一下神馬搜索。神馬搜索是手機(jī)端UC 瀏覽器默認(rèn)的搜索引擎，是 UC（優(yōu)視）公司和阿里巴巴集團(tuán)在 2013 年成立合資公司推出的移動(dòng)

3、搜索引擎。圖 1-1 2017 年 6 月國(guó)內(nèi)主要搜索引擎的市場(chǎng)份額 2全球搜索引擎市場(chǎng)份額 圖1-2展示的是 2017 年 4 月全球主要搜索引擎的市場(chǎng)份額，其中：Google 全球市場(chǎng)份額從 92.34%上升至 92.5%（0.16%） ，排名第一（即最大） ；Bing 排名第二，市場(chǎng)份額從 2.93%下降至 2.87%；（0.06%）Yahoo!排名第三，市場(chǎng)份額從 2.20%下降至 2.01%；（0.19%）百度排名第四，市場(chǎng)份額從 1.05%上升至 1.11%；（0.06%）Yandex 排名第五，市場(chǎng)份額從 0.73%下降至 0.71%。（0.02%）圖 1-2 2017 年 4

4、月全球主要搜索引擎的市場(chǎng)份額1.2 搜索引擎工作流程 1.2.1 抓取模塊1蜘蛛搜索引擎為了抓取互聯(lián)網(wǎng)中的各種頁(yè)面，必須有一個(gè) 24 小時(shí)自動(dòng)抓取頁(yè)面的程序，我們稱這個(gè)程序?yàn)椤爸┲搿?，它在互聯(lián)網(wǎng)中也被稱為“機(jī)器人” 。百度的抓取程序我們一般稱為百度蜘蛛，常見(jiàn)的有 Baiduspider、Baiduspider-mobile（抓取 wap）Baiduspider-image（抓取圖片）Baiduspider-video（抓取視頻）Baiduspider-news（抓取新聞） 。谷歌的抓取程序我們一般稱為谷歌機(jī)器人，常見(jiàn)的有 Googlebot、Googlebot-Mobile（抓取 wap）

5、。360 的抓取程序我們一般稱為 360 蜘蛛，常見(jiàn)的只有一個(gè)：360Spider。蜘蛛訪問(wèn)任何一個(gè)站點(diǎn)的時(shí)候都會(huì)訪問(wèn)網(wǎng)站根目錄中的 robots.txt 文件。這個(gè)文件限制了搜索引擎蜘蛛的抓取范圍，所有的蜘蛛都必須遵守這個(gè)文件中的協(xié)議。另外，我們可以從一些站點(diǎn)中的 robots.txt文件中查看搜索引擎蜘蛛的最新名稱。 2跟蹤鏈接（蜘蛛抓取順序）為了抓取互聯(lián)網(wǎng)中更多的頁(yè)面，搜索引擎會(huì)根據(jù)網(wǎng)頁(yè)中的鏈接從一個(gè)頁(yè)面抓向另一個(gè)頁(yè)面，就像蜘蛛在蜘蛛網(wǎng)上爬行一樣，這也就是搜索引擎蜘蛛這個(gè)名字的由來(lái)。如圖 1-3 所示，蜘蛛順著一個(gè) A 頁(yè)面爬行到 A1、A2、A3、A4，直到頁(yè)面沒(méi)有鏈接之后就會(huì)返回 A

6、頁(yè)面，然后爬行到另外一個(gè)頁(yè)面；同樣按照 B1、B2、B3、B4 的順序抓取，有點(diǎn)類似于不撞南墻不回頭的樣子。這就是我們說(shuō)的深度優(yōu)先策略。圖 1-3 深度優(yōu)先策略 如圖 1-4 所示，蜘蛛從 A 頁(yè)面開(kāi)始順著鏈接爬行到 A1、B1、C1 頁(yè)面，直到 A 頁(yè)面上的鏈接都爬完之后，再?gòu)?A1 頁(yè)面開(kāi)始抓取下一層的鏈接頁(yè)面，分別爬行到 A2、A3、A4這就是我們說(shuō)的廣度優(yōu)先策略。圖 1-4 廣度優(yōu)先策略在實(shí)際應(yīng)用中，兩種策略通常是互相混合使用的，這樣可以抓取到互聯(lián)網(wǎng)中更多的頁(yè)面，特別是網(wǎng)站中內(nèi)頁(yè)深度比較深的一些頁(yè)面。3如何吸引蜘蛛來(lái)抓取網(wǎng)站中的頁(yè)面（1）權(quán)重越高、蜘蛛來(lái)得越頻繁；（2）更新越快，蜘蛛來(lái)

7、得越頻繁；（3）導(dǎo)入鏈接越多，蜘蛛來(lái)得越頻繁；（4）與首頁(yè)點(diǎn)擊距離越小，蜘蛛收錄得越快。網(wǎng)站建立初期，搜索引擎有可能是不知道咱們站點(diǎn)的，我們需要通過(guò)以下兩個(gè)方法來(lái)告訴搜索引擎。 （1）加入百度站長(zhǎng)平臺(tái)，提交網(wǎng)址鏈接并在網(wǎng)站布置自動(dòng)推送代碼（見(jiàn)圖 1-5） 。 （2）外部鏈接：我們可以在一些已經(jīng)被收錄的站點(diǎn)中放置我們自己的站點(diǎn)鏈接以此來(lái)吸引蜘蛛訪問(wèn)，可以發(fā)布軟文也可以交換友情鏈接。圖 1-5 百度站長(zhǎng)平臺(tái)提交網(wǎng)址鏈接4如何查看蜘蛛是否訪問(wèn)過(guò)站點(diǎn) （1）百度站長(zhǎng)平臺(tái)蜘蛛抓取頻次工具（見(jiàn)圖 1-6） 。 工具地址：/pressure/index圖 1-6 百度站長(zhǎng)平臺(tái)蜘蛛抓取頻次工具 （2）服務(wù)器日

8、志。如果你的服務(wù)器開(kāi)啟了日志功能，通過(guò)網(wǎng)站日志可以清楚地得知用戶在什么 IP、什么時(shí)間、什么操作系統(tǒng)、什么瀏覽器、什么分辨率顯示器的情況下訪問(wèn)了你網(wǎng)站的哪個(gè)頁(yè)面，是否訪問(wèn)成功（見(jiàn)圖 1-7） 。圖 1-7 服務(wù)器日志 1.2.2 過(guò)濾模塊由于互聯(lián)網(wǎng)中存在大量的垃圾頁(yè)面、復(fù)制內(nèi)容頁(yè)面和無(wú)內(nèi)容頁(yè)面，這些頁(yè)面大大浪費(fèi)了搜索引擎的服務(wù)器資源，對(duì)用戶來(lái)說(shuō)也是無(wú)用的。 所有搜索引擎為了避免這些垃圾頁(yè)面占用自己的資源，同時(shí)也為了更好的用戶體驗(yàn)，搜索引擎需要將蜘蛛抓取回來(lái)的這些頁(yè)面進(jìn)行過(guò)濾。搜索引擎在后臺(tái)通過(guò)提取文字、中文分詞、去停止詞、去除重復(fù)內(nèi)容等方法過(guò)濾掉垃圾頁(yè)面。其中的去重大家尤為留意一下，同一篇文章

9、重復(fù)出現(xiàn)在不同的站點(diǎn)中或者同一個(gè)站點(diǎn)的不同網(wǎng)址中，搜索引擎是非常討厭這樣的內(nèi)容頁(yè)面的，甚至?xí)徽J(rèn)為是垃圾頁(yè)面。 1.2.3 收錄模塊凡是被搜索引擎認(rèn)為有價(jià)值、對(duì)用戶有用的頁(yè)面，搜索引擎會(huì)將其存儲(chǔ)到索引數(shù)據(jù)中，我們稱之為收錄模塊。只有被搜索引擎存儲(chǔ)到索引數(shù)據(jù)庫(kù)中的網(wǎng)址才有可能參加排名。 1如何查看一個(gè)頁(yè)面是否被收錄 如圖 1-8 所示，最常見(jiàn)的辦法將頁(yè)面的網(wǎng)址（URL）放到百度搜索框中，如果出現(xiàn)了該頁(yè)面的搜索結(jié)果，那么就證明該頁(yè)面已經(jīng)被百度收錄了（其他搜索引擎同理） 。圖 1-8 百度搜索框 2如何查看一個(gè)站點(diǎn)的收錄量 （1）最準(zhǔn)確的方法就是通過(guò)百度站長(zhǎng)平臺(tái)查詢。此種方法一般查詢自己管理的站點(diǎn)（

10、見(jiàn)圖 1-9） 。圖 1-9 百度站長(zhǎng)平臺(tái)索引量查詢 （2）如果查詢別人的站點(diǎn)我們可以使用類似站長(zhǎng)工具、愛(ài)站網(wǎng)之類的網(wǎng)站輔助我們查詢，我們也可以通過(guò) site 指令直接查詢（見(jiàn)圖 1-10） 。圖 1-10 site 指令查詢網(wǎng)站收錄數(shù)量 1.2.4 排序模塊 對(duì)存入搜索引擎索引庫(kù)的頁(yè)面，通過(guò)正排索引、倒排索引以及各種算法之后得到每一個(gè)頁(yè)面的排名分?jǐn)?shù)，根據(jù)所得分?jǐn)?shù)將其進(jìn)行排序，這就是我們看到的最終排序結(jié)果。1.3 百度特效搜索所謂的百度特效搜索指的是在百度中搜索某一個(gè)特定的關(guān)鍵詞，會(huì)觸發(fā)相應(yīng)的事件，常見(jiàn)的有兩種特效，即視覺(jué)特效和聲音特效。 1.3.1 視覺(jué)特效 1黑洞 我們?cè)诎俣戎兴阉鳌昂诙础睍r(shí)，效果如圖 1-11 所示。圖 1-11 百度中搜索“黑洞”效果 2翻轉(zhuǎn) 我們?cè)诎俣戎兴阉鳌胺D(zhuǎn)”時(shí)，效果如圖 1-12 所示。圖 1-12 百度中搜索“翻轉(zhuǎn)”效果 1.3.2 聲音特效聲音特效沒(méi)有辦法在本書(shū)中體現(xiàn)，大家可以在百度中嘗試搜索打雷、大風(fēng)、布谷鳥(niǎo)等音效。 圖1-13所示為百度中搜索“布谷鳥(niǎo)”效果，大家在搜索結(jié)果的上方會(huì)發(fā)現(xiàn)一行字：歡迎體驗(yàn)有聲的搜索結(jié)果！圖 1-13