盤點(diǎn)：關(guān)于ROBOTS協(xié)議的六大事件

首先再解釋下ROBOTS協(xié)議，所謂ROBOTS協(xié)議就是可以讓站長通過設(shè)置，讓網(wǎng)站的內(nèi)容不出現(xiàn)在搜索引擎中，而這君子協(xié)議也只是一種公約，并不構(gòu)成任何法律效力，那么現(xiàn)在我們假設(shè)ROBOTS協(xié)議失效，那些關(guān)于ROBOTS的歷史會走向怎樣的另一種可能。歷史事件一，F(xiàn)acebook屏蔽谷歌搜索FACEBOOK中的內(nèi)容，只要谷歌想抓取，放到搜索引擎上，從技術(shù)角度來說是沒有丁點(diǎn)難度的。但是直到今天谷歌都沒有抓取FACEBOOK中的海量用戶內(nèi)容，而這些海量的內(nèi)容對谷歌來講是巨大的損失。那么假如沒有robots協(xié)議，谷歌便可以隨意抓取，而facebook根本無力抵抗，其用戶生產(chǎn)的UGC內(nèi)容就會肆意的出現(xiàn)在谷歌的搜索結(jié)果中，而facebook依靠用戶UGC生成出的內(nèi)容護(hù)城河也將功虧一簣，用戶要想搜索好友不通過facebook搜索而是繞過facebook直接從谷歌所搜就可以，這對facebook來說就無法構(gòu)成閉環(huán)，必將損失慘重。歷史事件二，默多克旗下新聞屏蔽谷歌搜索從傳統(tǒng)媒體起家的默多克，對于搜索引擎的態(tài)度相當(dāng)不友善，默多克曾將雅虎谷歌等搜索引擎都說成是”網(wǎng)絡(luò)寄生蟲“。當(dāng)然，谷歌的回應(yīng)很簡單，如果不想讓貴站的內(nèi)容出現(xiàn)在搜索結(jié)果中，請使用robots協(xié)議禁止我們抓取即可。隨后默多克在09年開始展開計(jì)劃，對谷歌等搜索引擎展開行動，對旗下多家新聞網(wǎng)站屏蔽搜索爬蟲。谷歌便不再抓取。那么現(xiàn)在我們假設(shè)沒有robots協(xié)議的話，谷歌就會肆無忌憚的繼續(xù)抓取新聞網(wǎng)站的內(nèi)容，很可能就成為了真正的“寄生蟲”，并且還會與默多克集團(tuán)的官司不斷。好在谷歌遵守了，直接堵住了默多克的嘴，而隨后默多克也無話可說。歷史事件三，淘寶屏蔽百度搜索2008年百度有啊C2C平臺上線，利用搜索優(yōu)勢打算與阿里正面競爭。淘寶采取對抗措施，屏蔽百度抓取淘寶內(nèi)容，而百度也無可奈何，只能望內(nèi)容興嘆。如果沒有robots協(xié)議的話，那么淘寶就沒有辦法屏蔽百度，百度就可以依然肆無忌憚的抓取淘寶的海量內(nèi)容，讓阿里的計(jì)劃全盤落空，啞巴吃黃連。而好在百度遵守規(guī)則，通過遵守規(guī)則與阿里競爭，哪怕最后百度有啊以失敗告終，也沒越過雷池一步。歷史事件四，京東屏蔽一淘京東與阿里想來水火不容，京東屏蔽支付寶，屏蔽新浪微博登錄，而屏蔽阿里系的一淘搜索自然也在情理之中，是一種正常的商業(yè)競爭行為。而一淘失去京東的商品搜索結(jié)果，對自身損失也可謂極大。好的，那么假如現(xiàn)在沒有ROBOTS協(xié)議，阿里也同樣可以毫無壓力的抓取京東的內(nèi)容，充實(shí)自己的一淘搜索結(jié)果，京東也只能隔空罵阿里流氓并且束手無策。當(dāng)然，好在大家都是按照規(guī)矩競爭，阿里的一淘就算做的再差也沒有去抓取京東的內(nèi)容。歷史事件五，優(yōu)酷同時屏蔽百度與谷歌搜索08年末由于優(yōu)酷面臨寬帶運(yùn)營的成本壓力，所以在段時間內(nèi)屏蔽了搜索引擎以減輕自己的服務(wù)器壓力。而如果當(dāng)時沒有ROBOTS協(xié)議的話，那么所搜索引擎的抓取將使優(yōu)酷面臨更巨大的成本壓力，難以過冬，甚至很有可能命懸一線。而ROBOTS協(xié)議，給了優(yōu)酷喘息的機(jī)會。歷史事件六，QQ空間QQ空間自從誕生以來就只對旗下的搜搜開放，而對百度和谷歌等一直是屏蔽措施，我們無法在百度和谷歌上搜索到QQ空間的大量內(nèi)容。直到2012年，QQ空間才終于將內(nèi)容向其他搜索引擎開放。如果沒有ROBOTS協(xié)議的話，那么從QQ空間誕生之初就是百度谷歌等搜索引擎的囊中之物了，騰訊運(yùn)營的再好，內(nèi)容也會被別人家拿去，而騰訊也無法對旗下的搜搜進(jìn)行保護(hù)。結(jié)語：商業(yè)競爭從來都是生死存亡之事，