揭開谷歌站點(diǎn)管理工具神秘面紗

上述三部分都包含有有益的信息，診斷部分提供的信息可以幫助你建立一個(gè)改善網(wǎng)站可視性的實(shí)施計(jì)劃表。今天，我們重點(diǎn)討論一下診斷部分的爬蟲錯(cuò)誤問(wèn)題。谷歌站點(diǎn)工具的爬蟲錯(cuò)誤部分是谷歌提供的最重要的報(bào)告。它顯示了谷歌既不能定期接入也無(wú)法看到的網(wǎng)頁(yè)。要知道SEO的一個(gè)重要事實(shí)：如果搜索引擎無(wú)法找到它，網(wǎng)頁(yè)永遠(yuǎn)不可能在SERP中顯示。這一報(bào)告部分是確保你的網(wǎng)頁(yè)被發(fā)現(xiàn)，解決診斷問(wèn)題的最好辦法。以下是爬蟲錯(cuò)誤顯示的幾種類型：――HTTP.這一部分顯示谷歌試圖要接入但無(wú)法接入的所有網(wǎng)頁(yè)。這是一種HTTP錯(cuò)誤代碼，它防止Googlebot閱讀網(wǎng)頁(yè)，諸如404、403和500等。定期對(duì)網(wǎng)頁(yè)列表進(jìn)行掃描。如果你發(fā)現(xiàn)這些列表搜索引擎和用戶可以看到，則查找錯(cuò)誤出現(xiàn)的原因。最后一次谷歌試圖接入時(shí)，你的網(wǎng)站斷了。如果是這樣，不要為此過(guò)分擔(dān)心，因?yàn)槟悻F(xiàn)在可以接入U(xiǎn)RL了。――網(wǎng)站地圖。這一數(shù)據(jù)顯示的一系列錯(cuò)誤與HTTP部分顯示的錯(cuò)誤非常類似，但錯(cuò)誤僅限于那些你已通過(guò)的XML網(wǎng)站地圖內(nèi)。XML網(wǎng)站地圖是決定規(guī)范性權(quán)威的重要信號(hào)，因此如果你發(fā)出請(qǐng)求后，你網(wǎng)站地圖中的URL出現(xiàn)錯(cuò)誤，則你應(yīng)為搜索引擎提供幾種選擇，讓它決定哪個(gè)URL應(yīng)該在搜索結(jié)果網(wǎng)頁(yè)中出現(xiàn)。――沒(méi)有被跟隨。這一列表中的URL也谷歌無(wú)法索引的URL相對(duì)。在許多情況下，這些URL代表谷歌可能部分索引但沒(méi)有做。此外，這一列表顯示了需要cookies的URL、不合理的長(zhǎng)的URL或是改道到不存在的網(wǎng)頁(yè)的URL.由于這在許多報(bào)告中非常典型，這一列表在診斷網(wǎng)站架構(gòu)問(wèn)題以及單一問(wèn)題化URL方面很有作用。――沒(méi)有被發(fā)現(xiàn)。這一報(bào)告對(duì)于解決404網(wǎng)頁(yè)未找到問(wèn)題很典型。我個(gè)人認(rèn)為，這一報(bào)告在谷歌站點(diǎn)工具報(bào)告中最為重要，因?yàn)槌孙@示特定的URL外，還顯示404錯(cuò)誤代碼，同時(shí)還列出了引導(dǎo)到錯(cuò)誤網(wǎng)頁(yè)的內(nèi)部和外部URL.在來(lái)自專欄的鏈接中，你會(huì)發(fā)現(xiàn)其中大量的超級(jí)鏈接，它指向每個(gè)未發(fā)現(xiàn)的URL.點(diǎn)擊這些鏈接會(huì)看到鏈接到你網(wǎng)站的鏈接。通過(guò)查看鏈接到URL的鏈接數(shù)量和質(zhì)量，你可以對(duì)調(diào)整做出優(yōu)化。比如，用15個(gè)鏈接修正一個(gè)導(dǎo)入U(xiǎn)RL，會(huì)幫助網(wǎng)站修正只有2個(gè)導(dǎo)入鏈接的死的URL.――被robots.txt限制。有時(shí)，網(wǎng)站所有人會(huì)使用robots.txt批示錯(cuò)誤地排除文件。這一報(bào)告顯示所有谷歌試圖要索引但由于robots.txt指令而無(wú)法索引的URL.當(dāng)網(wǎng)站所指的特定URL被robots.txt排除時(shí)，這種情況才會(huì)發(fā)生。――已過(guò)時(shí)。這份報(bào)告是診斷服務(wù)器故障的好辦法。通過(guò)定義，URL在這份報(bào)告中顯示，因?yàn)楣雀柙谠噲D接入你的域名、特定URL或是robots.txt文件時(shí)接收到了一個(gè)時(shí)間表。不能接入上述任何內(nèi)容，說(shuō)明你的服務(wù)器可能花太長(zhǎng)的時(shí)間對(duì)請(qǐng)求的URL做出回答，你應(yīng)該對(duì)此進(jìn)行調(diào)查。當(dāng)你查看這份報(bào)告時(shí)，不要讓存在的問(wèn)題使你困惑。當(dāng)它影響到了重要的URL和谷歌索引的可視性時(shí)，它才是一個(gè)問(wèn)題。另一方面，如果老的、絕對(duì)的URL顯示404錯(cuò)誤或是robots.txt不接受5000個(gè)網(wǎng)頁(yè)時(shí)，不要擔(dān)心這些問(wèn)題會(huì)影響你的網(wǎng)站。谷歌站點(diǎn)管理工具還包括兩種不同類型的內(nèi)容內(nèi)容報(bào)告：緊密型HTML和移動(dòng)WML，因此，根據(jù)你提