宅經濟生活批發網

很多有關於網站結構、抓取與收錄、甚至是排名的問題都可以被歸結為一個中心問題，那就是：搜索引擎能夠多麼容易的抓取您的網站？我們在最近的幾次活動上都談到過這個話題，下面您將會看到我們關於這個問題的演講內容以及要點概括。

網絡世界極其無限龐大；每時每刻都在產生新的內容。Google 本身的資源是有限的，當面對幾近無窮無盡的網絡內容的時候，Googlebot( 是 Google 的網頁檢索漫遊器，也稱為「自動尋檢程式」)。 只能找到和抓取其中一定比例的內容。然後在我們已經抓取到的內容中，我們也只能索引其中的一部分。

URLs就像網站和搜索引擎抓取工具之間的橋樑：為了能夠抓取到您網站的內容，抓取工具需要能夠找到並跨越這些橋樑(也就是找到並抓取您的URLs)。如果您的URLs很複雜或冗長，抓取工具不得不需要反覆花時間去跟蹤這些網址；如果您的URLs很規整併且直接指向您的獨特內容，抓取工具就可以把精力放在瞭解您的內容上，而不是白白花在抓取空網頁或被不同的URLs指引卻最終只是抓取到了相同的重複內容。

由以上您可以知道一些我們應當避免的反例--這些都是現實中存在的URL例子(儘管他們的名稱由於保護隱私的原因已經被替換了)，這些例子包括被駭的URL和編碼，冗餘的參數偽裝成URL路徑的一部分，無限的抓取空間，等等。您還可以找到幫助您理順這些網址迷宮和幫助抓取工具更快更好地找到您的內容的一些建議，主要包括：

去除URL中的用戶相關參數

那些不會對網頁內容產生影響的URL中的參數——例如session ID或者排序參數——是可以從URL中去除的，並被cookie記錄的。通過將這些信息加入cookie，然後重定向至一個「乾淨」的URL，你可以保持原有的內容，並減少多個URL指向同一內容的情況。

控制無限空間

你的網站上是否有一個日曆表，上面的鏈接指向無數個過去和將來的日期（每一個鏈接地址都獨一無二）？你的網頁地址是否在加入一個&page=3563的參數之後，仍然可以返回200代碼，哪怕根本沒有這麼多頁？如果是這樣的話，你的網站上就出現了所謂的「無限空間」，這種情況會浪費抓取機器人和你的網站的帶寬。

阻止Google爬蟲抓取他們不能處理的頁面

通過使用你的robots.txt文件，你可以阻止你的登錄頁面，聯繫方式，購物車以及其他一些爬蟲不能處理的頁面被抓取。(爬蟲是以他的吝嗇和害羞而著名，所以一般他們不會自己「往購物車裡添加貨物」 或者 「聯繫我們」)。通過這種方式，你可以讓爬蟲花費更多的時間抓取你的網站上他們能夠處理的內容。