淺談：改進抓取和索引的技巧

一旦網站上線或者是超過某個年齡之后，大部分網站管理都會忽視抓取預算，通常都是過段時間后，才會去注意網站，而這時你的網站已經失去關鍵的排名，已經在一百名之外。為什么會這樣?可能是由于那你網站的技術結構，精簡內容或新算法更改導致的，又或者是由一個非常有問題的抓取錯誤引起的，為了避免這種情況的發展，作為seo優化的站長你需要優化抓取預算以保持競爭力。

1、用Google Search Console跟蹤抓取狀態

網站抓取狀態中的錯誤可能是由于您的網站上存在更深層次的問題，所以天津網站建設 建議您最好每30-60天檢查一次抓取狀態，這對于識別影響您網站整體營銷效果的潛在錯誤非常重要，這是seo優化的第一步，也是最關鍵的一步，沒有它，所有其他努力都是白費。現在，如果要刪除對某個網頁的訪問權限，可以直接告訴Search Console，若頁面被臨時重定向或出現404錯誤，這非常有用。

2、創建適合移動設備的網頁

隨著移動優先索引的到來，我們還必須優化我們的頁面在移動索引上顯示移動友好副本。好消息是，如果不存在適合移動設備的副本，桌面副本仍將被編入索引并顯示在移動索引下，壞消息是你的排名可能會受到影響。目前，有許多技術調整可以立即使您的網站更加適合移動設備，包括：實施響應式網頁設計;在內容中插入視點元標記;縮小頁面上的資源(CSS和JS);使用AMP緩存標記頁面;優化和壓縮圖像以加快加載速度;減少頁面UI元素的大小。

小提示：務必在移動平臺上測試您的網站，然后通過Google Pagespeed Insights運行它，因為頁面速度是一個重要的排名因素，很可能會對搜索引擎抓取您網站的速度造成影響。

3、定期更新內容

若你定期的給您的網站填充新的高質量的原創內容，那么搜索引擎就會定期的去抓取您的網站，這對于需要定期發布和編制索引的新故事的發布商尤其有用。定期生成內容會向搜索引擎發出信號，表明您的網站不斷改進并發布新內容，因此需要更頻繁地抓取這些內容以覆蓋目標受眾。

4、將站點地圖提交給每個搜索引擎

截止到目前，索引的最佳提升之一依然是向Google Search Console和Bing網站站長工具提交站點地圖，而您可以使用站點地圖生成器創建XML版本，也可以通過標記包含重復內容的每個頁面的規范版本在Google Search Console中手動創建一個XML版本。

5、與隔離網頁的深層鏈接

若你的站點或子域上的網頁是獨立創建的，或存在阻止對其進行爬網的錯誤，則可以通過獲得外部域上的鏈接來將其編入索引，這是一種非常有用的策略，用于在您的網站上宣傳新內容并使其更快地編入索引。但一定要謹防聯合內容以實現此目的，因為搜索引擎可能會忽略聯合頁面，如果沒有正確規范化，它可能會產生重復錯誤。

6、縮小頁面資源并增加加載時間

強制搜索引擎抓取大量未經優化的圖片不僅會占用您的抓取預算，并且還會阻止您的網站經常被編入索引，更主要的是搜索引擎也難以抓取您網站的某些后端元素。例如，谷歌歷史上一直在努力抓取Javascript，即便像Flash和CSS這樣的某些資源也可能在移動設備上表現不佳，并且會占用您的抓取預算。因此從某種意義上說，這是一個雙輸的場景，其中頁面速度和爬行預算被犧牲用于突出的頁面元素。

小提示：務必通過縮小頁面上的資源來優化您的網頁，以提高速度，尤其是在移動設備上，您還可以啟用緩存和壓縮，以幫助蜘蛛更快地抓取您的網站。

7、使用Noindex標簽修復頁面

在網站開發過程中，在可能重復或僅針對采取某種操作的用戶的頁面上實現noindex標記可能是有意義的。無論如何，您可以使用免費的在線工具識別帶有noindex標簽的網頁，這些網頁可以防止它們被抓取。WordPress的Yoast插件允許您輕松地將頁面從索引切換到無索引，您也可以在網站頁面的后端手動執行此操作。

8、消除重復內容

一旦網站中存在大量重復的內容，很可能會降低抓取速度并降低抓取預算，這是作為優化站長你可以通過阻止這些頁面被編入索引，或者是在你希望編入索引的頁面上放置規范標記來消除這些問題。同樣，優化每個頁面的元標記，防止搜索引擎將類似頁面誤認為其爬網中的重復內容。

9、阻止您不希望蜘蛛抓取的頁面

在優化的過程中你可能希望阻止搜索引擎抓取特定頁面的情況，想實現這個目的，可通過如下方式：放置一個noindex標簽，將URL放在robots.txt文件中，完全刪除頁面，這將能幫助您的抓取更有效地運行，而并非時強制搜索引擎傾注重復的內容。

結論 ：若在優化的過程中，你已經遵循了seo最佳實踐，這樣的話或許您無需擔心爬行狀態。但是，在Google Search Console中檢查您的抓取狀態并進行定期內部鏈接審核這也并非時一件容易的事情，雖然不容易，但是作為seo優化的站長也必須要迎難而上。

原文地址：http://www.wenshuai.cn/home/article/detail/id/1296.html