404頁面出現在用戶或蜘蛛訪問網站不存在url時,一般內容轉移或url結構改變時會造成404狀態頁面。尤其在網站改版時,內容及網站結構的調整很可能造成大量舊的url無法訪問,這些無法訪問的頁面對用戶及搜索引擎都是有負面影響的。
百度官方在公告中明確指出:
404頁面是網絡服務器返回的http狀態碼表示網頁未找到,用戶及蜘蛛無法訪問,是一種協議死鏈。這種死鏈頁面需主動推送,使搜索引擎能夠更快地發現并做相應處理,減少404死鏈內容對用戶及搜索引擎造成的負面影響。
另外,在百度官方抓取異常說明中也談到這個問題:
一、什么是死鏈?
頁面已經無效,無法對用戶提供任何有價值信息的頁面就是死鏈接,包括協議死鏈和內容死鏈兩種形式。
協議死鏈:頁面的TCP協議狀態/HTTP協議狀態明確表示的死鏈,常見的如404、403、503狀態等。
內容死鏈:服務器返回狀態是正常的,但內容已經變更為不存在、已刪除或需要權限等與原內容無關的信息頁面。
對于死鏈,建議通過百度站長平臺--死鏈工具提交死鏈的方式進行處理,以便搜索引擎更快地發現死鏈,減少死鏈對用戶以及搜索引擎造成的負面影響。
二、抓取異常對網站的影響有哪些?
對于大量內容無法正常抓取的網站,搜索引擎會認為網站存在用戶體驗上的缺陷,并降低對網站的評價,在抓取、索引、權重上都會受到一定程度的負面影響,*終影響到網站從百度獲取的流量。
三、及時處理死鏈可以給站長帶來什么?
當網站死鏈數據累積過多時,并且被展示到搜索結果頁中,對網站本身的訪問體驗和用戶轉化都起到了負面影響。另一方面,百度檢查死鏈的流程也會為網站帶來額外負擔,影響網站其他正常頁面的抓取和索引。
優化用戶體驗:減少死鏈對網站品牌的損傷和用戶的差評度
改善網站排名:減少死鏈對線上搜索排名的負面影響
增加網站收錄:提交死鏈列表后,增加網站內容的收錄幾率
提升網站流量:排名和收錄改善后,間接提升網站流量
由上述內容可明確看出,404頁面確定會對搜索引擎造成負面影響,甚至可能會造成網站的降權!
因而,若網站改版后造成舊url無法訪問出現大量404頁面時,需要將這些鏈接通過百度站長工具提交,若量過大無法提交,則需在robots.txt中禁止搜索引擎爬取,這樣就可以有效的避免蜘蛛在爬取網站時出現大量404狀態碼而造成蜘蛛資源的浪費及權重的流失、差的蜘蛛“印象”等一系列降權可能。
根據404頁面url結構在robots.txt中進行disallow。如笨鳥博客*近的一次改版將tag頁面原有的/post/tag/結構改為/tag/更改了tag頁的目錄層級及所屬以利于網站整體目錄清晰便于統計等,由此產生的大量404頁面笨鳥在robots.txt中以Disallow:/post/tag/形式禁止抓取。
。
上一篇:網站改版應對措施三步走