一站式解決死鏈問題

在網站日常運營，死鏈是難免會產生的，不僅影響了用戶體驗，也影響了搜索效果；針對這一現象，站長社區版主—三木分享了他的死鏈處理心得。

本文主要講述死鏈對網站的影響；死鏈是如何產生的；如何發現死鏈；如何正確處理死鏈。

一、大量死鏈對搜索引擎來講，有什么影響?

1、死鏈率過高，會影響搜索引擎對網站的評分。

2、搜索引擎對每個網站每天抓取的頻次是限額的，若網站存在大量死鏈，會浪費掉抓取配額并影響其他正常頁面的抓取。

3、過多死鏈對網站用戶來講也是體驗不好的表現。

二、死鏈接是如何產生的?

1、網站內部添加了錯誤的內部鏈接編輯失誤或者程序員大意讓頁面產生了不存在的頁面。

2、網站短暫無法訪問因為服務器、空間或程序問題導致網站短暫無法訪問，產生大量返回碼為5開頭的服務器錯誤頁面。

3、外部鏈接錯誤用戶或者站長在站外發布了錯誤URL；別的網站復制或采集了你們含有錯誤鏈接的頁面。

4、爬蟲提取了不完整的URL個別爬蟲在提取頁面URL的時候，因為URL中有不規則字符或者URL與后邊的文字鏈接起來，導致URL失效。

5、網站改版如果你的網站已經改版或者將要改版，一定要注意死鏈問題，很多網站改版后，之前的老頁面直接刪除，導致了大量的死鏈接。

6、管理員刪除頁面網站管理員刪除被黑、廣告、過時、被灌水頁面導致很多死鏈接。

三、如何發現網站中存在的死鏈接？

1、百度站長工具中的抓取異常工具可以查看最近一個月產生的各種死鏈，并支持導出功能。

2、使用相關爬蟲軟件，比如Xenu，此類工具可以爬取全站所有鏈接并分析頁面狀態，分析完成后，支持導出功能，提取死鏈接即可。

3、在網站運營中，特別是論壇，經常需要刪除某些頁面，在刪除頁面時一定要記錄對應的Url以便后期提交死鏈。

通過上述兩種辦法提取的死鏈列表，一定要經過刪重和驗證，比如用wps表格進行刪除重復鏈接，然后再使用Http狀態批量查詢工具驗證下是否確實是死鏈接。

四、如何避免和處理死鏈接？

1、網站改版最容易產生死鏈的

改版之前的頁面如果有價值盡量不要刪除和修改Url，若需要更換域名或Url分配規則，那一定要將之前的url進行301跳轉到對應的Url；若老的數據必須刪除，那刪除的所有頁面Url要進行整理和提交死鏈。

2、對發現的死鏈接如何處理

將收集好的所有死鏈接粘貼到網站根目錄的一個文檔中，再把文檔地址提交到 百度站長工具--網頁抓取--死鏈提交--添加新數據--填寫死鏈文件地址；若大量死鏈具有一定的規則，如某個目錄下全部為死鏈接，可提交規則死鏈。

相關注意事項：

1、在百度站長工具中提交死鏈前，一定要確保提交的死鏈數據不存在活鏈接。一旦存在活鏈，會顯示提交失敗導致無法刪除。

2、由于很多網站程序問題，很多打不開的頁面返回碼并非404，這是一個大問題，比如明明是打不開的頁面返回碼是301、200、500，如果是200的話，會導致網站中出現不同URL獲取相同內容。比如我的一個站，社區的帖子刪除后，返回碼卻是500，后期發現了，立馬進行了處理。大家盡量找出所有錯誤 URL格式，并設置HTTP狀態碼為404。

3、把所有的錯誤頁面找到后，一定要尋找此類頁面URL相同特征，并且和正常頁面的特征有區分，寫對應規則到robots文件中，禁止蜘蛛抓取，就算你已經在站長工具中提交了死鏈，也建議robots封禁抓取。

4、robots只能解決蜘蛛不再抓取此類頁面，但解決不了已經收錄頁面的快照刪除問題，若你的網站被黑，刪除了被黑頁面，除了robots封禁被黑頁面外，還應該將這些頁面提交死鏈。提交死鏈是刪除被黑頁面快照的最快辦法。