|
對應user-agent |
| 無線搜索 | Baiduspider-mobile |
| 圖片搜索 | Baiduspider-image |
| 視頻搜索 | Baiduspider-video |
| 新聞搜索 | Baiduspider-news |
| 百度搜藏 | Baiduspider-favo |
| 百度聯(lián)盟 | Baiduspider-cpro |
| 百度推廣 | Baiduspider-sfkr |
| 網(wǎng)頁以及其他搜索 | Baiduspider |
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.
您可以根據(jù)各產(chǎn)品不同的user-agent設置不同的抓取規(guī)則，如果您想完全禁止百度所有的產(chǎn)品收錄，可以直接對Baiduspider設置禁止抓取。
以下robots實現(xiàn)禁止所有來自百度的抓取：
User-agent: Baiduspider
Disallow: /
以下robots實現(xiàn)僅禁止來自百度視頻搜索的抓取：
User-agent: Baiduspider-video
Disallow: /
以下robots實現(xiàn)禁止所有來自百度的抓取但允許圖片搜索抓取/image/目錄：
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
