深入認(rèn)識(shí)robots
搜索引擎使用spider程序自動(dòng)訪(fǎng)問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。Spider在訪(fǎng)問(wèn)一個(gè)網(wǎng)站時(shí),會(huì)首頁(yè)檢查該網(wǎng)站的根域名下是否有一個(gè)叫robots.txt的純文本,這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站上創(chuàng)建一個(gè)robots.txt,在文件中聲明改網(wǎng)站中哪些目錄不讓搜索引擎收錄。(robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。)
1、robots的用法
User-agent:定義進(jìn)制搜索引擎名字,比如說(shuō):百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。*號(hào)代表全部搜索引擎
Disallow:不允許收錄
Allow:允許收錄
案例:
User-agent:*(聲明禁止所有的搜索引擎抓取以下內(nèi)容)
Disallow:/blog/(禁止網(wǎng)站blog欄目下所有的頁(yè)面。比如說(shuō):/blog/123.html)
Disallow:/api(比如說(shuō):/apifsdfds/123.html也會(huì)被屏蔽。)
Allow:/blog/12/(一般情況下不需要寫(xiě)Allow的,而我們?cè)诮沟哪夸浵旅妫覀冃枰屗阉饕媸珍洠敲次覀兙涂梢允褂肁llow,比如說(shuō)我們前面禁止了blog欄目下所有的頁(yè)面,同時(shí)我們想/12/欄目下被收錄,這個(gè)時(shí)候我們就需要通過(guò)Allow來(lái)允許搜索引擎的收錄。)
Disallow:*?*(只要你的路徑里面帶有問(wèn)號(hào)的路徑,那么這條路徑將會(huì)被屏蔽。比如說(shuō):http://wenda.ssffx.com/?expert/default.html將會(huì)被屏蔽。)
Disallow:/*.php$(意思是以.php結(jié)尾的路徑全部屏蔽掉。)
如何使用Robots提升排名一、屏蔽死鏈接
許多時(shí)候,我們網(wǎng)站會(huì)產(chǎn)生死鏈接,比如說(shuō):網(wǎng)站改版、文章刪除等,都很有可能會(huì)導(dǎo)致網(wǎng)站出現(xiàn)404頁(yè)面,那么這個(gè)時(shí)候我們就需要通過(guò)robots來(lái)屏蔽這些死鏈接。查看死鏈的方法有以下兩種:
1、)通過(guò)網(wǎng)站日志查詢(xún)。
我們可以通過(guò)下載網(wǎng)站日志來(lái)查看我們的404頁(yè)面(網(wǎng)站日志可以向空間商要,空間商會(huì)提供下載通道),我們用txt打開(kāi)網(wǎng)站日志,通過(guò)搜索“404”,如果你網(wǎng)站有404頁(yè)面,并且被訪(fǎng)問(wèn)到了,那么這個(gè)時(shí)候就會(huì)被網(wǎng)站日志給記錄。
2、)百度站長(zhǎng)平臺(tái)查詢(xún)
我們首先需要驗(yàn)證百度站長(zhǎng)平臺(tái)(如何驗(yàn)證就不說(shuō)了,最基本的。)驗(yàn)證以后,我們通過(guò)百度站長(zhǎng)工具的死鏈工具,可以清楚的看到,我們網(wǎng)站有哪些死鏈接。
二、屏蔽無(wú)價(jià)值的頁(yè)面
許多網(wǎng)站都有一些沒(méi)有價(jià)值的頁(yè)面,比如說(shuō)SEO指導(dǎo)中心的用戶(hù)個(gè)人中心頁(yè)面,這個(gè)個(gè)人中心頁(yè)面不會(huì)對(duì)網(wǎng)站產(chǎn)生價(jià)值,在百度上面的展現(xiàn)也不會(huì)給網(wǎng)站帶來(lái)權(quán)重。因此我們需要利用robots來(lái)屏蔽這樣的頁(yè)面。又比如說(shuō):一個(gè)企業(yè)網(wǎng)站的聯(lián)系我們頁(yè)面,這種頁(yè)面不會(huì)給網(wǎng)站帶來(lái)權(quán)重,用戶(hù)也不會(huì)去搜索“聯(lián)系我們”來(lái)找他想要的產(chǎn)品。因此我們需要把這種頁(yè)面同時(shí)屏蔽。
三、屏蔽重復(fù)路徑
當(dāng)你網(wǎng)站出現(xiàn)重復(fù)路徑的時(shí)候,百度將會(huì)對(duì)我們的網(wǎng)站進(jìn)行直接降分,比如說(shuō):一個(gè)網(wǎng)站做了偽靜態(tài),同時(shí)他的動(dòng)態(tài)頁(yè)面也可以訪(fǎng)問(wèn),這個(gè)時(shí)候就會(huì)出現(xiàn)重復(fù)路徑。因此我們需要通過(guò)robots屏蔽這些重復(fù)路徑。
也許很多人都不知道,許多細(xì)節(jié)都很有可能是你網(wǎng)站排名不上的原因,而這些小小的細(xì)節(jié)往往被大家給忽略了。同時(shí)希望站長(zhǎng)在做網(wǎng)站優(yōu)化的時(shí)候多多關(guān)注一些網(wǎng)站細(xì)節(jié)的問(wèn)題。
標(biāo)簽:東營(yíng)
鹽城
九江
林芝
烏魯木齊