很多站長都會遇到這個問題，網站開發完成上線后，百度一直不收錄。   　　即使收錄也只是收錄個首頁，內頁很難快速被收錄。這樣網站優化工作是難以開展的，如何解決這個問題？       　　搜索引擎的進化   　　互聯網早期，網站數量有限，所以人工整理是可行的，比如就有DMOZ這樣的人工編輯的網站數據庫，分門別類的整理好各種網址。   　　后來全球網站數量爆炸性增長，人工整理就不現實了，于是有了網絡爬蟲（也叫蜘蛛）代替人工去訪問抓取網站，這就是最原始的搜索引擎。   　　雖然互聯網是一個網狀結構，但是抓取整個互聯網上的所有網站還是有難度的，首先要解決的問題就是如何發現這些網站。   　　為了解決這個問題，搜索引擎都會有一個基礎的網站數據庫，從這里的網站開始爬取，希望能抓取整個互聯網上的信息。而且依靠鏈接之間的引用關系和使用的鏈接文本來計算網頁的權重，從而能對搜索結果排序。比如Google的PageRank算法。   　　Yahoo算是非常早的搜索引擎，它就使用DMOZ的網站作為爬蟲的抓取起點，而且我懷疑Google也使用DMOZ數據，因為10多年前做網站時，大家都希望自己的網站能被DMOZ收錄，甚至賄賂DMOZ的編輯人員。   　　還有那時候大家都拼命交換友情鏈接，PR值高的網站就是大爺。這背后對應著網站的收錄速度和排名高低。   　　一個新網站，如果有PR值高的網站給你加友情鏈接，很快網站就可以被抓取收錄。   　　早期互聯網內容貧乏，隨便做個網站，找有權重的網站交換友情鏈接，這些搜索引擎爬蟲都如饑似渴的抓取收錄。   　　可現在互聯網上的內容太多了（Google的總索引頁面數477億左右)），搜索引擎也變得越來越挑剔，所以新站起流量越來越難了。     　　

標簽：東營 烏魯木齊 林芝 鹽城 九江