看了下日志，發(fā)現(xiàn)有幾條類似這樣的：
2010-07-27 16:03:33 W3SVC1129513256 221.192.135.26 GET /a/view/18691.html - 80 - 203.208.60.251 Mediapartners-Google 200 0 0

Mediapartners-Google是什么，搜索一下，原來是Google Adsense的漫游器。

以下內(nèi)容來自 網(wǎng)站管理員支持中心

我希望網(wǎng)站的某些網(wǎng)頁不被編入索引，但要在這些頁上顯示 AdSense 廣告。能否滿足我的這一要求？

可以。您可以在這些網(wǎng)頁上禁用 (Disallow) 除 Mediapartners-Google 之外的所有漫游器。這樣可確保不將網(wǎng)頁編入索引，但可讓 Googlebot-MediaPartners 漫游器分析這些網(wǎng)頁，以確定是否顯示廣告。Googlebot-MediaPartners 漫游器不與其他 Google 用戶代理共享網(wǎng)頁。例如，您可以使用下列條目：

User-Agent:*
Disallow:/folder1/
User-Agent:MediaPartners-Google
Allow:/folder1/

如何攔截 Googlebot？

攔截 Googlebot
Google 使用多個 user-agent。您可以在條目的 User-Agent 行中包含漫游器名稱來攔截對網(wǎng)頁的訪問。攔截 Googlebot 將會攔截所有以"Googlebot"開頭的漫游器。

Googlebot：從我們的網(wǎng)站索引和新聞索引中抓取網(wǎng)頁
Googlebot-Mobile：針對我們的移動索引抓取網(wǎng)頁
Googlebot-Image：針對我們的圖片索引抓取網(wǎng)頁
Mediapartners-Google：抓取網(wǎng)頁確定 AdSense 的內(nèi)容。只有在您的網(wǎng)站上展示 AdSense 廣告的情況下，我們才會使用此漫游器來抓取您的網(wǎng)站。
Adsbot-Google：抓取網(wǎng)頁來衡量 AdWords 目標網(wǎng)頁的質(zhì)量。只有在您使用 AdWords 為您的網(wǎng)站做廣告的情況下，我們才會使用此漫游器。參閱關(guān)于此漫游器的更多信息以及如何在您的網(wǎng)站上執(zhí)行部分攔截。
例如，要完全攔截 Googlebot，您可以使用下列語法：

User-agent:Googlebot Disallow:/
允許 Googlebot
如果您要攔截除 Googlebot 以外的所有漫游器訪問您的網(wǎng)頁，可以使用下列語法：

User-agent:Disallow:/
User-agent:Googlebot
Disallow:
Googlebot 跟隨指向它自己的行，而不是指向所有漫游器的行。

"Allow"擴展名
Googlebot 可識別稱為"Allow"的 robots.txt 標準擴展名。其他搜索引擎的漫游器可能無法識別此擴展名，因此請使用您感興趣的其他搜索引擎進行查找。"Allow"行的作用原理完全與"Disallow"行一樣。只需列出您要允許的目錄或頁面即可。

您也可以同時使用"Disallow"和"Allow"。例如，要攔截子目錄中某個頁面之外的其他所有頁面，可以使用下列條目：

User-Agent:Googlebot
Disallow:/folder1/
Allow:/folder1/myfile.html
這些條目將攔截 folder1 目錄內(nèi)除 myfile.html 之外的所有頁面。

如果您要攔截 Googlebot 并允許 Google 的另一個漫游器（如 Googlebot-Mobile），可使用"Allow"規(guī)則允許該漫游器的訪問。例如：

User-agent:Googlebot
Disallow:/
User-agent:Googlebot-Mobile
Allow: