一、現象

AH現場的程序是分布式部署，除了程序的配置文件不同外，并無其他不同。最近地市sz頻繁發生工單處理錯誤的故障，而其他地市運行一直很穩定。

二、 因此，對sz的主機進行了檢查，步驟如下：
1、重啟應用，發現應用的端口3456已經被占用，通過命令 lsof -i:3456 ，發現是用戶tel的進程占用了該端口。
2、通過命令ps，發現用戶tel的進程熟非常多，但在我們的系統中，并未創建過用戶tel。
3、使用top命令，結果如下：

top - 09:58:54 up 524 days, 14:31, 4 users, load average: 3.44, 4.98, 5.75
Tasks: 1715 total, 7 running, 1699 sleeping, 0 stopped, 9 zombie
Cpu(s): 23.3% us, 12.3% sy, 0.0% ni, 64.4% id, 0.0% wa, 0.0% hi, 0.0% si
Mem: 4147208k total, 2740256k used, 1406952k free, 23976k buffers
Swap: 4079600k total, 779100k used, 3300500k free, 638748k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
24201 tel 25 0 1468 476 396 R 100 0.0 0:58.78 pscan2
24510 root 17 0 4336 1916 760 R 4 0.0 0:00.30 top
發現tel用戶的進程pscan2，占用CPU資源達到100%，通過網上查找資料，發現pscan2是一個老美的木馬，他重要特征是占用CPU非常大。
因此推斷：主機被攻破，并被植入木馬pscan。

三、查找木馬pscan2

用root帳號su到tel，查看該用戶目錄，發現一個隱藏目錄，名稱是 “...” ，哦，名字比較迷惑人
，稍一大意就可能看不到，呵呵。進入目錄查看，木馬程序pscan2就是植入到這個目錄下了。
#ls -al
總用量 84
drwx------ 5 503 503 4096 8月 24 10:26 .
drwxr-xr-x 4 root root 4096 2007-08-30 ..
drwxrwxr-x 6 503 503 4096 8月 24 09:54 ...
-rw------- 1 503 503 6936 8月 24 10:45 .bash_history
-rw-r--r-- 1 503 503 24 2006-11-03 .bash_logout
-rw-r--r-- 1 503 503 191 2006-11-03 .bash_profile

四、清除木馬pscan，步驟如下：

1、刪除用戶tel所有進程
#pkill -9 -U tel
2、刪除用戶tel
#userdel tel
3、刪除用戶組時報錯
#groupdel tel
groupdel: cannot remove user's primary group.
4、查找passwd、group文件，發現仍然有個用戶bossnm屬于tel用戶組
group文件存在如下一行，其中503是用戶組ID
tel:x:503:
在passwd中存在如下一行，其中503表示這個用戶屬于組ID為503的用戶組
bossnm:x:500:503::/export/home/bossnm
5、刪除bossnm用戶及tel用戶組
#userdel bossnm
#groupdel tel
6、刪除tel用戶下所有的木馬文件

經過處理，系統已經恢復正常。