婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Linux Shell+Curl網站健康狀態檢查腳本,抓出中國博客聯盟失聯站點

Linux Shell+Curl網站健康狀態檢查腳本,抓出中國博客聯盟失聯站點

熱門標簽:德陽400電話申請 怎么在百度地圖標注公司的位置 天津電話外呼系統排名 鶴崗400電話申請 測繪地圖標注名稱 百度地圖標注直線距離 商機地圖標注 外呼電話系統怎么操作 智能電銷機器人有用嗎

一開始搭建中國博客聯盟,既有博友提醒我,做網址大全這類網站維護很麻煩,需要大量的精力去Debug一些已夭折的網站,更是拿松哥的博客大全舉例。當然,我也是深以為然。前些時間,看到夢軒麗人的boke123網址大全的維護記錄,好像是純手工檢查,張戈實在是佩服的五體投地,太有毅力了。

現在博客聯盟也收錄的博客也已破200了,全部來自自主提交,不管你是草博還是名博,張戈不會強買強賣。由于大部分都是建站不過半年的新站,半路放棄、提前太監的博客估計還是有的,于是我決定還是把站點維護這個工作做起來。

上午用PHP做了一個放到了京東云試了下,發現檢測速度一般,要等上半天(我寫的php太蹩腳,就不獻丑了)。

隨后,我在VPS上寫了一個多線程的網站狀態檢測腳本,直接從數據庫load站點地址,然后用curl去檢測返回碼,發現速度非常好,基本1分鐘內就能出結果
以下是腳本代碼:

#!/bin/bash
#Author:ZhangGe
#Date:2014-08-21
#Desc:Check the site of ZGboke Alliance.
#取出網站數據
data=`/usr/bin/mysql -uroot -p123456 -e "use zgboke;select web_url from dir_websites where web_status='3';" -N -B | awk '{print $1}'`
if [ -z "$data" ];then
    echo "Faild to connect database!"
    exit 1
fi
test -f result.log  rm -f result.log
function delay {
    sleep 3
}
tmp_fifofile=/tmp/$$.fifo
mkfifo $tmp_fifofile
exec 6>$tmp_fifofile
rm $tmp_fifofile
#定義并發線程數,需根據vps配置進行調整。
thread=100
for ((i=0 ;i$thread;i++ ))
do
    echo
done>6
#開始多線程循環檢測
for url in $data
do
    read -u6
    {
    #curl抓取網站http狀態碼
    code=`curl -o /dev/null --retry 3 --retry-max-time 8 -s -w %{http_code} $url`
    echo "$code ---> $url">>result.log
    #判斷子線程是否執行成功,并輸出結果
    delay  {
        echo "$code ---> $url"
    } || {
        echo "Check thread error!"
    }
    echo > 6
}
done
#等待所有線程執行完畢
wait
exec 6>-
#找出非200返回碼的站點
echo List of exception website:
cat result.log | grep -v 200
exit 0 

Ps:關于shell多線程腳本,后續文章會有一個詳細說明,本文篇幅有限,就不多說了。
以下是中國博客聯盟第一次成員站點存活檢測的結果:
①、 非200返回碼的異常站點:

②、腳本抓取的無法訪問站點:

人工訪問篩選結果:
wangyingxue.net(王英學博客):無法訪問,經確認處于備案中 √
www.tao0102.com(長江博客):可以訪問 √
blog.hack7d.com(Mcdull技術博客):無法訪問 ×
www.1992621.com(教師日記):可以訪問 √
www.3miaotu.com(三秒兔):無法訪問 ×
xiaoxiaomayi.com(小小螞蟻博客):可以訪問 √
www.awrui.com(李文棟博客):可以訪問 √

Ps:腳本檢測機制為:8s內未連通的判定為異常,并重試3次,最后輸出結果,若三次均異常則為000。從圖中和人工篩選可以看出,存在一些誤殺,這個和8s的設定有一定關系。可以考慮設置為更長時間,得到更準確的結果,當然最終還是要結合人工確認的,所以也沒多大關系。
后續,中國博客聯盟會制訂一個檢查周期,最短每星期檢查一次,最長一個月檢查一次,爭取讓每個展示的站點都能正常訪問。當然,我也會將每次檢查的結果公布在中國博客聯盟的站長資訊專欄,方便所有成員查看。
由于目前中國博客聯盟部署在京東云擎,無法遠程操控數據庫,所以只好暫時用半自動的模式。等以后有時間搬到了阿里云等VPS上后,將會將腳本改成全自動狀態,當有網站聯系多次檢測為失聯狀態時,將會暫時將其設置為隱藏狀態。

您可能感興趣的文章:
  • Linux Shell中curl和wget使用代理IP的方法教程
  • Linux下命令行cURL的10種常見用法示例
  • Linux下模擬http的get/post請求(curl or wget)詳解
  • Linux中curl命令和wget命令的使用介紹與比較
  • Linux中的curl命令詳解
  • Linux 中 CURL常用命令詳解
  • linux curl命令詳解及實例分享
  • linux命令行下使用curl命令查看自己機器的外網ip
  • linux下為php添加curl擴展的方法
  • Linux curl命令詳解

標簽:丹東 鎮江 優質小號 百色 武漢 六盤水 滁州 自貢

巨人網絡通訊聲明:本文標題《Linux Shell+Curl網站健康狀態檢查腳本,抓出中國博客聯盟失聯站點》,本文關鍵詞  Linux,Shell+Curl,網站,健康,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Linux Shell+Curl網站健康狀態檢查腳本,抓出中國博客聯盟失聯站點》相關的同類信息!
  • 本頁收集關于Linux Shell+Curl網站健康狀態檢查腳本,抓出中國博客聯盟失聯站點的相關信息資訊供網民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    国产一区二区伦理| 天天综合天天做天天综合| 精品国产精品网麻豆系列| 色婷婷综合五月| 精品一区二区三区免费播放| 亚洲精品久久久久久国产精华液| 国产欧美精品一区aⅴ影院| 欧美精品99久久久**| 欧美日韩高清在线播放| 在线观看国产日韩| 在线免费观看视频一区| 色哟哟一区二区在线观看| 国产成人免费9x9x人网站视频| www.亚洲在线| 欧美日本高清视频在线观看| 国产夫妻精品视频| 国产精品1区二区.| 美女久久久精品| 国产一区二区三区电影在线观看| 免费看日韩a级影片| 韩国在线一区二区| 91婷婷韩国欧美一区二区| 97精品国产露脸对白| 成人手机在线视频| 99视频一区二区三区| 欧美日韩黄色一区二区| 日韩免费高清av| 在线视频国内自拍亚洲视频| 国产美女精品人人做人人爽| 国产一区二区女| 91亚洲资源网| 欧美日韩一二三| 久久久久九九视频| 亚洲国产精品综合小说图片区| 国产乱码精品一区二区三区忘忧草 | 亚洲蜜臀av乱码久久精品| 免费在线观看一区| 欧美精品丝袜中出| 欧美在线看片a免费观看| 欧美一区二区三区免费大片| 久久亚洲春色中文字幕久久久| |精品福利一区二区三区| 国产在线精品一区二区不卡了| 久久综合久久久久88| 亚洲欧美日韩在线| 成人激情av网| 欧美xfplay| 色婷婷亚洲综合| 亚洲精品一区二区三区福利| 日韩国产欧美一区二区三区| 69久久99精品久久久久婷婷| 亚洲国产美国国产综合一区二区| 国产成人精品在线看| 精品乱人伦一区二区三区| 精品在线一区二区| 日韩一级成人av| 五月激情六月综合| 欧美人狂配大交3d怪物一区| 午夜久久久久久久久久一区二区| 99久久国产综合精品女不卡| 日本一二三不卡| 色94色欧美sute亚洲线路一ni| 婷婷一区二区三区| 日韩精品一区二区三区中文不卡| 久久99精品视频| 九九视频精品免费| 麻豆免费看一区二区三区| 欧美蜜桃一区二区三区| 国产成人一区二区精品非洲| 精品国产乱码久久| 麻豆国产精品官网| 一区二区三区欧美| 欧美亚洲国产bt| 午夜精品福利视频网站| 99久久久无码国产精品| 国内精品免费在线观看| 亚洲午夜在线观看视频在线| 久久久久久电影| 欧美午夜精品一区二区蜜桃| 久久国产免费看| 中文字幕乱码日本亚洲一区二区| 六月婷婷色综合| 欧美大片在线观看一区二区| www.av亚洲| www.欧美色图| 国产美女一区二区| 国产成人在线观看| 久久99精品久久久久久| 性感美女极品91精品| 国产精品美女久久久久久久久久久 | 日韩精品自拍偷拍| 欧美成人女星排行榜| 国产精品亚洲人在线观看| 成人午夜av电影| 成人激情电影免费在线观看| 日日欢夜夜爽一区| 亚洲欧美区自拍先锋| 亚洲精品欧美综合四区| 国产婷婷精品av在线| 日韩欧美亚洲国产另类| 91精品国产综合久久香蕉的特点 | 国产成人免费视频| 国产成人精品亚洲777人妖| 福利电影一区二区三区| 天天影视涩香欲综合网| 亚洲一区二区三区精品在线| 亚洲午夜一二三区视频| 亚洲精品国产成人久久av盗摄| 夜夜嗨av一区二区三区| 午夜精品久久久久久久久久| 美女在线视频一区| 日本女优在线视频一区二区| 国产伦精品一区二区三区免费| 99久久综合狠狠综合久久| 欧美一区二区三区啪啪| 欧美日韩一级视频| 国产日韩v精品一区二区| 中文字幕日韩精品一区| 久久99精品久久久| av午夜精品一区二区三区| 在线日韩av片| 91精品国产欧美一区二区成人| 婷婷开心久久网| 国产精品一级片在线观看| 成人av资源站| 日韩一卡二卡三卡国产欧美| 国产精品久99| av一区二区三区四区| 日韩精品一区二区在线观看| 国产日本一区二区| 精彩视频一区二区三区| 欧美精品一级二级三级| 国产一区啦啦啦在线观看| 婷婷六月综合亚洲| 一本久久精品一区二区| 一本色道久久综合亚洲91| 精品国产免费一区二区三区四区| 国产精品美女久久久久久久网站| 亚洲国产色一区| 国产91在线观看丝袜| 日韩免费视频一区| 午夜精品爽啪视频| 91在线免费看| 久久理论电影网| 免费xxxx性欧美18vr| 欧美国产精品中文字幕| 午夜av区久久| 欧美精品粉嫩高潮一区二区| 亚洲精品国产成人久久av盗摄 | 一区二区三区蜜桃网| 国产在线观看一区二区| 欧美一级久久久| 亚洲欧洲制服丝袜| 欧美精品日日鲁夜夜添| 一区二区三区国产精华| 在线亚洲+欧美+日本专区| 中文字幕中文字幕一区| 国产白丝精品91爽爽久久| 中文无字幕一区二区三区| 国产成人高清视频| 国产日韩欧美精品一区| 本田岬高潮一区二区三区| 一区二区三区在线免费播放| 欧美视频你懂的| 亚洲国产成人高清精品| 日本一区二区综合亚洲| av电影在线观看完整版一区二区| 亚洲一二三四在线| 精品国产露脸精彩对白| 99re成人在线| 久久不见久久见中文字幕免费| 国产精品美女久久久久久久久久久| 99re在线视频这里只有精品| 夜夜夜精品看看| 日韩视频免费观看高清完整版在线观看 | 91精品国产综合久久久久| 欧美性猛交xxxx乱大交退制版 | 国产精品资源网| 国产精品一区二区在线播放| 日韩成人免费电影| 亚洲综合色视频| 亚洲va欧美va人人爽| 美女性感视频久久| 国产精品456| 精品国偷自产国产一区| 日韩精品久久理论片| 国产精品久久久久毛片软件| 中文字幕乱码一区二区免费| 欧美一区日韩一区| 欧美日韩aaaaa| 欧美性欧美巨大黑白大战| 91在线porny国产在线看| 欧美视频你懂的| 欧美视频日韩视频| 欧美大尺度电影在线| 国产欧美精品区一区二区三区 | 97久久久精品综合88久久| 国产酒店精品激情| 国产麻豆午夜三级精品| 国产精品911|