婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > 用好anyproxy提高公眾號文章采集效率

用好anyproxy提高公眾號文章采集效率

熱門標簽:福建高頻外呼防封系統哪家好 周口網絡回撥外呼系統 全國各省地圖標注點 商丘外呼系統好處 隨州銷售電銷機器人公司 外呼系統人工客服 400電話申請辦理 百度地圖標注類型是酒店 網絡電話400申請

影響因素主要會有以下幾點:

1、網絡環境不佳;

2、手機或模擬器中微信客戶端崩潰;

3、其它一些網絡傳輸錯誤;

因為我比較看重采集系統的運行成本,這個成本包括硬件投入,運算力投入和占用的人工精力。所以必須提高運行的穩定性。因此如果采集中斷,必然增加人工精力的成本。所以針對這一點我對anyproxy做了一些進階的改造,并且借助了其它一些工具提高了運行效率。以下就是具體的解決方法:

一、代碼升級

1)微信瀏覽器白屏

解決方法:修改文件requestHandler.js,還是在rule_default.js同級目錄下,(mac系統/usr/local/lib/node_modules/anyproxy/lib/;win系統評論區網友cnbattle提供C:\Users\Administrator\AppData\Roaming\npm\node_modules\anyproxy\lib)

在代碼中找到proxyReq.on("error",function(e){這個函數,并修改內容

//userRes.end();//把這一行注釋掉
userRes.end('script>setTimeout(function(){window.location.reload();},2000);/script>');//插入這一行

這樣當發生錯誤時,會返回一個刷新當前頁面的js;這樣程序就能繼續下去了

2)替換所有圖片,減輕瀏覽器負擔

首先需要制作一張非常小的圖片,我做的是1x1像素,png透明圖;放到任意文件夾里。然后修改文件rule_default.js的代碼:

在文件開頭有許多var的位置加入以下代碼

var fs = require("fs"),
 img = fs.readFileSync("/Library/WebServer/Documents/space.png");//代碼絕對路徑替換成自己的

在下面的代碼中找到shouldUseLocalResponse : function(req,reqBody){函數,在函數內插入代碼:

if(/mmbiz\.qpic\.cn/i.test(req.url)){
 req.replaceLocalFile = true;
 return true;
}else{
 return false;
}

繼續在下面的代碼中找到dealLocalResponse : function(req,reqBody,callback){函數,在函數內插入代碼:

if(req.replaceLocalFile){
 callback(200, {"content-type":"image/png"},img );
}

這三段代碼就會將公眾號里面的所有圖片替換成本地圖片,減輕網絡傳輸壓力和瀏覽器占用的內存,有效的提高運行效率;

3)禁止手機或模擬器訪問一些無用的和會導致錯誤的網址

同樣在rule_default.js里找到代碼replaceRequestOption : function(req,option){函數,在函數內部插入代碼:

var newOption = option;
if(/google|btrace/i.test(newOption.headers.host)){//這里面的正則可以替換成自己不希望訪問的網址特征字符串,這里面的btrace是一個騰訊視頻的域名,經過實踐發現特別容易導致瀏覽器崩潰,所以加在里面了,繼續添加可以使用|分割。
 newOption.hostname = "127.0.0.1";//這個ip也可以替換成其他的
 newOption.port  = "80";
}
return newOption;

這個修改之前的文章也提到過了,在這里重新再詳細介紹一下。他的用途很多,不同的手機和模擬器都有可能訪問一些無用的地址導致設備變慢,通過這個代碼就可以阻止訪問。

二、使用pm2管理anyproxy進程

pm2 是一個帶有負載均衡功能的Node應用的進程管理器.

當你要把你的獨立代碼利用全部的服務器上的所有CPU,并保證進程永遠都活著,0秒的重載, PM2是完美的。它非常適合IaaS結構,但不要把它用于PaaS方案(隨后將開發Paas的解決方案).

主要特性:

內建負載均衡(使用Node cluster 集群模塊)

后臺運行

0秒停機重載,我理解大概意思是維護升級的時候不需要停機.

具有Ubuntu和CentOS 的啟動腳本

停止不穩定的進程(避免無限循環)

控制臺檢測

提供 HTTP API

遠程控制和實時的接口API ( Nodejs 模塊,允許和PM2進程管理器交互 )

測試過Nodejs v0.11 v0.10 v0.8版本,兼容CoffeeScript,基于Linux 和MacOS.

首先安裝pm2

sudo npm install -g pm2

在pm2環境下運行anyproxy

sudo pm2 start anyproxy -x -- -i

現在anyproxy就在pm2的環境中運行了

之后還有幾個pm2的命令可以幫助管理和監控anyproxy

//查看運行日志
sudo pm2 logs anyproxy [--lines 10]
//關閉anyproxy
sudo pm2 delete anyproxy
//重啟anyproxy
sudo pm2 restart anyproxy
//監控內存占用
sudo pm2 monit
//監控運行狀態
sudo pm2 list

特別提示:pm2運行后,終端窗口是可以關閉的。

使用pm2管理anyproxy進程,最重要的目的是:anyproxy因為錯誤而退出程序之后,pm2可以另anyproxy自動重啟。

三、取消sudo密碼,并使pm2開機自啟

以下內容是在mac環境下的方法,windows也應該有類似的方法,如果了解的網友可以私信發給我。

1)首先取消sudo的密碼

運行命令:

sudo visudo

找到代碼:

%admin   ALL = (ALL) ALL

修改為:

%admin   ALL = (ALL) NOPASSWD: ALL

這樣sudo的密碼就取消掉了,然后就可以將pm2加入到開機自啟動中了

2)設置開機自啟

在終端中輸入命令:

cd
touch autoexec.sh
vim autoexec.sh

然后進入編輯模式,按鍵盤字母i開始編輯,粘貼代碼:

#!/bin/sh 
sudo pm2 start anyproxy -x -- -i
sudo pm2 monit

編輯完之后,按esc,再鍵入命令wq保存退出編輯模式。

再執行命令:

chmod 755 autoexec.sh

這樣一個可執行文件就建立好了

然后打開mac系統的“系統偏好設置”,找到“用戶與群組”,在左側選擇當前用戶,右側選擇登錄項;然后點擊+號,找到當前用戶的根目錄(可以按shift+command+h快捷鍵),選擇autoexec.sh文件,添加到登錄項中,就可以開機自啟動了。

經過以上的幾項設置之后,anyproxy系統就會比原來更加穩定,其實主要原因是模擬器或手機的不穩定導致的anyproxy發生的錯誤。經過實際測試,anyproxy目前可以長時間運行不崩潰。而微信客戶端還是在運行大約6個小時之后崩潰,以2秒翻一頁的速度,采集總數大約1萬個頁面。如果不采集閱讀量,就可以是1萬個公眾號的歷史消息頁。

微信客戶端的崩潰現象是退出微信瀏覽器,停留在查看公眾號資料頁面。所以如果希望再進一步提高自動化,也可以使用觸動精靈之作自動化腳本,定時推出微信瀏覽器,再點擊歷史消息頁。這樣應該就可以實現長時間自動化采集了。

標簽:佛山 定西 海南 十堰 迪慶 樂山 南寧 六安

巨人網絡通訊聲明:本文標題《用好anyproxy提高公眾號文章采集效率》,本文關鍵詞  用好,anyproxy,提高,公眾,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《用好anyproxy提高公眾號文章采集效率》相關的同類信息!
  • 本頁收集關于用好anyproxy提高公眾號文章采集效率的相關信息資訊供網民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    在线视频你懂得一区| 麻豆精品久久久| 久久久欧美精品sm网站| 欧美伦理电影网| 欧美日韩综合在线| 欧美日韩国产首页| 日韩视频123| 久久综合九色综合97_久久久| 日韩免费一区二区| 日韩欧美一区在线观看| 精品国精品国产| 久久久久久久综合| 中文字幕高清不卡| 亚洲九九爱视频| 午夜欧美视频在线观看| 亚洲国产综合人成综合网站| 亚洲国产你懂的| 日本欧美一区二区| 国产成人av一区二区三区在线 | 日韩av一级片| 日本视频中文字幕一区二区三区| 免费久久精品视频| 国产精品系列在线播放| 99免费精品在线观看| 色偷偷久久人人79超碰人人澡| 在线观看三级视频欧美| 91精品国产综合久久久久久久久久| 欧美一级国产精品| 国产精品美女久久久久久久久| 亚洲女女做受ⅹxx高潮| 日本vs亚洲vs韩国一区三区二区| 久久国产日韩欧美精品| 白白色 亚洲乱淫| 欧美无人高清视频在线观看| 欧美一区二区三区人| 国产人成一区二区三区影院| 亚洲激情自拍视频| 国产在线国偷精品免费看| 91久久精品一区二区| 欧美精品一区二区三区蜜臀| 依依成人精品视频| 国产麻豆精品在线| 欧美一区二区三区视频在线| 亚洲日本青草视频在线怡红院 | 中文字幕在线视频一区| 日韩精品成人一区二区三区| 国产精品123| 欧美精品久久99久久在免费线 | 菠萝蜜视频在线观看一区| 欧美一级日韩不卡播放免费| 亚洲蜜臀av乱码久久精品蜜桃| 精品午夜一区二区三区在线观看| 一本高清dvd不卡在线观看| 久久日韩精品一区二区五区| 亚洲电影你懂得| 9i在线看片成人免费| 欧美国产激情一区二区三区蜜月| 青青国产91久久久久久| 日本韩国一区二区三区| 中文字幕成人网| 国产成a人无v码亚洲福利| 日韩精品一区二区三区蜜臀| 亚洲电影在线免费观看| 一本色道久久综合狠狠躁的推荐| 中文字幕欧美三区| 风流少妇一区二区| 国产精品情趣视频| 国产成人免费av在线| 久久精品视频一区| 国产乱码一区二区三区| 精品国产乱码久久久久久久久 | 亚洲精品欧美激情| 91小视频免费观看| 中文字幕在线不卡视频| 91亚洲男人天堂| 亚洲摸摸操操av| 91搞黄在线观看| 一区二区免费看| 欧美日韩一区二区在线观看视频| 亚洲午夜免费视频| 欧美日韩一区不卡| 蜜桃精品在线观看| 久久精品网站免费观看| 成人sese在线| 一区二区三区成人在线视频| 欧美日韩免费不卡视频一区二区三区| 亚洲丰满少妇videoshd| 精品日产卡一卡二卡麻豆| 国产精品自在在线| 中文字幕av一区二区三区高| 91在线精品一区二区| 亚洲永久免费av| 日韩欧美国产综合在线一区二区三区| 捆绑调教一区二区三区| 国产精品日产欧美久久久久| 91高清视频免费看| 久久www免费人成看片高清| 国产蜜臀97一区二区三区| 色国产综合视频| 奇米888四色在线精品| 中文字幕精品综合| 欧美日韩亚州综合| 成人午夜电影久久影院| 天堂在线亚洲视频| 国产欧美精品一区二区色综合 | 一区二区三区在线播放| 欧美高清你懂得| 成人免费高清在线观看| 五月婷婷综合网| 国产欧美日韩综合| 欧美二区乱c少妇| 成人伦理片在线| 美日韩一区二区| 亚洲桃色在线一区| 日韩精品一区二区三区中文不卡 | 成人高清视频免费观看| 图片区小说区区亚洲影院| 久久久久久久免费视频了| 精品视频一区三区九区| 成人丝袜高跟foot| 乱一区二区av| 天天操天天干天天综合网| 国产精品免费aⅴ片在线观看| 欧美美女喷水视频| 91女厕偷拍女厕偷拍高清| 国产一区二区三区四区在线观看| 亚洲综合成人网| 亚洲欧美怡红院| 国产视频一区二区在线观看| 日韩美女视频在线| 欧美放荡的少妇| 欧美日韩中文字幕一区| 色av一区二区| 色婷婷综合激情| 91理论电影在线观看| 成人18视频日本| 国产呦精品一区二区三区网站| 日韩电影免费在线观看网站| 亚洲最大的成人av| 亚洲激情在线激情| 一区二区三区.www| 亚洲久草在线视频| 亚洲精品乱码久久久久久久久 | 一区二区免费在线| 一区二区在线电影| 一区二区三区四区亚洲| 亚洲免费av高清| 亚洲国产成人91porn| 亚洲观看高清完整版在线观看| 尤物av一区二区| 夜色激情一区二区| 亚洲第一搞黄网站| 美女精品一区二区| 国内精品自线一区二区三区视频| 精品亚洲porn| 成人一区二区三区视频在线观看| 国产成人鲁色资源国产91色综| 成人久久久精品乱码一区二区三区 | 欧美午夜精品免费| 欧美色图在线观看| 欧美日韩国产影片| 精品国产一区二区三区不卡| 久久精品一区二区三区四区| 日本一区二区三区四区| 亚洲精品久久久蜜桃| 亚洲大片精品永久免费| 久久成人精品无人区| 国产iv一区二区三区| 成人永久免费视频| 欧美色男人天堂| 2023国产精华国产精品| 国产精品午夜在线观看| 一区二区三区四区av| 老司机精品视频一区二区三区| 成人午夜激情影院| 337p亚洲精品色噜噜噜| 欧美精品一区二区三区蜜桃视频 | 9191久久久久久久久久久| 欧美草草影院在线视频| 国产精品久久久久久福利一牛影视 | 91国内精品野花午夜精品 | 亚洲老司机在线| 久久精品国产一区二区三| youjizz国产精品| 欧美日韩情趣电影| 国产视频一区二区三区在线观看| 亚洲精品午夜久久久| 极品尤物av久久免费看| 色哟哟一区二区在线观看| 亚洲精品一线二线三线无人区| 亚洲欧美国产高清| 激情图区综合网| 欧美午夜在线一二页| 国产精品麻豆网站| 久久爱另类一区二区小说| 欧美在线观看一区| 国产精品久久午夜| 久久精品99久久久| 欧美日韩精品免费| 17c精品麻豆一区二区免费|