0. 前言
周日在爬一個國外網站的時候，發現用協程并發請求，并且請求次數太快的時候，會出現對方把我的服務器IP封掉的情況。于是網上找了一下開源的python代理池，這里選擇的是star數比較多的proxy_pool
1. 安裝環境
# 安裝python虛擬環境， python環境最好為python3.6，再往上的話，安裝依賴時會報錯
sudo apt update
sudo apt install python3.6
pip3 install virtualenv
virtualenv venv --python=python3.6
source venv/bin/activate
# 安裝redis
sudo apt install redis-server
# 啟動redis server
redis-server
2. 安裝依賴
git clone https://github.com/jhao104/proxy_pool.git
cd proxy_pool
pip install -r requirements.txt
3. 修改配置文件
# 修改setting.py
# 配置API服務
HOST = "0.0.0.0" # IP
PORT = 5010 # 監聽端口
# 配置數據庫
# 以下為三個示例，根據redis的配置，選擇其中一種即可
# 一般啟動redis時如果沒有配置文件，那么選擇第一種即可
# 1. Redis IP: 127.0.0.1 Port: 6379
DB_CONN = 'redis://@127.0.0.1:6379'
# 2. Redis IP: 127.0.0.1 Port: 6379 Password: 123456
DB_CONN = 'redis://:123456@127.0.0.1:6379'
# 3. Redis IP: 127.0.0.1 Port: 6379 Password: 123456 DB: 15
DB_CONN = 'redis://:123456@127.0.0.1:6379/15'
# 配置 ProxyFetcher
PROXY_FETCHER = [
"freeProxy01", # 這里是啟用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py
"freeProxy02",
# ....
]
4. 啟動
# 可以用tmux開三個窗口
# 啟動調度程序
python proxyPool.py schedule
# 啟動webApi服務
python proxyPool.py server
5. 測試
import requests
def get_proxy():
return requests.get("http://127.0.0.1:5010/get/").json()
def delete_proxy(proxy):
requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))
# your spider code
def getHtml():
# ....
retry_count = 5
proxy = get_proxy().get("proxy")
while retry_count > 0:
try:
html = requests.get('http://www.example.com', proxies={"http": "http://{}".format(proxy)})
# 使用代理訪問
return html
except Exception:
retry_count -= 1
# 刪除代理池中代理
delete_proxy(proxy)
return None
更多的用法和文檔請參考：document 和 https://github.com/jhao104/proxy_pool
到此這篇關于python爬蟲利用代理池更換IP的方法步驟的文章就介紹到這了,更多相關python 代理池更換IP內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- python利用proxybroker構建爬蟲免費IP代理池的實現
- python如何基于redis實現ip代理池
- python實現ip代理池功能示例
- python3 requests中使用ip代理池隨機生成ip的實例
