婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > 關(guān)于python爬蟲應(yīng)用urllib庫作用分析

關(guān)于python爬蟲應(yīng)用urllib庫作用分析

熱門標(biāo)簽:高德地圖標(biāo)注收入咋樣 怎么辦理400客服電話 企業(yè)微信地圖標(biāo)注 B52系統(tǒng)電梯外呼顯示E7 鶴壁手機(jī)自動外呼系統(tǒng)違法嗎 萊蕪電信外呼系統(tǒng) 地圖標(biāo)注多個 銀川電話機(jī)器人電話 沈陽防封電銷電話卡

一、urllib庫是什么?

urllib庫用于操作網(wǎng)頁 URL,并對網(wǎng)頁的內(nèi)容進(jìn)行抓取處理

urllib包 包含以下幾個模塊:

urllib.request - 打開和讀取 URL。

urllib.error - 包含 urllib.request 拋出的異常。

urllib.parse - 解析 URL。

urllib.robotparser - 解析 robots.txt 文件

python爬蟲主要用到的urllib庫中的request和parse模塊

二、urllib庫的使用

下面我們來詳細(xì)說明一下這兩個常用模塊的基本運用

urllib.request模塊

urllib.request 定義了一些打開 URL 的函數(shù)和類,包含授權(quán)驗證、重定向、瀏覽器 cookies等。

語法如下:

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None,

capath=None, cadefault=False, context=None)

 url:url 地址。

data:發(fā)送到服務(wù)器的其他數(shù)據(jù)對象,默認(rèn)為 None。

timeout:設(shè)置訪問超時時間。

cafile capath:cafile 為 CA 證書, capath 為 CA 證書的路徑,使用 HTTPS 需要用到。

cadefault:已經(jīng)被棄用。

context:ssl.SSLContext類型,用來指定 SSL 設(shè)置。

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/2 19:24
# @FileName : testUrllib.py
# Software : PyCharm
import urllib.request
#get請求
response = urllib.request.urlopen("http://www.baidu.com")  #返回的是存儲網(wǎng)頁數(shù)據(jù)的對象
#print(response)  可以嘗試打印一下看一下
print(response.read().decode('utf-8')) #通過read將數(shù)據(jù)讀取出來, 使用utf-8解碼防止有的地方出現(xiàn)亂碼

將其打印的內(nèi)容寫到一個html文件中,打開和百度一毛一樣

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/2 19:24
# @FileName : testUrllib.py
# Software : PyCharm
import urllib.request
response = urllib.request.urlopen("http://www.baidu.com")  #返回的是存儲網(wǎng)頁數(shù)據(jù)的對象
data = response.read().decode('utf-8')  #通過read將數(shù)據(jù)讀取出來, 使用utf-8解碼防止有的地方出現(xiàn)亂碼
#print(data)
with open("index.html",'w',encoding='utf-8') as wfile: #或者你們也可以常規(guī)打開,不過需要最后關(guān)閉記得close()
    wfile.write(data)
    print("讀取結(jié)束")

urllib.parse模塊

有時我們爬蟲需要模擬瀏覽器進(jìn)行用戶登錄等操作,這個時候我們就需要進(jìn)行post請求

但是post必須有一個獲取請求之后的響應(yīng),也就是我們需要有一個服務(wù)器。給大家介紹一個免費的服務(wù)器網(wǎng)址,就是用來測試用的http://httpbin.org/。主要用來測試http和https的

我們可以嘗試執(zhí)行一下,去獲取對應(yīng)的響應(yīng)。

可以用Linux命令去發(fā)起請求,URL地址為http://httpbin.org/post。得到下方的響應(yīng)。

我們也可以通過爬蟲來實現(xiàn)

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/2 19:24
# @FileName : testUrllib.py
# Software : PyCharm
import urllib.request
import urllib.parse #解析器
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding='utf-8')  #轉(zhuǎn)換為二進(jìn)制數(shù)據(jù)包,里面是鍵值對(有時輸入的用戶名:密碼就是這樣的),還有一些編碼解碼的數(shù)值等.這里就是按照utf-8的格式進(jìn)行解析封裝生成二進(jìn)制數(shù)據(jù)包
response = urllib.request.urlopen("http://httpbin.org/post",data=data)  #返回的請求
print(response.read().decode('utf-8'))      #通過read將數(shù)據(jù)讀取出來, 使用utf-8解碼防止有的地方出現(xiàn)亂碼

兩個響應(yīng)結(jié)果對比是不是一樣幾乎

相當(dāng)于進(jìn)行了一次模擬的post請求。這樣有些需要登錄的網(wǎng)站也是可以爬取的。

利用try-except,進(jìn)行超時處理

一般進(jìn)行爬蟲時,不可能一直等待響應(yīng)。有時網(wǎng)絡(luò)不好或者網(wǎng)頁有反爬或者一些其他東西時。無法快速爬出。我們就可以進(jìn)入下一個網(wǎng)頁繼續(xù)去爬。利用timeout屬性就好

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/2 19:24
# @FileName : testUrllib.py
# Software : PyCharm
import urllib.request
try:
    response = urllib.request.urlopen("http://httpbin.org/get",timeout=0.01)  #返回的是存儲網(wǎng)頁數(shù)據(jù)的對象, 直接用這個網(wǎng)址的get請求了.timeout表示超時,超過0.01秒不響應(yīng)就報錯,避免持續(xù)等待
    print(response.read().decode('utf-8'))      #通過read將數(shù)據(jù)讀取出來, 使用utf-8解碼防止有的地方出現(xiàn)亂碼
except urllib.error.URLError as e:
    print("超時了\t\t錯誤為:",e)

status狀態(tài)碼 getheaders()

status:

  • 返回200,正確響應(yīng)可以爬取
  • 報錯404,沒有找到網(wǎng)頁
  • 報錯418,老子知道你就是爬蟲
  • getheaders():獲取Response Headers

 

  • 也可以通過gethead(“xx”) 獲取xx對應(yīng)的值,比如:上圖 gethead(content-encoding) 為 gzip

突破反爬

首先打開任何一個網(wǎng)頁按F12找到Response Headers,拉到最下面找到 User-Agent。將其復(fù)制保存下來,為反爬做準(zhǔn)備。

下面我們進(jìn)行嘗試,直接爬取豆瓣,直接來個418,知道你是爬蟲,我們來偽裝一下

為什么418呢,因為如果是直接進(jìn)行請求訪問的話,發(fā)過去的User-Agent 是下面的,直接告訴瀏覽器我們是爬蟲。我們需要偽裝

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/2 19:24
# @FileName : testUrllib.py
# Software : PyCharm
import urllib.request
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
}
request = urllib.request.Request("http://douban.com", headers=headers) #返回的是請求,將我們偽裝成瀏覽器發(fā)送的請求
response = urllib.request.urlopen(request)  #返回的是存儲網(wǎng)頁數(shù)據(jù)的對象
data = response.read().decode('utf-8')     #通過read將數(shù)據(jù)讀取出來, 使用utf-8解碼防止有的地方出現(xiàn)亂碼
with open("index.html",'w',encoding='utf-8') as wfile: #或者你們也可以常規(guī)打開,不過需要最后關(guān)閉記得close()
    wfile.write(data)

當(dāng)然反爬不可能如此簡單,上面將講的那個 post請求,也是十分常見的突破反爬的方式,不行就將整個Response Headers全部模仿。下面還有個例子作為參考。和上面的post訪問的網(wǎng)址一樣

瀏覽器訪問結(jié)果

爬蟲訪問結(jié)果

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/3 0:47
# @FileName : testUrllib.py
# Software : PyCharm

import urllib.request
import urllib.parse
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
}
url = "http://httpbin.org/post"
data = (bytes)(urllib.parse.urlencode({"賬戶":"密碼"}),encoding = 'utf-8')
request = urllib.request.Request(url, data = data,headers=headers, method='POST') #返回的是請求
response = urllib.request.urlopen(request)  #返回的是存儲網(wǎng)頁數(shù)據(jù)的對象
data = response.read().decode('utf-8')     #通過read將數(shù)據(jù)讀取出來, 使用utf-8解碼防止有的地方出現(xiàn)亂碼
print(data)

以上就是關(guān)于python爬蟲應(yīng)用urllib庫作用分析的詳細(xì)內(nèi)容,更多關(guān)于python爬蟲urllib庫分析的資料請關(guān)注腳本之家其它相關(guān)文章!

您可能感興趣的文章:
  • python爬蟲Scrapy框架:媒體管道原理學(xué)習(xí)分析
  • python爬蟲Mitmproxy安裝使用學(xué)習(xí)筆記
  • Python爬蟲和反爬技術(shù)過程詳解
  • python爬蟲之Appium爬取手機(jī)App數(shù)據(jù)及模擬用戶手勢
  • 爬蟲Python驗證碼識別入門
  • Python爬蟲技術(shù)
  • Python爬蟲爬取商品失敗處理方法
  • Python獲取江蘇疫情實時數(shù)據(jù)及爬蟲分析
  • Python爬蟲之Scrapy環(huán)境搭建案例教程
  • Python爬蟲中urllib3與urllib的區(qū)別是什么
  • 教你如何利用python3爬蟲爬取漫畫島-非人哉漫畫
  • Python爬蟲分析匯總

標(biāo)簽:銀川 三亞 安慶 湘西 烏魯木齊 呼倫貝爾 呼倫貝爾 葫蘆島

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《關(guān)于python爬蟲應(yīng)用urllib庫作用分析》,本文關(guān)鍵詞  關(guān)于,python,爬蟲,應(yīng)用,urllib,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《關(guān)于python爬蟲應(yīng)用urllib庫作用分析》相關(guān)的同類信息!
  • 本頁收集關(guān)于關(guān)于python爬蟲應(yīng)用urllib庫作用分析的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    欧美日韩免费在线视频| 日本aⅴ免费视频一区二区三区| 精品无码三级在线观看视频| 91在线视频播放| 欧美精品日韩一区| 久久精品水蜜桃av综合天堂| 久久99久久久久久久久久久| 在线观看日韩av先锋影音电影院| 亚洲蜜臀av乱码久久精品| 色婷婷久久综合| 综合久久久久综合| 一本大道av一区二区在线播放| 国产精品国产三级国产有无不卡 | 国产欧美在线观看一区| 国产精品一区免费在线观看| 成人动漫精品一区二区| **欧美大码日韩| 在线视频亚洲一区| 午夜欧美大尺度福利影院在线看| 99久久er热在这里只有精品66| 亚洲丝袜美腿综合| av一区二区久久| 国产精品另类一区| 色婷婷国产精品| 亚洲女人****多毛耸耸8| 色综合久久综合网97色综合| 亚洲精品高清视频在线观看| 国产自产v一区二区三区c| 亚洲国产成人一区二区三区| 91成人网在线| 美女爽到高潮91| 亚洲国产精品ⅴa在线观看| 91福利区一区二区三区| 五月激情综合色| 久久久国产午夜精品| 91丝袜美女网| 三级欧美在线一区| 欧美精品国产精品| 国产精品一卡二| 精久久久久久久久久久| 综合激情网...| 欧美色图一区二区三区| 国产白丝精品91爽爽久久| 午夜久久久久久久久| 国产精品第13页| 欧美大片一区二区| 91成人在线精品| 成人av电影免费在线播放| 日韩电影在线观看一区| 一区二区三国产精华液| 国产精品美女久久久久aⅴ| 精品久久久久久亚洲综合网 | 久久久精品免费网站| 精品视频免费在线| 在线免费观看视频一区| 丁香婷婷综合激情五月色| 毛片一区二区三区| 日本中文字幕一区| 日韩成人一区二区| 日本 国产 欧美色综合| 亚洲成国产人片在线观看| 亚洲一区二区av在线| 亚洲综合在线电影| 亚洲精品视频在线观看网站| 国产精品欧美精品| 国产精品成人免费| 最新成人av在线| 一区二区三区日韩欧美精品| 亚洲精品国久久99热| 亚洲自拍与偷拍| 三级在线观看一区二区| 青青草国产精品亚洲专区无| 蜜桃精品在线观看| 九九在线精品视频| 国产成人自拍在线| 不卡在线观看av| 日本久久电影网| 欧美日韩高清一区二区| 欧美丰满嫩嫩电影| 精品久久久久久综合日本欧美| 精品国产1区二区| 中文字幕精品三区| 一区二区在线电影| 麻豆精品一二三| 国产精品系列在线观看| 成人99免费视频| 欧美日韩国产综合一区二区三区 | 亚洲美女区一区| 26uuu成人网一区二区三区| 日韩一区中文字幕| 国产中文字幕一区| 美女视频黄 久久| 久久99精品久久久久久动态图 | 日本不卡一区二区三区| 日本欧美久久久久免费播放网| 久久国产剧场电影| 国产精品人妖ts系列视频| 欧美日韩成人激情| 欧美一级一区二区| 在线免费一区三区| 欧美日韩国产高清一区| 日韩欧美中文字幕公布| 日本一区二区视频在线| 亚洲黄色小视频| 国内精品不卡在线| 欧美在线一区二区三区| 欧美大片顶级少妇| 日韩欧美国产综合一区| 久久久久久免费网| 亚洲第一会所有码转帖| 亚洲成a人片在线观看中文| 免费成人在线观看视频| 亚洲第一主播视频| 精品夜夜嗨av一区二区三区| 91首页免费视频| 亚洲精品一区二区三区在线观看| 伊人色综合久久天天人手人婷| 国产在线精品视频| 色偷偷久久人人79超碰人人澡| 欧美一区午夜视频在线观看| 亚洲精品视频免费观看| 国产精品资源网站| 色婷婷亚洲婷婷| 国产精品久久久久久久久久免费看| 亚洲美女一区二区三区| 久久福利视频一区二区| 不卡的电视剧免费网站有什么| 久久在线观看免费| 蓝色福利精品导航| 99精品视频一区| 国产精品午夜在线| 国产成人亚洲精品青草天美| 精品国产一区二区三区av性色| 午夜精品成人在线视频| 欧美日韩一级二级三级| 亚洲女人小视频在线观看| 成人av午夜电影| 国产精品久久毛片a| 国产成人在线视频播放| 久久九九影视网| 国产在线精品一区二区| 欧美韩国一区二区| 成人在线视频首页| 国产精品不卡在线观看| av亚洲产国偷v产偷v自拍| 国产欧美一区二区在线观看| 岛国精品一区二区| 亚洲欧美乱综合| 精品1区2区3区| 天堂精品中文字幕在线| 制服.丝袜.亚洲.中文.综合| 视频在线在亚洲| 精品日韩欧美一区二区| 国产麻豆91精品| 亚洲日本va在线观看| 色偷偷久久一区二区三区| 亚洲一区免费观看| 日韩一本二本av| 国产九色sp调教91| 亚洲视频图片小说| 欧美一区二区三区四区五区| 狠狠色丁香久久婷婷综合丁香| 五月天国产精品| 日韩免费视频一区二区| 国产又黄又大久久| ...av二区三区久久精品| 欧美影院一区二区三区| 亚洲成人动漫精品| 久久综合久久99| 色系网站成人免费| 男人操女人的视频在线观看欧美| 久久亚洲春色中文字幕久久久| 99视频有精品| 日韩av不卡在线观看| 国产欧美日韩视频在线观看| 欧美综合欧美视频| 精品一区二区三区香蕉蜜桃| 亚洲另类在线一区| 精品粉嫩超白一线天av| 成人美女视频在线观看18| 亚洲一区二区偷拍精品| 久久久www成人免费无遮挡大片| 欧美视频一区二区在线观看| 精品在线播放午夜| 午夜激情久久久| 亚洲视频图片小说| 久久久99免费| 欧美一区二区久久久| 欧美在线|欧美| 99精品久久只有精品| 国产乱理伦片在线观看夜一区| 亚洲国产一区二区a毛片| 中文字幕一区二区三| 国产喷白浆一区二区三区| 91精品综合久久久久久| 91国偷自产一区二区使用方法| 国产精品1024久久| 久草中文综合在线| 秋霞成人午夜伦在线观看| 亚洲成人手机在线|