目錄
- urllib子模塊
- request模塊
- function request.urlopen()
- class request.Request
python的urllib模塊提供了一系列操作url的功能，可以讓我們通過(guò)url打開任意資源。其中比較常用的就是request模塊，本篇主要介紹requset模塊。
urllib子模塊
- urllib.request 打開或請(qǐng)求url
- urllib.error 捕獲處理請(qǐng)求時(shí)產(chǎn)生的異常
- urllib.parse 解析url
- urllib.robotparser 用于解析robots.txt文件
robots.txt是一種存放于網(wǎng)站根目錄下文本文件，用來(lái)告訴網(wǎng)絡(luò)爬蟲服務(wù)器上的那些文件可以被查看。又被成為robots協(xié)議，是一種約定俗成的協(xié)議。
request模塊
function request.urlopen()
urlopen方法用來(lái)打開資源url，常用帶參數(shù)形式urlopen(url,data=None)，url：資源url，data：攜帶的數(shù)據(jù)。
方法的返回值始終為一個(gè)對(duì)象，并可以調(diào)用相應(yīng)的方法獲取返回的信息。其中對(duì)于http及https的url來(lái)說(shuō)會(huì)返回一個(gè)http.client.HTTPResponse對(duì)象；
import urllib.request
# 我們用本地的一個(gè)簡(jiǎn)單html文件來(lái)測(cè)試
url = 'http://127.0.0.1:8848/chenjy/test.html'
req = urllib.request.urlopen(url)
print(req)
1. read() 返回服務(wù)器返回的原始數(shù)據(jù)；
import urllib.request
url ='http://127.0.0.1:8848/chenjy/test.html'
req = urllib.request.urlopen(url)
print(req.read())
我們可以再調(diào)用decode()方法來(lái)解碼。
import urllib.request
url = 'http://127.0.0.1:8848/chenjy/test.html'
req = urllib.request.urlopen(url)
print(req.read().decode())
2.geturl() 返回獲取資源的url；
- 創(chuàng)建一個(gè)測(cè)試頁(yè)
import urllib.request
url = 'http://127.0.0.1:8848/chenjy/test.html'
req = urllib.request.urlopen(url)
print(req.geturl())
我們?cè)陧?yè)面中添加js腳本重定向頁(yè)面window.location.;，會(huì)發(fā)現(xiàn)訪問(wèn)的時(shí)候會(huì)重定向到test2，但是geturl還是獲取的重定向前的
我們啟動(dòng)一個(gè)項(xiàng)目并添加一個(gè)攔截器當(dāng)訪問(wèn)index.html的時(shí)候重定向到/ls/html/list.html頁(yè)面,geturl獲取的是重定向后的頁(yè)面
@Override
public void handle(String target, HttpServletRequest request, HttpServletResponse response, boolean[] isHandled) {
int index = target.lastIndexOf("index.html");
if (index != -1){
HandlerKit.redirect("/ls/html/list.html",request,response,isHandled);
}
}
import urllib.request
url = 'http://localhost:8088/ls/index.html'
req = urllib.request.urlopen(url)
print(req.geturl())
3.info() 返回頁(yè)面的元信息；
import urllib.request
url = 'http://127.0.0.1:8848/chenjy/test.html'
req = urllib.request.urlopen(url)
print(req.info())
4.getcode() 返回頁(yè)面的狀態(tài)碼；
import urllib.request
url = 'http://127.0.0.1:8848/chenjy/test.html'
req = urllib.request.urlopen(url)
print(req.getcode())
class request.Request
url請(qǐng)求類 Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
- url：請(qǐng)求url
- data：請(qǐng)求傳參；bytes字節(jié)流
- headers：請(qǐng)求頭
- origin_req_host：請(qǐng)求原始主機(jī)；不帶端口
- unverifiable：是否不可驗(yàn)證；
- method ：請(qǐng)求方法；如GET、POST、PUT等
import urllib.request
# 模擬iphone5請(qǐng)求百度手機(jī)版頁(yè)面
url = 'https://www.baidu.com/'
user_agent = 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1'
headers = {
'User-Agent': user_agent
}
# 抓取page信息
req = urllib.request.Request(url, headers=headers,method='GET')
page = urllib.request.urlopen(req).read().decode('utf-8')
print(page)
以上就是python urllib.request模塊的使用詳解的詳細(xì)內(nèi)容，更多關(guān)于python urllib.request模塊的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
您可能感興趣的文章:- python爬蟲之利用Selenium+Requests爬取拉勾網(wǎng)
- Python requests timeout的設(shè)置
- python+requests+pytest接口自動(dòng)化的實(shí)現(xiàn)示例
- python3 解決requests出錯(cuò)重試的問(wèn)題
- Python requests庫(kù)參數(shù)提交的注意事項(xiàng)總結(jié)
- python requests完成接口文件上傳的案例
- python爬取豆瓣電影排行榜(requests)的示例代碼
- requests在python中發(fā)送請(qǐng)求的實(shí)例講解
- python 實(shí)現(xiàn)Requests發(fā)送帶cookies的請(qǐng)求
- python軟件測(cè)試Jmeter性能測(cè)試JDBC Request(結(jié)合數(shù)據(jù)庫(kù))的使用詳解
- python requests庫(kù)的使用
- python實(shí)現(xiàn)文件+參數(shù)發(fā)送request的實(shí)例代碼
- Python爬蟲基礎(chǔ)之requestes模塊
