scrapy有三種方法模擬登陸方式：
- 直接攜帶cookies
- 找url地址，發(fā)送post請(qǐng)求存儲(chǔ)cookie
- 找到對(duì)應(yīng)的form表單，自動(dòng)解析input標(biāo)簽，自動(dòng)解析post請(qǐng)求的url地址，自動(dòng)帶上數(shù)據(jù)，自動(dòng)發(fā)送請(qǐng)求
1、攜帶cookies登陸github
import scrapy
import re
class Login1Spider(scrapy.Spider):
name = 'login1'
allowed_domains = ['github.com']
start_urls = ['https://github.com/NoobPythoner'] # 這是一個(gè)需要登陸以后才能訪問(wèn)的頁(yè)面
def start_requests(self): # 重構(gòu)start_requests方法
# 這個(gè)cookies_str是抓包獲取的
cookies_str = '...' # 抓包獲取
# 將cookies_str轉(zhuǎn)換為cookies_dict
cookies_dict = {i.split('=')[0]:i.split('=')[1] for i in cookies_str.split('; ')}
yield scrapy.Request(
self.start_urls[0],
callback=self.parse,
cookies=cookies_dict
)
def parse(self, response): # 通過(guò)正則表達(dá)式匹配用戶名來(lái)驗(yàn)證是否登陸成功
result_list = re.findall(r'noobpythoner|NoobPythoner', response.body.decode())
print(result_list)
pass
注意：
scrapy中cookie不能夠放在headers中，在構(gòu)造請(qǐng)求的時(shí)候有專門的cookies參數(shù)，能夠接受字典形式的coookie
在setting中設(shè)置ROBOTS協(xié)議、USER_AGENT
2、使用scrapy.FormRequest()登錄
通過(guò)scrapy.FormRequest能夠發(fā)送post請(qǐng)求，同時(shí)需要添加fromdata參數(shù)作為請(qǐng)求體，以及callback
yield scrapy.FormRequest(
"https://github.com/session",
formdata={
"authenticity_token":authenticity_token,
"utf8":utf8,
"commit":commit,
"login":"****",
"password":"****"
},
callback=self.parse_login
)
3、使用scrapy.Formrequest.from_response登陸github
import scrapy
import re
class Login3Spider(scrapy.Spider):
name = 'login3'
allowed_domains = ['github.com']
start_urls = ['https://github.com/login']
def parse(self, response):
yield scrapy.FormRequest.from_response(
response, # 傳入response對(duì)象,自動(dòng)解析
# 可以通過(guò)xpath來(lái)定位form表單,當(dāng)前頁(yè)只有一個(gè)form表單時(shí),將會(huì)自動(dòng)定位
formxpath='//*[@id="login"]/form',
formdata={'login': '****', 'password': '***'},
callback=self.parse_login
)
def parse_login(self,response):
ret = re.findall(r"noobpythoner|NoobPythoner", response.text)
print(ret)
到此這篇關(guān)于詳解使用scrapy進(jìn)行模擬登陸三種方式的文章就介紹到這了,更多相關(guān)scrapy模擬登陸內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- Scrapy模擬登錄趕集網(wǎng)的實(shí)現(xiàn)代碼
- Scrapy框架實(shí)現(xiàn)的登錄網(wǎng)站操作示例
- python爬蟲框架scrapy實(shí)現(xiàn)模擬登錄操作示例
