scrapy爬虫框架模拟登录github
携带cookies / 以及在响应中自动查找action跳转的内容和网址
填写用户名和错误密码在session中携带相关信息formdata和cookies
在源码中也可找到session中相关数据
在element元素中也可找到相关元素说明可以作为初始网址
在element中找到post_data的数据提取相关xpath就可以进行表单请求也就是post请求
表单数据的action就可直接带着用户名密码直接登录
用 scrapy.formRequest .from_response
scrapy.formRequest .from_response
response 自动地从response中寻找form表单
formdata 表单数据 用户名密码
自动找到form action地址 添加用户名和密码
callback调用直接查找的内容 和在网页中可以提取出来的数据
将cookie添加到headers中，之后也会请求成功，因为有之前携带的cookies
退出用户之后重新携带headers：cookie也不会登陆成功
网友评论