- 下载中间件：处于引擎和下载器之间
一般反爬措施有这么几种,使用中间键可以帮助我们解决这个问题.
反爬措施:
- 基于请求头的反爬
- 基于cookie的反爬
- 基于IP的反爬
- 动态加载的网页
- 关于数据加密
scrapy 下载中间键:
@classmethod
def from_crawler(cls, crawler):
# This method is used by Scrapy to create your spiders.
s = cls()
crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
return s
def process_request(self, request, spider):
# 所有的request请求在交给下载器之前都会交给进入方法
# Called for each request that goes through the downloader middleware.
# Must either:
# - return None: continue processing this request
# - or return a Response object
# - or return a Request object
# - or raise IgnoreRequest: process_exception() methods of
# installed downloader middleware will be called
return None
def process_response(self, request, response, spider):
# 响应结果都会经过这个方法
# Called with the response returned from the downloader.
# Must either;
# - return a Response object
# - return a Request object
# - or raise IgnoreRequest
return response
def process_exception(self, request, exception, spider):
# 处理错误
# Called when a download handler or a process_request()
# (from other downloader middleware) raises an exception.
# Must either:
# - return None: continue processing this exception
# - return a Response object: stops process_exception() chain
# - return a Request object: stops process_exception() chain
pass
def spider_opened(self, spider):
spider.logger.info('Spider opened: %s' % spider.name)
process_request() 必须返回以下其中之一：
- None
如果返回 None: Scrapy将继续处理request，执 行其他的中间件的相应方法。- Response 对象
如果返回 Response 对象: Scrapy不会再调用任 何其他的中间件的 process_request() 或相应地下 载函数； 直接返回这个response对象。 已激活的中间件的 process_response()方法则会在 每个 response 返回时被调用。- Request 对象
如果返回 Request 对象，Scrapy则停止调用 其他中间件的process_request方法，并重新将返回的 request对象放置到调度器等待下载。- IgnoreRequest异常
如果返回raise IgnoreRequest 异常: 下载中间件的 process_exception() 方法会被用。 如果没有捕获该异常， 则request发情请求时设置的 errback(Request.errback)方法会被调用。如果也 没有设置异常回调，则该异常被忽略且不记录。
process_request()有两个参数:
request (Request 对象) – 处理的request
spider (Spider 对象) – 该request对应的spider
process_response() 必须返回以下其中之一:
- Response 对象
如果返回 Request: 更低优先级的下载中间件的 process_response方法不会继续调用，该Request会被 重新放到调度器任务队列中等待调度，相当于一个新的 Request。- Request 对象
如果返回 Response 对象，更低优先级的下载中间 件的process_response方法会被继续调用对Response对象进行处理- IgnoreRequest异常
如果抛出 IgnoreRequest 异常，则调用request 设置的errback(Request.errback)函数。 如果异常没有 被处理，则该异常被忽略且不记录。
process_response()有三个参数
request (Request 对象) – response所对应的request
response (Response 对象) – 被处理的response
spider (Spider 对象) – response所对应的spider
在使用中间键的时候,先定义一个类,下面是UA中间键,在发起请求的时候携带不同的UA:
class UserAgentDownloadMiddlerware(object):
def process_request(self,request,spider):
"""
所有的request在交给下载器之前,都会经过这个方法
:param request:
:param spider:
:return:
"""
from fake_useragent import UserAgent
userAgent = UserAgent()
random_ua = userAgent.random
if random_ua:
print('经过了下载中间件',random_ua)
request.headers['User-Agent'] = random_ua
当被爬取网站把IP封掉之后,可以使用代理中间键:
class ProxyDownloadMiddlerware(object):
def process_request(self,request,spider):
proxies = spider.settings['PROXIES']
import random
proxy_rm = random.choice(proxies)
if proxy_rm['pwd']:
#只有账号密码的代理
#对账号密码进行base64编码
import base64
base64_pwd = base64.b64encode(proxy_rm['pwd'].encode('utf-8')).decode('utf-8')
#对应到代理服务器的信令格式里
request.headers['Proxy-Authorization'] = 'Basic ' + base64_pwd
#设置ip
request.meta['proxy'] = proxy_rm['ip']
else:
# 设置ip
request.meta['proxy'] = proxy_rm['ip']
信令格式：
- CONNECT 59.64.128.198:21 HTTP/1.1
- Host: 59.64.128.198:21
- Proxy-Authorization: Basic bGV2I1TU5OTIz 身份验证信息
- User-Agent: OpenFetion
Basic后面的字符串是用户名和密码组合后进行base64编码的结果
scrapy.settings.py文件中的配置:
# 项目名称
BOT_NAME = 'downloadmiddler'
# 爬虫存储的文件路径
SPIDER_MODULES = ['downloadmiddler.spiders']
# 创建爬虫文件的模板,创建好的文件存放在这个目录下
NEWSPIDER_MODULE = 'downloadmiddler.spiders'
# 模拟浏览器请求
USER_AGENT = 'downloadmiddler (+http://www.yourdomain.com)'
# 设置是否遵守robots协议,默认TRUE遵守
ROBOTSTXT_OBEY = False
# 设置请求最大的并发数量(下载器处理的最大数量),默认16个
CONCURRENT_REQUESTS = 32
# 设置请求下载延时,默认为0.
DOWNLOAD_DELAY = 3
# 设置网站的最大并发请求数量,默认8个
CONCURRENT_REQUESTS_PER_DOMAIN = 16
# 设置某个IP下的最大并发请求数量,默认0个,如果非0,要注意网站并发就无效,请求的并发数量将只针对于IP,如果非零,下载延时则针对IP,而不是网站
CONCURRENT_REQUESTS_PER_IP = 16
# 是否携带cookie,默认为TRUE
COOKIES_ENABLED = False
# 是一个终端的扩展插件
TELNETCONSOLE_ENABLED = False
# 设置默认的请求头(cookie不要放在这里)
DEFAULT_REQUEST_HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
# 设置和激活爬虫中间键
SPIDER_MIDDLEWARES = {
'downloadmiddler.middlewares.DownloadmiddlerSpiderMiddleware': 543,
}
# 设置和激活下载中间键
DOWNLOADER_MIDDLEWARES = {
'downloadmiddler.middlewares.SeleniumDownloadMiddlerware': 543
}
# 设置和激活管道文件,数字表示优先级,越小越高
ITEM_PIPELINES = {
'downloadmiddler.pipelines.DownloadmiddlerPipeline': 300,
}
# 设置扩展
EXTENSIONS = {
'scrapy.extensions.telnet.TelnetConsole': None,
}
# 自动限速的扩展,上一个请求和下一个请求之间的时间是不固定的,默认情况下,自动限速扩是没有打开的False
AUTOTHROTTLE_ENABLED = True
# 初始的下载延时,默认为5秒
AUTOTHROTTLE_START_DELAY = 5
# 最大下载延时
AUTOTHROTTLE_MAX_DELAY = 60
# 针对于网站的最大的并行请求数量
AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# debug调试模式,默认为False
AUTOTHROTTLE_DEBUG = False
# 设置数据缓存,默认不开启
HTTPCACHE_ENABLED = True
# 设置缓存的超时时间,为0代表永久有效
HTTPCACHE_EXPIRATION_SECS = 0
# 设置缓存数据的存储路径
HTTPCACHE_DIR = 'httpcache'
# 忽略某些状态码的请求结果
HTTPCACHE_IGNORE_HTTP_CODES = []
# 开启缓存的一个扩展插件
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
# cookie debug模式,默认为Fales
COOKIES_DEBUG = True
# 关于日志信息设置
Scrapy提供5层logging级别:
CRITICAL - 严重错误(critical)
ERROR - 一般错误(regular errors)
WARNING - 警告信息(warning messages)
INFO - 一般信息(informational messages)
DEBUG - 调试信息(debugging messages)
LOG_ENABLED 默认: True，启用logging
LOG_ENCODING 默认: 'utf-8'，logging使用的编码
LOG_FILE 默认: None，在当前目录里创建logging输出文件的文件名
LOG_LEVEL 默认: 'DEBUG'，log的最低级别
LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log中。例如，执行 print "hello" ，其将会在Scrapy log中显示
网友评论