美文网首页
Scrapy的settings.py的作用和配置

Scrapy的settings.py的作用和配置

作者: 宇宙有只AGI | 来源:发表于2019-04-25 17:31 被阅读0次

一、settings.py的作用

自定义所有Scrapy组件的行为,包括核心,扩展,管道和蜘蛛本身。

详见官方文档https://doc.scrapy.org/en/latest/topics/settings.html

二、单个spider的配置

在Spider中加入custom_settings = {……}即可,爬虫启动后会优先使用这里的配置文件,如图1所示。

图1

三、setting.py的配置

1、DOWNLOAD_FAIL_ON_DATALOSS

图2

详见https://doc.scrapy.org/en/latest/topics/settings.html#std:setting-DOWNLOAD_FAIL_ON_DATALOSS

相关文章

网友评论

      本文标题:Scrapy的settings.py的作用和配置

      本文链接:https://www.haomeiwen.com/subject/cznzgqtx.html