通过 CrawlSpider 创建爬虫
- 在项目目录中，通过命令
scrapy genspider --list查看 Scrapy 提供的所有爬虫模板，其中basic是默认模板
scrapy genspider --list
- 通过命令
scrapy genspider -t crawl lagou www.lagou.com创建拉钩网爬虫，其中-t参数用来指明创建爬虫所用模板
scrapy genspider -t crawl lagou www.lagou.com
image.png
- 插入一个小技巧
image.png
要解决上述问题，只需在项目文件 settings.py 中加入如下两行代码即可
# 将 settings.py 所在路径配置到 Python Path
BASE_DIR = os.path.dirname(os.path.abspath(os.path.dirname(__file__)))
sys.path.append(os.path.join(BASE_DIR, 'ArticleSpider'))
image.png
网友评论