美文网首页
Scrapy动态创建Item

Scrapy动态创建Item

作者: 佑岷 | 来源:发表于2019-01-25 10:17 被阅读0次

若项目没有定义Item or 想动态生成时,可以按照如下方式操作:

item = Item()
l = ItemLoader(item=item, response=response)
item.fields[name] = Field()
l.add(name, xpath)
  1. 先声明;
  2. 创建ItemLoader;
  3. 为Item创建动态属性;
  4. 为属性赋值

通常用在一个spider跑多个不同目标网站,例如:从excel中读取爬取目标及属性。

相关文章

网友评论

      本文标题:Scrapy动态创建Item

      本文链接:https://www.haomeiwen.com/subject/nblujqtx.html