美文网首页
【Scrapy坑】 URL中数字类型错误 导致url中的数字不能

【Scrapy坑】 URL中数字类型错误 导致url中的数字不能

作者: Python岳 | 来源:发表于2019-07-02 16:28 被阅读0次

咕咕咕咕~~~~
额,群里一好友在上个星期的时候,问我:【为什么我写的scapy代码,不能翻页了】
然后丢给我压缩包。
然后……

咕咕咕,我鸽了好几天。咕~~~~~

class WorldSpider(scrapy.Spider):
    name = "world"
    allowed_domains = ["j****.com"]
    base = 'http://www.****/xinwen/****'
    set = "1"
    end_url = '.html'
    start_urls = [base + str(set) + end_url]


······

        #问过他本人,他考虑的是人工组合一下url
        if self.set < 15:
            self.set += 1
            url = self.base + str(self.set) + self.end_url
            
            print self.set
            yield scrapy.Request(url, callback=self.parse)

原始代码的部分截取,
代码中的set = "1",
下面有需求,
需要组合成http://www.dsdfsdf.cm/{set}.html
数字自增,要int类型,
二话不说,直接改成set = 1
运行一下代码,
编辑器报了一些错误:
具体是url这块的类型有问题,但是又没有严重影响url
不考虑严谨性,就这样了。

相关文章

网友评论

      本文标题:【Scrapy坑】 URL中数字类型错误 导致url中的数字不能

      本文链接:https://www.haomeiwen.com/subject/ysezcctx.html