scrapy爬虫工具界面化管理

一、安装scrapyd服务

    1、安装scrapyd

        $ pip install scrapyd

    2、安装scrapyd-client

        $ pip install scrapyd-client

    3、启动测试安装

        $ scrapyd

    4、打开浏览器，页面预览

        http://127.0.0.1:6800

二、安装界面工具

    1、安装spidermanager

        pip install spidermanager

    2、服务配置（要保证server配置的地址可正常访问）

        spidermanager --server=http://localhost:6800

    3、配置完成，打开浏览器，页面预览

        http://localhost:5000

三、spider部署配置

    1、生成部署文件（切换到scrapy.cfg文件同级目录执行）

        a. 查看配置

            scrapyd-deploy -l

        b. 配置scrapy.cfg，打开url

            [deploy]

                url = http://localhost:6800/

        c. 生成output.egg

            $ scrapyd-deploy --build-egg output.egg

    2、页面上传部署

        http://localhost:5000/project/1/spider/deploy

    3、添加定时任务

        http://localhost:5000/project/1/job/periodic

        点击addjob，弹框中spider选框即是打包部署的spider

四、说明

    scrapyd：用于支持SpiderManager管理的底层服务，自带简易管理界面

    SpiderManager：对scrapyd 界面管理的升级本身依赖于scrapyd

五、参考地址

  SpiderManager：https://github.com/koneb71/SpiderManager

  scrapyd博文：https://www.jianshu.com/p/f815f91949f2

  scrapyd官网：https://scrapyd.readthedocs.io/

六、页面效果图