美文网首页
scrapyd部署scrapy

scrapyd部署scrapy

作者: 一纸繁鸢w | 来源:发表于2019-06-24 21:08 被阅读0次

部署scrapy可以使用scrapyd,通过在客户端安装scrapyd-client,服务端安装scrapyd,可以使用命令将scrapy推到服务器上进行爬虫,对服务器端不需要过多的配置,只需要保证1.scrapyd处于运行状态,2.scrapy需要的模块全部安装

服务端操作(Centos7.2服务器)

  1. 通过命令pip3 install scrapyd安装,由于pip会将模块自动安装到python下
  2. 进入目录/usr/local/python3.5.2/lib/python3.5/site-packages/scrapyd
  3. 修改配置default_scrapyd.conf
[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0  #允许远程访问
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root
[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects

保存之后就可以启动scrapyd

  1. 进入目录/usr/local/python3.5.2/bin
  2. 使用命令 setsid scrapyd以后台的模式启动scrapyd,到此,服务端就配置好了。

客户端操作(Mac开发机)

  1. 此时通过客户端浏览器访问0.0.0.0:6800应该是可以访问到爬虫的可视化界面的
  2. 直接通过pip3 install scrapyd-client安装
  3. 修改要上传的scrapy项目,修改scrapy.cfg,首先去掉url前面的注释符号,url是scrapyd服务器的网址
  4. 然后project=tenCent为项目名称,可以随意起名
    效果如下:


    image.png

    接下来就是一系列的json请求操作了

scrapyd-deploy <target> -p <project>  --version <version>

Target:deploy后面的名称。可以为空
Project:自行定义名称,跟爬虫的工程名字无关。
Version:自定义版本号,不写的话默认为当前时间戳。

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name

创建运行爬虫任务

相关文章

网友评论

      本文标题:scrapyd部署scrapy

      本文链接:https://www.haomeiwen.com/subject/ptraqctx.html