美文网首页
爬虫文件的本地部署

爬虫文件的本地部署

作者: 杜大个 | 来源:发表于2018-12-10 16:53 被阅读0次

首先第一步要打开scrapyd

在pycham中我们必须在可以看到 scrapy.cfg 的目录里面执行一下代码也就是项目文件夹下

第二步发布项目到远端服务器

scrapyd-deploy -p projectname #不指定版本号的

scrapyd-deploy -p projectname --version 版本 #指定版本号的

安装curl后执行apI,控制爬虫

sudo apt install curl

第三步 启动命令

curl http://localhost:6800/schedule.json -d project=shijijiayua -d spider sjjy

结束的命令

curl http://localhost:6800/cancel.json -d project=shijijiayua -d job= id

返回远端的部署的项目

curl http://localhost:6800/listprojects.json

相关文章

  • 爬虫文件的本地部署

    首先第一步要打开scrapyd 在pycham中我们必须在可以看到 scrapy.cfg 的目录里面执行一下代码也...

  • scrapy 爬虫本地部署

    scrapyd 是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且sc...

  • Python第四天

    爬虫基础知识 1)提取本地html文件 (1)步骤 ✏ 需要自已先写一个html(或者本地已有一个html文件)✏...

  • 【win+mac】用局域网内部分享Axure原型

    【 WIN下建立局域网篇】win下如何部署本地文件,部署好后,会用本地地址作为访问地址,如我的地址是http://...

  • scrapy分布式爬虫部署

    本地部署 1.先安装两个库: scrapyd: pip3 install scrapyd是运行scrapy爬虫的服...

  • scrapy + scrapyd 部署使用

    scrapyd 部署 注:example 为项目名称 安装 启动 scrapyd 部署 爬虫 添加爬虫 取消爬虫 ...

  • Tomcat —— Web应用本地部署

    Web 应用本地部署 环境 Tomcat 8 新建文件 Tomcat --> conf --> Catalina ...

  • Jenkins+Fastlane

    iOS項目持续集成思路 部署fastlane,实现本地用fastlane匹配证书、描述文件以及打包(主要); 部署...

  • 万物皆可 Serverless 之使用云函数 SCF 快速部署验

    验证码识别是搞爬虫实现自动化脚本避不开的一个问题。通常验证码识别程序要么部署在本地,要么部署在服务器端。如果部署在...

  • 移动光猫GS3101系统分析

    起因 我在本地虚拟机部署了一套公众号爬虫服务(仅用于学习~)的时候,由于外网不能访问,因此想把本地虚拟机的端口映射...

网友评论

      本文标题:爬虫文件的本地部署

      本文链接:https://www.haomeiwen.com/subject/brldhqtx.html