美文网首页
数据采集之websocket

数据采集之websocket

作者: a荷包蛋 | 来源:发表于2018-09-14 18:16 被阅读0次

这里有一篇很好的解释websocket的网站供大家参考

https://segmentfault.com/a/1190000013149749

我自己在爬取有关websocket时的一些想法

1.一般情况下你要构造一个类,针对发送请求和接受数据都有相应的方法去做处理,所以说我们可以直接用websocket自带的一个方法类去封装我们的代码。

2。在浏览器页面通过开发者工具去找到ws的规律。(找不到的时候刷新一下页面就可以了)

图一

3.当我们在模拟websocket发送请求的时候,注意要根据浏览器对应的信息去更换红色边框的内容。

图二

4.我们整个的爬虫代码,除了我们根据websocket发送的message,找到对应的参数外,这个rid是关键,他的前10位是一个时间戳,我们可以通过找到他的规律去循环我们的代码,也可以通过这个时间戳,找到当浏览器发送这条message请求时,服务端返回的数据。

图四

5.在用websocket发送请求时,会遇到send报红,我当时也做了很多的处理,但依然会报红,我认为应该是有的rid并没有返回的数据才会导致这个结果,所以不用关代码,让他继续运行就好。

相关文章

  • 数据采集之websocket

    这里有一篇很好的解释websocket的网站供大家参考 https://segmentfault.com/a/11...

  • Python网络数据采集之图像识别与文字处理

    网络采集系列文章 Python网络数据采集之创建爬虫Python网络数据采集之HTML解析Python网络数据采集...

  • 聊聊从Websocket到协议设计的思考

    前言 因为最近团队在改造Nodejs的Accs、MTop等中间件,其中在采集数据方面用到了Websocket,所以...

  • 大数据之数据采集

    大数据体系一般分为:数据采集、数据计算、数据服务、以及数据应用 几大层次。 在数据采集层,主要分为 日志采集 和 ...

  • 数据仓库搭建

    全流程:数据采集->数据存储->数据分析->数据呈现 数据采集 首先我们从数据采集来说,数据采集的数据主要来自于日...

  • 产品要懂点数据分析(三)- 分析过程

    数据采集 数据分析的对象就是数据,通过数据采集来获得数据。数据采集在《产品要懂点数据分析(一)-数据采集和数据指标...

  • 用数据驱动产品和运营 之 数据处理流程

    数据处理流程: 数据金字塔:数据采集——数据建模——数据分析 (一)数据采集 数据采集问题:不准确、不完备、不细致...

  • 第一章 总述

    大数据系统体系:数据采集、数据计算、数据服务、数据应用 一. 数据采集层: 1)web端日志采集技术方案:Aplu...

  • 扩展json

    json 计划 0:一次性数据 计划 1:采集数据 计划 2:计数 采集数据字典 0:方法内部采集 采集数据字典 ...

  • 高屋建瓴 | 阿里巴巴大数据之路

    阿里巴巴数据平台总共分为四个基本层级: 数据采集层:数据采集包括日志采集和数据库数据同步两部分,其中日志采集包括:...

网友评论

      本文标题:数据采集之websocket

      本文链接:https://www.haomeiwen.com/subject/foxagftx.html