美文网首页
Day 2597:学习

Day 2597:学习

作者: kafkaliu | 来源:发表于2024-03-07 23:35 被阅读0次

用定期同步某个时间段数据只能应对结果型数据,比如签单,由签单时间和其他条件确定,如果业务场景不关心过程中的数据,比如说单子创建但还没有签单时间的数据,可以使用这种方法。

如果要追踪过程性,就得binlog。由于线上binlog会被清理,而提取数据是定时job,可能导致丢失。可以采用的方式是maxwell daemon监听binlog写入rabbitmq或文件,数据处理的job定时从rabbitmq获取事件或者处理文件,成功后清除。

相关文章

网友评论

      本文标题:Day 2597:学习

      本文链接:https://www.haomeiwen.com/subject/eseezdtx.html