用定期同步某个时间段数据只能应对结果型数据,比如签单,由签单时间和其他条件确定,如果业务场景不关心过程中的数据,比如说单子创建但还没有签单时间的数据,可以使用这种方法。
如果要追踪过程性,就得binlog。由于线上binlog会被清理,而提取数据是定时job,可能导致丢失。可以采用的方式是maxwell daemon监听binlog写入rabbitmq或文件,数据处理的job定时从rabbitmq获取事件或者处理文件,成功后清除。
用定期同步某个时间段数据只能应对结果型数据,比如签单,由签单时间和其他条件确定,如果业务场景不关心过程中的数据,比如说单子创建但还没有签单时间的数据,可以使用这种方法。
如果要追踪过程性,就得binlog。由于线上binlog会被清理,而提取数据是定时job,可能导致丢失。可以采用的方式是maxwell daemon监听binlog写入rabbitmq或文件,数据处理的job定时从rabbitmq获取事件或者处理文件,成功后清除。
本文标题:Day 2597:学习
本文链接:https://www.haomeiwen.com/subject/eseezdtx.html
网友评论