美文网首页
业务场景实战(八)处理亿级数据的定时任务

业务场景实战(八)处理亿级数据的定时任务

作者: 后来丶_a24d | 来源:发表于2022-02-12 21:04 被阅读0次

思维导图

思维导图.png

系列总目录


背景

  • 用户会员系统,用户会有分数流水,每个月要做一次分数统计,对不同分数等级的会员做不同业务处理

特性

  • 假设用户在100w级别,假设用户日均1条流水,也就是说日增流水数据量在100W级别,月新增流水在3kW级别,3个月流水数据量在亿级别

解决方案

常见解决方案

  • 一个月执行一次的定时任务,数据量太大,即使用多线程处理不同批次数据,数据库也扛不住

mq发送消息到积分系统

  • 用户操作执行完之后,发送mq到积分系统实时记录数据
  • mq跟业务操作可能会导致不一致性

DTS监听用户操作

  • DTS监听mysql,有操作变更时,变更积分

结合mq和DTS

  • 结合mq和DTS,双重校验保证数据一致性

参考文章

相关文章

网友评论

      本文标题:业务场景实战(八)处理亿级数据的定时任务

      本文链接:https://www.haomeiwen.com/subject/igrkcrtx.html