Mq,如何防止消息重复

作者: 萝灏 | 来源:发表于2018-12-02 14:21 被阅读0次

Mq,如何防止消息重复
防止mq重复消费
RabbitMQ【三】如何保证消息不丢失
mq防止消息丢失方案
如何在MQ中实现支持任意延迟的消息？
kafka防止消息重复消费
第三章-高级特性1:Confirm
聊聊MQ，如何避免消息丢失？如何避免重复消费？
消息队列
MQ性能

解决方式：消费端自己处理

造成消息的重复的根本原因是：网络不可达。只要通过网络交换数据，就无法避免这个问题。所以解决这个问题的办法就是不解决，转而绕过这个问题。那么问题就变成了：如果消费端收到两条一样的消息，应该怎样处理？

1、消费端处理消息的业务逻辑保持幂等性
2、保证每条消息都有唯一编号且保证消息处理成功与去重表的日志同时出现

第1条很好理解，只要保持幂等性，不管来多少条重复消息，最后处理的结果都一样。第2条原理就是利用一张日志表来记录已经处理成功的消息的ID，如果新到的消息ID已经在日志表中，那么就不再处理这条消息。我们可以看到第1条的解决方式，很明显应该在消费端实现，不属于消息系统要实现的功能。第2条可以消息系统实现，也可以业务端实现。正常情况下出现重复消息的概率不一定大，且由消息系统实现的话，肯定会对消息系统的吞吐量和高可用有影响，所以最好还是由业务端自己处理消息重复的问题，这也是MQ不解决消息重复的问题的原因。MQ不保证消息不重复，如果你的业务需要保证严格的不重复消息，需要你自己在业务端去重。