消息队列如何保证消息不丢失

消息从生产到消费可以经历三个阶段：生产阶段、存储阶段和消费阶段。

• 生产阶段：在这个阶段，从消息在Producer创建出来，经过网络传输发送到Broker端。
• 存储阶段： 消息在Broker端存储，如果是集群，消息会在这个阶段被复制到其他的副本上。
• 消费阶段：Consumer从Broker上拉取消息，经过网络 传输发送在Consumer上。

在这三个阶段都存在消息可能丢失的情况。

• 生产阶段：消息队列通常使用确认机制，来保证消息可靠传递：当你代码调用发送消息的方法，消息队列的客户端会把消息发送到Broker，Broker接受到消息会返回客户端一个确认。只要Producer收到了Broker的确认响应，就可以保证消息在生产阶段不会丢失。有些消息队列在长时间没收到发送的确认响应后，会自动重试，如果重试再失败，就会一返回值或者异常方式返回给客户端。所以在编写发送消息的代码，需要正确处理消息发送返回值或者异常，保证这个阶段消息不丢失。
• 存储阶段：如果对消息可靠性要求非常高，可以通过配置Broker参数来避免因为宕机丢消息。对于单个节点Broker，需要配置Broker参数，在收到消息后，将消息写入磁盘再给Producer返回确认响应。如果是Broker集群，需要将Broker集群配置成：至少两个以上节点收到消息，再给客户端发送确认响应。
• 消费阶段：消费阶段采用和生产阶段类似的确认机制来保证消息的可靠传递。Consumer收到消息后，需在执行消费逻辑后在发送确认消息。

总结：

• 生产阶段，需要捕获消息发送错误，并重发消息
• 存储阶段，通过配置刷盘和复制参数，让消息写入多个副本的磁盘上，来确保消息不会因为某个Broker宕机或者磁盘损坏而丢失。
• 消费阶段：需要在处理完全部消费业务逻辑后，再发送确认消息。