什么是 RocketMQ？

RocketMQ 是阿里巴巴开源的分布式消息中间件，现已成为 Apache 顶级项目。它是一款低延迟、高可靠、高吞吐、可水平扩展的消息中间件，广泛应用于异步通信、削峰填谷、应用解耦等场景。

为什么需要消息队列

在前面的文章中，我们介绍了Canal的基本原理和使用方法，通过Canal客户端直接消费binlog数据。但在实际生产环境中，这种方式存在一些局限性：

什么是Kafka？

Apache Kafka是一个分布式流处理平台，具有以下特点：

• 高吞吐量：支持每秒数百万条消息的处理
• 可扩展性：支持集群动态扩展
• 持久化：消息数据持久化到磁盘
• 高可用性：支持数据复制和故障转移

生产者工作原理

1. 整体架构

Kafka生产者的消息发送流程：

1. 消息封装：将消息封装为ProducerRecord
2. 序列化：对key和value进行序列化
3. 分区分配：选择目标分区
4. 批次管理：将消息添加到批次
5. 网络发送：发送到Kafka集群

消费者工作原理

1. 整体架构

Kafka消费者的工作流程：

1. 订阅主题：指定要消费的Topic
2. 分区分配：消费者组内分配分区
3. 拉取消息：从分区拉取消息
4. 消息处理：处理消息并提交位移
5. 位移管理：管理消费位置

事务机制

1. 事务概述

Kafka事务可以保证：

1. 原子性写入：多条消息要么全部成功，要么全部失败
2. 跨分区事务：支持跨多个分区的事务
3. 读隔离性：消费者可以配置只读取已提交的消息

Kafka Streams

1. 基本概念

Kafka Streams是一个客户端库，用于构建：

1. 流处理应用：实时处理和转换数据
2. 状态存储：管理本地状态
3. 容错处理：自动故障恢复

什么是RabbitMQ？

RabbitMQ是一个开源的消息代理和队列服务器，用来通过普通协议在完全不同的应用之间共享数据。RabbitMQ是使用Erlang语言来编写的，并且基于AMQP（Advanced Message Queuing Protocol）协议。

死信队列

1. 什么是死信队列？

死信队列（Dead Letter Queue，DLQ）用于处理无法被正常消费的消息。当一条消息变成死信后，可以被重新发送到另一个交换机，这个交换机就是死信交换机（DLX）。

集群配置

1. 集群模式

RabbitMQ支持以下集群模式：

1. 普通集群：队列数据只存在于单个节点
2. 镜像集群：队列数据在多个节点之间同步
3. 仲裁队列：基于Raft协议的新一代高可用方案