关于消息队列
消息队列( Message Queue )本质就是用于保存消息数据的队列，是为了提高系统并发能力而易引入，让系统的不同模块之间解耦，提高系统的可扩展性和可维护性。
消息队列的作用
- 解耦：消息队列可以将系统的不同模块之间解耦，提高系统的可扩展性和可维护性。
- 异步：消息队列可以实现异步处理，提高系统的并发能力。
- 削峰：消息队列可以实现削峰填谷，避免系统因为流量峰值而崩溃。
- 持久化：消息队列可以实现消息持久化，避免消息丢失。
开源消息队列
一、主流开源消息队列
1. Apache Kafka
> 核心特性：
- 高吞吐量：单机支持每秒百万级消息处理，适合大数据场景
- 持久化与零拷贝：消息直接写入磁盘，通过零拷贝技术减少I/O开销
- 分布式流处理：无缝集成Flink、Spark等流计算框架，支持实时数据分析
> 适用场景：
- 日志收集、实时监控、流式计算（如用户行为分析）
> 局限：
- 部署复杂，低延迟场景弱于RabbitMQ
。
2. RocketMQ
> 核心特性：
- 金融级可靠性：支持事务消息、死信队列、消息回溯，保证数据一致性和可追溯性
- 低延迟与高并发：毫秒级响应，单机吞吐量达十万级
- 分布式事务：原生支持二阶段提交（2PC），适用于订单支付、库存扣减等场景
> 适用场景：
- 电商交易、金融系统、分布式事务处理
> 生态：
- 阿里巴巴开源，中文社区活跃
3. RabbitMQ
> 核心特性：
- 灵活路由机制：通过Exchange模块支持直连（Direct）、主题（Topic）、广播（Fanout）等路由规则
- 多协议支持：兼容AMQP、MQTT、STOMP等协议，适配物联网设备通信
- 易用性：提供可视化控制台，部署简单
> 适用场景：
- 中小规模异步任务（如邮件通知）、微服务解耦
> 局限：
- 消息堆积性能差（内存易溢出），Erlang语言二次开发成本高
4. Apache Pulsar
> 核心特性：
- 分层存储：计算与存储分离，通过BookKeeper实现消息持久化
- 多租户与异地复制：支持跨集群消息同步，适合混合云架构
> 适用场景：
- 多租户SaaS平台、全球化业务数据同步
> 局限：
- 社区相对较小，文档完善度不如Kafka
5. Apache Pulsar
> 核心特性：
- 分层存储：计算与存储分离，通过BookKeeper实现消息持久化
- 多租户与异地复制：支持跨集群消息同步，适合混合云架构
- 消费模式灵活：独占、共享、灾备（Failover）三种模式
> 适用场景：
- 多租户SaaS平台、全球化业务数据同步
二、轻量级与新兴队列
1.NSQ
- 无中心化设计，节点自动发现，适合内部微服务通信
2.Sparrow
- 基于Memcached协议的轻量队列，Ruby生态首选
3.rte-ring
- DPDK无锁环形队列，专为网络数据包处理优化，延迟低于1μs
4.ActiveMQ
- 老牌消息队列，支持多种协议，生态完善
5.Kafka
- 高吞吐量、持久化存储，适合大数据场景
6.RocketMQ
- 金融级事务、死信队列，原生支持2PC
7.RabbitMQ
- 多协议支持、易用性，适合内部微服务通信
8.Pulsar
- 分层存储、多租户、异地复制，适合混合云架构
9.NSQ
- 无中心化设计、节点自动发现，适合内部微服务通信
10.Sparrow
- 基于Memcached协议的轻量队列，Ruby生态首选
11.rte-ring
- 资源受限场景 NSQ/Sparrow 无中心部署，低内存占用
- 超低延迟网络处理 rte-ring (DPDK) 无锁环形队列，适用5G边缘计算