Redis Stream 与 Kafka 的区别

综述

Redis Stream 和 Apache Kafka 都是消息系统，但它们的定位和设计理念有本质不同。Kafka 是一个分布式流处理平台，而 Redis Stream 是 Redis 中的一种数据结构。了解它们的区别，有助于在不同场景下做出正确的技术选型。

架构对比

集群模式

Kafka：

生产者 → Topic（分区1、分区2、分区3）→ 消费者组
        ├── Broker 1 (Leader)
        ├── Broker 2 (Follower)
        └── Broker 3 (Follower)

• 原生分布式架构，多 Broker 组成集群
• Topic 分区分布在多个 Broker 上
• 每个分区有多个副本，副本分布在不同的 Broker
• 数据自动在集群中平衡

Redis Stream：

生产者 → Stream（单节点）→ 消费者组

• Stream 存储在单个 Redis 节点上
• 通过 Redis Cluster 可以实现分片，但 Stream 本身不分片
• 哨兵/Cluster 提供高可用，但 Stream 在单个主节点上
• 消息容量受单个节点内存限制

数据存储

消息模型对比

生产者-消费者模型

消息可靠性

性能对比

吞吐量

Kafka（磁盘顺序写）：单分区数万/秒，集群数百万/秒
Redis Stream（内存）：单节点数万～十万/秒

延迟

Kafka：毫秒级（通常 2-5ms）
Redis Stream：微秒级（通常 50-500μs）

影响性能的因素

Kafka 性能瓶颈：
– 磁盘 I/O（虽然顺序写很快）
– 网络带宽（数据量大时）
– 分区数量（分区过多影响）

Redis Stream 性能瓶颈：
– 内存大小（影响 GC/RDB 持久化）
– CPU 单线程限制
– 网络延迟

功能特性对比

消息回溯

消息保留策略

消费者管理

典型场景选型

选择 Kafka 的场景

1. 大数据流处理：日志聚合、埋点数据、监控指标
2. 长期数据存储：需要回溯数天甚至数月的数据
3. 高吞吐需求：每秒百万级消息
4. 数据集成：连接各种数据源和目标系统
5. 需要 exactly-once 语义：金融交易、订单对账

选择 Redis Stream 的场景

1. 轻量级队列：简单的任务队列、内部消息传递
2. 低延迟需求：微秒级的消息投递
3. 已有 Redis 基础设施：减少组件，降低运维复杂度
4. 小规模数据：消息量不大，不超过内存容量
5. 临时消息：无需长期存储的历史消息

面试要点

核心区别速记

Kafka   = 磁盘 + 分布式 + 高吞吐 + 持久化 + 复杂
Redis   = 内存 + 单节点 + 低延迟 + 简单 + 轻量

常见面试问题

Q1: 为什么 Kafka 吞吐量比 Redis Stream 高？
A: 虽然 Redis 是内存操作，但 Kafka 的批量处理、零拷贝、顺序 I/O 以及多线程架构使其在大量数据场景下吞吐更高。

Q2: 什么时候应该用 Stream 而不是 Kafka？
A: 当系统已经使用了 Redis，消息量不大，延迟敏感，且不需要长期存储时。

Q3: Redis Stream 能替代 Kafka 吗？
A: 在大多数场景下不能。Stream 适合轻量级消息队列，Kafka 适合企业级流处理平台。

Q4: Stream 的数据会丢失吗？
A: 有风险。内存存储 + AOF 追加写 + 主从复制只能降低风险，不能完全消除。Kafka 的多副本机制更可靠。