找回密码
立即注册
搜索
发回帖 发新帖

6909

积分

0

好友

867

主题
发表于 7 小时前 | 查看: 3| 回复: 0

FlowMQ Kafka 客户端与 S3、RLog 存储后端架构

引言

FlowMQ 是基于 C++ 从零构建的统一消息系统,面向发布/订阅、队列与流处理三种消息范式,支持 MQTT、Kafka、AMQP 和 NATS 等消息协议。

本文重点介绍 FlowMQ 的 Kafka 协议实现。FlowMQ 兼容标准 Kafka 协议,提供 S3 和 RLog 两种存储后端,分别面向云环境的低成本存储和本地场景的低延迟存储。

Apache Kafka 面临的问题

随着 Kafka 承载的数据量和业务吞吐持续增长,团队不仅需要应对容量与性能压力,还要控制存储和运维成本。在数据规模较大的场景下,传统存储架构在成本控制、集群扩容和资源利用方面逐渐显现出局限。

  • 计算与存储紧密耦合:在 Apache Kafka 的本地日志架构中,Partition 是有序流数据的存储单元,其副本分布在指定的 Broker 上。Broker 既负责处理请求,也承担对应副本的日志存储,使计算资源、磁盘容量和数据副本位置紧密绑定。
  • 存储与网络成本持续增长:Kafka 通过多副本保障数据可靠性,但每个副本都需要占用独立的块存储空间。在多 AZ 部署中,副本间的日志复制还会产生跨可用区网络流量。随着数据吞吐和保留时间增加,存储与网络成本也随之攀升。
  • 扩容伴随数据迁移:新增 Broker 并不会自动分担已有 Partition 的数据负载。团队通常需要通过 Partition Reassignment,将现有副本迁移到新节点。迁移期间,数据复制会与在线读写争用磁盘和网络资源;数据规模越大,迁移耗时和对业务的潜在影响也越明显。
  • 容量与负载难以均衡:每个副本受所在 Broker 的磁盘容量约束,大 Partition 容易造成节点间资源分布不均。即使集群整体仍有可用容量,个别节点也可能率先遭遇磁盘空间或网络带宽瓶颈,限制集群的实际承载能力。

因此,Kafka 扩容不仅意味着增加计算和存储资源,还涉及副本重新分配、数据迁移及持续的运维管理。随着业务规模扩大,数据搬迁和资源规划会反复发生,进一步增加系统扩展的复杂度与总体成本。

FlowMQ Kafka 解决方案

方案架构

FlowMQ Kafka 采用计算存储分离的架构。Kafka 协议层支持标准 Kafka 协议,兼容 Kafka 客户端以及 Topic、Partition、Consumer Group、认证、保留策略等标准功能,以支持现有业务迁移。存储层由 S3 或 RLog 承载数据,计算层和存储层可按需各自扩容。

FlowMQ Kafka 协议层与 S3、RLog 双存储后端架构

FlowMQ Kafka-S3:云上低成本部署

FlowMQ Kafka 的 S3 后端以 S3 兼容对象存储承载数据,其降低云上部署成本的关键因素包括:

  • 在相同存储量下,对象存储服务相较于自部署的多副本 Kafka 存储有明显的价格优势。
  • 对象存储服务按使用量计费,而自部署 Kafka 需要提前分配存储容量。
  • 在跨 AZ 部署中,FlowMQ 直接读写对象存储服务,避免了副本间的跨 AZ 数据复制成本。

以 AWS、1 GB/s 吞吐、多 AZ 部署的月度基础设施成本为例,Apache Kafka 为 286,636 美元/月,FlowMQ S3 为 18,138 美元/月。实际成本取决于存储量、吞吐量、部署方式和云服务定价,读者可根据目标需求在不同云提供商上进行比较。

AWS 多 AZ、1 GB/s 吞吐场景下 Kafka 与 FlowMQ S3 月度基础设施成本对比

与此同时,FlowMQ Kafka S3 的计算层完全无状态。扩容或缩容时,只需加入或减少计算节点,即可按业务需求调整计算资源,而不需要像自部署 Apache Kafka 集群一样提前计算和分配高规格计算存储节点。

FlowMQ Kafka-RLog:低延迟本地存储

对于需要本地私有化部署或对数据访问延迟有更高要求的场景,FlowMQ 提供 RLog 存储后端。

RLog 是 FlowMQ 自主研发的分布式 Log 存储引擎,其设计基于流数据的两个特点:

  • 数据写入方向始终向后。
  • 历史数据一旦写入便不再修改。

因此,RLog 将一个 Partition 的日志按序划分为多个 Segment,包括零个或多个已封存的只读 Segment 和一个活跃 Segment,并以每个 Segment 为粒度配置复制组。这样,历史数据副本可以更细粒度地分散到不同节点,容量均衡不必始终围绕整个 Partition 副本进行。

RLog 中一个 Partition 的 Segment 副本分布示例

上图中,S3 为活跃 Segment,每个 Segment 均有三个副本:S1 存储于 Node 1、2、3,S2 位于 Node 2、3、4,S3 位于 Node 1、4、5。

相比 Apache Kafka,这种设计具有以下优势:

  • 复制组存储粒度更小,可以更均匀地分配在不同节点上。
  • 工作负载可以动态调整,而不是总聚集在固定节点上。
  • 新节点加入集群时,新 Segment 可自动分配到新节点,无需手动执行 Reassignment 和复制已有数据。
  • 故障发生时,封存当前活跃 Segment 并切换到新 Segment,简化复制协议,加快故障恢复。

Flexible Quorum:灵活的副本配置与故障恢复

RLog 复制协议采用 Flexible Quorum [1]。设副本总数为 $N$、最小写入副本数为 $W$、最小恢复副本数为 $R$,当复制组满足 $W + R > N$ 时,可通过写入集合与恢复集合的交集保障强一致性,而不要求两者均为多数派。

以跨两个 AZ 部署为例,可以对比 Apache Kafka(ISR)、Redpanda(Raft)和 FlowMQ Kafka-RLog 的部署与故障恢复能力:

  • Apache Kafka(ISR):在四副本、每个 AZ 两个副本的部署中,配置 acks=all、min.insync.replicas=3 时,可以容忍一个节点故障。当整个 AZ 故障,只剩两个副本时,便无法满足写入门槛。如果故障 AZ 无法及时恢复,且不降低门槛,通常需要运维或自动化平台补充节点、调整副本分配。新副本必须追赶历史日志并加入 ISR,才能补齐写入条件;历史数据量大时,这一步可能涉及大量数据拷贝,恢复耗时较长。[2]
  • Redpanda(Raft):Redpanda 使用 Raft 进行 Partition 数据复制,写入提交和选主都依赖多数派。采用奇数副本时,在两个 AZ 之间无法平均分布;副本较多的 AZ 故障后,剩余副本无法形成多数派,受影响分区无法正常提交写入或选主。采用四副本、每个 AZ 两副本的部署时,多数派需要三个副本,失去一个 AZ 后仅剩两个,同样无法形成多数派,强一致读写服务及正常选主、成员变更恢复无法继续。单纯启用空白备用节点,也不能绕过原复制组的多数派要求。Apache Kafka 的 Controller 在 KRaft 模式下也使用 Raft,因此其元数据仲裁组同样受多数派要求约束。[3]
  • FlowMQ Kafka(RLog):FlowMQ Kafka-RLog 采用 4-3-2 配置,即四副本、写入需三个副本确认、恢复只需两个副本参与。单 AZ 故障后,两个存活副本仍满足 $R=2$,故障切换后的读取与日志恢复逻辑可以运行。剩余两个副本不足 $W=3$,暂时无法写入;启用备用节点或备用 AZ 后,可通过自动化为新数据选择新的复制组,恢复写入,而不必等待大规模历史数据搬迁。写入中断时间主要取决于故障切换及备用节点或备用 AZ 的启用过程。

典型应用场景

FlowMQ Kafka 的 S3 和 RLog 两种存储后端面向不同的数据存储需求,可根据业务的数据规模、访问模式、部署环境和延迟要求选择。

FlowMQ Kafka-S3:大规模写入与长期留存

适用于日志留存、用户行为埋点、IoT 设备数据上报、审计流水和监控指标等场景。这类业务通常具有持续写入、数据量大、保留周期长等特点,对单位存储成本、跨 AZ 流量成本和弹性扩缩容能力更为敏感。FlowMQ Kafka-S3 可通过对象存储降低长期数据保存成本,并支持计算节点按业务峰谷独立伸缩。

FlowMQ Kafka-RLog:低延迟与高可用业务

适用于金融交易、在线风控、实时订单、游戏消息、工业控制及私有化消息中台等场景。这类业务通常对读写延迟、服务可用性和故障恢复速度有更高要求,同时可能需要满足本地化部署需求。FlowMQ Kafka-RLog 通过细粒度 Segment 分布和 Flexible Quorum 复制机制,提升数据分布灵活性与故障恢复效率。

总结

随着业务规模和数据需求不断增长,消息系统需要在性能、成本与扩展性之间取得平衡。FlowMQ Kafka 提供 S3 和 RLog 两种存储方案,为不同规模、延迟要求和部署环境下的 Kafka 业务提供了技术选择。

参考资料

  1. Heidi Howard, Dahlia Malkhi, Alexander Spiegelman. Flexible Paxos: Quorum Intersection Revisited. OPODIS 2016, LIPIcs 70, 25:1–25:14, 2017. DOI: 10.4230/LIPIcs.OPODIS.2016.25. https://drops.dagstuhl.de/entities/document/10.4230/LIPIcs.OPODIS.2016.25
  2. Apache Kafka: Replication 与 Availability and Durability Guarantees. https://kafka.apache.org/40/design/design/#replication
  3. Redpanda: How Redpanda Works — Raft consensus algorithm. https://docs.redpanda.com/streaming/current/get-started/architecture/



上一篇:Magpie 本地网关实测:和 CC Switch 的区别与路由组用法
下一篇:OnlyOffice 私有化部署实战:Spring Boot 接入在线编辑 Word 全流程
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-21 15:43 , Processed in 0.067007 second(s), 41 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表