Filebeat + Redis List + Logstash Persistent Queue + Elasticsearch Data Stream
面向 Kubernetes 上的应用诊断日志。版本、容量和交付语义均须以实测为准。
发布高峰期间,Elasticsearch 连续五分钟拒绝写入,应用仍以每秒 5 万条事件持续产生日志。Redis List 的长度开始下降,事故也不一定结束。Logstash 可能还在重试 Bulk,Filebeat 的本地磁盘队列可能还有积压,刚轮转的源文件也可能没读完。更危险的是,此时若 Logstash 异常重启,已经从 Redis List 移除、但尚未到达可恢复持久化点的一小段事件,可能再也找不回来。
把四个组件连起来并不能解决这个问题。生产设计需要回答四个问题:
- 下游停写时,每一层还能接住多少流量,能撑多久?
- 恢复后,系统有多少净消化能力,多久能把积压追平?
- 进程退出、节点掉电、持久卷丢失、Redis 切主时,哪些事件会重复,哪些会丢失?
- 哪些日志可以降级或采样,哪些必须走具备回放能力的可靠通道?
本文的“千万级”,指一次事故窗口内可能形成千万量级的积压,示例峰值为 50,000 events/s。文中所有容量、延迟和恢复时间都是设计输入或计算示例,不是通用默认值。
1. 先定义交付,再决定事件走哪条链路
一条日志至少经历三个不同的时间点:
- 应用写出:应用把一行日志写入 stdout 或文件。
- ES 接受:Bulk 中对应的 item 成功,文档已被主分片接受。
- 查询可见:刷新(refresh)之后,目标查询能找到该文档。
Filebeat 的 ACK 与第二、第三个时间点不是一回事。它只表示下游输出已确认接收。在 Redis List 架构里,通常只表示 Redis 已响应写入。所以生产验收应以“应用写出到查询可见”的端到端延迟为主,同时记录缺失、重复、死信和主动采样的数量。
| 日志类别 |
典型内容 |
容量耗尽时的策略 |
推荐交付目标 |
| 高频诊断 |
DEBUG、健康检查、成功访问日志 |
经授权在源头采样,记录策略版本与丢弃计数 |
最终可见;允许明确比例的主动丢弃 |
| 关键诊断 |
ERROR、异常堆栈、发布事件 |
与高频流隔离,预留独立的缓冲与保留预算 |
至少一次;允许可量化的重复 |
| 业务审计 |
支付状态、权限变更、合规留证 |
不依赖普通异步应用日志作为唯一凭据 |
按业务 RPO 定义可回放、可对账的通道 |
必须与业务事务同时留痕的事件,应采用事务 Outbox 或等价机制:在业务事务中写入待投递记录,再由可靠投递器异步发送。只靠应用日志异步落盘,无法保证业务提交和审计记录同时成功。
下面是一组可操作的验收口径:
- 正常期端到端 P99 可查询延迟不超过 60 秒。
- 能承受 ES 停写 5 分钟。
- 恢复后 20 分钟内回到正常延迟。
- 对 Logstash 异常终止、Redis 主从切换、节点持久卷丢失,分别统计缺失数、重复数和恢复时长。
任何具体的 RPO 承诺都必须声明故障范围,并用演练结果佐证。
2. 版本、支持边界与部署前提
只有先确定版本组合,配置才有意义。Filebeat、Logstash、Logstash Redis input、Elasticsearch output 插件和 Redis 的兼容性会随版本变化。尤其是 Redis Cluster、Sentinel、TLS 和文件身份识别,不能因为“能连上”就判定可以上线。
上线文档应包含下面的版本矩阵,升级时重新执行第 8 节的演练:
| 项目 |
必须记录的内容 |
验证方式 |
| Filebeat |
精确版本、filestream 行为、Redis output 支持范围 |
filebeat test config、真实轮转与断连演练 |
| Redis |
精确版本、单主/Sentinel/Cluster 模式、AOF 策略 |
压测、切主、AOF 重启、容量峰值测试 |
| Logstash |
精确版本、Redis input 与 ES output 插件版本、PQ 参数 |
--config.test_and_exit、崩溃恢复对账 |
| Elasticsearch |
精确版本、数据流、ILM、模板、分片与副本策略 |
模板模拟、Bulk 压测、rollover 回放测试 |
| Kubernetes |
卷类型、访问模式、节点替换策略、Secret 轮换 |
Pod 重建、节点排空和卷重新挂载演练 |
本文以单 Redis 主入口为基线。若使用 Sentinel,要注意 Sentinel 地址并不是能直接承载 Redis 写入的普通数据入口。Filebeat 和 Logstash 必须通过一个已经验证的入口接入。这个入口要能发现当前主节点,并在切换时重连,例如受控代理、服务发现控制器,或明确支持该语义的客户端方案。把主从地址同时写进 Filebeat 的 hosts,只会让它们被当成多个输出目标,不能替代主节点发现。
若使用 Redis Cluster,先验证两个客户端对 MOVED/ASK 重定向、槽迁移和故障切换的行为,并评估是否处于厂商支持范围。多个 key 只有被分配到不同主实例或不同 Cluster 主分片时,才会扩展总内存和吞吐。单纯增加 key 数量不会自动扩容。
3. 确认点决定故障后的恢复边界
| 位置 |
成功意味着什么 |
故障边界 |
| 源文件 → Filebeat |
harvester 读到字节,registry 记录读取状态 |
源文件在 ACK 前被删除,本机无法补读;更换节点且源文件、path.data 均丢失时无法恢复 |
| Filebeat → Redis |
Redis 已响应写入,Filebeat 可确认该批事件 |
响应丢失会触发重试并造成重复;Redis 已确认的数据若因持久化或切主丢失,Filebeat 通常不会自行回退位点 |
| Redis AOF/复制 |
AOF everysec 是周期性 fsync,复制通常异步 |
主机崩溃、主从切换、持久卷丢失的 RPO 各不相同,必须分别演练 |
| Redis → Logstash |
List 读取后,事件已从 Redis 移除 |
在“Redis 移除”与“成功写入 Logstash PQ”之间异常终止,Redis 无法重投;批量越大,单次窗口越大 |
| Logstash PQ → ES |
事件进入可恢复的 PQ;ES output 逐 item 判断结果 |
PQ 已写但尚未 ACK 的事件可能重放;ES 已写但 PQ 尚未确认时同样可能重复 |
| ES → 查询 |
Bulk item 成功后,等待 refresh 才可搜索 |
HTTP 200 仍可能包含失败 item;写入成功不保证立即可见;默认确认也不等于所有副本已完成 |
因此,Redis List + PQ 只适合允许明确损失窗口的诊断日志。增加 Logstash 实例能提升可用性与吞吐,但无法让已经从 List 删除、又没写入 PQ 的事件重新出现。这套组合提供的是“局部持久化和至少一次倾向”,不是端到端 exactly-once。
4. 稳定事件 ID:对账与去重必须分开落实
每条需要对账的事件,在产生时就生成稳定标识:
event.id = run_id + ":" + source_id + ":" + seq
run_id 标识演练或部署批次。source_id 是稳定的应用实例或日志源标识。seq 是该源内单调递增的序列。这个 ID 应写入结构化 JSON 的 event.id 字段,并由生产端保留期望清单。
只在文档里保存 event.id 并不能去重。要让重试或回放在同一个 ES backing index 内得到 409 冲突并被识别为重复,必须把它映射为 Elasticsearch 的 _id:
document_id => "%{[event][id]}"
action => "create"
按这项配置,重复投递同一 ID 会得到文档级 409,输出插件会记录并丢弃冲突。应分别统计“预期重复”和“意外 ID 冲突”,不能把所有 409 都当成成功或故障。
event.id 缺失、为空或格式非法时,不能静默地使用自动生成的 _id,否则去重语义会失效。建议在 filter 中打标签并隔离:
filter {
if ![event][id] or [event][id] == "" {
mutate { add_tag => ["missing_event_id"] }
}
}
带有 missing_event_id 的事件,后续可以发往独立的隔离流,或按业务策略拒绝。具体路由要与“日志可丢弃性”保持一致。
Data Stream rollover 之后,相同的 _id 可以进入新的 backing index,所以无法天然跨代去重。要跨代去重,可以按事件时间确定唯一的目标索引并限制迟到窗口,也可以由带持久状态的处理层来协调。上线前必须做跨 rollover 的回放演练。
5. 容量与恢复:用净流入,不要凭“队列看起来还很长”
5.1 基本公式
在持续速率近似恒定的窗口内:
新增积压事件数 = max(0, 入口事件速率 - 成功处理事件速率) × 持续秒数
所需字节容量 = 初始积压字节 + 故障期间最大新增积压字节
剩余缓冲时间 ≈ 剩余可用字节 ÷ 当前净积压字节速率
恢复净消化速率 = 恢复后的成功写入速率 - 持续入口速率
追平时间 = 待清积压事件数 ÷ 恢复净消化速率
事件数和字节数要分别观测。Redis 的 LLEN 只能说明条数,代表不了内存,也算不出剩余时间。异常堆栈、大字段 JSON 以及压缩前后的字节差异,都会显著改变实际容量。
5.2 五分钟 ES 停写的演算
假设入口为 50,000 events/s,ES 完全停写 300 秒,故障开始时没有积压:
新增积压 = 50,000 × 300 = 15,000,000 events
若 Filebeat 发给 Redis 的事件平均为 1,200 B,净载荷为:
15,000,000 × 1,200 B = 18,000,000,000 B ≈ 18 GB ≈ 16.8 GiB
平均大小适合估算长期成本。短时缓冲和 Bulk 限制,还应采集 P95/P99 的事件字节数。假设实测 Redis List 的内存放大系数为 1.25,并要求峰值只占用队列预算的 75%:
Redis 队列预算 = 18 GB × 1.25 ÷ 0.75 = 30 GB
这 30 GB 只是队列预算,不是 Redis 实例的总内存。还要为下列开销留出空间:
- Redis 进程本身;
- 复制和 AOF 缓冲;
- 分配器碎片;
- AOF rewrite 的写时复制;
- 容器限制与操作系统预留。
副本也要按同一口径规划。压测时同时记录 MEMORY USAGE、Redis RSS、容器内存峰值、AOF rewrite 期间的磁盘水位以及拒写次数。
5.3 恢复能力决定事故持续时间
假设 ES 恢复后稳定成功写入 70,000 events/s,入口仍为 50,000 events/s:
恢复净消化速率 = 70,000 - 50,000 = 20,000 events/s
追平时间 = 15,000,000 ÷ 20,000 = 750 s = 12.5 min
若目标是 20 分钟内清空这批积压,最低净消化能力是 12,500 events/s,成功写入能力至少要达到 62,500 events/s。重连、限速、Bulk 重试和 refresh 还要留出余量。若成功写入只有 48,000 events/s,恢复期里队列仍会继续增长。
5.4 分层预算矩阵
不同层保护的故障不同,不能把各层相加后称为“总可用时间”。下面是上线表中需要填写的矩阵。
| 层 |
主要保护的故障 |
字节口径 |
需要测量的输入 |
示例或要求 |
| 应用源文件 |
Filebeat 停读、下游长期阻塞 |
原始日志字节 |
单节点峰值写入率、轮转保留时间、清理时机 |
热节点 2 MB/s 保留 45 分钟,源文件约 5.4 GB;删除窗口须大于最大故障时间加追平时间 |
| Filebeat 磁盘队列 |
Redis 不可写、短时网络中断 |
Filebeat 队列序列化字节 |
单节点入口、queue.disk.max_size、事件大小分位数 |
5 GB 不是全局五分钟容量,必须换算为单节点可承受的秒数 |
| Redis List |
ES/Logstash 失速且 Redis 仍可写 |
List 实际内存与持久化磁盘字节 |
总入口、放大系数、初始积压、告警水位 |
本例独立承接五分钟净载荷时,队列预算为 30 GB |
| Logstash PQ |
下游 ES 不可写、Logstash 重启恢复 |
PQ 序列化字节 |
单实例入口、queue.max_bytes、检查点参数 |
10,000 events/s、1,500 B/条时,4 GiB 理论约 286 秒;需扣除已有积压与磁盘余量 |
| Elasticsearch |
长期保留 |
主分片实际存储字节 |
日事件数、实测索引膨胀、保留期、分片副本 |
1 亿条/日、800 B 主分片、30 天约 2.4 TB 主数据;一个副本约 4.8 TB,另留合并迁移余量 |
6. 配置基线:可恢复、可加密、可验证
以下片段是自管 Elastic Stack 的参考起点。发布前固定版本,用真实流量、真实轮转策略和真实证书测试。变量从 Secret 注入,不要把密码写入仓库或 ConfigMap。
6.1 Filebeat:保留源文件、位点和本地背压空间
示例假定 Spring Boot 每行输出一条 ECS 风格的 JSON,包含 @timestamp、message、log.level、service.name,需要去重时还要有 event.id。
filebeat.inputs:
- type: filestream
id: spring-app-json
paths:
- /var/log/app/*.log
- /var/log/app/*.log.[0-9]*
prospector.scanner.exclude_files: ['\.gz$']
parsers:
- ndjson:
target: ""
overwrite_keys: true
add_error_key: true
queue.disk:
max_size: 5GB
output.redis:
# 使用已验证的当前主节点入口;生产优先使用 TLS。
hosts: ["rediss://${REDIS_WRITE_ENDPOINT}:6379"]
password: "${REDIS_PASSWORD}"
key: "logs:app"
datatype: list
bulk_max_size: 512
timeout: 5
backoff.init: 1s
backoff.max: 30s
ssl:
certificate_authorities: ["/etc/filebeat/certs/redis-ca.crt"]
使用 rediss:// 之前,要按所选 Filebeat 版本验证 TLS 配置语法和服务端证书链。若 TLS 在受控代理终止,仍应确认 Filebeat 到代理、代理到 Redis 的加密边界,以及证书轮换策略。
DaemonSet 必须把 path.data 放在与 Pod 生命周期相匹配的稳定卷上,并确保同一数据目录只由一个 Filebeat 进程写入。节点被替换时,本地卷、registry、磁盘队列和源文件可能一起丢失。若采用 PVC,还应验证实例与卷的绑定、访问模式、重调度和恢复耗时。
Filebeat 的 Redis output 会重试失败的发送。下游长期不可用时,最终能撑多久,取决于本地队列容量和源文件保留。源文件的删除窗口必须至少覆盖“最长预期下游故障 + Filebeat 重连 + 积压追平”的时间。否则本地队列耗尽后,已删除的源文件无法补采。
轮转优先使用 rename/create,并在 paths 中同时匹配活跃文件和未压缩的轮转文件。避免采集 symlink。使用 fingerprint 文件身份时,要验证低频小文件、版本升级和指纹参数变更时的行为,因为修改 fingerprint 配置可能触发重采。传统 Java 文本堆栈应配置 multiline,并测试超长堆栈、超限和超时。Kubernetes 容器的 stdout,则应根据实际 CRI 封装使用 container parser 和对应的挂载路径。本示例只针对应用文件。
6.2 Redis:拒写优于驱逐,切主必须有清晰入口
appendonly yes
appendfsync everysec
maxmemory-policy noeviction
maxmemory 按第 5 节的容量模型设置,并将 AOF 放入持久化卷。noeviction 的含义是达到内存上限后显式拒写,而不是静默驱逐日志。这会把背压推回 Filebeat,所以 Filebeat 的磁盘队列和源文件保留,必须足以承受拒写窗口。
下面这些指标需要建立告警并做演练:
- List 长度与增长率;
- 内存水位;
- 拒写错误;
- 复制偏移与复制延迟;
- AOF 状态;
- rewrite 期间的 RSS 与磁盘水位。
appendfsync everysec 不等于零数据丢失。主机故障时,最近尚未落盘的一小段仍可能丢失。异步复制和故障切主,还会带来另一类“已确认写入丢失”的窗口。
6.3 Logstash:PQ、坏数据和稳定 _id 各有落点
# logstash.yml
pipeline.ecs_compatibility: v8
pipeline.workers: 4
pipeline.batch.size: 250
queue.type: persisted
queue.max_bytes: 4gb
queue.checkpoint.writes: 1024
dead_letter_queue.enable: true
dead_letter_queue.max_bytes: 1gb
input {
redis {
id => "app_list"
host => "${REDIS_READ_ENDPOINT}"
port => 6379
password => "${REDIS_PASSWORD}"
ssl => true
key => "logs:app"
data_type => "list"
batch_count => 125
threads => 1
codec => json
}
}
filter {
if ![event][id] or [event][id] == "" {
mutate { add_tag => ["missing_event_id"] }
}
}
output {
if "missing_event_id" in [tags] {
# 示例:隔离流;生产须配置对应模板、权限、保留期与告警。
elasticsearch {
hosts => ["https://${ES_ENDPOINT}:9200"]
ssl_certificate_authorities => ["/etc/logstash/certs/es-ca.crt"]
user => "${ES_USER}"
password => "${ES_PASSWORD}"
data_stream => "true"
data_stream_type => "logs"
data_stream_dataset => "app.invalid"
data_stream_namespace => "prod"
data_stream_auto_routing => false
action => "create"
}
} else {
elasticsearch {
id => "app_data_stream"
hosts => ["https://${ES_ENDPOINT}:9200"]
ssl_certificate_authorities => ["/etc/logstash/certs/es-ca.crt"]
user => "${ES_USER}"
password => "${ES_PASSWORD}"
data_stream => "true"
data_stream_auto_routing => false
data_stream_type => "logs"
data_stream_dataset => "app"
data_stream_namespace => "prod"
action => "create"
document_id => "%{[event][id]}"
manage_template => false
dlq_custom_codes => [413]
}
}
}
Redis input 的 TLS 参数和证书信任行为,以所安装的插件版本为准。当前插件参考页只列出 ssl 开关。若需要指定 CA、双向 TLS 或证书校验策略,要在选型和预发阶段确认该版本是否支持,或者改在受控 TLS 代理处终止。不要猜测当前插件并不支持的参数,并在预发先执行配置校验和真实连接测试。生产环境应使用能随主库切换的 REDIS_READ_ENDPOINT,不要把 Sentinel 端口误当成普通 Redis 数据端口。
每个 Logstash 实例都应有独立、可重新挂载的持久卷,PQ 和 DLQ 随原卷恢复。queue.checkpoint.writes: 1024 是吞吐与持久性之间的取舍,与设为 1 的压测结果对比,就能量化这笔代价。检查点再频繁,也消除不了“Redis List 删除”到“PQ 成功持久化”之间的窗口。缩容前要先停止实例取新数据,等它的 PQ 排空,或者保留原卷供后续恢复。
workers × batch.size 是 pipeline 的 in-flight 事件规模,本例为 1,000 条。它不是吞吐保证。实际能力同时受 JSON 编解码、filter、GC、PQ 磁盘、Bulk 字节量和 ES 接受能力的限制。Redis 取数批次与 ES 发送批次应分别调整,并采集 Bulk 字节分布和逐 item 错误。格式固定的日志优先用 Dissect,Grok 只用于必要字段,并持续统计解析失败率。DLQ 必须指定处理人、容量告警、回放流程和保留期限。解析失败并不会自动进入 DLQ。
6.4 Elasticsearch:先建模板、策略、数据流和最小权限
部署身份先创建策略、模板和数据流。运行身份只授予目标数据流的连接与写入权限。以下示例固定了关键字段。dynamic: false 会把未映射字段保留在 _source 中,但这些字段不能直接搜索或聚合。要新增可搜索字段,必须显式更新模板与映射。
PUT _ilm/policy/app-logs-30d
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_primary_shard_size": "30gb",
"max_age": "1d"
}
}
},
"delete": {
"min_age": "30d",
"actions": { "delete": {} }
}
}
}
}
PUT _index_template/logs-app-prod
{
"index_patterns": ["logs-app-prod"],
"priority": 501,
"data_stream": {},
"template": {
"settings": {
"index.lifecycle.name": "app-logs-30d",
"index.number_of_shards": 3,
"index.number_of_replicas": 1,
"index.refresh_interval": "15s"
},
"mappings": {
"dynamic": false,
"properties": {
"@timestamp": { "type": "date" },
"message": { "type": "text" },
"log": { "properties": { "level": { "type": "keyword" } } },
"service": { "properties": { "name": { "type": "keyword" } } },
"trace": { "properties": { "id": { "type": "keyword" } } },
"event": { "properties": { "id": { "type": "keyword" } } },
"tags": { "type": "keyword" }
}
}
}
}
POST _index_template/_simulate_index/logs-app-prod
PUT _data_stream/logs-app-prod
3 个主分片和 15 秒刷新间隔只是压测的起点。确定参数时,应同时参考成功写入速率、单分片大小、查询延迟、热点分布、段合并压力和磁盘水位。更新模板后,既有写索引不会自动获得全部新设置,需要检查当前写索引,以及下一次 rollover 后的索引。若需要 warm tier,还要单独估算迁移流量、节点角色和查询负载。
| Bulk 现象 |
值班处理 |
| 持续 429 |
区分 HTTP 级与 item 级拒绝;检查节点写入压力、磁盘、高热点分片与线程池;确认下游余量前,不要盲目提高 Logstash 并发 |
| 文档级 400/404 |
已启用 DLQ 时进入死信;修正映射或文档后受控回放 |
| 文档级 409 |
在稳定 _id + create 时通常表示重复;分别统计预期重复与异常冲突 |
| HTTP 413 |
Bulk 请求可能持续重试;示例将 413 送入 DLQ,须监控死信水位并用更小批次回放 |
7. 观测与告警:要能指出哪一段先失速
| 观测点 |
必看指标 |
值班判断 |
| 应用节点 |
写入速率、磁盘余量、最早未读文件年龄、轮转删除次数 |
源文件剩余保留时间小于预计恢复时间时,优先保护磁盘,并按既定策略压低可采样流量 |
| Filebeat |
published/acked 速率、磁盘队列水位、输出错误、harvester 数 |
published 与 acked 长期分离时,检查 Redis 入口、拒写、网络和本地队列 |
| Redis |
每个 List 的 LLEN、增长率、内存/RSS、拒写、复制偏移、AOF 状态 |
LLEN 只表示条数;以实测字节与净流入计算耗尽时间 |
| Logstash |
PQ 增长率、queue_backpressure、worker_utilization、GC、DLQ |
PQ 增长时,区分 filter 瓶颈、ES 拒绝和磁盘瓶颈;worker 满载且 ES 正常时,优先查解析和 JVM |
| Elasticsearch |
Bulk item 成功率/拒绝率、写入压力、分片热点、磁盘水位、refresh 延迟 |
写入压力上升时先恢复 ES,避免继续放大消费者并发 |
| 端到端 |
探针写出到可查询的 P50/P95/P99、缺失、重复、隔离流/DLQ |
队列清空后仍异常时,检查模板、路由、查询窗口、刷新、死信和隔离流 |
告警至少包含两种条件:一是持续多个窗口的净积压增长,二是预测的缓冲耗尽时间小于值班响应与修复所需的时间。恢复过程中要限速,并分阶段提高成功写入量。积压持续回落、端到端探针恢复到目标、拒绝率回到基线、死信已被处置,这几个条件同时满足,才能结束事故。
8. 故障演练:用事件 ID 对账,别只看服务存活
在预发环境生成稳定的 event.id,并保存生产端的期望清单。演练窗口结束后,等所有队列排空并越过 refresh 窗口,再统计以下数量:
- 唯一成功 ID 数;
- 重复文档数;
- 缺失 ID;
- DLQ ID;
- 隔离流 ID;
- 主动丢弃数;
- 仍待处理数。
查询的时间范围必须覆盖“故障前写出、故障后才进入 ES”的事件。
| 场景 |
操作 |
验收 |
| ES 停写 5 分钟 |
隔离 Logstash 到 ES 的连接,持续产生带序号事件 |
记录每层水位、拒绝、净积压;恢复后用真实成功速率解释追平时间 |
| Logstash 意外退出 |
分别在 Redis 移除后、PQ 检查点后、ES 写入后强制终止 |
原卷重启,对账缺失与重复;需要定点复现时,在测试环境加入暂停点 |
| Redis 计划切主与主机故障 |
带流量切主,再演练主节点意外退出;另做 AOF 本机重启 |
量化切换时长、已确认写入的缺失窗口、重复及客户端重连行为 |
| Filebeat 阻塞期间轮转 |
阻断 Redis 后连续轮转,再恢复;分别保留和提前清理源文件 |
核对各源文件序号范围、registry 恢复和实际可补采边界 |
| 坏数据与 rollover |
注入映射冲突,在 rollover 前后回放相同事件 ID |
验证 DLQ/隔离流、告警、回放结果与跨代重复边界 |
| TLS 与证书轮换 |
轮换 Redis/ES CA 或客户端证书,观察连接重建 |
验证不会因轮换导致长时间积压、错误重试或降级为明文 |
| 节点和卷故障 |
分别删除 Pod、排空节点、丢失 PQ 卷、丢失 Filebeat 数据卷 |
区分可恢复重启与介质丢失,记录每种 RPO/RTO |
部署前至少运行:
filebeat test config
filebeat test output
logstash --config.test_and_exit
然后用一条真实的结构化事件,依次检查 Redis、Logstash、目标 Data Stream、模板、event.id 到 _id 的映射,以及查询可见性。配置检查只能发现语法或连通性问题,不能替代故障对账。
9. 何时迁移到 Redis Streams 或 Kafka
| 方案 |
消费确认与回放 |
适用条件 |
| Redis List + PQ |
读取即删;依赖 PQ、源文件或独立归档做局部恢复 |
分钟级削峰,允许已量化的 List→PQ 损失窗口 |
| Redis Streams |
消费组维护 PEL;可认领超时未确认的消息;历史回放受保留与裁剪控制 |
希望继续使用 Redis,且能实现并运维确认、认领与裁剪语义 |
| Kafka |
在保留期内按 offset 回放,消费组相互隔离 |
需要更长的积压窗口、多消费者、常态回放,并具备对应运维能力 |
Redis Streams。 生产端使用 XADD,消费端以 XREADGROUP 读取,只在达到选定的持久化交付点后才 XACK。用 XAUTOCLAIM 认领超时消息,并根据最慢消费组的滞后和 PEL 决定裁剪水位。认领阈值设得太短,仍在处理中的事件会被重复执行。现成的 Filebeat Redis output 与 Logstash Redis input 不提供完整的 Streams 消费组接口,需要替换或增加适配器。Redis 的持久化和切主风险依然存在。
Kafka。 需要明确 broker ACK、复制因子、最小 ISR、保留期和最大回放量。Logstash Kafka input 禁用自动提交后,提交点通常在事件写入 Logstash 内存队列或 PQ 之后,仍早于 Elasticsearch 写入成功。若合同要求“仅当 ES 成功才推进 offset”,消费端必须按 Bulk 逐 item 的结果管理提交,并避免跨过同分区中未完成的 offset。这通常需要自定义消费者或专门的处理层。
结语:上线审批只看三张表
上线审批应把下面三项放进同一份验收表,不能只确认 Pod 运行正常:
- 容量表:ES 停写指定时长时,源文件、Filebeat 队列、Redis、PQ 分别还能撑多久。
- 恢复表:恢复后实际的成功写入和净消化速率是多少,达到目标延迟需要多久。
- 故障对账表:Redis 切主、Logstash 崩溃、卷丢失之后,稳定事件 ID 的缺失、重复、DLQ 与隔离流各是多少。
第一张表决定缓冲和保留预算,第二张表决定事故持续时间,第三张表决定哪些日志可以继续走 Redis List,哪些必须升级为可回放的可靠通道。三张表都有实测答案,日志系统才不会在业务故障时第一个失效。
参考资料
- Filebeat Redis output
- Filebeat filestream input
- Logstash Redis input
- Logstash Persistent Queue
- Logstash Elasticsearch output
- Logstash Flow Statistics
- Elasticsearch index templates
- Elasticsearch ILM rollover
- Redis persistence
- Redis replication
- Redis Sentinel
- Redis Streams