找回密码
立即注册
搜索
发回帖 发新帖

5448

积分

0

好友

700

主题
发表于 昨天 11:24 | 查看: 19| 回复: 0

Filebeat + Redis List + Logstash Persistent Queue + Elasticsearch Data Stream
面向 Kubernetes 上的应用诊断日志。版本、容量和交付语义均须以实测为准。

发布高峰期间,Elasticsearch 连续五分钟拒绝写入,应用仍以每秒 5 万条事件持续产生日志。Redis List 的长度开始下降,事故也不一定结束。Logstash 可能还在重试 Bulk,Filebeat 的本地磁盘队列可能还有积压,刚轮转的源文件也可能没读完。更危险的是,此时若 Logstash 异常重启,已经从 Redis List 移除、但尚未到达可恢复持久化点的一小段事件,可能再也找不回来。

把四个组件连起来并不能解决这个问题。生产设计需要回答四个问题:

  1. 下游停写时,每一层还能接住多少流量,能撑多久?
  2. 恢复后,系统有多少净消化能力,多久能把积压追平?
  3. 进程退出、节点掉电、持久卷丢失、Redis 切主时,哪些事件会重复,哪些会丢失?
  4. 哪些日志可以降级或采样,哪些必须走具备回放能力的可靠通道?

本文的“千万级”,指一次事故窗口内可能形成千万量级的积压,示例峰值为 50,000 events/s。文中所有容量、延迟和恢复时间都是设计输入或计算示例,不是通用默认值。

1. 先定义交付,再决定事件走哪条链路

一条日志至少经历三个不同的时间点:

  1. 应用写出:应用把一行日志写入 stdout 或文件。
  2. ES 接受:Bulk 中对应的 item 成功,文档已被主分片接受。
  3. 查询可见:刷新(refresh)之后,目标查询能找到该文档。

Filebeat 的 ACK 与第二、第三个时间点不是一回事。它只表示下游输出已确认接收。在 Redis List 架构里,通常只表示 Redis 已响应写入。所以生产验收应以“应用写出到查询可见”的端到端延迟为主,同时记录缺失、重复、死信和主动采样的数量。

日志类别 典型内容 容量耗尽时的策略 推荐交付目标
高频诊断 DEBUG、健康检查、成功访问日志 经授权在源头采样,记录策略版本与丢弃计数 最终可见;允许明确比例的主动丢弃
关键诊断 ERROR、异常堆栈、发布事件 与高频流隔离,预留独立的缓冲与保留预算 至少一次;允许可量化的重复
业务审计 支付状态、权限变更、合规留证 不依赖普通异步应用日志作为唯一凭据 按业务 RPO 定义可回放、可对账的通道

必须与业务事务同时留痕的事件,应采用事务 Outbox 或等价机制:在业务事务中写入待投递记录,再由可靠投递器异步发送。只靠应用日志异步落盘,无法保证业务提交和审计记录同时成功。

下面是一组可操作的验收口径:

  • 正常期端到端 P99 可查询延迟不超过 60 秒。
  • 能承受 ES 停写 5 分钟。
  • 恢复后 20 分钟内回到正常延迟。
  • 对 Logstash 异常终止、Redis 主从切换、节点持久卷丢失,分别统计缺失数、重复数和恢复时长。

任何具体的 RPO 承诺都必须声明故障范围,并用演练结果佐证。

2. 版本、支持边界与部署前提

只有先确定版本组合,配置才有意义。Filebeat、Logstash、Logstash Redis input、Elasticsearch output 插件和 Redis 的兼容性会随版本变化。尤其是 Redis Cluster、Sentinel、TLS 和文件身份识别,不能因为“能连上”就判定可以上线。

上线文档应包含下面的版本矩阵,升级时重新执行第 8 节的演练:

项目 必须记录的内容 验证方式
Filebeat 精确版本、filestream 行为、Redis output 支持范围 filebeat test config、真实轮转与断连演练
Redis 精确版本、单主/Sentinel/Cluster 模式、AOF 策略 压测、切主、AOF 重启、容量峰值测试
Logstash 精确版本、Redis input 与 ES output 插件版本、PQ 参数 --config.test_and_exit、崩溃恢复对账
Elasticsearch 精确版本、数据流、ILM、模板、分片与副本策略 模板模拟、Bulk 压测、rollover 回放测试
Kubernetes 卷类型、访问模式、节点替换策略、Secret 轮换 Pod 重建、节点排空和卷重新挂载演练

本文以单 Redis 主入口为基线。若使用 Sentinel,要注意 Sentinel 地址并不是能直接承载 Redis 写入的普通数据入口。Filebeat 和 Logstash 必须通过一个已经验证的入口接入。这个入口要能发现当前主节点,并在切换时重连,例如受控代理、服务发现控制器,或明确支持该语义的客户端方案。把主从地址同时写进 Filebeat 的 hosts,只会让它们被当成多个输出目标,不能替代主节点发现。

若使用 Redis Cluster,先验证两个客户端对 MOVED/ASK 重定向、槽迁移和故障切换的行为,并评估是否处于厂商支持范围。多个 key 只有被分配到不同主实例或不同 Cluster 主分片时,才会扩展总内存和吞吐。单纯增加 key 数量不会自动扩容。

3. 确认点决定故障后的恢复边界

位置 成功意味着什么 故障边界
源文件 → Filebeat harvester 读到字节,registry 记录读取状态 源文件在 ACK 前被删除,本机无法补读;更换节点且源文件、path.data 均丢失时无法恢复
Filebeat → Redis Redis 已响应写入,Filebeat 可确认该批事件 响应丢失会触发重试并造成重复;Redis 已确认的数据若因持久化或切主丢失,Filebeat 通常不会自行回退位点
Redis AOF/复制 AOF everysec 是周期性 fsync,复制通常异步 主机崩溃、主从切换、持久卷丢失的 RPO 各不相同,必须分别演练
Redis → Logstash List 读取后,事件已从 Redis 移除 在“Redis 移除”与“成功写入 Logstash PQ”之间异常终止,Redis 无法重投;批量越大,单次窗口越大
Logstash PQ → ES 事件进入可恢复的 PQ;ES output 逐 item 判断结果 PQ 已写但尚未 ACK 的事件可能重放;ES 已写但 PQ 尚未确认时同样可能重复
ES → 查询 Bulk item 成功后,等待 refresh 才可搜索 HTTP 200 仍可能包含失败 item;写入成功不保证立即可见;默认确认也不等于所有副本已完成

因此,Redis List + PQ 只适合允许明确损失窗口的诊断日志。增加 Logstash 实例能提升可用性与吞吐,但无法让已经从 List 删除、又没写入 PQ 的事件重新出现。这套组合提供的是“局部持久化和至少一次倾向”,不是端到端 exactly-once。

4. 稳定事件 ID:对账与去重必须分开落实

每条需要对账的事件,在产生时就生成稳定标识:

event.id = run_id + ":" + source_id + ":" + seq

run_id 标识演练或部署批次。source_id 是稳定的应用实例或日志源标识。seq 是该源内单调递增的序列。这个 ID 应写入结构化 JSON 的 event.id 字段,并由生产端保留期望清单。

只在文档里保存 event.id 并不能去重。要让重试或回放在同一个 ES backing index 内得到 409 冲突并被识别为重复,必须把它映射为 Elasticsearch 的 _id:

document_id => "%{[event][id]}"
action      => "create"

按这项配置,重复投递同一 ID 会得到文档级 409,输出插件会记录并丢弃冲突。应分别统计“预期重复”和“意外 ID 冲突”,不能把所有 409 都当成成功或故障。

event.id 缺失、为空或格式非法时,不能静默地使用自动生成的 _id,否则去重语义会失效。建议在 filter 中打标签并隔离:

filter {
  if ![event][id] or [event][id] == "" {
    mutate { add_tag => ["missing_event_id"] }
  }
}

带有 missing_event_id 的事件,后续可以发往独立的隔离流,或按业务策略拒绝。具体路由要与“日志可丢弃性”保持一致。

Data Stream rollover 之后,相同的 _id 可以进入新的 backing index,所以无法天然跨代去重。要跨代去重,可以按事件时间确定唯一的目标索引并限制迟到窗口,也可以由带持久状态的处理层来协调。上线前必须做跨 rollover 的回放演练。

5. 容量与恢复:用净流入,不要凭“队列看起来还很长”

5.1 基本公式

在持续速率近似恒定的窗口内:

新增积压事件数 = max(0, 入口事件速率 - 成功处理事件速率) × 持续秒数
所需字节容量   = 初始积压字节 + 故障期间最大新增积压字节
剩余缓冲时间   ≈ 剩余可用字节 ÷ 当前净积压字节速率
恢复净消化速率 = 恢复后的成功写入速率 - 持续入口速率
追平时间       = 待清积压事件数 ÷ 恢复净消化速率

事件数和字节数要分别观测。Redis 的 LLEN 只能说明条数,代表不了内存,也算不出剩余时间。异常堆栈、大字段 JSON 以及压缩前后的字节差异,都会显著改变实际容量。

5.2 五分钟 ES 停写的演算

假设入口为 50,000 events/s,ES 完全停写 300 秒,故障开始时没有积压:

新增积压 = 50,000 × 300 = 15,000,000 events

若 Filebeat 发给 Redis 的事件平均为 1,200 B,净载荷为:

15,000,000 × 1,200 B = 18,000,000,000 B ≈ 18 GB ≈ 16.8 GiB

平均大小适合估算长期成本。短时缓冲和 Bulk 限制,还应采集 P95/P99 的事件字节数。假设实测 Redis List 的内存放大系数为 1.25,并要求峰值只占用队列预算的 75%:

Redis 队列预算 = 18 GB × 1.25 ÷ 0.75 = 30 GB

这 30 GB 只是队列预算,不是 Redis 实例的总内存。还要为下列开销留出空间:

  • Redis 进程本身;
  • 复制和 AOF 缓冲;
  • 分配器碎片;
  • AOF rewrite 的写时复制;
  • 容器限制与操作系统预留。

副本也要按同一口径规划。压测时同时记录 MEMORY USAGE、Redis RSS、容器内存峰值、AOF rewrite 期间的磁盘水位以及拒写次数。

5.3 恢复能力决定事故持续时间

假设 ES 恢复后稳定成功写入 70,000 events/s,入口仍为 50,000 events/s:

恢复净消化速率 = 70,000 - 50,000 = 20,000 events/s
追平时间 = 15,000,000 ÷ 20,000 = 750 s = 12.5 min

若目标是 20 分钟内清空这批积压,最低净消化能力是 12,500 events/s,成功写入能力至少要达到 62,500 events/s。重连、限速、Bulk 重试和 refresh 还要留出余量。若成功写入只有 48,000 events/s,恢复期里队列仍会继续增长。

5.4 分层预算矩阵

不同层保护的故障不同,不能把各层相加后称为“总可用时间”。下面是上线表中需要填写的矩阵。

层 主要保护的故障 字节口径 需要测量的输入 示例或要求
应用源文件 Filebeat 停读、下游长期阻塞 原始日志字节 单节点峰值写入率、轮转保留时间、清理时机 热节点 2 MB/s 保留 45 分钟,源文件约 5.4 GB;删除窗口须大于最大故障时间加追平时间
Filebeat 磁盘队列 Redis 不可写、短时网络中断 Filebeat 队列序列化字节 单节点入口、queue.disk.max_size、事件大小分位数 5 GB 不是全局五分钟容量,必须换算为单节点可承受的秒数
Redis List ES/Logstash 失速且 Redis 仍可写 List 实际内存与持久化磁盘字节 总入口、放大系数、初始积压、告警水位 本例独立承接五分钟净载荷时,队列预算为 30 GB
Logstash PQ 下游 ES 不可写、Logstash 重启恢复 PQ 序列化字节 单实例入口、queue.max_bytes、检查点参数 10,000 events/s、1,500 B/条时,4 GiB 理论约 286 秒;需扣除已有积压与磁盘余量
Elasticsearch 长期保留 主分片实际存储字节 日事件数、实测索引膨胀、保留期、分片副本 1 亿条/日、800 B 主分片、30 天约 2.4 TB 主数据;一个副本约 4.8 TB,另留合并迁移余量

6. 配置基线:可恢复、可加密、可验证

以下片段是自管 Elastic Stack 的参考起点。发布前固定版本,用真实流量、真实轮转策略和真实证书测试。变量从 Secret 注入,不要把密码写入仓库或 ConfigMap。

6.1 Filebeat:保留源文件、位点和本地背压空间

示例假定 Spring Boot 每行输出一条 ECS 风格的 JSON,包含 @timestamp、message、log.level、service.name,需要去重时还要有 event.id。

filebeat.inputs:
  - type: filestream
    id: spring-app-json
    paths:
      - /var/log/app/*.log
      - /var/log/app/*.log.[0-9]*
    prospector.scanner.exclude_files: ['\.gz$']
    parsers:
      - ndjson:
          target: ""
          overwrite_keys: true
          add_error_key: true

queue.disk:
  max_size: 5GB

output.redis:
  # 使用已验证的当前主节点入口;生产优先使用 TLS。
  hosts: ["rediss://${REDIS_WRITE_ENDPOINT}:6379"]
  password: "${REDIS_PASSWORD}"
  key: "logs:app"
  datatype: list
  bulk_max_size: 512
  timeout: 5
  backoff.init: 1s
  backoff.max: 30s
  ssl:
    certificate_authorities: ["/etc/filebeat/certs/redis-ca.crt"]

使用 rediss:// 之前,要按所选 Filebeat 版本验证 TLS 配置语法和服务端证书链。若 TLS 在受控代理终止,仍应确认 Filebeat 到代理、代理到 Redis 的加密边界,以及证书轮换策略。

DaemonSet 必须把 path.data 放在与 Pod 生命周期相匹配的稳定卷上,并确保同一数据目录只由一个 Filebeat 进程写入。节点被替换时,本地卷、registry、磁盘队列和源文件可能一起丢失。若采用 PVC,还应验证实例与卷的绑定、访问模式、重调度和恢复耗时。

Filebeat 的 Redis output 会重试失败的发送。下游长期不可用时,最终能撑多久,取决于本地队列容量和源文件保留。源文件的删除窗口必须至少覆盖“最长预期下游故障 + Filebeat 重连 + 积压追平”的时间。否则本地队列耗尽后,已删除的源文件无法补采。

轮转优先使用 rename/create,并在 paths 中同时匹配活跃文件和未压缩的轮转文件。避免采集 symlink。使用 fingerprint 文件身份时,要验证低频小文件、版本升级和指纹参数变更时的行为,因为修改 fingerprint 配置可能触发重采。传统 Java 文本堆栈应配置 multiline,并测试超长堆栈、超限和超时。Kubernetes 容器的 stdout,则应根据实际 CRI 封装使用 container parser 和对应的挂载路径。本示例只针对应用文件。

6.2 Redis:拒写优于驱逐,切主必须有清晰入口

appendonly yes
appendfsync everysec
maxmemory-policy noeviction

maxmemory 按第 5 节的容量模型设置,并将 AOF 放入持久化卷。noeviction 的含义是达到内存上限后显式拒写,而不是静默驱逐日志。这会把背压推回 Filebeat,所以 Filebeat 的磁盘队列和源文件保留,必须足以承受拒写窗口。

下面这些指标需要建立告警并做演练:

  • List 长度与增长率;
  • 内存水位;
  • 拒写错误;
  • 复制偏移与复制延迟;
  • AOF 状态;
  • rewrite 期间的 RSS 与磁盘水位。

appendfsync everysec 不等于零数据丢失。主机故障时,最近尚未落盘的一小段仍可能丢失。异步复制和故障切主,还会带来另一类“已确认写入丢失”的窗口。

6.3 Logstash:PQ、坏数据和稳定 _id 各有落点

# logstash.yml
pipeline.ecs_compatibility: v8
pipeline.workers: 4
pipeline.batch.size: 250
queue.type: persisted
queue.max_bytes: 4gb
queue.checkpoint.writes: 1024
dead_letter_queue.enable: true
dead_letter_queue.max_bytes: 1gb
input {
  redis {
    id          => "app_list"
    host        => "${REDIS_READ_ENDPOINT}"
    port        => 6379
    password    => "${REDIS_PASSWORD}"
    ssl         => true
    key         => "logs:app"
    data_type   => "list"
    batch_count => 125
    threads     => 1
    codec       => json
  }
}

filter {
  if ![event][id] or [event][id] == "" {
    mutate { add_tag => ["missing_event_id"] }
  }
}

output {
  if "missing_event_id" in [tags] {
    # 示例:隔离流;生产须配置对应模板、权限、保留期与告警。
    elasticsearch {
      hosts                       => ["https://${ES_ENDPOINT}:9200"]
      ssl_certificate_authorities => ["/etc/logstash/certs/es-ca.crt"]
      user                        => "${ES_USER}"
      password                    => "${ES_PASSWORD}"
      data_stream                 => "true"
      data_stream_type            => "logs"
      data_stream_dataset         => "app.invalid"
      data_stream_namespace       => "prod"
      data_stream_auto_routing    => false
      action                      => "create"
    }
  } else {
    elasticsearch {
      id                          => "app_data_stream"
      hosts                       => ["https://${ES_ENDPOINT}:9200"]
      ssl_certificate_authorities => ["/etc/logstash/certs/es-ca.crt"]
      user                        => "${ES_USER}"
      password                    => "${ES_PASSWORD}"
      data_stream                 => "true"
      data_stream_auto_routing    => false
      data_stream_type            => "logs"
      data_stream_dataset         => "app"
      data_stream_namespace       => "prod"
      action                      => "create"
      document_id                 => "%{[event][id]}"
      manage_template             => false
      dlq_custom_codes            => [413]
    }
  }
}

Redis input 的 TLS 参数和证书信任行为,以所安装的插件版本为准。当前插件参考页只列出 ssl 开关。若需要指定 CA、双向 TLS 或证书校验策略,要在选型和预发阶段确认该版本是否支持,或者改在受控 TLS 代理处终止。不要猜测当前插件并不支持的参数,并在预发先执行配置校验和真实连接测试。生产环境应使用能随主库切换的 REDIS_READ_ENDPOINT,不要把 Sentinel 端口误当成普通 Redis 数据端口。

每个 Logstash 实例都应有独立、可重新挂载的持久卷,PQ 和 DLQ 随原卷恢复。queue.checkpoint.writes: 1024 是吞吐与持久性之间的取舍,与设为 1 的压测结果对比,就能量化这笔代价。检查点再频繁,也消除不了“Redis List 删除”到“PQ 成功持久化”之间的窗口。缩容前要先停止实例取新数据,等它的 PQ 排空,或者保留原卷供后续恢复。

workers × batch.size 是 pipeline 的 in-flight 事件规模,本例为 1,000 条。它不是吞吐保证。实际能力同时受 JSON 编解码、filter、GC、PQ 磁盘、Bulk 字节量和 ES 接受能力的限制。Redis 取数批次与 ES 发送批次应分别调整,并采集 Bulk 字节分布和逐 item 错误。格式固定的日志优先用 Dissect,Grok 只用于必要字段,并持续统计解析失败率。DLQ 必须指定处理人、容量告警、回放流程和保留期限。解析失败并不会自动进入 DLQ。

6.4 Elasticsearch:先建模板、策略、数据流和最小权限

部署身份先创建策略、模板和数据流。运行身份只授予目标数据流的连接与写入权限。以下示例固定了关键字段。dynamic: false 会把未映射字段保留在 _source 中,但这些字段不能直接搜索或聚合。要新增可搜索字段,必须显式更新模板与映射。

PUT _ilm/policy/app-logs-30d
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "30gb",
            "max_age": "1d"
          }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": { "delete": {} }
      }
    }
  }
}

PUT _index_template/logs-app-prod
{
  "index_patterns": ["logs-app-prod"],
  "priority": 501,
  "data_stream": {},
  "template": {
    "settings": {
      "index.lifecycle.name": "app-logs-30d",
      "index.number_of_shards": 3,
      "index.number_of_replicas": 1,
      "index.refresh_interval": "15s"
    },
    "mappings": {
      "dynamic": false,
      "properties": {
        "@timestamp": { "type": "date" },
        "message": { "type": "text" },
        "log": { "properties": { "level": { "type": "keyword" } } },
        "service": { "properties": { "name": { "type": "keyword" } } },
        "trace": { "properties": { "id": { "type": "keyword" } } },
        "event": { "properties": { "id": { "type": "keyword" } } },
        "tags": { "type": "keyword" }
      }
    }
  }
}

POST _index_template/_simulate_index/logs-app-prod
PUT _data_stream/logs-app-prod

3 个主分片和 15 秒刷新间隔只是压测的起点。确定参数时,应同时参考成功写入速率、单分片大小、查询延迟、热点分布、段合并压力和磁盘水位。更新模板后,既有写索引不会自动获得全部新设置,需要检查当前写索引,以及下一次 rollover 后的索引。若需要 warm tier,还要单独估算迁移流量、节点角色和查询负载。

Bulk 现象 值班处理
持续 429 区分 HTTP 级与 item 级拒绝;检查节点写入压力、磁盘、高热点分片与线程池;确认下游余量前,不要盲目提高 Logstash 并发
文档级 400/404 已启用 DLQ 时进入死信;修正映射或文档后受控回放
文档级 409 在稳定 _id + create 时通常表示重复;分别统计预期重复与异常冲突
HTTP 413 Bulk 请求可能持续重试;示例将 413 送入 DLQ,须监控死信水位并用更小批次回放

7. 观测与告警:要能指出哪一段先失速

观测点 必看指标 值班判断
应用节点 写入速率、磁盘余量、最早未读文件年龄、轮转删除次数 源文件剩余保留时间小于预计恢复时间时,优先保护磁盘,并按既定策略压低可采样流量
Filebeat published/acked 速率、磁盘队列水位、输出错误、harvester 数 published 与 acked 长期分离时,检查 Redis 入口、拒写、网络和本地队列
Redis 每个 List 的 LLEN、增长率、内存/RSS、拒写、复制偏移、AOF 状态 LLEN 只表示条数;以实测字节与净流入计算耗尽时间
Logstash PQ 增长率、queue_backpressure、worker_utilization、GC、DLQ PQ 增长时,区分 filter 瓶颈、ES 拒绝和磁盘瓶颈;worker 满载且 ES 正常时,优先查解析和 JVM
Elasticsearch Bulk item 成功率/拒绝率、写入压力、分片热点、磁盘水位、refresh 延迟 写入压力上升时先恢复 ES,避免继续放大消费者并发
端到端 探针写出到可查询的 P50/P95/P99、缺失、重复、隔离流/DLQ 队列清空后仍异常时,检查模板、路由、查询窗口、刷新、死信和隔离流

告警至少包含两种条件:一是持续多个窗口的净积压增长,二是预测的缓冲耗尽时间小于值班响应与修复所需的时间。恢复过程中要限速,并分阶段提高成功写入量。积压持续回落、端到端探针恢复到目标、拒绝率回到基线、死信已被处置,这几个条件同时满足,才能结束事故。

8. 故障演练:用事件 ID 对账,别只看服务存活

在预发环境生成稳定的 event.id,并保存生产端的期望清单。演练窗口结束后,等所有队列排空并越过 refresh 窗口,再统计以下数量:

  • 唯一成功 ID 数;
  • 重复文档数;
  • 缺失 ID;
  • DLQ ID;
  • 隔离流 ID;
  • 主动丢弃数;
  • 仍待处理数。

查询的时间范围必须覆盖“故障前写出、故障后才进入 ES”的事件。

场景 操作 验收
ES 停写 5 分钟 隔离 Logstash 到 ES 的连接,持续产生带序号事件 记录每层水位、拒绝、净积压;恢复后用真实成功速率解释追平时间
Logstash 意外退出 分别在 Redis 移除后、PQ 检查点后、ES 写入后强制终止 原卷重启,对账缺失与重复;需要定点复现时,在测试环境加入暂停点
Redis 计划切主与主机故障 带流量切主,再演练主节点意外退出;另做 AOF 本机重启 量化切换时长、已确认写入的缺失窗口、重复及客户端重连行为
Filebeat 阻塞期间轮转 阻断 Redis 后连续轮转,再恢复;分别保留和提前清理源文件 核对各源文件序号范围、registry 恢复和实际可补采边界
坏数据与 rollover 注入映射冲突,在 rollover 前后回放相同事件 ID 验证 DLQ/隔离流、告警、回放结果与跨代重复边界
TLS 与证书轮换 轮换 Redis/ES CA 或客户端证书,观察连接重建 验证不会因轮换导致长时间积压、错误重试或降级为明文
节点和卷故障 分别删除 Pod、排空节点、丢失 PQ 卷、丢失 Filebeat 数据卷 区分可恢复重启与介质丢失,记录每种 RPO/RTO

部署前至少运行:

filebeat test config
filebeat test output
logstash --config.test_and_exit

然后用一条真实的结构化事件,依次检查 Redis、Logstash、目标 Data Stream、模板、event.id 到 _id 的映射,以及查询可见性。配置检查只能发现语法或连通性问题,不能替代故障对账。

9. 何时迁移到 Redis Streams 或 Kafka

方案 消费确认与回放 适用条件
Redis List + PQ 读取即删;依赖 PQ、源文件或独立归档做局部恢复 分钟级削峰,允许已量化的 List→PQ 损失窗口
Redis Streams 消费组维护 PEL;可认领超时未确认的消息;历史回放受保留与裁剪控制 希望继续使用 Redis,且能实现并运维确认、认领与裁剪语义
Kafka 在保留期内按 offset 回放,消费组相互隔离 需要更长的积压窗口、多消费者、常态回放,并具备对应运维能力

Redis Streams。 生产端使用 XADD,消费端以 XREADGROUP 读取,只在达到选定的持久化交付点后才 XACK。用 XAUTOCLAIM 认领超时消息,并根据最慢消费组的滞后和 PEL 决定裁剪水位。认领阈值设得太短,仍在处理中的事件会被重复执行。现成的 Filebeat Redis output 与 Logstash Redis input 不提供完整的 Streams 消费组接口,需要替换或增加适配器。Redis 的持久化和切主风险依然存在。

Kafka。 需要明确 broker ACK、复制因子、最小 ISR、保留期和最大回放量。Logstash Kafka input 禁用自动提交后,提交点通常在事件写入 Logstash 内存队列或 PQ 之后,仍早于 Elasticsearch 写入成功。若合同要求“仅当 ES 成功才推进 offset”,消费端必须按 Bulk 逐 item 的结果管理提交,并避免跨过同分区中未完成的 offset。这通常需要自定义消费者或专门的处理层。

结语:上线审批只看三张表

上线审批应把下面三项放进同一份验收表,不能只确认 Pod 运行正常:

  1. 容量表:ES 停写指定时长时,源文件、Filebeat 队列、Redis、PQ 分别还能撑多久。
  2. 恢复表:恢复后实际的成功写入和净消化速率是多少,达到目标延迟需要多久。
  3. 故障对账表:Redis 切主、Logstash 崩溃、卷丢失之后,稳定事件 ID 的缺失、重复、DLQ 与隔离流各是多少。

第一张表决定缓冲和保留预算,第二张表决定事故持续时间,第三张表决定哪些日志可以继续走 Redis List,哪些必须升级为可回放的可靠通道。三张表都有实测答案,日志系统才不会在业务故障时第一个失效。

参考资料

  • Filebeat Redis output
  • Filebeat filestream input
  • Logstash Redis input
  • Logstash Persistent Queue
  • Logstash Elasticsearch output
  • Logstash Flow Statistics
  • Elasticsearch index templates
  • Elasticsearch ILM rollover
  • Redis persistence
  • Redis replication
  • Redis Sentinel
  • Redis Streams



上一篇:Python assert 断言用法:语法、-O 优化模式与常见误用
下一篇:Go + Gin 高并发错误治理:P99 归因与停机实践
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-20 05:23 , Processed in 0.092830 second(s), 42 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表