一、引言
日志系统的处境有点尴尬:它既像搜索系统,需要快速全文检索;又像分析系统,需要聚合、统计、抽取字段;还像存储系统,要用较低成本保存大量历史数据。
传统方案里,Elasticsearch / OpenSearch 擅长全文搜索,但它们是面向大规模文档检索的通用数据库,并非专为日志优化。放到日志场景里,常见问题有内存占用高、磁盘占用高、索引配置复杂,以及默认配置下单次查询返回数量受限。Grafana Loki 用"标签 + 日志流"的方式降低了全文索引成本,代价是高基数字段的使用受到限制。ClickHouse 也常被用于日志分析,但它本质上是通用分析型数据库,字段集合和查询模式无法提前确定时,效率并不理想。
VictoriaLogs 可以看作日志系统设计思路的一次"收窄":它不追求成为通用搜索引擎或通用 OLAP 数据库,而是围绕日志的写入、压缩、字段检索、时间过滤、流过滤和运维简化做专项优化。
传统日志平台的典型压力
────────────────────────────────────────────
应用 / 中间件 / K8s / 网关 / 安全设备
│
▼
海量日志持续写入
│
├─ 字段多:trace_id、user_id、ip、pod、namespace
├─ 查询散:全文检索、错误排查、聚合统计、上下文查看
├─ 成本高:内存、磁盘、索引维护、集群运维
└─ 结构变:不同系统字段不统一,schema 难提前固定
│
▼
VictoriaLogs 的切入点:
面向日志特征重新设计存储、索引、查询与部署体验
二、VictoriaLogs 是什么
VictoriaLogs 是 VictoriaMetrics 推出的开源日志数据库,定位是资源高效、易部署、面向日志场景优化的日志存储与查询系统。官方的描述是:支持单节点与集群部署,可接入常见日志采集器,内置 Web UI,支持 LogsQL 查询语言。官方还强调,它相比 Elasticsearch、Grafana Loki,在部署复杂度、资源占用和日志查询体验上更有优势。
它的核心能力可以概括为三件事:
| 能力 |
VictoriaLogs 的做法 |
工程价值 |
| 采集 |
支持多种数据摄入协议和常见日志采集器 |
便于接入现有日志链路 |
| 存储 |
按字段块存储、压缩、按天分区、按日志流组织 |
降低存储成本,提高时间范围查询效率 |
| 查询 |
使用 LogsQL,支持全文检索、字段过滤、聚合分析、上下文查询 |
面向排障和日志分析,学习成本低于通用 SQL / 复杂 DSL |
官方列出的功能还包括内置 Web UI、Grafana 插件、命令行查询工具、Unix 工具链集成、多租户、乱序日志写入、live tailing、告警,以及适配 RUM 和 SIEM 场景等。
三、核心数据模型
VictoriaLogs 的数据模型围绕三个特殊字段展开:_msg、_time 和 _stream / _stream_id。它同时支持结构化和非结构化日志。每条日志至少需要有日志消息字段,额外字段以 key=value 形式加入。一条日志可以表示为单层 JSON 对象,key 和 value 都按字符串处理。
一条日志在 VictoriaLogs 中的概念模型
────────────────────────────────────────────
{
"_time": "2026-09-20T10:00:00Z", ← 时间字段,用于时间过滤
"_msg": "failed to serve request", ← 消息字段,用于全文检索
"level": "error", ← 普通字段,自动索引
"ip": "1.2.3.4", ← 高基数字段,可作为普通字段
"trace_id": "abc-123", ← 高基数字段,可查询
"_stream": "{job=\"api\",instance=\"host1\"}" ← 日志流
}
_msg 是实际的日志消息字段。如果原始日志里的消息字段不叫 _msg,可以在摄入时通过 _msg_field 查询参数或 VL-Msg-Field 请求头指定真实字段。如果消息仍然为空,VictoriaLogs 会使用 -defaultMsgValue 配置的默认值。
_time 是日志时间字段,支持 ISO8601、RFC3339,以及秒、毫秒、微秒、纳秒级 Unix 时间戳。如果该字段缺失、为 0 或为 -,VictoriaLogs 会使用数据摄入时间作为日志时间。很多系统的日志字段并不统一,这个设计让你可以在摄入层完成映射,接入起来更省心。
_stream 表示日志流,通常由能唯一标识应用实例的一组稳定字段组成,比如 namespace、pod、container、host、instance 等。建议在摄入时通过 _stream_fields 指定日志流字段,以提升压缩率和查询效率。但不要把 ip、user_id、trace_id 这类高基数字段加入日志流,否则会带来性能、内存、CPU、磁盘和 IO 方面的问题。
_stream_fields 选择原则
────────────────────────────────────────────
适合放入 _stream 的字段:
namespace / pod / container / host / instance / job
特征:能标识应用实例,生命周期内相对稳定
不适合放入 _stream 的字段:
trace_id / user_id / ip / request_id
特征:每条日志都可能变化,基数极高
推荐理解:
高基数字段不是不能存,而是不要当作日志流标签使用。
四、架构原理
4.1 单节点架构
VictoriaLogs 的单节点模式强调"一个可执行文件 + 一个数据目录"。运行二进制后,默认监听 9428 端口,存储目录默认为 victoria-logs-data。无需额外依赖和配置文件,就可以开始写入与查询。
VictoriaLogs 单节点逻辑架构
────────────────────────────────────────────
Log Agents / Apps / curl / Fluent Bit / Vector
│
│ HTTP / JSON line / collector protocols
▼
┌────────────────────────────────────────────┐
│ VictoriaLogs │
│ │
│ ┌─────────────┐ ┌────────────────────┐ │
│ │ Insert API │──▶│ Parse & Normalize │ │
│ └─────────────┘ └────────────────────┘ │
│ │ │
│ ▼ │
│ ┌────────────────────┐ │
│ │ Index & Compress │ │
│ └────────────────────┘ │
│ │ │
│ ▼ │
│ ┌────────────────────┐ │
│ │ Per-day partitions │ │
│ │ Columnar blocks │ │
│ └────────────────────┘ │
│ ▲ │
│ │ │
│ ┌─────────────┐ ┌────────────────────┐ │
│ │ Query API │◀──│ LogsQL execution │ │
│ └─────────────┘ └────────────────────┘ │
└────────────────────────────────────────────┘
▲
│
Web UI / Grafana / vlogscli / curl
VictoriaLogs 接收 JSON 日志后,会把日志字段存入不同的数据块,也就是同一个字段跨多条日志的值进入同一类数据块。查询时只需读取所需字段的数据块,从而减少 IO。数据块在写入持久化存储前会被压缩,较小的数据块会在后台合并为更大的块,查询时数据块还能在多个 CPU 核上并行处理。
它还用多种优化手段跳过无关数据:
- 用 Bloom Filter 跳过不包含目标词或短语的数据块。
- 针对不同类型的字段使用自定义编码和压缩,例如 IP 地址可编码成 4 字节。
- 把同一日志流的数据在物理存储上尽量放近。
- 维护日志时间的稀疏索引,加速时间过滤。
查询加速路径
────────────────────────────────────────────
LogsQL 查询
│
├─ 时间过滤:通过 _time 与稀疏时间索引缩小范围
├─ 流过滤:通过 _stream / _stream_id 缩小日志流
├─ 词/短语过滤:通过 Bloom Filter 跳过不相关 block
├─ 字段选择:只读取查询需要的字段块
└─ 并行执行:多个 block 在多 CPU 核上并行处理
4.2 集群架构
当单节点碰到单机 CPU、内存、磁盘容量或 IO 的垂直扩展上限时,可以切换到集群模式。如果更强的单机就能满足需求,优先选单节点:它更容易配置、管理和排障,同等硬件下还省去了组件间的网络传输开销。
VictoriaLogs 集群由三个角色组成:vlinsert、vlselect、vlstorage。
vlinsert:接收所有支持协议的日志写入,并将日志均匀分片到 vlstorage。
vlselect:接收查询请求,在多个 vlstorage 上并行执行查询,合并结果后返回。
vlstorage:负责持久化存储日志,并执行来自 vlselect 的查询。
VictoriaLogs 集群架构
────────────────────────────────────────────
写入路径
Apps / Agents / Collectors
│
▼
┌────────────────┐
│ vlinsert │ 可水平扩展
└────────────────┘
│
│ shard logs
▼
┌────────────┐ ┌────────────┐ ┌────────────┐
│ vlstorage1 │ │ vlstorage2 │ │ vlstorage3 │
└────────────┘ └────────────┘ └────────────┘
▲ ▲ ▲
│ parallel query execution │
└─────────────┬─────────────┘
│
┌────────────┐
│ vlselect │ 可水平扩展
└────────────┘
▲
│
Web UI / Grafana / API / vlogscli
查询路径
需要注意,集群里的 vlinsert 默认不会在多个 vlstorage 节点之间复制日志,而是均匀分片写入。这样可以获得更具成本效率的线性扩展,但建议对所有 vlstorage 节点做定期备份。如果需要更强的容灾能力,可以借助独立的 VictoriaLogs 实例或集群、多可用区写入、vlagent 复制缓冲和 vmauth 查询路由来构建高可用方案。
集群模式对写入路径提供高可用:部分 vlstorage 暂时不可用时,vlinsert 会把新日志写入剩余可用节点。查询路径则不同,默认在部分 vlstorage 不可用时返回 502 Bad Gateway,以保证查询结果完整,必要时也可以配置为返回部分响应。
五、功能特性与优势
部署简单
VictoriaLogs 的单节点版本是一个零配置的可执行文件。首次试用时,不需要先设计复杂的索引模板、Schema、分片策略,也没有外部依赖。当然,生产环境仍然要规划磁盘、保留周期、备份、监控、安全代理和采集链路,但启动门槛明显更低。
面向日志优化的存储
VictoriaLogs 按字段块组织日志数据,写入持久化存储前先压缩,查询时只读取所需字段块。它针对字段类型使用自定义编码和压缩,并把同一日志流的数据尽量物理聚集,以此提升压缩率和查询效率。
这种设计接近列式存储的基本思想:把"只读需要的列"作为减少扫描量的核心手段。区别在于,VictoriaLogs 把这种思想包装成面向日志的写入、索引和查询体验,用户不必先设计一张日志明细宽表。
高基数字段友好
VictoriaLogs 支持 trace_id、user_id、ip 等高基数字段,并会自动索引所有摄入的字段。这对微服务排障尤其关键,因为排查链路问题时,常常需要直接按 trace_id 或 request_id 定位日志。
trace_id 可以作为普通字段高效查询,但不要放进 _stream_fields,否则日志流数量会爆炸。
LogsQL 更贴近日志分析
VictoriaLogs 使用 LogsQL 查询语言。官方示例展示了三类最基础的查询:
*:返回全部摄入日志。
log.level:error:查询 error 级别日志。
hello:查询消息中包含 hello 的日志。
这类语法适合排障场景。定位问题时,通常先按关键词、级别、实例、时间范围缩小范围,再做聚合统计或上下文查看。LogsQL 还支持快速全文搜索、高级分析,以及在查询时进行数据抽取和转换等。
典型排障查询路径
────────────────────────────────────────────
1. 先看错误:
log.level:error
2. 再限定服务或实例:
{job="payment-api"} log.level:error
3. 再按 trace_id 定位:
trace_id:="abc-123"
4. 再看上下文:
围绕匹配日志查看前后相邻日志
5. 最后做统计:
按 level、service、status_code 聚合
生态集成完整
VictoriaLogs 支持从常见日志采集器接入,可以与 journald、Vector、Fluent Bit 等工具集成。官方还提供了 Docker Compose 示例,覆盖 Filebeat、Fluent Bit、Logstash、Vector、Promtail 等采集链路。
查询侧则提供内置 Web UI、Grafana 插件、命令行工具和 HTTP API。这让它既能作为轻量日志检索工具,也能嵌入现有的可观测性平台。对于已经用 VictoriaMetrics 做指标存储的团队,VictoriaLogs 还能在产品栈、运维习惯和监控告警方面保持一致。
六、适用场景
| 场景 |
适配原因 |
注意事项 |
| 中小规模日志平台 |
单节点部署简单,资源占用低,内置 Web UI |
仍需规划保留周期、磁盘容量和备份 |
| Kubernetes 日志检索 |
支持通过采集器接入,namespace / pod / container 适合作为流字段 |
不要把 trace_id / user_id 放入 _stream_fields |
| 微服务排障 |
支持 trace_id、user_id、ip 等高基数字段作为普通字段查询 |
字段命名需要在采集侧尽量统一 |
| 安全与审计日志 |
适合 SIEM,并支持 Syslog CEF 自动解析 |
复杂的安全关联分析能力需结合外部系统评估 |
| RUM / 宽事件 |
适合 RUM 和 wide events,并支持数百字段的日志 |
超宽字段和动态 key 仍需治理 |
| Elasticsearch / Loki 替代评估 |
官方对比了 ES、Loki 在资源和运维复杂度上的问题 |
性能收益需用本团队真实数据压测确认 |
官方给出的对比数据是:相比 Elasticsearch 和 Grafana Loki,VictoriaLogs 最多可少用 30 倍 RAM、最多少用 15 倍磁盘空间。这类数据只适合作为选型评估的参考,不能替代本地压测结论。日志结构、字段数量、压缩率、查询模式、保留周期和硬件,都会显著影响最终结果。
七、部署使用
下面以 Linux amd64 为例,快速启动单节点:
mkdir vl-quick-start && cd vl-quick-start
curl -L -O https://github.com/VictoriaMetrics/VictoriaLogs/releases/download/v1.52.0/victoria-logs-linux-amd64-v1.52.0.tar.gz
tar xzf victoria-logs-linux-amd64-v1.52.0.tar.gz
./victoria-logs-prod
启动后,VictoriaLogs 默认监听 9428 端口,内置 Web UI 地址如下:
http://localhost:9428/select/vmui
接下来写入 JSON Line 日志。示例中用 _stream_fields 指定日志流字段,用 _time_field 指定时间字段,用 _msg_field 指定消息字段:
echo '{ "log": { "level": "info", "message": "hello world" }, "date": "0", "stream": "stream1" }
{ "log": { "level": "error", "message": "oh no!" }, "date": "0", "stream": "stream1" }
{ "log": { "level": "info", "message": "hello world" }, "date": "0", "stream": "stream2" }
' | curl -X POST -H 'Content-Type: application/stream+json' --data-binary @- \
'http://localhost:9428/insert/jsonline?_stream_fields=stream&_time_field=date&_msg_field=log.message'
这里 date 为 "0",表示使用当前时间作为日志时间。写入后,可以在 Web UI 中查询,也可以通过 HTTP API 查询:
curl http://localhost:9428/select/logsql/query -d 'query=log.level:*'
VictoriaLogs 默认只保存时间范围在 [now-7d, now] 内的日志,超出范围的日志会被丢弃。保留周期可以通过 -retentionPeriod 调整,取值从 1d 到 100y。它按天分区存储日志,并自动删除超出保留周期的分区目录。
/path/to/victoria-logs -retentionPeriod=8w
如果希望按磁盘空间控制保留,VictoriaLogs 支持 -retention.maxDiskSpaceUsageBytes 和 -retention.maxDiskUsagePercent 两种方式,但二者互斥,不能同时配置。磁盘空间检查是周期性执行的,如果磁盘太小且写入速率过高,可能在两次检查之间就被写满,所以容量规划时要预留足够空间。
监控方面,VictoriaLogs 会在 http://localhost:9428/metrics 暴露 Prometheus 格式的内部指标。建议用 VictoriaMetrics、vmagent 或 Prometheus 抓取,并安装 Grafana Dashboard,同时通过 vmalert 或 Prometheus 配置告警规则。
生产环境最小运维面
────────────────────────────────────────────
1. 存储目录:-storageDataPath
2. 保留周期:-retentionPeriod
3. 磁盘上限:-retention.maxDiskSpaceUsageBytes 或 -retention.maxDiskUsagePercent
4. 指标采集:http://host:9428/metrics
5. 告警:磁盘、写入失败、drop 行数、流数量异常增长
6. 备份:单节点或所有 vlstorage 节点
八、常见问题
VictoriaLogs 是否适合生产?
VictoriaLogs 从 v1.0.0 开始已经 ready for production use。不过在正式替换现有日志平台前,仍建议用真实日志测试写入吞吐、查询延迟、磁盘压缩率、保留周期和故障恢复能力。
日志必须有 _msg 字段吗?
VictoriaLogs 期望每条日志至少有 _msg 字段作为消息字段。如果实际日志使用其他字段名,可以在摄入时通过 _msg_field 或 VL-Msg-Field 指定。如果没有可用的消息字段,VictoriaLogs 会使用 -defaultMsgValue 设置的默认值。
高基数字段能不能查?
可以查。VictoriaLogs 支持 trace_id、user_id、ip 等高基数字段,并自动索引所有摄入的字段。但不要把它们放入 _stream_fields,否则会造成高基数日志流问题。
单条日志大小有什么限制?
VictoriaLogs 对 10KB 以内的日志记录工作最优,100KB 以内也可以工作,超过 100KB 则效率不佳。数据摄入时,单条日志最大可接受 2MB。该限制与数据块大小相关,且是硬编码的,不太可能增加。
字段数量是否有限制?
单条日志最多可包含 2000 个字段,字段名最长 128 字节,超过长度的字段会在摄入时被忽略。如果日志里存在动态 JSON key,例如 items.item-1 到 items.item-N,应考虑保留原始 JSON 字段,而不是展开成大量不同的字段。
九、选型建议
VictoriaLogs 更适合"日志优先"的平台场景,而不是替代所有搜索或分析系统。如果团队的主要需求是应用日志检索、微服务排障、Kubernetes 日志、审计日志,或 RUM、SIEM 数据的高效存储与查询,它的设计方向与这些需求相当匹配。如果需求是复杂的全文相关性搜索、通用文档检索、复杂的 SQL 联邦分析或跨多数据源建模,则仍需结合 Elasticsearch、ClickHouse、数据湖或其他分析系统来评估。
选型判断
────────────────────────────────────────────
适合优先评估 VictoriaLogs:
├─ 日志量大,磁盘和内存成本敏感
├─ 日志字段多,trace_id / user_id / ip 查询频繁
├─ 不想维护复杂索引模板和分片参数
├─ 需要快速搭建轻量日志平台
└─ 已使用 VictoriaMetrics 生态
需要谨慎评估:
├─ 依赖复杂全文搜索相关性排序
├─ 需要强 SQL 生态和复杂 Join
├─ 要求集群内部自动多副本复制
├─ 日志字段动态爆炸且缺乏治理
└─ 已有成熟 ES / Loki 平台且迁移收益不明确
如果你想进一步了解日志、监控与可观测性方面的运维实践,可以到云栈社区的运维/DevOps/SRE板块继续交流。