找回密码
立即注册
搜索
发回帖 发新帖

5296

积分

0

好友

678

主题
发表于 2026-10-2 22:59:52 | 查看: 137| 回复: 0

摘要

ElasticSearch 的搜索逻辑并不复杂,但如果只是停留在“会用”的层面,很多诡异现象会让人摸不着头脑。这篇文章从整体到细节拆解一遍底层工作原理,重点回答三个问题:

  • 为什么 foo-bar* 匹配不到 foo-bar ?
  • 为什么增加更多文档后,索引(Index)反而会被压缩?
  • 为什么 ElasticSearch 这么吃内存?

版本

文中示例基于 elasticsearch-2.2.0。

图解 ElasticSearch

云上的集群

先看一个典型的 ElasticSearch 集群。一个 集群 通常由若干节点组成,这些节点可能分布在不同的物理机上。云朵形状的外壳代表集群的抽象边界,里面的白色方块就是一台台节点。

ElasticSearch 云上集群 cluster 示意

集群里的盒子

云朵里的每一个白色正方形盒子代表一个节点——Node。

ElasticSearch 集群中的节点 nodes 示意

节点之间

在一个或多个节点之间,这些绿色小方块组合在一起,就形成了一个 ElasticSearch 索引。

ElasticSearch 索引 index 分片组合示意

索引里的小方块

分布在不同节点上的绿色小方块,在索引内部被称为分片——Shard。

ElasticSearch 分片 Shard 示意

Shard = Lucene Index

一个 ElasticSearch 的 Shard 本质上就是一个 Lucene Index。

Lucene Index 索引结构柱状图

Lucene 本身是一个全文检索库,ElasticSearch 是构建在其之上的封装。接下来的内容,大部分都是在讲 ElasticSearch 如何基于 Lucene 完成搜索。

图解 Lucene

Mini 索引——segment

在 Lucene 内部,有大量的小 segment,可以把它们理解为 Lucene 内部的 mini-index。

Lucene Index 中的 segments 分段结构示意

Segment 内部

每个 segment 内藏着多种数据结构:

  • Inverted Index(倒排索引)
  • Stored Fields(字段存储)
  • Document Values(文档值)
  • Cache(缓存)

Lucene segment 内部的倒排索引与词频表结构

最最重要的 Inverted Index

倒排索引由两部分组成:

  1. 一个有序的数据字典 Dictionary,记录 Term 及其词频。
  2. 与 Term 对应的 Postings,记录该词出现在哪些文档中。

Lucene 倒排索引 Inverted Index 词频与文档表

搜索时,先把查询内容拆解成 Term,再到字典里定位这些 Term,从而快速找到包含相关词的文档。

倒排索引查询示例:文档与词频对应关系

查询 “the fury”

假设我们要查 the fury,系统会拆成两个 Term,分别查询它们对应的 Postings,再取交集,得到同时包含这两个词的文档。

查询 the fury 的倒排索引匹配结果

自动补全(AutoCompletion-Prefix)

想查找以字母 c 开头的词,可以先对字典做二分查找,就能快速定位到 choice、coming 这类 Term。

自动补全前缀查询:二分查找定位以 c 开头的 Term

昂贵的查找

但如果想查找所有包含 our 的单词,就没有捷径了。系统只能遍历整个 Inverted Index,成本非常高。

昂贵的遍历式查找:全表扫描 Inverted Index

此时优化的关键,就变成了如何生成更合适的 Term。

问题的转化

针对这类问题,有几种常见的处理方式:

  • *suffix → xiffus*:如果以后缀为搜索条件,可以做 Term 逆向处理。
  • (60.6384, 6.5017) → u4u8gyykk:地理位置信息可以转成 Geo Hash。
  • 123 → {1-hundreds, 12-tens, 123}:简单的数字可以生成多种形式的 Term。

Term 转化规则示例:后缀、Geo Hash 与数字多重表示

解决拼写错误

用一个 Python 库把单词生成一棵包含错误拼写信息的树形状态机,很多拼写错误就能被自动纠错。

拼写纠错树形状态机示意

Stored Field 字段查找

当需要按标题内容查找文档时,倒排索引并不擅长。Lucene 提供了另一种数据结构:Stored Fields。本质就是一个简单的 key-value 存储。默认情况下,ElasticSearch 会保存整个文档的 JSON source。

Stored Fields 字段存储:文档与 source 对应关系

Document Values 为了排序、聚合

排序、聚合、facet 这类操作,如果借助倒排索引去做,往往需要读取大量不相关的信息。

所以又有了 Document Values。它本质上是一种列式存储,专门为同类型数据的排序和聚合做了优化。

Document Values 列式存储与字段缓存示意

为了提高效率,ElasticSearch 可以把某个 Document Value 整体读进内存再做操作。访问速度快了,代价是内存占用随之上升——这也是它吃内存的一个重要原因。

总的来说,Inverted Index、Stored Fields、Document Values 以及它们的缓存,都蜷在 segment 内部。

搜索发生时

拿到一次搜索请求后,Lucene 会搜索所有 segment,把每个 segment 的返回结果汇总、合并,最后呈现给客户端。

Lucene 的几个特性让这个过程变得很关键:

  • Segments 是不可变的(immutable)
    • Delete?删除发生时,Lucene 只是把文档标记成删除状态,原文件不会移动,也不会被真正擦除。
    • Update?更新本质上就是“先删除,再重新索引(Re-index)”。
  • 随处可见的压缩
    • Lucene 极擅长压缩数据,几乎所有教科书里提到的压缩方式,在 Lucene 里都能看到。
  • 缓存所有的所有
    • Lucene 还会缓存大量信息,这直接抬高了查询效率。

缓存的故事

每当 ElasticSearch 索引一条文档,都会为它建立缓存,并每秒刷新一次。刷新之后,这些文档就能被搜到。

ElasticSearch 缓存 buffer 与 refresh interval 刷新示意

随着时间推移,segment 会越来越多。

随时间累积的多个 segment 柱状示意

所以 ElasticSearch 会定期合并这些 segment,合并过程中被替换的旧 segment 最终会被删除。

segment 合并与旧 segment 删除示意

这也是为什么增加更多文档,反而可能让索引占用磁盘空间变小——触发 merge 后,Lucene 会重新组织数据,压缩自然就来了。

举个栗子

假设有两个 segment 准备合并:

合并前的两个 segment

合并后,旧的两个 segment 被删除,新 segment 诞生:

合并后的新 segment

这个新 segment 在缓存中处于 cold 状态,但大多数 segment 仍然保持 warm 状态,缓存没有整体失效。

以上过程经常发生在 Lucene Index 内部。

Lucene Index 内部的 shard 结构示意

在 Shard 中搜索

ElasticSearch 在 Shard 中的搜索过程,与 Lucene Segment 中的逻辑类似。

区别在于:Shard 可能分布在不同 Node 上,搜索和返回结果时,所有信息都要跨越网络传输。

从 Shard 搜索:合并多个 Shard 返回结果

需要记住一个基本事实:

1 次搜索查找 2 个 shard,相当于对这 2 个 shard 各搜索 1 次。

Elasticsearch indexes 索引与分片层级示意

对于日志文件的处理

要搜索某天产生的日志,最好按时间戳对日志进行分块、建索引。这样既大幅提升搜索效率,删除旧数据也只需要删除对应索引。

日志按日期分组建索引示意

上面这个例子中,每个 index 有两个 shards。

如何 Scale

Shard 拆分与重组对比示意

Shard 不会再被进一步拆分,但可以在节点之间迁移。所以当集群节点压力增大时,我们可以考虑引入新节点。但这通常要求对所有数据重新索引——这是没人喜欢的大动作。因此在刚开始设计时,就应该在“节点数量”与“未来扩容”之间做好权衡。

节点分配与 Shard 优化

  • 对承载更重要数据的节点,分配更好的机器。
  • 确保每个 Shard 都有副本(replica)。

分区 zone a 与 zone b 中分片及副本分布示意

路由 Routing

每个节点都保存一份路由表。无论请求打到哪个节点,ElasticSearch 都能根据路由表把它转发到正确分片所在的节点去处理。

Elasticsearch 路由表与 master node 元数据示意

一个真实的请求

下面看一次真实查询请求的完整示例。

Query

Query 的类型是 filtered,请求里同时带了一个 multi_match 的查询。

Elasticsearch 查询与聚合 JSON 代码截图

Aggregation

按作者进行聚合,拿到 top10 hits 的作者信息。

按 author_id 聚合的 JSON 配置截图

请求分发

这个请求可能落到集群里的任意一个节点。

请求分发:花括号集合映射到云朵内多个节点

上帝节点

接收到请求的节点会晋升为这次请求的协调者(Coordinator),它需要决定:

  • 根据索引信息,请求会被路由到哪个核心节点。
  • 哪个副本可用。
  • 以及其他协调事务。

协调者节点与集群中其他节点的协调关系

路由

协调者根据请求内容完成路由。

请求路由:从协调节点指向具体分片

在真实搜索之前

ElasticSearch 会先把 Query 转换成 Lucene Query。

Filtered Query 转换为 Lucene Query 的树状结构

然后这份 Lucene Query 会在所有 segment 上执行计算。

Lucene Query 在所有 segment 中执行计算

Filter 条件本身也有缓存。

Filter 条件的缓存示意

不过 query 不会被缓存。重复执行相同 Query 时,如果在意性能,应用自己需要做缓存。

Query 不会进入缓存:评分与相似度计算

因此可以总结一条实用原则:

  • filters 在任何时候都可以用。
  • query 只有在需要 score 的时候才用。

返回

搜索结束后,结果会沿原路径逐层向上返回。

搜索结果返回路径示意

搜索结果合并返回气泡示意

云朵内分片组织与返回映射示意

返回结果经过花括号结构重组示意

用户收到返回数据的小人示意

参考来源:www.cnblogs.com/richaaaard/p/5226334.html

如果你在 ElasticSearch 或其他中间件的学习与实践中遇到了棘手问题,欢迎来 云栈社区 和开发者们一起交流排查。




上一篇:KeyDB 多线程架构解析:线程模型、链接管理与锁机制
下一篇:MangoDisk 开源磁盘清理:macOS/Windows 几十 GB 系统数据与开发缓存不再隐身
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-21 11:21 , Processed in 0.077206 second(s), 43 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表