一、介绍
前面已经聊过检索增强生成(RAG),它是 AI 和大模型应用中的重要一环,尤其在 Agent 应用场景里,RAG 是提供知识处理的关键手段。传统的 RAG 一般依赖向量数据库作为记忆和检索的基础支撑,让系统能对问题进行精确匹配。可以说,正是 AI 的快速发展,把向量数据库推向了真正的生产级应用。
二、传统 RAG 存在的问题
传统 RAG 使用向量数据进行检索,核心是寻找语义上的相似性。这在很多场景下没什么问题,但也有不少应用场景涉及大量上下文及相关性处理。举个简单的例子:如果检索到“煤球是白的”,系统会不会直接返回“煤球是白的”?可人家的上下文里还有一句“这是不可能的”。当然,现在的 AI 大概已经能处理这类问题,但类似的坑依然存在。
尤其在结构化很强或者相关性很高的资料中,这种问题更容易暴露。比如金融或法律资料里,大段文献的正向和反向引用,经常让传统向量数据库的准确性大打折扣。究其原因,正是传统向量数据库需要对资料进行切块,以便检索,这个切块过程本身就容易割裂上下文。
一个技术的适用场景终究是有限的。随着需求的发展和技术的进步,新的需求会倒逼新技术出现,解决老技术无法胜任的问题。这正是科学发展和技术进步的动力所在。
三、PageIndex
PageIndex 技术就是为了更好地解决强结构化、强逻辑场景下的这类需求。它由 VectifyAI 公司开发并开源,2025 年初出现在技术社区,是一种无向量、基于推理的 RAG 架构。传统 RAG 更像图书管理式的检索,而 PageIndex 则通过推理和导航来实现信息定位。
一般来说,PageIndex 会把数据转化为树状结构,形成一种类似目录但更适合 LLM 理解的结构。通过节点 ID、摘要和描述来呈现上下文的层级关系——有没有想到 JSON?这样就能通过目录及其内容定位到具体相关的数据。
看到没有?PageIndex 用的是内容推理,而不是传统 RAG 中的相似度查询。把握住这一点,就抓住了 PageIndex 型 RAG 与传统 RAG 的核心区别。PageIndex 可以融会贯通所有上下文知识,根据语境模拟人类的推理思考来找到相关答案,并在整体分析之后给出最终结果。
四、分析
PageIndex 最强的部分在于它可以像人类一样,理解用户的问题,并在此基础上检索、分析、推理。它对返回的结果可以给出证据解释和说明,而不像传统 RAG 那样只是检索,没法解释为什么是这个结果。PageIndex 的优势很多:
-
不需要向量数据库
非相似性搜索,不需要对数据进行向量化并存储。
-
不需要嵌入模型
没有了向量,也就不需要传统的嵌入模型,节省了计算资源。
-
不需要分块
同样,不做向量处理,也就无需进行分块数据处理,可以更好地发现相关上下文。
-
推理的可解释性
结果基于推理而来,所以可以回溯并给出解释。
-
智能的上下文感知
推理需要更多相关性,因此它可以更智能地理解历史会话。
-
类人的导航思维
模拟人类的思维方式,先理解问题本身,再在文档数据中导航并给出结果。
正所谓事物都有两面性,PageIndex 的缺点也比较明显:
-
检索效率低、成本高
由于这个过程需要大模型的参与,不可避免地会消耗 token,响应较慢且需要一定成本。
-
适用场景受限
它比较依赖强结构化或逻辑性强的数据,对离散性数据的效果不好。而且目前只适合单一文档,对多文档的处理也不太好。
-
反复变化的情况下成本高
因为 PageIndex 依赖大模型,如果相关数据更新频繁,每次都要调用大模型处理,无法增量更新。时间成本和金钱成本都不小。
-
检索依赖大模型
这个没办法,天生如此,改不了。
五、应用场景
PageIndex 的优势在于对结构性、逻辑性数据的高效处理,而且这类问题往往需要追根溯源、层层说明验证。基于这些特点,可以找到它适合的应用场景:
-
行政或法律相关行业
行政和法律最基础的要求就是准确和可追溯,这正是 PageIndex 的强项。
-
金融行业
金融行业强调准确性,而 PageIndex 在 FinanceBench 上的高准确率,让它具备了进入这个领域的资格。
-
学术领域
能通过推理帮助学术人员进行资料查找和分析,防止非相关数据混入。
-
严格的企业管理和技术管理
很多管理和技术场景往往需要按内容查找而非按名称查找,这也是 PageIndex 的优势所在。
-
强相关的上下文处理
对于需要处理超长且强相关的上下文场景,比如某个作品中主人公的完整历程等,非常有帮助。
作为一个新技术,它还需要成长和发展,大家不必过多苛求。想了解更多 RAG 相关技术进展,可以多关注社区里的讨论。
六、总结
PageIndex 型 RAG 并不是为了革传统 RAG 的命,而是一种有益的补充。正如日常用的螺丝刀一样,有大有小,有长有短,形状也各有不同,但目的只有一个——更好地解决问题。PageIndex 也是如此。
|