做 RAG 的时候,有个问题特别容易被忽略:检索到了相关文档,不代表模型就拿到了回答问题需要的全部信息。
比如用户问一句:
“订单服务调用库存服务超时,最后导致订单重复创建,应该优先排查哪个环节?”
知识库里可能有三篇文档,分别记录了 Feign 超时配置、订单接口的幂等设计、库存服务的调用链路。
单次 RAG 根据问题向量检索 Top 5,可能把超时配置和幂等设计找出来了,却漏掉真正的调用链路。模型拿着这几段资料照样能回答,甚至还能说得头头是道。但它给出的结论,未必有证据支撑。
这就是单次 RAG 的一个短板:它擅长找相关资料,却不一定擅长把几份资料串起来。
多跳检索,就是为了解决这个问题。
单次 RAG 到底卡在哪里?
传统 RAG 的流程很直接:
用户提问 → 向量检索 → 拼接上下文 → LLM 生成答案。
假设用户问:
“某款产品的注册失败,和服务端最近一次配置变更有没有关系?”
要回答这个问题,至少得拿到三类信息:
- 产品注册失败的具体时间和错误日志。
- 服务端最近的配置变更记录。
- 配置变更是否影响了注册流程。
这三个信息可能分散在不同文档里,甚至第二份文档的内容,要根据第一份文档才能确定检索关键词。
单次检索通常只围绕原始问题搜索。第一轮没有找到的证据,后面的生成阶段也不会凭空变出来。
当然,把 Top K 从 5 调到 20,可能会改善召回率。但这也有代价:上下文变长、噪声增多,模型还得自己从一堆材料里找关联。
我一般不急着把 Top K 往上加。先看看问题是不是需要多轮检索。
多跳 RAG:先找到线索,再顺着线索查
多跳检索不是简单地多搜几次,而是让后续检索依赖前面已经拿到的信息。
还是上面的例子。
- 第一跳:检索产品注册失败的日志,提取失败时间和错误关键词。
- 第二跳:根据时间和关键词,查询对应的配置变更记录。
- 第三跳:根据变更记录里的配置项,继续检索注册流程的代码说明或故障文档。
最后,把每一跳找到的证据整理起来,再交给模型生成答案。
用 Python 写一个简化版本,重点看检索流程怎么串起来。
from dataclasses import dataclass
@dataclass
class Evidence:
content: str
source: str
def multi_hop_retrieve(question, search, max_hops=3):
evidence = []
query = question
seen = set()
for hop in range(max_hops):
documents = search(query, top_k=4)
fresh = []
for doc in documents:
key = (doc["source"], doc["content"])
if key not in seen:
seen.add(key)
fresh.append(doc)
evidence.append(
Evidence(
content=doc["content"],
source=doc["source"]
)
)
if not fresh:
break
# 从本轮证据中提取下一跳需要的线索
query = build_next_query(
question=question,
evidence=fresh,
hop=hop
)
if not query:
break
return evidence
这里的 search 是接入向量数据库或混合检索的接口,build_next_query 则负责根据当前证据生成下一轮检索条件。
这两个函数需要结合具体业务实现,上面的代码只是把调度骨架写出来。
注意一个细节:我加了 seen 去重。
多跳检索很容易反复拿到同一批文档。如果每一跳都把重复内容塞进上下文,检索次数增加了,真正有用的信息却没增加。
还有一点,max_hops 必须有限制。不能让模型自己一直提出新问题、一直检索下去。否则一个简单问题也可能变成一场没完没了的搜索。
真正麻烦的不是检索,而是下一跳怎么走
上面的流程能跑,但不代表效果就好。
假设第一跳找到了:
注册失败时间:14:32:08
错误关键词:config_version_mismatch
第二跳如果仍然使用原始问题检索,很可能又找到相同的注册失败文档。
更合理的做法,是把新发现的线索转成明确的检索条件:
def build_next_query(question, evidence, hop):
clues = "\n".join(
item["content"] for item in evidence
)
prompt = f"""
原始问题:
{question}
当前检索到的证据:
{clues}
当前轮次:{hop + 1}
请判断下一步还缺少什么证据。
如果需要继续检索,生成一个简短、具体的查询条件。
优先使用日志中的时间、错误码、服务名或配置项。
如果证据已经足够,返回空字符串。
"""
return call_llm(prompt).strip()
这里的 call_llm 需要替换成实际使用的模型调用函数。
我更倾向于让下一跳围绕具体实体展开,而不是让模型自由发挥。日志里出现了错误码,就查错误码;找到配置项,就查配置项的变更记录。
这样检索路径有迹可循,出了问题也方便排查。
另外,模型生成的查询条件不能直接当成事实。它只是检索线索,最终结论仍然要回到原始证据上。
多跳检索也不是越多越好
多跳 RAG 有几个现实问题。
第一,延迟会上升。每一跳都可能增加一次向量检索和一次模型调用。如果一次请求要串行跑五六轮,用户感受到的响应时间肯定会增加。
第二,错误会传递。第一跳如果把无关文档当成关键线索,第二跳就可能沿着错误方向继续查。检索轮数越多,不代表答案越可靠。
第三,证据需要管理。不同来源的文档可能存在版本差异,日志里的推测也不等于最终结论。不能把检索到的所有内容直接拼成一大段,扔给模型就算完成了。
实际落地时,我会优先做三件事:
- 设置最大跳数,并根据证据是否充分提前停止。
- 对每一跳的检索结果做去重、相关性过滤和来源记录。
- 让最终答案尽可能关联到具体证据,找不到证据就明确说明,不要强行下结论。
如果问题本身很简单,比如“Redis 默认端口是多少”,单次 RAG 就足够了。
如果问题涉及多个服务、多个时间点,或者需要把不同文档中的事实串联起来,多跳检索才更有价值。
RAG 的问题从来不只是能不能检索到文档。
真正难的是,第一份资料告诉你下一步该查什么,第二份资料又能不能把第一份资料里的疑问解释清楚。
这一步做好了,多跳检索才算真正发挥作用。
如果你也在折腾 RAG、Agent 这些落地的细节,云栈社区里也有不少同路人的讨论。