笔记整理：付琳博，东南大学硕士，研究方向为知识图谱
论文链接：https://arxiv.org/abs/2410.13080
发表会议：ICML 2025
1. 动机
近年来，大型语言模型（LLMs）在自然语言理解和推理任务上取得了显著进展，但其两大核心问题——知识缺失和幻觉——始终存在，导致其推理过程不可信。为解决此问题，研究者们尝试引入知识图谱（KGs）来增强LLMs的推理能力，但现有主流方法各有局限：
- 基于检索的方法：依赖外部检索器从KGs中检索相关事实，再输入LLMs进行推理。这类方法受限于检索器的准确性，且难以有效捕捉图结构。
- 基于智能体的方法：将LLMs视为智能体，与KGs进行多轮交互以搜索推理路径。这类方法计算成本高、延迟大，且仍存在严重的幻觉问题。
例如，当前领先的KG增强推理方法RoG在知识图谱问答（KGQA）任务中仍有约33%的推理路径存在幻觉。因此，如何实现高效、可信、零幻觉的KG增强推理，仍是亟待解决的关键问题。
本文提出了图约束推理（Graph-constrained Reasoning, GCR），一种将KG结构直接嵌入LLM解码过程的新型推理范式，旨在从根本上消除幻觉，实现基于KG的忠实推理。
2. 贡献
本文的主要贡献包括：
- 提出新型推理框架GCR：首次将结构化知识图谱与LLM的非结构化推理过程直接融合，通过构建KG-Trie将KG推理路径编码为前缀树索引，约束LLM的解码过程，实现高效的图推理。
- 双模型协同推理机制：使用轻量级KG专用LLM进行图约束解码，生成基于KG的推理路径与假设答案；使用强大通用LLM进行归纳推理，融合多条路径生成最终答案。
- 零幻觉与强泛化能力：在多个KGQA基准上实现零推理幻觉，达到最先进的推理性能；展现出强大的零样本泛化能力，可在未经训练的新KG上直接进行推理。
3. 方法
遵循结构化的可信推理思想，本文提出了用于知识图谱问答的图约束推理框架GCR，主要由三个模块组成，如图1所示：
图1 图约束推理框架示意图
在 KG-Trie索引构建模块中，作者提出了一种基于前缀树结构的图编码方法，将知识图谱的推理路径转换为LLM可处理的约束形式。该方法通过整合图结构信息和路径语义表示，将复杂的图遍历问题转化为高效的Trie查找问题。在KG-Trie索引中，每个节点代表一个token，每条从根到叶的路径对应知识图谱中的一条真实推理路径。
由于简单的路径检索可能会忽略重要的多跳关系，为保障细粒度推理模块能够探索足够丰富的推理可能性，作者采用广度优先搜索（BFS）算法提取多跳路径。该模块通过相互强化机制，综合考虑路径的拓扑结构和语义信息，有效编码知识图谱的结构化知识。
基于图的约束解码模块是以大型语言模型的解码机制为基础的，LLM能够生成连贯的推理步骤。然而，传统的LLM解码无法确保生成的路径与知识图谱保持一致，可能导致幻觉问题。为了解决这个问题，作者对标准解码过程进行扩展，提出了一种KG-Trie约束的解码机制，利用Trie索引对生成的每个token进行验证，确保推理路径始终基于真实知识。
该方法通过双重视角建模：一方面利用LLM的语言生成能力产生候选路径，另一方面通过Trie约束确保路径的真实性。解码过程中，每个token的生成概率由语言模型预测和Trie验证共同决定，形成了一种先验感知的生成机制。这种机制能够有效整合知识图谱的结构化知识，避免生成虚假的推理路径。
最终的推理结果由多条候选路径的整合分析产生。作者引入了束搜索策略、多路径生成和注意力融合机制，以捕捉不同的推理视角，选择可靠的推理路径，并确定每条路径对最终答案的贡献度。该模块通过强大的通用LLM对多条候选路径进行综合评估，利用其强大的归纳推理能力得出最终结论。
图约束解码模块生成的每条推理路径都附带一个假设答案，这些路径-答案对被输入到归纳推理融合模块。该模块通过精心设计的提示模板，引导通用LLM分析各条路径的逻辑一致性、证据充分性和答案可靠性，最终综合所有信息做出判断。这种分层推理架构既保证了推理过程的忠实性，又充分利用了大模型的复杂推理能力。
4. 实验
为评估图约束推理框架GCR的性能，作者在知识图谱问答数据集WebQSP和Complex WebQuestions（CWQ）上进行了实验。这两个数据集分别包含1,628和3,531个测试问题，均基于Freebase知识图谱构建，包含复杂的多跳推理问题。
基线模型可分为三大类：一类是纯LLM推理方法，如ChatGPT、GPT-4o-mini、Llama系列模型等，它们仅依赖大语言模型的内在知识进行推理；另一类是图推理方法，如GraftNet、NSM、ReaRev等，它们专门针对知识图谱结构设计推理机制；第三类是知识图谱增强的LLM方法，如KD-CoT、RoG、ToG等，它们结合了知识图谱与LLM的优势进行推理。
作者采用的评估标准包括命中率（Hit@1）和F1分数。命中率检查正确答案是否出现在模型预测中，F1分数综合考虑预测的精确率和召回率。作者比较GCR方法与22个基线模型，在标准测试集上进行评估，总体结果如表1所示。
表1 总体实验结果（WebQSP和CWQ数据集）
GCR在两个数据集上的性能始终优于所有基线模型。在命中率指标方面，GCR在数据集WebQSP和CWQ上比最优的基线模型分别高出2.1%和9.1%。这证明了图约束推理框架GCR的有效性，模型可通过KG-Trie约束确保推理路径的真实性，避免幻觉问题。此外，与当前领先的KG增强方法RoG相比，GCR在两个数据集上的F1分数分别提高了2.8%和4.5%。这意味着图约束解码机制可以更好地整合知识图谱的结构化知识与大语言模型的推理能力。
为了进一步评估GCR的泛化能力，作者在三个额外的KGQA数据集上进行了零样本实验：FreebaseQA、CSQA和MedQA。实验结果表明，GCR在未见过的知识图谱上仍能保持优异性能。在FreebaseQA和CSQA上，GCR比纯ChatGPT在准确率上分别提高了8.2%和7.6%，这证明了GCR框架具有良好的零样本迁移能力。
在效率分析方面，GCR展现出显著优势。与智能体式方法ToG相比，GCR将平均推理时间从16.14秒减少到3.60秒，LLM调用次数从11.6次减少到2次，同时输入token数从7,069个减少到231个。这种效率提升主要归功于KG-Trie索引的预计算和图约束解码的单次调用机制。
消融实验进一步验证了GCR各组件的重要性。移除KG专用LLM导致WebQSP上的F1分数下降20.3%，移除通用LLM导致F1下降16.2%，这表明双模型协作机制对实现高性能至关重要。参数分析显示，当束搜索大小K=10、路径跳数L=2时，GCR在性能与效率之间达到最佳平衡。
5. 总结
知识图谱问答需要准确、可靠的推理能力，而大型语言模型在推理时容易出现知识缺失和幻觉问题。本文提出的图约束推理框架GCR通过创新性方法解决了这一挑战。
GCR框架的核心创新是将知识图谱的结构化知识直接整合到大语言模型的解码过程中。通过构建KG-Trie索引，将复杂图遍历转化为高效查找；通过图约束解码，确保每一步推理都基于真实知识；通过双模型协同，结合专用LLM的图谱理解能力和通用LLM的复杂推理能力。
实验证明GCR在多项指标上表现优异：在WebQSP和CWQ数据集上的命中率分别达到92.6%和75.8%，相比现有最佳方法有显著提升。更重要的是，GCR实现了100%的忠实推理，完全消除了幻觉问题。框架还展现出强大的泛化能力，在未见过的知识图谱上仍能保持良好性能。消融实验验证了各组件的重要性，效率分析显示GCR大幅降低了计算成本。特别值得强调的是，GCR提供了清晰的推理路径，增强了结果的可解释性和用户信任度。
GCR为构建可靠、高效的知识增强推理系统提供了新思路，在智能问答、决策支持等领域具有重要应用价值。如果你对LLM与知识图谱的结合应用有更多想法，欢迎来云栈社区的技术论坛一起交流探讨。
发表于 4 小时前
|
查看: 2|
回复: 0
