图约束推理（GCR）：大语言模型在知识图谱上的可靠推理新范式

论文链接：https://arxiv.org/abs/2410.13080
代码链接：https://github.com/RManLuo/graph-constrained-reasoning

📖阅读时长：19分钟

🕙发布时间：2025-02-12

近日热文：全网最全的神经网络数学原理（代码和公式）直观解释
欢迎关注知乎和公众号的专栏内容
LLM架构专栏
 知乎LLM专栏
 知乎【柏企】
公众号【柏企科技说】【柏企阅文】

在本文中，作者介绍了图约束推理（Graph-Constrained Reasoning, GCR），这是一种全新的框架，它将知识图谱（KGs）中的结构化知识与大语言模型（LLMs）中的非结构化推理连接起来。为了消除大语言模型的幻觉问题，GCR通过KG-Trie（一种对知识图谱推理路径进行编码的前缀树索引）将知识图谱的结构集成到大语言模型的解码过程中，确保推理过程基于知识图谱，真实可靠。

关键贡献

提出了一种名为图约束推理（GCR）的新框架，弥合了知识图谱中的结构化知识与大语言模型中的非结构化推理之间的差距，使得大语言模型可以通过解码在知识图谱上进行高效推理。
结合了轻量级知识图谱专用大语言模型和强大的通用大语言模型的互补优势，利用它们各自基于图的推理能力和归纳推理能力来提高推理性能。

方法

（i）现有方法与GCR的比较

下图展示了现有的知识图谱增强大语言模型推理范式以及本文提出的图约束推理（GCR）。

a）知识图谱增强推理

利用知识图谱中的结构化知识来改进大语言模型的推理能力。
可以表示为在知识图谱上找到一条推理路径$w_z$，该路径连接问题和答案中提到的实体，公式表示为：

其中，$P_{\phi}(w_z|q, G)$表示在给定问题$q$的情况下，通过由$\phi$参数化的函数在知识图谱$G$上发现推理路径$w_z$的概率。

为了获取推理所需的推理路径，通常使用基于检索的范式或基于智能体的范式。基于检索的方法依赖于精确的额外检索器，而基于智能体的方法计算成本高，并且会导致高延迟。

b）图约束推理

直接将知识图谱整合到大语言模型的解码过程中，以实现可靠的推理。它主要由三个部分组成：

知识图谱前缀树构建：构建知识图谱的结构索引，以指导大语言模型进行推理。
图约束解码：使用大语言模型生成基于知识图谱的路径和假设答案。
图归纳推理：对多个路径和假设进行推理，以得出最终答案。

（ii）知识图谱前缀树构建

将知识图谱转换为知识图谱前缀树（KG-Tries），它作为知识图谱的结构化索引，便于大语言模型在图上进行高效推理。

前缀树（也称为字典树）是一种树状数据结构，用于存储一组动态字符串，其中每个节点代表其孩子节点的公共前缀。前缀树可用于将大语言模型的输出令牌限制为以有效前缀开头的令牌，是对知识图谱中的推理路径进行编码的理想选择，便于大语言模型高效遍历。

采用广度优先搜索（BFS）算法，从问题中提到的实体开始，检索$L$跳范围内的推理路径$W_z$。

格式化后的句子随后由大语言模型的分词器拆分为令牌，并存储为KG-Trie $C_G$。整个过程可以表示为：

其中，$e_q$表示问题中提到的实体，$L$表示路径的最大跳数，$T_z$表示推理路径的令牌。

通过为每个问题实体构建KG-Trie，我们可以在恒定时间（$O(|W_z|)$）内高效遍历推理路径，而无需进行代价高昂的图遍历。

KG-Trie可以离线预构建，并在推理时加载，这显著降低了在知识图谱上进行推理的计算成本和延迟。

（iii）图约束解码

将大语言模型的推理能力与知识图谱中的结构化知识相结合，生成基于知识图谱的可靠推理路径，从而得出答案。

给定一个问题$q$，我们设计了一个指令提示，利用大语言模型的推理能力生成推理路径$w_z$和假设答案$a$。

为了消除在知识图谱上推理时的幻觉问题，我们采用KG-Trie $C_G$作为约束条件，指导大语言模型的解码过程，仅生成在知识图谱中有效的推理路径，公式表示为：

其中，$w_{zi}$表示推理路径$w_z$的第$i$个令牌，$P_{\phi}$表示由参数为$\phi$的大语言模型预测的令牌概率，$C_G(w_{zi}|w_{z1:i - 1})$表示约束函数，用于使用KG-Trie检查生成的令牌$w_{z1:i}$是否为推理路径的有效前缀。

在生成有效推理路径后，我们切换回常规解码过程，根据该路径生成假设答案。

为了进一步提高在知识图谱上的推理能力，我们在图约束解码任务上对一个轻量级的知识图谱专用大语言模型进行微调，其参数为$\phi$。

具体来说，给定一个问题$q$，优化大语言模型以生成有助于回答问题的相关推理路径$w_z$，然后基于该路径提供一个假设答案$a$，公式表示为：

其中，$a_i$和$w_{zj}$分别表示答案$a$的第$i$个令牌和推理路径$w_z$的第$j$个令牌。

训练数据$(q, w_z, a) \in D_G$由问答对和从知识图谱生成的推理路径组成。我们使用连接问题和答案中实体的最短路径作为训练用的推理路径$w_z$。

图约束解码的示例如下图所示，其中<PATH>和</PATH>是用于控制图约束解码开始和结束的特殊令牌。

图约束解码方法与基于检索的方法不同，它将预构建的KG-Trie集成到大语言模型的解码过程中。这不仅减少了输入令牌，还弥合了大语言模型中的非结构化推理与知识图谱中的结构化知识之间的差距，使得无论知识图谱的规模如何，都能在其上进行高效推理，从而实现可靠推理并得出答案。

（iv）图归纳推理

利用知识图谱专用大语言模型的推理能力生成可靠的推理路径和假设答案。

将知识图谱专用大语言模型生成的多个推理路径和假设答案输入到一个强大的通用大语言模型中，利用其归纳推理能力生成最终答案。

图约束解码无缝集成到大语言模型的解码过程中，使其可以与各种大语言模型生成策略（如波束搜索）配合使用，以利用GPU并行计算的优势。

给定一个问题，我们采用图约束解码，通过波束搜索在一次大语言模型调用中同时生成$K$条推理路径和假设答案，然后将它们输入到通用大语言模型中得出最终答案，公式表示为：

其中，$\theta$表示通用大语言模型的参数，$Z_K$表示前$K$个推理路径和假设答案的集合，$A$表示最终答案。

实验

（i）推理性能和效率

a）主要结果

下表展示了在两个知识图谱问答（KGQA）数据集上，与不同基线模型的性能比较。

GCR在两个数据集上均取得了最佳性能，在WebQSP和CWQ（知识图谱问答数据集）上的命中率分别比第二好的模型高出2.1%和9.1%。

b）效率分析

下表展示了在WebQSP数据集上不同方法的效率和性能比较。

在运行时间和大语言模型调用次数方面，密集检索器是最有效的，因为它们提前将所有路径转换为句子并编码为嵌入向量。然而，由于它们不是为编码图结构而设计的，因此在检索准确性上有所牺牲。

基于图的检索器和基于智能体的方法通过考虑图结构实现了更好的性能；但是，它们需要更多的时间和大语言模型调用次数。

GCR在合理的运行时间和大语言模型调用次数下实现了最佳性能。借助KG-Trie，GCR在图约束解码过程中可以同时探索多个推理路径，这既不涉及额外的大语言模型调用，也不增加输入令牌，并且受益于低延迟的GPU并行计算。

c）不同的大语言模型

下表展示了在WebQSP数据集上，GCR中使用的不同大语言模型的比较。

结果表明，经过微调后，一个轻量级大语言模型（0.5B参数）的性能可以超过大型大语言模型（70B参数），这表明微调在增强大语言模型能力、使其专门用于知识图谱推理方面的有效性。

较大的大语言模型（例如7B和8B参数）仍然比较小的模型表现更好，这突出了模型容量在知识图谱上搜索相关推理路径的重要性。在通用大语言模型中也观察到类似的趋势，较大的模型（例如GPT-4o-mini和ChatGPT）比较小的模型（例如Qwen-2–7B和Llama-3.1–8B）表现更优，展示了它们更强的归纳推理能力。

d）参数分析

在WebQSP数据集上进行了不同波束宽度（1、3、5、10和20）的实验，结果如下图所示。

观察发现，GCR的命中率和召回率随着波束宽度的增加而增加。这是因为波束宽度越大，大语言模型可以探索的推理路径越多，越有可能找到正确答案。

然而，F1分数在波束宽度设置为10时达到峰值。这是因为波束宽度为10时，可以在推理路径的探索和利用之间取得平衡。

当波束宽度设置为20时，性能下降，这是由于搜索空间的复杂性增加，可能会引入噪声，使推理变得不那么可靠。

（ii）消除幻觉和可靠推理

下图展示了对GCR的性能和推理错误的分析。

观察发现，GCR在两个数据集上的可靠推理率均达到了100%，这表明GCR可以消除幻觉，并在知识图谱上的推理过程中确保可靠推理。

在WebQSP数据集上，当去除知识图谱约束时，答案的准确性和可靠推理率都显著下降。这表明知识图谱约束不仅通过减少搜索空间来提高推理能力，而且在防止幻觉以实现准确推理方面也起着至关重要的作用。

下表展示了GCR进行可靠推理的示例。红色表示错误的推理路径和答案，而加粗表示正确的路径和答案。

（iii）对未见知识图谱的零样本泛化能力

使用在Freebase上训练的相同的知识图谱专用大语言模型（Llama-3.1–8B）以及两个通用大语言模型（ChatGPT、GPT-4o-mini）。在推理过程中，我们直接将从ConceptNet和医学知识图谱构建的KG-Trie插入到GCR中，进行图约束解码，而无需额外的微调。

下表展示了对其他知识图谱问答数据集的零样本迁移能力。

结果表明，GCR在两个数据集上的零样本性能均优于ChatGPT和GPT-4o-mini。

具体而言，与ChatGPT相比，GCR在CSQA数据集上的准确率提高了7.6%，在MedQA数据集上的准确率提高了3.1%。

结论

介绍了一种名为图约束推理（GCR）的新型大语言模型推理范式，通过整合结构化知识图谱来消除幻觉并确保可靠推理。

为了弥合大语言模型中的非结构化推理与知识图谱中的结构化知识之间的差距，提出了KG-Trie，使用基于前缀树的索引对知识图谱中的路径进行编码。KG-Trie约束解码过程，引导知识图谱专用大语言模型生成基于知识图谱的可靠推理路径。

通过施加约束，我们不仅可以消除推理中的幻觉，还可以降低推理复杂度，有助于实现更高效、准确的推理。最后，利用强大的通用大语言模型作为补充，对多个推理路径进行归纳推理，生成最终答案。

论文链接：https://arxiv.org/abs/2410.13080
代码链接：https://github.com/RManLuo/graph-constrained-reasoning

参考文献

Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models by Luo et al. arXiv:2410.13080

本文由mdnice多平台发布

图约束推理（GCR）：大语言模型在知识图谱上的可靠推理新范式