知识图谱嵌入方法在实体对齐中的应用——综述

论文解读：知识图谱嵌入方法在实体对齐中的应用——实验综述

📖阅读时长：19分钟

🕙发布时间：2025-02-17

近日热文：全网最全的神经网络数学原理（代码和公式）直观解释
欢迎关注知乎和公众号的专栏内容
LLM架构专栏
知乎LLM专栏
知乎【柏企】
公众号【柏企科技说】【柏企阅文】

一、引言

知识图谱（KGs）在众多领域已变得至关重要，为问答系统、推荐系统和语义搜索等应用提供支持。这些图谱存储了现实世界实体的机器可读描述，涵盖了关系信息和事实信息。然而，整合来自不同知识图谱的知识面临巨大挑战，主要原因在于需要识别并对齐指向相同现实世界实体的子图，这一过程被称为实体对齐。近年来，通过学习实体向量空间表示的嵌入方法，已成为解决该任务的有力工具。尽管已有众多相关方法被提出，但在各种现实世界数据集上全面比较它们优缺点的评估却较为匮乏。Fanourakis等人撰写的论文填补了这一空白，他们对流行的嵌入方法进行了元层次分析，深入探讨了这些方法的有效性和效率。本文将深入解读他们的研究成果及其意义。

二、研究动机与关键问题

整合不同知识图谱知识的主要挑战在于识别和对齐对应相同现实世界实体的子图，即实体对齐任务。虽然嵌入方法在应对这一挑战方面展现出潜力，但在不同现实世界数据集上全面比较其优缺点的研究仍然有限。

论文作者探讨了几个关键问题：哪些因素会影响基于关系和基于属性的方法的性能？这些方法如何从同时考虑结构关系和属性值中获益？每种方法的运行时开销与其有效性是否匹配？哪些数据集特征会影响不同方法的性能？

三、研究方法

1. 数据集扩展：论文扩展了实证研究中常用的知识图谱对的基准数据集，新增了五个具有独特特征的数据集。这一多样化的测试平台有助于作者对评估的实体对齐（EA）方法得出新的见解。
2. 评估流程：评估协议包括对数据集进行预处理以确保一致性，并将每种方法应用于相同的数据集。有效性通过精度、召回率和F1分数等指标衡量，而效率则基于运行时间和计算开销进行评估。
3. 统计方法：采用Friedman检验和Nemenyi检验等统计方法，以确保评估的全面性。Friedman检验属于非参数统计检验，能够检测多种测试尝试中处理方式的差异，适用于在不同数据集上比较多种方法。Nemenyi检验则是在Friedman检验之后进行的事后分析，通过成对比较来确定哪些方法之间存在显著差异。这些检验为分析不同方法的性能提供了可靠的统计方法，揭示了与从知识图谱中提取的各种元特征之间的显著相关性。
4. 元层次分析：元层次分析考察了方法性能与各种数据集特征之间的相关性，揭示了不同方法在不同条件下的表现，进而深入了解它们的优缺点。

通过将严格的统计分析与多样化的测试平台相结合，该论文对基于嵌入的实体对齐方法进行了全面评估。这种详细的研究方法有助于从业者了解哪些方法最适合不同类型的知识图谱和对齐任务，为开发更高效的解决方案提供指导。

四、实体对齐方法

论文评估了几种基于知识图谱嵌入的实体对齐方法，这些方法涵盖了监督学习、半监督学习和无监督学习方法，并且利用了知识图谱中的关系信息和属性信息。

1. 基于关系的方法：这类方法专注于利用知识图谱中的结构信息，通过实体之间的连接（即关系或边）来学习反映图谱拓扑结构的嵌入。它们在捕捉密集知识图谱中复杂的关系网络方面表现出色，适用于高度依赖关系模式的任务。

   • MTransE：MTransE是跨知识图谱实体对齐的基础监督学习方法之一，它基于TransE模型，在共享嵌入空间中将实体和关系表示为向量，关系被解释为实体向量之间的平移。MTransE将这一概念扩展到跨不同知识图谱（通常是不同语言或领域的知识图谱）的实体对齐。

     • 核心原理：MTransE的核心原则是不同知识图谱中的相似实体在统一嵌入空间中应具有相似的表示。为此，MTransE首先使用TransE分别对每个知识图谱进行嵌入，旨在使图中的每个三元组（头实体，关系，尾实体）满足h + r ≈ t的条件，这一步保留了每个知识图谱内的结构信息。
     • 对齐策略：为了弥合不同知识图谱嵌入之间的差距，MTransE引入了三种对齐策略：基于距离的轴校准、平移向量和线性变换。基于距离的方法最小化嵌入空间中对齐实体之间的距离；平移向量方法学习一个向量，用于在不同知识图谱空间之间移动；线性变换技术则学习一个矩阵，用于在知识图谱空间之间转换实体。这些策略使MTransE能够创建一个跨语言或跨领域实体对齐的统一框架。
     • 训练过程：在训练过程中，MTransE联合优化知识图谱嵌入和对齐，使用一种基于边际的损失函数，将每个知识图谱的TransE损失与对齐损失相结合。这种联合学习过程使模型能够创建在每个知识图谱内有意义且在不同图谱之间具有可比性的嵌入。
     • 应用与局限：训练完成后，MTransE可以通过将新实体嵌入其原始知识图谱空间，应用学习到的对齐变换，并在目标知识图谱空间中找到最近的实体来进行对齐。虽然MTransE在对齐实体时保留每个知识图谱结构的能力是其显著优势，但它也存在局限性。该方法对TransE嵌入的依赖以及缺乏负采样可能会限制其性能，尤其是在处理非常大或稀疏的知识图谱时。尽管存在这些限制，MTransE仍然是实体对齐领域的重要基准，为更先进的技术奠定了基础。

   • MTransE+RotatE：MTransE+RotatE是对原始MTransE模型的重大改进，在保留其跨知识图谱实体对齐核心优势的同时，解决了一些局限性。这个改进版本用更复杂的RotatE模型取代了TransE嵌入组件，引入了一种在嵌入空间中表示关系的新方法。

     • RotatE模型核心：RotatE模型的核心是将关系表示为复数向量空间中的旋转。在这个框架中，每个关系被建模为从头部实体到尾部实体的旋转。从数学角度来看，对于一个三元组（头实体，关系，尾实体），RotatE旨在满足t = h ◦ r的条件，其中◦表示哈达玛积（逐元素相乘）。这种表示方式使RotatE能够比TransE捕捉更广泛的关系模式，包括对称性、反转和组合。
     • 优势体现：RotatE建模对称关系的能力尤为突出。在许多知识图谱中，对称关系（如“与……相似”）很常见且重要。虽然TransE在处理这类关系时存在困难，但RotatE可以自然地将它们表示为复平面上0或π的旋转。这一改进使得MTransE+RotatE能够更精确地捕捉知识图谱中的复杂关系结构。
     • 负采样与对齐优化：MTransE+RotatE的另一个重要改进是集成了负采样技术。该技术通过随机替换已知真实三元组中的头部或尾部实体来生成“虚假”三元组。在训练过程中，模型学习为真实三元组分配更高的分数，为生成的负样本分配更低的分数。这一过程有助于在嵌入空间中将不相似的实体推得更远，从而产生更具判别力的实体表示，提高对齐准确性。在对齐过程中，MTransE+RotatE采用共享技术，旨在直接重叠来自不同知识图谱的对齐实体的嵌入。通过鼓励对齐实体在共享嵌入空间中具有几乎相同的表示，该模型有助于更准确地进行跨图谱实体匹配。
   • RDGCN（关系双图卷积网络）：RDGCN（Wu等人，2019）提出了一种新颖的实体对齐方法，它不同于MTransE和RotatE等基于翻译的模型，而是利用图神经网络的能力。该方法旨在捕捉和利用知识图谱中的多跳结构信息，从而更全面地理解实体上下文。

• GCN基础与多跳能力：RDGCN核心利用图卷积网络（GCNs），这是一类专门用于处理图结构数据的神经网络。与早期关注直接关系的方法不同，RDGCN从每个实体周围更广泛的邻域聚合信息。这种多跳能力使模型能够捕捉更复杂和远距离的关系，丰富了实体表示的上下文。
• 双图架构：RDGCN的一个关键特性是其双图架构，该架构涉及两个相互连接的图：一个是表示实体及其关系的主图，另一个是节点对应关系类型的对偶图。这种双图结构使RDGCN能够同时对实体间和关系间的交互进行建模，捕捉简单模型可能忽略的复杂关系模式。
• 注意力机制：RDGCN进一步集成了注意力机制，以促进主图和对偶图之间的信息交换。该机制为图的不同部分分配不同的权重，帮助模型专注于每个实体最相关的信息。因此，RDGCN在构建实体嵌入时可以过滤掉噪声，并优先考虑最具信息性的关系和属性。
• 对齐与训练策略：在实体对齐方面，RDGCN采用类似于MTransE的基于映射的技术，即学习一个变换函数，将实体嵌入从一个知识图谱映射到另一个知识图谱。然而，RDGCN对GCNs的使用提供了更丰富的实体表示，从而实现更准确的对齐。为了应对其嵌入复杂性的增加，RDGCN在训练过程中依赖更多的负样本。这种负采样策略通过在嵌入空间中将不相似的实体推得更远，帮助模型学习更具判别力的特征。虽然这种方法增加了计算需求，但提高了模型区分实体的能力。

• RREA（关系反射实体对齐）：RREA（Mao等人，2020）代表了实体对齐领域的重大进展，它在图神经网络方法成功的基础上，引入了创新机制来提高性能。该方法结合了GCNs的优势和一种新颖的关系反射技术，形成了一种更精细、更有效的跨知识图谱实体对齐方法。
  

  • 关系反射机制：RREA的核心是关系反射机制，它解决了以前基于GCN的方法的一个关键局限性。虽然GCNs擅长捕捉结构信息，但它们通常难以区分不同类型的关系。RREA的关系反射使模型能够学习特定关系的变换，通过为每个关系使用一个正交变换矩阵，在保留实体嵌入的范数和相对距离的同时，在不同的关系超平面上“反射”实体嵌入，从而有效地编码每种关系类型的独特特征。
  • 注意力机制与模型架构：RREA集成了注意力机制，该机制在权衡不同关系和相邻实体的重要性方面发挥了重要作用。这种基于注意力的方法使模型能够动态地关注每个实体最相关的信息，有效地过滤掉不太重要或不相关连接中的噪声。通过这样做，RREA可以创建更精确、更具上下文感知的实体表示，从而提高对齐准确性。该模型的架构集成了GCNs和图注意力网络（GATs），利用了它们的互补优势。这种组合使RREA能够同时捕捉知识图谱的整体结构和细粒度的、特定关系的细节。模型堆叠了多个GNN层，以聚合来自多跳邻域的信息，从而全面了解图中每个实体的上下文。
  • 变体与对齐策略：RREA有两个变体，以适应不同的场景和数据可用性。RREA(basic)是一种监督版本，需要一组已知的实体对齐用于训练，它通过最小化嵌入空间中已知对应实体之间的距离来学习对齐实体。另一方面，RREA(semi)是一种半监督变体，可以在有限的初始对齐信息下运行。这个版本根据当前模型状态迭代地提出新的对齐，逐渐扩展训练集。这种自训练方法使RREA(semi)能够利用知识图谱的更大一部分进行对齐，尤其是在初始已知对齐集较小的情况下，可能会带来更好的性能。两个版本的RREA都使用共享对齐技术，旨在直接重叠来自不同知识图谱的对齐实体的嵌入。这种方法与关系反射和注意力机制相结合，使RREA能够创建一个统一的嵌入空间，在这个空间中，对齐的实体彼此靠近，同时保持它们的关系上下文。

六、参考文献

1. Fanourakis, N., Efthymiou, V., Kotzinos, D. 等. Knowledge graph embedding methods for entity alignment: experimental review. Data Min Knowl Disc 37, 2070–2137 (2023). https://doi.org/10.1007/s10618-023-00941-9
2. Mao, X., Wang, W., Xu, H., Wu, Y., & Lan, M. (2020). Relational reflection entity alignment. In Proceedings of the 29th ACM International Conference on Information and Knowledge Management (CIKM ’20) (pp. 1095–1104). Association for Computing Machinery, New York, NY, USA. https://doi.org/10.1145/3340531.3412001

3. Wu, Y., Liu, X., Feng, Y., Wang, Z., Yan, R., & Zhao, D. (2019). Relation-Aware Entity Alignment for Heterogeneous Knowledge Graphs. arXiv e-print, arXiv:1908.08210. https://doi.org/10.48550/arXiv.1908.08210

   ## 推荐阅读
   1. DeepSeek-R1的顿悟时刻是如何出现的？ 背后的数学原理
   2. 微调 DeepSeek LLM：使用监督微调（SFT）与 Hugging Face 数据
   3. 使用 DeepSeek-R1 等推理模型将 RAG 转换为 RAT
   4. DeepSeek R1：了解GRPO和多阶段训练
   5. 深度探索：DeepSeek-R1 如何从零开始训练
   6. DeepSeek 发布 Janus Pro 7B 多模态模型，免费又强大！

本文由mdnice多平台发布