检索增强生成(RAG)技术推动了领域应用与大模型结合。然而,RAG 存在着向量相似度与知识推理相关性差距大、对知识逻辑(如数值、时间关系、专家规则等)不敏感等问题,这些都阻碍了专业知识服务的落地。

10 月 24 日,OpenSPG 发布 V0.5 版本,正式发布了知识增强生成(KAG)的专业领域知识服务框架。KAG 旨在充分利用知识图谱和向量检索的优势,并通过四个方面双向增强大型语言模型和知识图谱,以解决 RAG 挑战:

(1) 对 LLM 友好的知识表示

(2) 知识图谱与原文片段之间的互索引

(3) 逻辑符号引导的混合推理引擎

(4) 基于语义推理的知识对齐KAG 在多跳问答任务中显著优于 NaiveRAG、HippoRAG 等方法,在 hotpotQA 上的 F1 分数相对提高了 19.6%,在 2wiki 上的 F1 分数相对提高了33.5%。

我们已成功将 KAG 应用于蚂蚁集团的两个专业知识问答任务,包括电子政务问答和电子健康问答,与 RAG 方法相比,专业性有了显著提高。用户可以基于开源的 KAG 编程框架可以自助基于私域知识库完成领域图谱的构建和知识问答。

KAG 地址:_https://github.com/OpenSPG/KAG_

创新点

2.1 LLM 友好的语义化知识管理

KAG 提出了一种对大型语言模型(LLM)友好的知识表示框架,在 DIKW(数据、信息、知识和智慧)的层次结构基础上,将 SPG 升级为对 LLM 友好的版本,命名为 LLMFriSPG。这使得它能够在同一知识类型(如实体类型、事件类型)上兼容无 schema 约束的信息提取和有 schema 约束的专业知识构建,并支持图结构与原始文本块之间的互索引表示。

这种互索引表示有助于基于图结构的倒排索引的构建,并促进了逻辑形式的统一表示、推理和检索。同时通过知识理解、语义对齐等进一步降低信息抽取的噪声,提升知识的准确率和一致性。

2.2 逻辑符号引导的混合推理引擎

KAG 提出了一种逻辑符号引导的混合求解和推理引擎。该引擎包括三种类型的运算符:规划、推理和检索,将自然语言问题转化为结合语言和符号的问题求解过程。

在这个过程中,每一步都可以利用不同的运算符,如精确匹配检索、文本检索、数值计算或语义推理,从而实现四种不同问题求解过程的集成:图谱推理、逻辑计算、Chunk 检索和 LLM 推理。

2.3 用户友好的产品界面

KAG 还提供了一个用户友好的产品界面,支持用户在本地部署后,通过可视化界面进行文档上传和管理、预览抽取结果、以及知识问答。

在知识问答环节,系统不仅展示最终答案,还会呈现推理过程,从而增强了整个问答流程的透明度和可解释性。通过这个产品界面,用户能够更直观、更轻松地上手使用 KAG,下面通过视频为大家展示 KAG 产品如何使用:

视频链接

未来计划

在 OpenSPG 的下一个版本中,将持续增强领域知识注入的能力,推动领域概念图与实例图的融合,实现行业领域知识、专家经验、业务规则与业务数据的结合;

其次,将发布 3B 规模的图谱构建&问答模型,提升构图&问答的效率,为 KAG 大规模应用奠定基础;

然后,持续降低知识图谱的构建成本,通过语义对齐降低领域知识注入成本,提升领域知识构建的准确率和覆盖率;

再次,还会进一步升级知识逻辑约束的幻觉抑制,增强复杂问题执行规划、答案判定的稳定性;最后,不断迭代升级产品的核心能力,并及时修复已发现的问题,以确保稳定、可靠的用户体验。

KAG 共建

目前 KAG 还处于早期阶段,诚邀对知识服务和知识图谱技术感兴趣的用户和开发者加入我们,共建新一代 AI 引擎框架。我们建立了 OpenSPG 技术交流群,欢迎大家添加小助手微信加入:jqzn-robot。

GitHub

OpenSPG 是一个语义增强的可编程知识图谱:_https://github.com/OpenSPG/openspg_

KAG 是一个知识增强生成的专业领域知识服务框架,KAG 依赖 OpenSPG 提供的引擎依赖适配、逻辑推理执行等能力:_https://github.com/OpenSPG/KAG_欢迎大家 Star 关注~

文章推荐

国内首个专业领域知识增强服务框架 KAG 技术报告,助力大模型落地垂直领域

Paper Digest|OpenSPG 超大规模知识仓储 KGFabric 论文解读

从 RAG 到 KAG:我们将发布国内首个专业领域知识增强服务框架


金融机器智能官方
1 声望4 粉丝

致力于最新可信人工智能技术的传播和开源技术的培育,覆盖大规模图学习,因果推理,知识图谱,大模型等技术领域,欢迎关注。