Microsoft AI 与中国人民大学合作推出 CoRAG 框架

主要观点

Microsoft AI 与中国人民大学合作推出了一种名为 Chain-of-Retrieval Augmented Generation (CoRAG) 的新型 AI 框架，旨在增强检索增强生成（RAG）模型的能力。与传统的 RAG 系统不同，CoRAG 允许模型在生成答案之前进行迭代搜索和推理，从而动态优化检索结果。

关键信息

1. 传统 RAG 的局限性：

   • 传统 RAG 系统依赖单次检索，难以有效整合多源信息。
   • 在处理复杂查询（如多跳问答）时，传统模型常因检索不完整或不准而表现不佳。

2. CoRAG 的核心创新：

   • 动态查询重构机制：CoRAG 在每一步迭代中根据中间推理状态重构查询，确保每次检索的信息与上下文相关，并逐步构建更完整的最终答案。
   • 无需昂贵人工标注：通过拒绝采样技术从现有 RAG 数据集中生成合理的检索链，训练模型生成子查询、子答案和最终答案。

3. 推理策略：

   • 贪婪解码：提高效率。
   • 最佳 N 采样：优化准确性。
   • 树搜索：在计算成本和性能之间取得平衡。

4. 性能表现：

   • 在 KILT 基准测试和多跳问答任务中，CoRAG 表现优于现有 RAG 模型，尤其在需要从多源检索和综合信息的任务中表现突出。

重要细节

• 技术背景：CoRAG 的迭代检索方式模拟了人类研究者的思考过程，使其能够更智能地处理复杂查询。
• 应用场景：CoRAG 适用于自动化研究、企业知识系统和 AI 辅助决策等领域，这些领域对检索准确性和信息结构化有较高要求。

• 行业评价：

  • Deepesh Jain（Durapid Technologies CEO）：CoRAG 的迭代方法使检索更智能、更动态，有望为复杂查询提供更好的答案。
  • Ekaterina Baru（Velotix 高级机器学习工程师）：CoRAG 的迭代检索方式与人类研究方法相似，性能提升显著，期待其在生产环境中的进一步发展。

总结

CoRAG 通过引入迭代检索机制，显著提升了 RAG 模型在处理复杂查询时的性能，为 AI 驱动的搜索和推理提供了新的解决方案，具有广泛的应用潜力。