技术的融合效益:RAG 与 Long Context 的认知困境

Google 前段时间发布的 Gemini 1.5 Pro 是具有 1M 上下文窗口的 LLM,在“大海捞针”实验中召回率达 99.7%。在科技浪潮中,新兴技术常预示旧技术终结,而 RAG 和 Long Context 出现有趣现象,被大模型厂商认为将淘汰的 RAG 却被企业客户视为好用新技术且应用广泛,本文将探讨两者认知冲突及背后原因。

RAG 技术结合信息检索和文本生成,能将企业知识库作为插件,从私域数据检索相关信息放入 LLM 上下文,提高具备企业私域知识问答能力,但企业数据格式多样需归一化才能被很好检索,且检索到的只是知识切片,并非整个知识库,其回答基于对片面知识理解,所以被一些 LLM 厂商视为过渡性技术,注定被更先进的 Long Context 技术取代。

Long Context 技术具有潜力,但其具体内容未详细提及。

阅读 17
0 条评论