编者按：在大语言模型（LLMs）相关技术高速发展的今天，哪些基于 LLMs 的产品真正值得我们投入精力开发？如何从用户体验和市场接受度的角度评估这些产品的潜力？今天为大家分享的这篇文章，作者的核心观点是：优秀的产品应该将 GenAI 无缝集成到现有工作流中，引入 AI 不仅要能为用户提供高价值、变革性的体验，同时还需...

编者按： 本文旨在带领读者深入了解 LLaMA 3 的核心技术 —— 使用 RMSNorm 进行预归一化、SwiGLU 激活函数、旋转编码（RoPE）和字节对编码（BPE）算法。RMSNorm 技术让模型能够识别文本中的重点，SwiGLU 激活函数则如同“神笔”，让模型生成的文本更加突出重点且易于理解；RoPE 赋予了模型处理序列中词语位置的灵活性，而 B...

编者按：本文介绍的 CRAG 技术通过引入轻量级检索评估机制和知识精炼算法，试图解决传统检索增强生成（RAG）方法在处理复杂查询语句时存在的问题（包括检索结果不够精确、引入无关信息等），这些问题会影响模型回答的质量。CRAG 技术如何评估检索文档与用户查询之间的相关性？检索评估器的具体工作原理是什么？CRAG的知...

编者按：理想状况下，世界上的万事万物都能以文字的形式呈现，如此一来，我们似乎仅凭大语言模型（LLMs）就能完成所有任务。然而，理想很丰满，现实很骨感——数据形态远不止文字一种，大多数数据也不是以文本的形式呈现的，我们日常接触到的数据涵盖了图像、视频、音频、语音（images or video, audio, speech）等多种形...

编者按： 如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法，更揭示了当前大...

编者按：大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows)和检索增强生成(RAG)。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？文章不仅详细阐述了这两种技术的工作原理，还深入分析了它们在效率、准确性和实施成本等方...

编者按： 如何最大限度地发挥 LLMs 的强大能力，同时还能控制其推理成本？这是当前业界研究的一个热点课题。针对这一问题，本期精心选取了一篇关于"提示词压缩"(Prompt Compression)技术的综述文章。正如作者所说，提示词压缩技术的核心目标是压缩向 LLMs 输入的上下文信息，删减非关键内容，保留语义核心，从而在不影响...

编者按： 人工智能技术的发展离不开高质量数据的支持。然而，现有可用的高质量数据资源已日渐接近枯竭边缘。如何解决训练数据短缺的问题，是当前人工智能领域亟待解决的一个较为棘手的问题。本期文章探讨了一种经实践可行的解决方案 —— 合成数据（Synthetic Data）。如 AlphaZero、Sora 等已初步证实了合成数据具备的巨...

编者按： RAG 技术通过检索并利用外部知识源，能够较为有效地提升生成内容的准确性和多样性。然而，经典 RAG 流程也存在一些不足，例如不必要的检索会浪费计算资源，并可能引入无关内容或错误信息，影响生成质量。本文介绍了 Self-RAG 这一技术，通过引入 Reflection Tokens，语言模型能够根据具体需求动态决定是否检索...

编者按： 如何充分发挥大模型的潜能，用好大模型，关键在于如何优化向它们发送的提示词（prompt），是为提示词工程（prompt engineering）。本文Netflix 机器学习科学家Cameron R. Wolfe的提示词优化经验分享，阐述了目前提示词的主要构成要素，介绍了与提示词相关的上下文窗口相关信息，并总结了一些行之有效的优化策略...

编者按： LLMs 被视为 AI 领域的一个里程碑式的突破，但要将其应用于实际生产环境，并且还能用对、用好并非易事。模型的使用成本和响应延迟是目前将大语言模型（LLMs）应用于生产环境中的核心难题之一。在本期刊载的这篇文章中，作者从自身项目的实践经验出发，分享了一系列实用技巧，帮助优化 LLM Prompt ，能够一定程...

编者按： 本文深入探讨了如何通过优化动态上下文信息（Dynamic Context）来提升 AI Agents 的工作效率和准确性。文章首先概述了五种常见的技术策略，包括信息标识(Message Labeling)、针对不同需求设定不同上下文、优化系统提示词(System Prompts)、精简 RAG 系统中冗余信息，以及其他处理上下文的高级策略。随后，作者...

编者按： 目前，LLMs 在机器翻译、文本生成、多轮问答等任务上已表现得非常出色了。人们开始思考它们是否也可以用于数据标注工作。数据标注是训练和评估各种机器学习模型的基础，一直是一项昂贵且耗时的工作。是否能够借助 LLMs 的强大能力来为数据标注流程降本增效呢？本文深入探讨了这一问题。本文作者从业界最新研究...

编者按： 当前大热的大语言模型和检索增强生成模型，虽然在语言理解和内容生成方面取得了突破性的进展，但仍然存在诸多限制。它们缺乏根据目标导引行为、持续学习和与环境交互的能力，难以应对复杂多变的现实场景需求。今天为大家带来的这篇文章，作者的观点是人工智能领域正朝着开发更智能、更自主的 AI Agent 系统迈进...

编者按： 大语言模型拥有令人惊叹的语言理解和生成能力，却也存在自主决策、与外部系统交互等方面的不足。函数调用（Function Calling）技术的出现，正是为解决这一难题而生的创新方案，它赋予了大语言模型更强的自主能力和与外部世界连接的能力，成为实现真正智能自主 Agent 的关键一环。本期我们精心为各位读者伙伴呈...

编者按： 目前，检索增强生成（RAG）系统成为了将海量知识赋能于大模型的关键技术之一。然而,如何高效地处理半结构化和非结构化数据，尤其是文档中的表格数据，仍然是 RAG 系统面临的一大难题。本文作者针对这一痛点，提出了一种处理表格数据的新颖解决方案。作者首先系统性地梳理了RAG系统中表格处理的核心技术，包括表...

编者按：当前，大语言模型已经成为自然语言处理领域的热点。LLMs 是否真的“智能”？它们又为我们带来了哪些启发？针对这些问题，Darveen Vijayan 为我们带来了这篇引人深思的文章。作者主要阐释了两个观点：第一，LLMs应被视为一种文字计算器，它通过预测下一个词来工作，当前阶段还不应被归为“智能”。第二，尽管LLMs 目...

编者按： 大模型的出现为构建更智能、更复杂的人工智能系统带来了新的契机。然而，单一的大模型难以应对现实世界中错综复杂的问题，需要与其他模块相结合，构建出复合人工智能系统（Compound AI Systems）。本文作者深耕人工智能领域多年，洞见独到。文中系统性地介绍了四种常见的 Compound AI Systems 部署模式：RAG 系...

编者按：在现实生活中，普通用户很难编写合适的提示词（prompt）来指示 LLM 完成期望任务。用户提出的 queries 往往存在词汇不准确、缺乏语义信息等问题，导致 LLM 难以理解并生成相关的模型响应。因此，如何优化 queries ，增强 LLM 对各类 query 信息的精准理解能力，是当前亟待攻克的重要课题。本文将探讨一些主流 Qu...

编者按：在 RAG (Retrieval Augmented Generation) 系统中，将文本数据高效地划分成相对独立且富有语义信息的数据块（chunks）是一项较为关键的任务。基于规则的传统数据分块方法存在一些问题，因此探讨基于文本内在语义信息的数据分块方法非常必要。在这篇文章中，作者深入探讨了三种基于文本内在语义信息的数据分块方...

编者按： 作者在尝试教授母亲使用 LLM 完成工作任务时，意识到提示词的优化并不像想象中简单。提示词的自动优化对于经验并不丰富的提示词撰写者很有价值，他们没有足够的经验去调整和改进提供给模型的提示词，这引发了对自动化提示词优化工具的进一步探索。本文作者从两个角度分析了提示词工程的本质 —— 可将其视为超参...

编者按：重排序（Re-ranking）技术在检索增强生成（Retrieval Augmented Generation，RAG）系统中扮演着关键角色。通过对检索到的上下文进行筛选和排序，可以提高 RAG 系统的有效性和准确性，为最终的结果生成提供更精准的信息。本文介绍了两种主要的 Re-ranking 方法，并演示了如何将其融入到 RAG 系统中，提高系统性能...

编者按：目前，检索增强生成（Retrieval Augmented Generation，RAG）技术已经广泛使用于各种大模型应用场景。然而，如何准确评估 RAG 系统的性能和效果，一直是业界和学界共同关注的重点问题。若无法对 RAG 系统进行全面、客观的评估，也难以针对性地优化和改进它。因此，开发一套科学、可靠的 RAG 系统评估指标体系，...

编者按： 在人工智能浪潮袭卷全球的大背景下，进一步提升人工智能模型性能，满足更多应用需求已经刻不容缓。如何优化模型延迟和吞吐量，成为了业界亟待解决的重要问题。我们今天为大家带来的这篇文章，其观点为：不同的性能瓶颈需要采取不同的优化策略，识别并解决主要的性能瓶颈是提升模型性能的关键。文章指出，主要有...

编者按： 自 2023 年以来，RAG 已成为基于 LLM 的人工智能系统中应用最为广泛的架构之一。由于诸多产品的关键功能（如：领域智能问答、知识库构建等）严重依赖RAG，优化其性能、提高检索效率和准确性迫在眉睫，成为当前 RAG 相关研究的核心问题。如何高效准确地从PDF等非结构化数据中提取信息并加以利用，是其中一个亟待...

编者按： 自 2023 年以来，RAG 已成为基于 LLM 的人工智能系统中应用最为广泛的架构之一。由于诸多产品的关键功能严重依赖RAG，优化其性能、提高检索效率和准确性迫在眉睫，成为当前 RAG 相关研究的核心问题。我们今天为大家带来的这篇文章指出，Naive RAG 在编制索引、检索和内容生成这三个核心步骤中都存在诸多问题：a...

编者按： 对于大语言模型的微调训练来说，传统的全参数微调方法需要处理数百万甚至数十亿级别的参数，计算量和显存占用都非常大。而 LoRA 这种技术方案，通过引入少量的可训练矩阵来调整预训练模型的行为，极大降低了训练所需的计算资源，是近年来大语言模型微调的一个重大突破。我们今天为大家带来的文章，介绍了众多具...

编者按： 在当今这个由数据主导的时代，我们被海量多样的信息所环绕，但大部分数据都以非结构化的形式存在，诸如文档、电子邮件、合同等，这使得从中提取有价值的信息成为一大挑战。幸运的是，AI 领域正在悄然孕育一场革命性变革，它将帮助我们攻克长期以来困扰非结构化数据处理的种种困难。这篇文章首先解释了文档理解...

编者按： 随着大模型的不断升级和参数量的持续扩大，越来越多人开始重视大模型存在的硬件资源要求高、碳排放量较大等问题。如何在保持模型性能的同时，降低计算成本和资源消耗，成为了业界一个迫切需要解决的问题。我们今天为大家带来的这篇文章，作者认为 Mistral AI 提出的一系列创新技术方案为解决这一问题提供了新思...

编者按： 生成式人工智能技术的发展日新月异，这一领域涉及到了越来越多的专业术语和概念。对于刚接触这一领域的新手来说，理解这些术语算是一个门槛。我们有必要整理和解释这些术语，帮助更多人快速入门，投身 AI 事业。文章首先将这些生成式 AI 术语分为11大类，包括Types of Models、Common LLM Terms、LLM Lifecycle...