哪些基于 LLMs 的产品值得开发?从用户体验和市场接受度的角度探讨

7 月 17 日
阅读 10 分钟
61
编者按:在大语言模型(LLMs)相关技术高速发展的今天,哪些基于 LLMs 的产品真正值得我们投入精力开发?如何从用户体验和市场接受度的角度评估这些产品的潜力?今天为大家分享的这篇文章,作者的核心观点是:优秀的产品应该将 GenAI 无缝集成到现有工作流中,引入 AI 不仅要能为用户提供高价值、变革性的体验,同时还需...
封面图

给 「大模型初学者」 的 LLaMA 3 核心技术剖析

7 月 13 日
阅读 16 分钟
130
编者按: 本文旨在带领读者深入了解 LLaMA 3 的核心技术 —— 使用 RMSNorm 进行预归一化、SwiGLU 激活函数、旋转编码(RoPE)和字节对编码(BPE)算法。RMSNorm 技术让模型能够识别文本中的重点,SwiGLU 激活函数则如同“神笔”,让模型生成的文本更加突出重点且易于理解;RoPE 赋予了模型处理序列中词语位置的灵活性,而 B...
封面图

Advanced RAG 10:引入检索评估、知识精练的 CRAG 技术详解

7 月 10 日
阅读 7 分钟
216
编者按:本文介绍的 CRAG 技术通过引入轻量级检索评估机制和知识精炼算法,试图解决传统检索增强生成(RAG)方法在处理复杂查询语句时存在的问题(包括检索结果不够精确、引入无关信息等),这些问题会影响模型回答的质量。CRAG 技术如何评估检索文档与用户查询之间的相关性?检索评估器的具体工作原理是什么?CRAG的知...
封面图

「多模态大模型」解读 | 突破单一文本模态局限

7 月 5 日
阅读 6 分钟
103
编者按:理想状况下,世界上的万事万物都能以文字的形式呈现,如此一来,我们似乎仅凭大语言模型(LLMs)就能完成所有任务。然而,理想很丰满,现实很骨感——数据形态远不止文字一种,大多数数据也不是以文本的形式呈现的,我们日常接触到的数据涵盖了图像、视频、音频、语音(images or video, audio, speech)等多种形...
封面图

Llama-2 vs. Llama-3:利用微型基准测试(井字游戏)评估大模型

7 月 4 日
阅读 12 分钟
83
编者按: 如何更好地评估和比较不同版本的大语言模型?传统的学术基准测试固然重要,但往往难以全面反映模型在实际应用场景中的表现。在此背景下,本文作者别出心裁,通过让 Llama-2 和 Llama-3 模型进行井字游戏对决,为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法,更揭示了当前大...
封面图

检索生成(RAG) vs 长文本大模型:实际应用中如何选择?

7 月 3 日
阅读 3 分钟
158
编者按:大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术:长上下文(Large Context Windows)和检索增强生成(RAG)。这两种技术各有何优势?在实际应用中,我们又该如何权衡选择?文章不仅详细阐述了这两种技术的工作原理,还深入分析了它们在效率、准确性和实施成本等方...
封面图

Advanced RAG 09:『提示词压缩』技术综述

6 月 29 日
阅读 36 分钟
252
编者按: 如何最大限度地发挥 LLMs 的强大能力,同时还能控制其推理成本?这是当前业界研究的一个热点课题。针对这一问题,本期精心选取了一篇关于"提示词压缩"(Prompt Compression)技术的综述文章。正如作者所说,提示词压缩技术的核心目标是压缩向 LLMs 输入的上下文信息,删减非关键内容,保留语义核心,从而在不影响...
封面图

合成数据:解锁通用人工智能的“关键之钥”?

6 月 26 日
阅读 5 分钟
301
编者按: 人工智能技术的发展离不开高质量数据的支持。然而,现有可用的高质量数据资源已日渐接近枯竭边缘。如何解决训练数据短缺的问题,是当前人工智能领域亟待解决的一个较为棘手的问题。本期文章探讨了一种经实践可行的解决方案 —— 合成数据(Synthetic Data)。如 AlphaZero、Sora 等已初步证实了合成数据具备的巨...
封面图

Advanced RAG 08:使用 Self-RAG 打造高质量、可追溯的 RAG System

6 月 19 日
阅读 14 分钟
390
编者按: RAG 技术通过检索并利用外部知识源,能够较为有效地提升生成内容的准确性和多样性。然而,经典 RAG 流程也存在一些不足,例如不必要的检索会浪费计算资源,并可能引入无关内容或错误信息,影响生成质量。本文介绍了 Self-RAG 这一技术,通过引入 Reflection Tokens,语言模型能够根据具体需求动态决定是否检索...
封面图

Netflix 机器学习科学家的提示词优化经验分享

6 月 15 日
阅读 4 分钟
345
编者按: 如何充分发挥大模型的潜能,用好大模型,关键在于如何优化向它们发送的提示词(prompt),是为提示词工程(prompt engineering)。本文Netflix 机器学习科学家Cameron R. Wolfe的提示词优化经验分享,阐述了目前提示词的主要构成要素,介绍了与提示词相关的上下文窗口相关信息,并总结了一些行之有效的优化策略...
封面图

提升 LLMs 效率,降低使用成本:一种减少 Tokens 消耗的实战策略

6 月 12 日
阅读 7 分钟
401
编者按: LLMs 被视为 AI 领域的一个里程碑式的突破,但要将其应用于实际生产环境,并且还能用对、用好并非易事。模型的使用成本和响应延迟是目前将大语言模型(LLMs)应用于生产环境中的核心难题之一。在本期刊载的这篇文章中,作者从自身项目的实践经验出发,分享了一系列实用技巧,帮助优化 LLM Prompt ,能够一定程...
封面图

Next-Level Agents:释放动态上下文(Dynamic Context)的巨大潜力

6 月 5 日
阅读 9 分钟
364
编者按: 本文深入探讨了如何通过优化动态上下文信息(Dynamic Context)来提升 AI Agents 的工作效率和准确性。文章首先概述了五种常见的技术策略,包括信息标识(Message Labeling)、针对不同需求设定不同上下文、优化系统提示词(System Prompts)、精简 RAG 系统中冗余信息,以及其他处理上下文的高级策略。随后,作者...
封面图

探索 LLMs 在数据标注中的应用潜力:观察、思考与前景展望

5 月 31 日
阅读 7 分钟
352
编者按: 目前,LLMs 在机器翻译、文本生成、多轮问答等任务上已表现得非常出色了。人们开始思考它们是否也可以用于数据标注工作。数据标注是训练和评估各种机器学习模型的基础,一直是一项昂贵且耗时的工作。是否能够借助 LLMs 的强大能力来为数据标注流程降本增效呢?本文深入探讨了这一问题。本文作者从业界最新研究...
封面图

一种人机协作新范式?为每个人准备的 AI Agents “羊皮卷”

5 月 29 日
阅读 5 分钟
343
编者按: 当前大热的大语言模型和检索增强生成模型,虽然在语言理解和内容生成方面取得了突破性的进展,但仍然存在诸多限制。它们缺乏根据目标导引行为、持续学习和与环境交互的能力,难以应对复杂多变的现实场景需求。今天为大家带来的这篇文章,作者的观点是人工智能领域正朝着开发更智能、更自主的 AI Agent 系统迈进...
封面图

让 LLMs 学会使用工具 | 函数调用(Function Calling)技术实例探索

5 月 23 日
阅读 16 分钟
1.6k
编者按: 大语言模型拥有令人惊叹的语言理解和生成能力,却也存在自主决策、与外部系统交互等方面的不足。函数调用(Function Calling)技术的出现,正是为解决这一难题而生的创新方案,它赋予了大语言模型更强的自主能力和与外部世界连接的能力,成为实现真正智能自主 Agent 的关键一环。本期我们精心为各位读者伙伴呈...
封面图

Advanced RAG 07:在RAG系统中进行表格数据处理的新思路

5 月 15 日
阅读 24 分钟
1.1k
编者按: 目前,检索增强生成(RAG)系统成为了将海量知识赋能于大模型的关键技术之一。然而,如何高效地处理半结构化和非结构化数据,尤其是文档中的表格数据,仍然是 RAG 系统面临的一大难题。本文作者针对这一痛点,提出了一种处理表格数据的新颖解决方案。作者首先系统性地梳理了RAG系统中表格处理的核心技术,包括表...
封面图

应该将大语言模型(LLMs)视为一种面向词语的计算器?

5 月 11 日
阅读 5 分钟
107
编者按:当前,大语言模型已经成为自然语言处理领域的热点。LLMs 是否真的“智能”?它们又为我们带来了哪些启发?针对这些问题,Darveen Vijayan 为我们带来了这篇引人深思的文章。作者主要阐释了两个观点:第一,LLMs应被视为一种文字计算器,它通过预测下一个词来工作,当前阶段还不应被归为“智能”。第二,尽管LLMs 目...

解构复合人工智能系统(Compound AI Systems):关键术语、理论、思路、实践经验

5 月 10 日
阅读 15 分钟
171
编者按: 大模型的出现为构建更智能、更复杂的人工智能系统带来了新的契机。然而,单一的大模型难以应对现实世界中错综复杂的问题,需要与其他模块相结合,构建出复合人工智能系统(Compound AI Systems)。本文作者深耕人工智能领域多年,洞见独到。文中系统性地介绍了四种常见的 Compound AI Systems 部署模式:RAG 系...
封面图

Advanced RAG 06:生成结果的相关性低? 快用 Query Rewriting 优化技术

5 月 7 日
阅读 25 分钟
686
编者按:在现实生活中,普通用户很难编写合适的提示词(prompt)来指示 LLM 完成期望任务。用户提出的 queries 往往存在词汇不准确、缺乏语义信息等问题,导致 LLM 难以理解并生成相关的模型响应。因此,如何优化 queries ,增强 LLM 对各类 query 信息的精准理解能力,是当前亟待攻克的重要课题。本文将探讨一些主流 Qu...
封面图

Advanced RAG 05:探讨基于文本内在语义信息的数据分块方法

4 月 30 日
阅读 21 分钟
857
编者按:在 RAG (Retrieval Augmented Generation) 系统中,将文本数据高效地划分成相对独立且富有语义信息的数据块(chunks)是一项较为关键的任务。基于规则的传统数据分块方法存在一些问题,因此探讨基于文本内在语义信息的数据分块方法非常必要。在这篇文章中,作者深入探讨了三种基于文本内在语义信息的数据分块方...
封面图

提示词优化的自动化探索:Automated Prompt Engineering

4 月 25 日
阅读 11 分钟
211
编者按: 作者在尝试教授母亲使用 LLM 完成工作任务时,意识到提示词的优化并不像想象中简单。提示词的自动优化对于经验并不丰富的提示词撰写者很有价值,他们没有足够的经验去调整和改进提供给模型的提示词,这引发了对自动化提示词优化工具的进一步探索。本文作者从两个角度分析了提示词工程的本质 —— 可将其视为超参...
封面图

Advanced RAG 04:重排序(Re-ranking)技术探讨

4 月 20 日
阅读 15 分钟
265
编者按:重排序(Re-ranking)技术在检索增强生成(Retrieval Augmented Generation,RAG)系统中扮演着关键角色。通过对检索到的上下文进行筛选和排序,可以提高 RAG 系统的有效性和准确性,为最终的结果生成提供更精准的信息。本文介绍了两种主要的 Re-ranking 方法,并演示了如何将其融入到 RAG 系统中,提高系统性能...
封面图

Advanced RAG 03:运用 RAGAs 与 LlamaIndex 评估 RAG 应用

4 月 17 日
阅读 11 分钟
887
编者按:目前,检索增强生成(Retrieval Augmented Generation,RAG)技术已经广泛使用于各种大模型应用场景。然而,如何准确评估 RAG 系统的性能和效果,一直是业界和学界共同关注的重点问题。若无法对 RAG 系统进行全面、客观的评估,也难以针对性地优化和改进它。因此,开发一套科学、可靠的 RAG 系统评估指标体系,...
封面图

LLM 推理优化探微 (4) :模型性能瓶颈分类及优化策略

4 月 11 日
阅读 11 分钟
394
编者按: 在人工智能浪潮袭卷全球的大背景下,进一步提升人工智能模型性能,满足更多应用需求已经刻不容缓。如何优化模型延迟和吞吐量,成为了业界亟待解决的重要问题。我们今天为大家带来的这篇文章,其观点为:不同的性能瓶颈需要采取不同的优化策略,识别并解决主要的性能瓶颈是提升模型性能的关键。文章指出,主要有...
封面图

Advanced RAG 02:揭开 PDF 文档解析的神秘面纱

4 月 7 日
阅读 16 分钟
386
编者按: 自 2023 年以来,RAG 已成为基于 LLM 的人工智能系统中应用最为广泛的架构之一。由于诸多产品的关键功能(如:领域智能问答、知识库构建等)严重依赖RAG,优化其性能、提高检索效率和准确性迫在眉睫,成为当前 RAG 相关研究的核心问题。如何高效准确地从PDF等非结构化数据中提取信息并加以利用,是其中一个亟待...
封面图

Advanced RAG 01:讨论未经优化的 RAG 系统存在的问题与挑战

4 月 3 日
阅读 3 分钟
374
编者按: 自 2023 年以来,RAG 已成为基于 LLM 的人工智能系统中应用最为广泛的架构之一。由于诸多产品的关键功能严重依赖RAG,优化其性能、提高检索效率和准确性迫在眉睫,成为当前 RAG 相关研究的核心问题。我们今天为大家带来的这篇文章指出,Naive RAG 在编制索引、检索和内容生成这三个核心步骤中都存在诸多问题:a...
封面图

LoRA 及其衍生技术总览:An Overview of the LoRA Family

3 月 30 日
阅读 11 分钟
361
编者按: 对于大语言模型的微调训练来说,传统的全参数微调方法需要处理数百万甚至数十亿级别的参数,计算量和显存占用都非常大。而 LoRA 这种技术方案,通过引入少量的可训练矩阵来调整预训练模型的行为,极大降低了训练所需的计算资源,是近年来大语言模型微调的一个重大突破。我们今天为大家带来的文章,介绍了众多具...
封面图

发掘非结构化数据价值:AI 在文档理解领域的现状与未来

3 月 28 日
阅读 5 分钟
245
编者按: 在当今这个由数据主导的时代,我们被海量多样的信息所环绕,但大部分数据都以非结构化的形式存在,诸如文档、电子邮件、合同等,这使得从中提取有价值的信息成为一大挑战。幸运的是,AI 领域正在悄然孕育一场革命性变革,它将帮助我们攻克长期以来困扰非结构化数据处理的种种困难。这篇文章首先解释了文档理解...
封面图

Mistral AI vs. Meta:两大 Top 开源模型的对比

3 月 20 日
阅读 16 分钟
323
编者按: 随着大模型的不断升级和参数量的持续扩大,越来越多人开始重视大模型存在的硬件资源要求高、碳排放量较大等问题。如何在保持模型性能的同时,降低计算成本和资源消耗,成为了业界一个迫切需要解决的问题。我们今天为大家带来的这篇文章,作者认为 Mistral AI 提出的一系列创新技术方案为解决这一问题提供了新思...
封面图

生成式 AI 术语指南:带有配图说明,没有数学公式

3 月 15 日
阅读 11 分钟
267
编者按: 生成式人工智能技术的发展日新月异,这一领域涉及到了越来越多的专业术语和概念。对于刚接触这一领域的新手来说,理解这些术语算是一个门槛。我们有必要整理和解释这些术语,帮助更多人快速入门,投身 AI 事业。文章首先将这些生成式 AI 术语分为11大类,包括Types of Models、Common LLM Terms、LLM Lifecycle...
封面图