编者按：近年来，强化学习在游戏和机器人控制等领域取得了较大的进步。如何设计一种强化学习算法，使机器人或 Agent 能够在复杂环境中学习最优策略（Optimal Policy ）并作出最优的决策，这成为一个重要课题。我们今天为大家带来的这篇文章，作者指出可以通过设计并训练 Q-learning 算法来解决强化学习中的决策问题。作...

编者按：近年来，深度学习应用日益广泛，其需求也在快速增长。那么，我们该如何选择合适的 GPU 来获得最优的训练和推理性能呢？今天，我们为大家带来的这篇文章，作者的核心观点是：Tensor Core、内存带宽和内存层次结构是影响 GPU 深度学习性能的几个最关键因素。作者详细解析了矩阵乘法运算在深度学习中的重要性，以及...

编者按：近年来，人工智能技术飞速发展，尤其是大型语言模型的问世，让 AI 写作、聊天等能力有了质的飞跃。如何更好地理解和利用这些生成式 AI，成为许多开发者和用户关心的问题。今天，我们推出的这篇文章有助于读者深入了解大语言模型的工作原理。作者指出，大语言模型的核心在于将文本转化为数字表征，这就需要介绍 t...

编者按：今年以来，大语言模型（LLM）在消费者(2C)市场崭露头角，同时也吸引了大量企业的关注。但是直接将这些面向消费者的模型引入企业环境，可能会面临一些风险。今天我们为大家带来的这篇文章，作者认为企业环境与消费者环境在数据方面存在着重要的差异，如果不认识到这些差异，面向企业环境的 LLM 项目就可能面临拖...

编者按：我们如何才能更好地控制大模型的输出?本文将介绍几个关键参数，帮助读者更好地理解和运用 temperature、top-p、top-k、frequency penalty 和 presence penalty 等常见参数，以优化语言模型的生成效果。文章详细解释了这些参数的作用机制以及如何在质量与多样性之间进行权衡。提高 temperature 可以增加多样性但...

编者按：随着互联网内容数量的急剧增长，个性化推荐已成为各大科技公司的核心竞争力之一。那么，如何构建一个可靠、高效的基于嵌入技术的推荐系统，使其能够在实际生产环境中正常运行呢？这是所有从业者都关心的问题。本文是Embedding技术与应用的最后一篇，探析 Embedding 应用工程的文章。作者认为，要让一个推荐系统...

编者按：Transformers凭借其卓越的性能，已经成为自然语言处理领域的代表性模型架构。但是Transformers的内在机制却比较复杂，对许多读者来说可能还存在一定的难度。本系列对 Transformer各组件进行逐一剖析，我们可以更直观地理解这个模型架构的整体运行逻辑。本篇文章是《轻松理解Transformers》系列的最后一篇，主要...

编者按： IDP开启Embedding系列专栏，力图详细介绍Embedding的发展史、主要技术和应用。本文是《Embedding技术与应用系列》的第三篇，重点介绍 嵌入技术在生产环境中的应用效果到底如何。文章作者认为，嵌入技术可以有效地表示用户兴趣偏好，帮助推荐系统进行个性化内容推荐。作者详细分析了Pinterest、YouTube、Google ...

编者按：随着人工智能技术的不断发展Transformer架构已经成为了当今最为热门的话题之一。前馈层作为Transformer架构中的重要组成部分，其作用和特点备受关注。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解Transformers中的前馈层。本文是Transformers系列的第三篇。作者的观点是：前馈层在Transformer架构中...

编者按：随着人工智能技术的不断发展，Transformers 模型架构已成为自然语言处理领域的重要基石。然而，许多人对其内部工作机制仍然感到困惑。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解 Transformers 中最核心的 Attention 机制。本文是Transformers系列的第二篇。作者的核心观点是：Attention 机制是 Tr...

编者按：Transformers 是人工智能领域近年来最引人瞩目的技术之一，它为语言生成模型的发展做出了巨大的贡献。随着大语言模型（LLM）的兴起，公众对其背后的技术原理也越来越感兴趣。但是由于Transformers本身具有一定的复杂性，想要真正理解其中的原理并不容易。今天，我们开始为大家带来了一系列以通俗易懂的语言解释T...

编者按：目前大模型仍然存在一个非常致命的缺陷——大模型的“幻觉”（Hallucination）问题。为什么 LLM 会出现幻觉？如何缓解这种情况？使用的数据集对此现象的影响几何？今天为大家带来的这篇文章将一一解答。作者首先分析了LLM中出现幻觉的原因，主要是由于训练数据的压缩以及信息的不一致、受限或过时造成的。之后，作者...

编者按：相信很多人都对Chatbots背后的技术原理很感兴趣，其实Chatbots并非通过“魔法”与我们交流，而是依靠一种被称为检索增强生成（RAG）的技术。文章详细梳理了 RAG 技术的具体实现原理。首先，RAG 将用户输入的问题与知识库中的私有数据进行匹配，获取相关知识片段。然后，通过预训练的大语言模型，用提取到的知识片...

编者按：IDP开启Embedding系列专栏，详细介绍Embedding的发展史、主要技术和应用。本文是《Embedding技术与应用系列》的第二篇，重点介绍神经网络的发展历程及其技术架构，剖析了嵌入技术与这些神经网络（Transformer、BERT和GPT等）的关系。正如OpenAI去年年底推出的ChatGPT在对话领域的重要地位，嵌入技术正在成为人工...

编者按：嵌入(Embedding)是机器学习中一种将高维稀疏向量转换为低维稠密向量的技术。其通常用于处理自然语言、图像等高维离散数据。嵌入能够有效地解决维度灾难问题，减少存储和计算成本，同时提高模型的表达能力。我们还可以通过得到的嵌入向量进行语义相似度计算、推荐系统、分类任务等多种应用。嵌入还可以用于处理非...

编者按：在之前的系列文章中，我们介绍了大模型的原理和微调落地的理论方法。本期文章，我们将以实际场景为例，详细介绍微调的实践流程和相关代码。作者详细介绍了如何使用 QLoRA 技术针对 Falcon-7B 大语言模型进行微调，使之在消费级 GPU 上进行微调而不会出现out of memory（内存不足错误），从而创造一个能够准确、...

编者按：随着大语言模型(LLM)的迅速发展，越来越多团队希望针对特定领域进行模型微调。但是实践运用中总是存在一些困难，直接应用并不总是能达到理想效果。本文着重探讨了三个关键问题:利用强大模型(如ChatGPT)的输出结果来微调较弱模型是否有效？如何选择是采用低成本的上下文学习还是对模型进行微调？如何处理超过模型...

编者按：随着大语言模型的广泛应用，如何存储和高效检索这些模型产生的大量向量表示成为一个较为关键的问题。本文深入探讨了向量数据库在提升语言模型应用性能方面的作用，并介绍了不同类型向量数据库的特点。本文以简明扼要的方式全面概述了向量数据库的工作机制、应用场景和评估方法，对于在生产环境中应用语言模型的...

编者按：8月29日凌晨，OpenAI在官网宣布，推出企业版ChatGPT（ChatGPT Enterprise）。前不久，OpenAI又刚刚发布了针对企业的GPT-3.5 Turbo微调功能。因而引发了一场热烈的讨论——是否仍需要私有化的大模型？我们今天为大家带来的文章，作者探讨了与仅通过 OpenAI 等公司的 API 使用 LLM 相比，私有化部署大模型的优势。有...

编者按：随着大语言模型在自然语言处理领域的广泛应用，如何从人类反馈进行强化学习（RLHF）已成为一个重要的技术挑战。并且RLHF需要大量高质量的人工数据标注，这是一个非常费力的过程。本文作者在数据标注领域具有丰富经验，他在本文深入探讨了RLHF过程中有关数据标注的关键问题。作者首先介绍了数据标注的基本要素，...

编者按：人工智能领域近年来模型规模不断增大，参数规模爆炸式增长。从 GPT-3 的 1,750 亿，再到传闻中的 GPT-4 可能高达惊人的 18,000 亿参数。然而，随着模型规模的不断膨胀，也出现了训练成本高昂、环境影响大、应用部署困难等问题。因此，业内开始反思超大模型的发展方向和意义。    在这样的背景下，“敏捷人工智能”...

编者按：今年以来，大语言模型(LLM)已被广泛应用于各种自然语言处理任务，也越来越多地被用于构建复杂的语言应用。但是构建多任务的 LLM 应用仍面临一定的挑战，需要解决任务组合和调控等问题。本文内容介绍了构建多任务 LLM 应用可能涉及的方方面面，包括如何设计并使用控制流程，如何测试代理等，对于那些希望设计出好...

编者按：随着大语言模型在自然语言处理中的广泛应用，如何提高其在实际部署中的推理速度成为一个非常关键的问题。本文详细介绍了当前提高大语言模型推理速度的七大策略，包括使用低精度计算、模型量化、使用适配器微调、采用模型剪枝、批量推理、多 GPU 并行和采用其他推理优化工具等方法。这些方法各有利弊，作者通过具...

编者按：自ChatGPT推出后，基于人类反馈的强化学习(RLHF)技术便成为大模型构建和应用人员关注的热点。但该方法一些情况下效果却差强人意，有些基础模型经RLHF调优后反而表现更差。RLHF技术的适用性和具体操作细节似乎成谜。这篇文章探讨了基于人类反馈的强化学习(RLHF)的工作机制，分析了RLHF的三个关键组成部分：基础模...

编者按：在训练大语言模型的过程中,构建高质量的训练数据集是非常关键的一步，但关于构建大模型训练所需数据集的通用数据处理流程（Data pipelines)的相关资料极为稀少。本文主要介绍了基于Common Crawl数据集的数据处理流程。首先,文章概述了Common Crawl的不同数据格式WARC、WAT和WET的区别及应用场景。然后,文章详细...

编者按：随着对大语言模型（LLM）评估领域的深入研究，我们更加清楚地认识到全面理解评估过程中的问题对于有效评估LLM至关重要。本文探讨了机器学习模型评估中出现的常见问题，并深入研究了LLM对模型评估领域带来的重大挑战。在评估方法方面，我们将其划分为直接评估指标、基于辅助模型的评估和基于模型的评估。本文还强...

编者按：在实际部署大模型的过程中可能会面临资源限制的问题。通过轻量化大模型微调技术，可以将大型预训练语言模型适配到特定领域、特定任务，并减小其模型尺寸和计算量需求，提高性能和效率。在上一篇文章中，我们分享了大语言模型的主要微调技术总览。接下来，本文将介绍轻量化大模型微调技术，重点关注Prompt Tuning...

编者按：随着大规模预训练模型的发展和应用，大模型微调技术已经在很多领域都有了突破性的进展，并推动了人工智能技术的发展与应用。本文会简要介绍上下文学习（in-context learning）的含义，并介绍对LLMs进行微调的各种可行方式。还能够帮助我们了解如何选择大语言模型的微调方法。快快阅读此文，开启一趟大模型微调学...

编者按：当我们回顾过去十年的人工智能发展历程时，可以看到一场现在还正在进行的变革，对我们的工作方式、商业运营模式和人际交往行为都产生了深远的影响。从2013年的AlexNet到变分自编码器，再到最近的生成式大模型，人工智能技术不断出现的突破性进展推动着整个领域的蓬勃发展。本文将为您深度解读这些关键性技术突破...

编者按：近期几乎每隔一段时间，就有新的大语言模型发布，但是当下仍然没有一个通用的标准来评估这些大型语言模型的质量，我们急需一个可靠的、综合的LLM评估框架。本文说明了为什么我们需要一个全面的大模型评估框架，并介绍了市面上这些现有的评估框架，同时指出这些框架存在的问题，最后说明如何评估大型语言模型（LL...