编者按：近期，如何通过 Prompt Engineering 最大程度发挥大模型的潜力已成为一个热点话题。人们越来越关注如何通过 Prompt Engineering 技术低成本地用好大模型。今天我们推荐的这篇文章，作者认为 Prompt Engineering 需要结合艺术与科学，需要在理解技术背景的同时，发挥创造力和战略思维。本系列文章详细介绍了作者...

编者按：近期，如何通过 Prompt Engineering 最大程度发挥大模型的潜力已成为一个热点话题。人们越来越关注如何通过 Prompt Engineering 技术低成本地用好大模型。今天我们推荐的这篇文章，作者认为 Prompt Engineering 是一门融合了艺术和科学的学科，需要在理解技术背景的同时，发挥创造力和战略思维。本系列文章详细...

编者按：“Prompt Engineering”是否已经过时？模型本身的能力是否已经足够，不再需要特意设计 prompt？我们今天为大家带来的文章，作者认为 Prompt Engineering 不会过时，相反随着模型能力的增强，编写高质量 prompt 的重要性也将继续增加。文章详细论点归纳：(1)大语言模型应被视为操作系统的内核，而 prompt 是调用其...

编者按：最近，混合专家(Mixture of Experts,MoE)这种模型设计策略展现出了卓越的语言理解能力，如何在此基础上进一步提升 MoE 模型的性能成为业界热点。本文作者使用一种名为 QLoRA 的方法，通过量化和 LoRA 技术对 MoE 模型 Mixtral-8x7B 进行微调，以期大幅提高其性能。作者详细阐明这种方法的诸多优势，包括显著增强...

编者按： 随着大语言模型(LLM)在 Chatbots 领域的广泛应用，如何有效评估这些基于 LLM 的 Chatbots 的质量变得日益重要，这也是一个极具挑战性的问题。本文作者认为可以从质性评估（qualitative）和通过程序评估（programmatic）这两个维度对基于 LLM 的 Chatbots 进行评估。作者详细探讨了以下几个方面的内容：(1) 质性...

编者按： 如今，大模型及相关的生成式人工智能技术已经成为科技产业变革的新焦点，但大模型存在一些风险（容易产生偏见内容、虚假信息），其行为难以预测和控制。因此，如何持续监控和评估大模型行为以降低这些风险成为当下产学研各界的研究难点。本文作者通过分析 ChatGPT 在 35 天内对一组固定 prompt 的回答，探索了 ...

编者按： 最近，随着 ChatGPT 的出现，很多人认为人工智能领域进入了大探索时代。然而这仅仅只是生成式 AI 发展的第一幕。我们今天要给大家带来的这篇文章认为，生成式 AI 已经进入第二幕，即整合时代，不同系统和企业之间将出现广泛合作，以定制解决方案将 AI 能力深度嵌入各行各业。文章详细阐述了第二幕的几个特征：(...

编者按： 检索增强生成(RAG)系统最近备受关注，ChatGPT的火爆更让这类系统成为广泛讨论的热点。我们今天为大家带来的这篇文章，作者Matt Ambrogi的核心观点是：构建一个基本可用的RAG系统非常简单，但要使其达到实际生产可用的程度则异常困难，需要我们投入大量精力。为此，作者详细介绍了10种策略，包括清洗数据、尝试...

编者按： 如今传统的单机单卡模式已经无法满足超大模型进行训练的要求，如何更好地、更轻松地利用多个 GPU 资源进行模型训练成为了人工智能领域的热门话题。我们今天为大家带来的这篇文章详细介绍了一种名为 DDP(Distributed Data Parallel)的并行训练技术，作者认为这项技术既高效又易于实现。文章要点如下：(1)DDP 的...

编者按： 近日，美国科技巨头 Google 宣布推出其认为规模最大、功能最强大的人工智能模型 Gemini，这种技术能够处理视频、音频和文本等不同内容形式的信息。那么机器学习模型与人类智能相比，谁的学习效率高？ 许多人认为，人类大脑在学习效率上要远远优于我们目前训练的任何机器学习模型。面对这样的观点，本文作者进行...

编者按：近年来，强化学习在游戏和机器人控制等领域取得了较大的进步。如何设计一种强化学习算法，使机器人或 Agent 能够在复杂环境中学习最优策略（Optimal Policy ）并作出最优的决策，这成为一个重要课题。我们今天为大家带来的这篇文章，作者指出可以通过设计并训练 Q-learning 算法来解决强化学习中的决策问题。作...

编者按：近年来，深度学习应用日益广泛，其需求也在快速增长。那么，我们该如何选择合适的 GPU 来获得最优的训练和推理性能呢？今天，我们为大家带来的这篇文章，作者的核心观点是：Tensor Core、内存带宽和内存层次结构是影响 GPU 深度学习性能的几个最关键因素。作者详细解析了矩阵乘法运算在深度学习中的重要性，以及...

编者按：近年来，人工智能技术飞速发展，尤其是大型语言模型的问世，让 AI 写作、聊天等能力有了质的飞跃。如何更好地理解和利用这些生成式 AI，成为许多开发者和用户关心的问题。今天，我们推出的这篇文章有助于读者深入了解大语言模型的工作原理。作者指出，大语言模型的核心在于将文本转化为数字表征，这就需要介绍 t...

编者按：今年以来，大语言模型（LLM）在消费者(2C)市场崭露头角，同时也吸引了大量企业的关注。但是直接将这些面向消费者的模型引入企业环境，可能会面临一些风险。今天我们为大家带来的这篇文章，作者认为企业环境与消费者环境在数据方面存在着重要的差异，如果不认识到这些差异，面向企业环境的 LLM 项目就可能面临拖...

编者按：我们如何才能更好地控制大模型的输出?本文将介绍几个关键参数，帮助读者更好地理解和运用 temperature、top-p、top-k、frequency penalty 和 presence penalty 等常见参数，以优化语言模型的生成效果。文章详细解释了这些参数的作用机制以及如何在质量与多样性之间进行权衡。提高 temperature 可以增加多样性但...

编者按：随着互联网内容数量的急剧增长，个性化推荐已成为各大科技公司的核心竞争力之一。那么，如何构建一个可靠、高效的基于嵌入技术的推荐系统，使其能够在实际生产环境中正常运行呢？这是所有从业者都关心的问题。本文是Embedding技术与应用的最后一篇，探析 Embedding 应用工程的文章。作者认为，要让一个推荐系统...

编者按：Transformers凭借其卓越的性能，已经成为自然语言处理领域的代表性模型架构。但是Transformers的内在机制却比较复杂，对许多读者来说可能还存在一定的难度。本系列对 Transformer各组件进行逐一剖析，我们可以更直观地理解这个模型架构的整体运行逻辑。本篇文章是《轻松理解Transformers》系列的最后一篇，主要...

编者按： IDP开启Embedding系列专栏，力图详细介绍Embedding的发展史、主要技术和应用。本文是《Embedding技术与应用系列》的第三篇，重点介绍 嵌入技术在生产环境中的应用效果到底如何。文章作者认为，嵌入技术可以有效地表示用户兴趣偏好，帮助推荐系统进行个性化内容推荐。作者详细分析了Pinterest、YouTube、Google ...

编者按：随着人工智能技术的不断发展Transformer架构已经成为了当今最为热门的话题之一。前馈层作为Transformer架构中的重要组成部分，其作用和特点备受关注。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解Transformers中的前馈层。本文是Transformers系列的第三篇。作者的观点是：前馈层在Transformer架构中...

编者按：随着人工智能技术的不断发展，Transformers 模型架构已成为自然语言处理领域的重要基石。然而，许多人对其内部工作机制仍然感到困惑。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解 Transformers 中最核心的 Attention 机制。本文是Transformers系列的第二篇。作者的核心观点是：Attention 机制是 Tr...

编者按：Transformers 是人工智能领域近年来最引人瞩目的技术之一，它为语言生成模型的发展做出了巨大的贡献。随着大语言模型（LLM）的兴起，公众对其背后的技术原理也越来越感兴趣。但是由于Transformers本身具有一定的复杂性，想要真正理解其中的原理并不容易。今天，我们开始为大家带来了一系列以通俗易懂的语言解释T...

编者按：目前大模型仍然存在一个非常致命的缺陷——大模型的“幻觉”（Hallucination）问题。为什么 LLM 会出现幻觉？如何缓解这种情况？使用的数据集对此现象的影响几何？今天为大家带来的这篇文章将一一解答。作者首先分析了LLM中出现幻觉的原因，主要是由于训练数据的压缩以及信息的不一致、受限或过时造成的。之后，作者...

编者按：相信很多人都对Chatbots背后的技术原理很感兴趣，其实Chatbots并非通过“魔法”与我们交流，而是依靠一种被称为检索增强生成（RAG）的技术。文章详细梳理了 RAG 技术的具体实现原理。首先，RAG 将用户输入的问题与知识库中的私有数据进行匹配，获取相关知识片段。然后，通过预训练的大语言模型，用提取到的知识片...

编者按：IDP开启Embedding系列专栏，详细介绍Embedding的发展史、主要技术和应用。本文是《Embedding技术与应用系列》的第二篇，重点介绍神经网络的发展历程及其技术架构，剖析了嵌入技术与这些神经网络（Transformer、BERT和GPT等）的关系。正如OpenAI去年年底推出的ChatGPT在对话领域的重要地位，嵌入技术正在成为人工...

编者按：嵌入(Embedding)是机器学习中一种将高维稀疏向量转换为低维稠密向量的技术。其通常用于处理自然语言、图像等高维离散数据。嵌入能够有效地解决维度灾难问题，减少存储和计算成本，同时提高模型的表达能力。我们还可以通过得到的嵌入向量进行语义相似度计算、推荐系统、分类任务等多种应用。嵌入还可以用于处理非...

编者按：在之前的系列文章中，我们介绍了大模型的原理和微调落地的理论方法。本期文章，我们将以实际场景为例，详细介绍微调的实践流程和相关代码。作者详细介绍了如何使用 QLoRA 技术针对 Falcon-7B 大语言模型进行微调，使之在消费级 GPU 上进行微调而不会出现out of memory（内存不足错误），从而创造一个能够准确、...

编者按：随着大语言模型(LLM)的迅速发展，越来越多团队希望针对特定领域进行模型微调。但是实践运用中总是存在一些困难，直接应用并不总是能达到理想效果。本文着重探讨了三个关键问题:利用强大模型(如ChatGPT)的输出结果来微调较弱模型是否有效？如何选择是采用低成本的上下文学习还是对模型进行微调？如何处理超过模型...

编者按：随着大语言模型的广泛应用，如何存储和高效检索这些模型产生的大量向量表示成为一个较为关键的问题。本文深入探讨了向量数据库在提升语言模型应用性能方面的作用，并介绍了不同类型向量数据库的特点。本文以简明扼要的方式全面概述了向量数据库的工作机制、应用场景和评估方法，对于在生产环境中应用语言模型的...

编者按：8月29日凌晨，OpenAI在官网宣布，推出企业版ChatGPT（ChatGPT Enterprise）。前不久，OpenAI又刚刚发布了针对企业的GPT-3.5 Turbo微调功能。因而引发了一场热烈的讨论——是否仍需要私有化的大模型？我们今天为大家带来的文章，作者探讨了与仅通过 OpenAI 等公司的 API 使用 LLM 相比，私有化部署大模型的优势。有...

编者按：随着大语言模型在自然语言处理领域的广泛应用，如何从人类反馈进行强化学习（RLHF）已成为一个重要的技术挑战。并且RLHF需要大量高质量的人工数据标注，这是一个非常费力的过程。本文作者在数据标注领域具有丰富经验，他在本文深入探讨了RLHF过程中有关数据标注的关键问题。作者首先介绍了数据标注的基本要素，...