极光笔记 | 大语言模型插件

在人工智能领域，大语言模型（LLMs）是根据预训练数据集进行”学习“，获取可以拟合结果的参数，虽然随着参数的增加，模型的功能也会随之增强。但无论专业领域的小模型，还是当下最火、效果最好的大模型，都有一个共同的劣势：无法准确/正确地回答出训练数据集以外（区别于验证集和测试集的新增数据，如实时新闻、未公开的企业信息等）的结果，进而编造答案进行回复，即大模型幻觉问题。

为了解决上述问题，同时避免微调/重新训练带来的成本，LLMs插件应运而生。通过LLMs强大的内容生成能力和上下文理解能力，结合插件提供的数据以及特定功能，不仅拓宽了LLMs的应用领域，还增加了LLMs生成结果的可信度，更好地服务于使用者。

1 插件

插件是一种软件组件，它可以被添加到一个主要的应用程序或系统中，以扩展其功能或提供额外的特性。插件通常被设计成可独立安装和卸载，并且可以与主应用程序进行交互。插件的功能取决于所应用的领域和具体的应用程序，在AIGC快速发展的今天，大语言模型插件异军突起，改变了插件存在的形态，这也是本篇文章重点的研究对象。结合当前大语言模型插件的发展，插件分类如下：

1.1 传统插件

传统插件(Plug-in,又称addin、add-in、addon或add-on,又译外挂)是一种遵循一定规范的应用程序接口编写出来的程序。其只能运行在程序规定的系统平台下（可能同时支持多个平台），而不能脱离指定的平台单独运行，即插件的运行依赖于宿主软件，无差别地启用或禁用插件功能。传统插件可分为浏览器插件和客户端软件插件，传统插件的存在形态如下图所示。

1.2 大语言模型插件

大语言模型插件是随着大语言模型发展而诞生的全新插件。 大语言模型插件的核心是Web API，独立于大语言模型，插件开发过程不受大语言模型的约束，同时没有开发语言的限制，更加通用，只要Web API遵循RESTful相关规则即可。只是在为大语言模型配置插件时遵循配置规则，如原生ChatGPT插件配置遵循OpenAPI格式以及添加相关描述。大语言模型与插件是相对独立的两个部分，大语言模型与插件关系示意如下图所示。

大语言模型是插件的选择器，按需使用插件功能，即只有当用户提供的问题或数据满足插件调用条件时，才会调用插件，不是无差别地使用插件功能，大语言模型插件的工作流程如下图所示。

2 ChatGPT插件

目前最强大的商用大语言模型莫过于OpenAI的大语言模型ChatGPT-3.5/4.0，均支持插件功能（后面统一使用ChatGPT），并且对支持开发者开放了插件开发入口，开发者可以基于自身需求开发Web API作为ChatGPT插件。但是，ChatGPT创建插件的过程比较繁琐，下面以GPTBots插件创建过程作为对比，两者插件创建过程如下图所示（左：ChatGPT创建插件；右：GPTBots创建插件）。

3 GPTBots插件

我们不一样！GPTBots插件应用的技术路线不同于ChatGPT，GPTBots插件融合了ChatGPT插件创建规范（通用的OpenAPI规范）和函数调用功能，这样做有如下优势：

• 开发者只需专注于自身功能接口开发，无需开发额外的接口
• 插件配置遵循OpenAPI规范，开发者可以直接复用面向ChatGPT Web 的插件，一键发布插件至GPTBots
• GPTBots插件自动兼容市面上主流已支持插件能力的LLM，开发者无需再去适配每个LLM

3.1 创建插件

通过上面插件创建过程对比，我们知道，使用GPTBots插件只需四步：开发插件接口、新建插件、配置插件鉴权、添加符合OpenAPI规范的接口配置，其余的交给GPTBots。
（1）开发插件接口
这里与ChatGPT原生方式相同，需要开发者自行开发插件接口，但是，在GPTBots中不需要开发者另行开发插件清单接口、插件接口配置信息接口、插件Logo接口，只需要开发者专注于插件功能接口开发。
（2）新建插件
GPTBots新建插件入口如下图。

（3）配置插件鉴权
GPTBots插件提供三种鉴权方式，即不鉴权(None)、Basic鉴权和Bearer鉴权，配置过程如下图。

（4）添加符合OpenAPI规范的接口配置
完成上述准备工作，最后为插件配置接口规则，即开发者的功能接口，GPTBots采用的接口规则遵循OpenAPI规范，配置说明如下图。

完成插件创建后，可以在“我的插件”中看到已创建成功的插件，同时，GPTBots提供了插件一键发布功能，即将插件发布到插件市场，供其他开发者使用。

综上，GPTBots插件最大程度简化了用户创建和使用插件的流程，极大降低了插件使用门槛。

3.2 插件应用

GPTBots不仅创建插件流程非常简单、对开发者非常友好，使用起来也非常顺手。使用插件前，我们需要为Bot添加插件。以高德天气插件为例，为“天气小精灵”Bot添加插件过程如下：


当我们为“天气小精灵”Bot添加天气插件和搜索插件后，当问题中出现天气和实时信息相关问题时，插件会主动承担内容生产的责任，实测效果如下：

3.3 插件市场

GPTBots官方为广大开发者和用户提供了众多实用的插件，如PDF生成插件、天气插件和搜索插件等等，GPTBots部分插件如下：

4 思考与展望

插件在实际业务应用中，由于LLM每次调用token是有上限的，而插件也不可避免的占用token，这样就导致无法在一次请求调用中提供多个插件备用。或者一个插件协议如果过于复杂，可能导致直接调用失败。

GPTBots平台为了更好解决此类问题，推出了Flow功能。开发者可以在不同的步骤编排多个LLM参与业务处理，每个LLM 可以最多添加3 个插件，这样就很好的解决了插件使用限制的问题，同时通过减少请求上下文内容长度让LLM更加专注，从而提升插件调用成功率。

LLMs插件区别于传统插件，它独立、灵活、自由、功能强大，大语言模型插件的核心是Web API，因此大语言模型插件完全拥抱互联网，同时，没有开发语言“歧视”，无论开发者的语言栈是Python、Java、Go、PHP等，只要可以开发HTTP协议接口，遵循RESTful规则，就可以构建大语言模型插件，相信未来大语言模型插件种类会越来越丰富，功能越来越强大。相对于ChatGPT繁琐的插件创建流程，GPTBots平台简化了插件创建流程，简单、易用、好用，提高插件开发者效率，降低开发者学习成本，未来一定会有越来越多的开发者选择GPTBots平台。