从 ReAct 到 Multi-Agent

引言

在大语言模型（LLM）的浪潮下，“Agent”成为一个炙手可热的关键词。
所谓 LLM Agent，就是让语言模型不仅能对话，还能自主决策、调用工具、执行任务。过去两年，围绕 Agent 的研究涌现了多个经典框架：ReAct、Plan-Act-Reflect、Toolformer、Multi-Agent Collaboration 等。

如果你在研究 Agent 系统架构，会发现它们之间有着明显的承接关系：

• ReAct 是工具调用的基础模式
• Plan-Act-Reflect 在此基础上加入了反思能力
• Toolformer 探索了工具调用的自动化学习
• Multi-Agent Collaboration 则把“工具”抽象为“Agent”，引入多智能体协作

这篇文章，我们就来系统梳理这些框架的背景、特点、应用场景，以及现代 Agent 设计的融合趋势，最后探讨理想的 Agent 范式。

1. ReAct：Reason + Act 的开端

发源背景

• 提出时间：2022 年初
• 提出机构：Google Research + Princeton University
• 论文标题：ReAct: Synergizing Reasoning and Acting in Language Models
• 初衷：让 LLM 在推理过程中可以即时调用外部工具（如搜索、计算器），并根据工具返回的结果继续推理。

功能特点

• 核心循环：

  1. Reason：模型进行推理，决定下一步动作
  2. Act：调用某个工具
  3. Observation：获取工具返回的结果
  4. 重复直到任务完成

• 优点：

  • 工具调用灵活
  • 推理与行动交替，适合动态任务

• 缺点：

  • 所有逻辑集中在单个模型的 Prompt 中，复杂任务会让 Prompt 冗长
  • 工具选择依赖模型即时判断，缺乏全局规划

应用场景

• 问答系统（调用搜索引擎）
• 数据计算（调用计算器、代码执行环境）
• API交互（天气、股票查询）

2. Plan-Act-Reflect：加入反思的闭环

Reflexion

• 提出时间：2023 年
• 核心思想：让 Agent 在任务失败后进行详细的自我回顾，记录错误原因，并在下一次尝试中避免相同错误

• 机制：

  • 保留历史决策轨迹（思维链）
  • 分析失败原因（如工具选择不当、信息理解错误）
  • 生成新的执行策略

Self-Refine

• 提出时间：2023 年
• 核心思想：模型不仅反思，还能主动生成改进版本的输出

• 机制：

  1. 生成初稿输出
  2. 对输出进行批评与评价
  3. 根据批评生成改进稿

• 优势：

  • 输出质量逐步提升
  • 适合创作类任务（代码、文案、设计方案）

发源背景

• 提出时间：2022-2023 年间，多个研究团队在 ReAct 思路上扩展

• 代表论文/项目：

  • Reflexion（2023）
  • LangChain 的 Plan-And-Execute 模式
• 初衷：让 Agent 不仅能执行，还能在执行后反思错误并调整策略。

功能特点

• 三阶段：

  1. Plan：制定任务执行计划（可能是多步）
  2. Act：按计划调用工具或执行操作
  3. Reflect：对执行结果进行评估，必要时调整计划

• 优点：

  • 引入元认知（Meta-cognition），能自我纠错
  • 适合长任务和不确定性高的任务

• 缺点：

  • 增加了执行时间和计算成本
  • 反思质量依赖模型的自我评估能力

应用场景

• 复杂流程自动化（如法律文档生成）
• 多步数据分析任务
• 需要高准确率的领域（医学、金融）

3. Toolformer：让模型学会自己调用工具

发源背景

• 提出时间：2023 年初
• 提出机构：Meta AI
• 论文标题：Toolformer: Language Models Can Teach Themselves to Use Tools
• 初衷：让模型在训练过程中自动学习何时以及如何调用工具，而不是人工硬编码。

功能特点

• 核心机制：

  • 使用少量人工示例，模型学会在生成文本中插入工具调用标记
  • 在推理过程中，模型自动决定是否调用工具，并利用工具返回的结果继续生成

• 优点：

  • 工具调用更自然，融入生成过程
  • 可扩展到多种工具（搜索、翻译、计算等）

• 缺点：

  • 训练过程复杂，需要额外数据
  • 工具调用的准确性依赖训练质量

应用场景

• 多工具混合任务（搜索+计算+翻译）
• 无需显式提示的工具调用
• 低延迟的在线推理任务

4. Multi-Agent Collaboration：从工具到 Agent 的升级

发源背景

• 提出时间：2023-2024 年
• 来源：AI Orchestration / Multi-Agent Systems 领域的结合
• 初衷：将工具抽象为拥有职责的“Agent”，并设计多智能体协作架构。

功能特点

• 核心角色：

  • Planner：任务拆解
  • Dispatcher：匹配合适的 Agent
  • Executor Agent：执行任务（内部可能用 ReAct 或 Toolformer）
  • Reviewer：审查结果
  • Communicator：与用户交互

• 优点：

  • 职责清晰，支持跨团队开发
  • Agent 可动态加载/卸载
  • 可混合不同类型的 Agent（Prompt型、代码型、MCP型）

• 缺点：

  • 架构复杂，需要编排和通信机制
  • 协作成本高

应用场景

• 企业级 AI 工作流（市场分析、内容生成、数据可视化）
• 多领域任务（法律+金融+技术）
• 跨平台 Agent 网络

5. 技术演进脉络

可以用一张关系图表示它们的承接关系：

工具调用阶段：
    ReAct —— 单智能体推理+调用工具

增强阶段：
    Plan-Act-Reflect —— 加入计划与反思
    Toolformer —— 模型自主学习工具调用

架构升级阶段：
    Multi-Agent Collaboration —— 多智能体协作，Agent内部可用ReAct/Toolformer

总结：

• ReAct 是基础模式：单模型循环调用工具
• Plan-Act-Reflect 是思维增强：加入计划与反思闭环
• Toolformer 是调用自动化：模型学会自主插入工具调用
• Multi-Agent Collaboration 是架构升级：工具调用抽象为 Agent 协作

---

6. 现代 Agent 框架设计思路

最新的 Agent 系统往往会融合这些特征：

1. 基础能力：在 Agent 内部采用 ReAct 或 Toolformer 管理工具调用
2. 计划与反思：引入 Plan-Act-Reflect 机制提高准确性
3. 多智能体编排：使用 Multi-Agent Collaboration 管理不同职责的 Agent
4. 动态加载：支持运行时添加/移除 Agent
5. 上下文共享：Agent 之间通过共享工作记忆（Shared Memory）协作

---

7. 理想的 Agent 范式

结合上述框架，理想的 Agent 系统应具备：

• 多层结构：

  • 全局编排层：Planner/Dispatcher，负责任务拆解与Agent分配
  • Agent层：每个Agent是职责封装，内部可调用工具
  • 工具层：API/函数/外部服务

• 自主性：

  • Agent 能基于任务目标自主选择工具（Toolformer思想）
  • 能反思并调整策略（Plan-Act-Reflect思想）

• 协作性：

  • 多Agent通过协议协作（Multi-Agent思想）

• 可扩展性：

  • 新Agent/工具可随时接入（动态加载）

• 可控性：

  • 有审查与安全机制，确保结果可靠

---

结语

从 ReAct 的单智能体工具调用，到 Plan-Act-Reflect 的计划与反思，再到 Toolformer 的自动化工具调用，最后到 Multi-Agent Collaboration 的多智能体协作，我们看到了 Agent 技术从“能用工具”到“会规划、会反思、会协作”的演进。

现代 Agent 系统的最佳实践，就是将这些框架的优势融合起来：

在多智能体协作架构中，每个 Agent 内部用 ReAct 或 Toolformer 调用工具，具备 Plan-Act-Reflect 的反思能力，并通过全局编排实现复杂任务的高效执行。

这不仅是技术的进步，也是让 AI 真正走向自主、可靠、可扩展的重要一步。