主要观点：LLM 代理正涌入各行业，平台工程师常面临关于其部署等问题，实则架构常非问题，而是平台工具等方面。需关注其从试验场到生产环境的转变及平台团队应做之事。
关键信息：

• LLM 代理区分于传统服务架构，以概率、文本驱动为核心。
• 平台易在可观测性、安全性、执行流方面出问题，如观测需语义日志等，安全需网关控制，执行需重新思考基础设施。
• 目前不应全面重写平台，而应确保边界安全、支持安全探索等。
• Junction Labs 正在构建服务网格平台，帮助团队快速且安全地推进 LLM 代理相关工作。
  重要细节：
• 定义 LLM 代理时，区分了工作流和代理，多数代理系统模糊两者界限。
• 传统服务失败可重放请求，而代理因上下文变化输出不同，传统观测工具不足。
• REST API 有严格契约，自然语言无，需网关控制代理输出。
• LLM 代理打破交互和批处理的软件系统模式，需重新思考执行基础设施。
• 工具和最佳实践变化快，不应急于重写平台，而应逐步推进。