这是关于 IBM Research 的 ITBench 框架的系列文章的第二篇，主要内容如下：

• 用户体验：用户只需在私有仓库安装 ibm-itbench GitHub 应用，通过表单完成代理注册，即可启动评估，流程便捷，强调“一键式工作流”，通过自动化环境配置等流程消除评估障碍，还支持多种用户需求，包括提供现成代理、自定义代理集成 API、社区场景贡献和研究合作等。
• 重要指标：ITBench 引入反映 IT 运营细微差别的评估标准，如 Pass@1 作为基线，NTAM 评估系统拓扑中的故障诊断，以及运营效率指标如平均诊断时间和平均修复时间，以更全面评估 AI 代理。

• 技术实现：

  • 系统组件：包括 Bench API Server、Bench Runner、Environment、Agent Harness、Agent 和 GitHub Platform 等，在某些场景中 Agent Developer 可自行准备环境和运行 Bench Runner 以确保控制。
  • 基准执行工作流：从代理注册到结果发布，包括创建 GitHub 问题、获取凭证、设置环境、运行 Agent 等多个步骤，单个基准包含多个场景，整个过程自动重复并更新结果。
  • 场景开发：每个任务场景作为容器化单元，实现五个 make 目标以支持自动化，场景开发者基于基准流程构建容器。
  • Agent Harness：作为代理与 Bench API Server 的中间件，通过 YAML 配置文件控制代理行为，用户可构建 Docker 镜像运行 Agent。
  • 可扩展性与社区集成：平台具有模块化设计，支持社区贡献，包括标准化场景规范、新评估指标插件、自定义代理集成配置和场景开发文档等，初始评估结果为各方面提供参考。
• 展望未来：ITBench 的开源模式以社区驱动为平台进化的基础，排行榜促进创新与透明，鼓励协作加速进步。
• 结论：ITBench 是企业 IT 中成熟、可用于生产的 AI 自动化的重要一步，结合严谨评估方法和用户体验，为 AI 代理生态系统填补关键空白，为各方面提供价值，未来依赖于对 AI 实际效果的测量与改进。
• 后续内容：后续文章将提供开源代理生态系统的技术见解，包括各方面的能力、场景等。
  之前文章链接：ITBench, Part 1: Next-Gen Benchmarking for IT Automation Evaluation