主要观点：GenAI 驱动的代理解决方案有潜力管理 IT 系统，但 IT 自动化的关键挑战是评估生产前的代理可靠性。文中介绍了 ITBench 这一新型基准测试工具生态系统，旨在解决 IT 自动化的复杂挑战，包括反映真实世界、开放可扩展及自动化评估等方面，还详细阐述了 ITBench 的架构、基准测试场景、代理、自动化服务器和排行榜等关键组件，最后展望了未来并提供了学习资源。

关键信息：

• ITBench 是用于评估 IT 自动化中代理的基准测试框架，包含基线代理、度量指标和结果等。
• 其架构涵盖代理、场景规范、环境设置自动化等，具有反映真实世界、开放可扩展和自动化评估等能力。
• 初始发布的 ITBench 预填充了 94 个场景和 3 个 AI 代理，支持两种注册阶段和 API 及 UI 接口。
• ITBench 排行榜用于促进可重复性和比较分析，开源了部分场景和基线代理。

重要细节：

• SRE 基准场景基于 IBM SaaS 产品中的真实事件，CISO 基于 CIS 基准要求，FinOps 由 FinOps Foundation 确定关键业务需求。
• 环境设置代表操作测试床，通过 API 观察和修改环境状态，ITBench 会自动实例化测试床并引入问题触发事件。
• 基线代理使用先进技术，可配置使用多种 LLM，通过 CrewAI 和 LangGraph 创建和管理。
• 基准注册阶段包括场景和任务评估指标注册，代理注册阶段用户注册并选择代理及基准。
• 代理基准测试过程包括获取基准场景、设置环境、注入故障、监测状态、报告完成和评估等步骤。
• 排行榜提供性能指标和评分方法，开源部分场景帮助社区熟悉 ITBench。
• 未来将呈现用户体验及开源代理的进化。学习资源包括开源 Git 仓库文档等。