主要观点：AI 公司常指出大语言模型可提高程序员和软件开发人员的生产力和效率，但一项新的随机对照试验发现有经验的开源编码员使用当前 AI 工具时编码效率降低。
关键信息：

• 研究招募 16 名有多年经验的软件开发人员，在 246 个维护开源仓库的任务中，一半使用 AI 工具，一半不使用，以预期时间作为任务难度平衡指标，评估修复拉取请求的时间。
• 专家和开发者预期使用 AI 工具可节省时间但未实现，实际使用 AI 辅助的任务比不使用 AI 工具的任务慢 19%。
• 通过分析开发者屏幕记录数据，发现 AI 工具虽减少编码等时间，但因需审查 AI 输出等时间增加，开发者接受 AI 生成代码的比例小于 44%，9%的任务时间用于审查。
• METR 的结果与其他证明使用 AI 工具可提高编码效率的基准和实验相矛盾，现有编码基准多针对合成任务，难以与真实代码库工作比较，且开发者认为代码库的复杂性限制了 AI 的帮助，人类的熟悉度有助于编码效率。
  重要细节：
• 研究由 METR 进行，涉及 Cursor Pro 和 Anthropic 的 Claude 等 AI 工具。
• 图表展示了相关时间数据对比等信息。
• 研究人员认为当前 AI 编码工具在高质量标准或有许多隐性要求的环境中不适用，但进一步改进可能带来未来效率提升。