在有经验的开发者参与的实地研究中,AI 编码工具表现不佳

主要观点:一项近期研究对 AI 工具加速软件开发的普遍看法提出挑战,通过对经验丰富的开源开发者进行随机对照试验,发现 AI 辅助编程导致任务完成时间增加 19%,虽开发者认为工作更快但实际更慢,揭示了 AI 感知承诺与实际影响之间的潜在差距。
关键信息

  • 研究由 METR 进行,对使用 AI 增强开发工具的开发者进行试验。
  • 招募 16 名平均有 5 年经验的专业开发者,在真实开源仓库中完成任务,随机分配有无 AI 辅助。
  • 收集客观和主观指标,包括任务时长、代码质量和开发者感知等。
  • 结果显示 AI 辅助开发者完成任务时间更长,归因于提示、审查等因素。
  • 强调这是“感知差距”,提醒不要过度概括研究结果,未来系统可能克服挑战。
    重要细节
  • 试验使用 Cursor Pro 代码编辑器和 Claude 3.5/3.7 Sonnet,控制组被禁止使用 AI 工具。
  • 任务共 246 个,每个开发者最多两小时,研究者通过 140 多小时屏幕录制确定导致速度变慢的因素。
  • 开发者和专家在任务前均预测 AI 能提高约 40%效率,实际却相反。
  • 研究人员指出未来系统可能通过改进技术实现真正的生产力提升,其研究结果是快速发展环境中的一个数据点,仍需严格的实际评估。
阅读 653
0 条评论