主要观点:2025 年春季 METR 实验研究了 AI 工具对成熟项目中经验丰富开发者的生产力影响,结果显示生产力下降 19%,而非预期的提高,尽管一些轶事报告称 AI 提高了生产力。
关键信息:
- 研究通过招募 16 名开发者,将任务随机分为“允许使用 AI”和“不允许使用 AI”两类,记录开发者完成任务的时间等数据进行分析。
- 排除了多种可能影响结果的因素,如约翰·亨利效应、AI 未充分使用、作弊等。
- 可能导致生产力下降的因素包括 AI 过度使用、对 AI 工具经验不足、任务范围差异等,但研究作者认为这些因素并非主要原因。
- 最大问题是 AI 生成的代码未达到开源项目的高标准,开发者需花费大量时间审查和修改,导致整体效率降低。
- 与其他关于 AI 生产力影响的研究对比,此研究对象为经验丰富的开发者在成熟项目中,结果有所不同。
重要细节: - 开发者平均完成 15 个 1 - 2 小时的任务,实验未做到“盲法”,但研究人员排除了多种替代解释。
- 开发者在“允许使用 AI”任务中平均花费更多时间在等待 AI、审查输出等方面,虽增加了代码行数但并非因范围蔓延。
- 不同研究中 AI 在编码基准测试中的表现与实际生产力影响不同,开源项目的特点如代码库成熟、风格指南严格等影响 AI 工具的效用。
- AI 工具在不断改进,开发者也会更有效地使用它们,未来情况可能会改变,但目前研究结果表明 AI 对生产力的影响并非如预期乐观。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。