研究概述

微软、麻省理工学院、普林斯顿大学和宾夕法尼亚大学沃顿商学院的研究人员近期发表了一项研究，表明使用GitHub Copilot能够显著提高开发者的生产力。研究团队通过三项随机对照试验（RCT），涉及超过4,000名开发者，发现使用Copilot的开发者的生产力平均提升了26%。

研究方法与实验设计

研究在微软、埃森哲和一家匿名的财富100强电子制造公司进行，共涉及4,867名开发者。研究人员每周测量开发者的拉取请求（pull requests）、提交（commits）和代码构建（code builds）数量。实验结果显示，使用Copilot的开发者每周完成的拉取请求数量平均增加了26.08%。此外，研究还发现，经验较少的开发者从Copilot中获益更多。

关键发现

1. 生产力提升：使用Copilot的开发者在拉取请求数量上显著增加，平均提升26.08%。
2. 开发者经验的影响：经验较少的开发者从Copilot中获得的收益更大，而经验丰富的开发者在生产力上未见显著提升。
3. 工具使用情况：短期任职和初级开发者更倾向于采用Copilot，并且更有可能持续使用超过一个月。

实验细节

实验在2022年和2023年进行，使用了基于GPT-3.5的Copilot版本。在微软和埃森哲，开发者被随机选中使用Copilot，而在匿名公司中，所有开发者最终都获得了访问权限，但起始日期是随机分配的。研究人员不仅跟踪了开发者的生产力指标，还监测了Copilot的采用和使用情况。

研究意义

该研究填补了生成式AI在实际工作环境中影响的实验研究空白。研究团队表示，他们的工作补充了实验室实验和观察性研究的文献，为进一步探讨生成式AI在职场中的应用提供了实证依据。

业界反馈

沃顿商学院教授Ethan Mollick在X平台上分享了研究结果，强调随机对照试验证明了AI在编码、管理、创业和写作等领域带来的显著绩效提升。在Hacker News的讨论中，多位用户表示研究结果与他们使用Copilot的体验一致。有用户指出，经验丰富的开发者并未在生产力上获得显著提升，而Copilot的生成代码有时可能存在细微错误，需要经验丰富的开发者进行调整。

相关研究

此前，InfoQ报道了Upwork研究机构的一项调查，显示多数受访员工认为生成式AI降低了他们的生产力。然而，eBay的另一项研究表明，GitHub Copilot确实提高了开发者的生产力。这些研究共同揭示了生成式AI对员工生产力影响的复杂性和多样性。