测试 cockpit PR 审查的 sourcery.ai 和 GitHub Copilot

主要观点:Cockpit 团队在 PR 审核上花费大量时间,希望借助 AI 优化,开始评估 sourcery.ai 和 GitHub Copilot 的自动化 PR 审核,初期测试发现 sourcery.ai 和 Copilot 都能发现一些问题,但在 PatternFly 5→6 迁移等项目中,sourcery.ai 大多无用,还产生不少噪声和错误建议,如在一些 PR 中给出错误或无意义的评论,Copilot 也有类似情况,最终团队决定关闭 sourcery.ai,仅在人类认为有用时请求 Copilot 审核,作者个人使用 GitHub Copilot 一年半的经验也表明其在非简单任务上效率不高且可能带来更多麻烦。
关键信息

  • 3 月中旬开始评估 sourcery.ai 和 GitHub Copilot 的 PR 审核。
  • 初始测试 PR 有 4 个 bug,各工具发现不同数量的问题。
  • PatternFly 迁移项目中 sourcery.ai 无用,还产生不良噪声。
  • 团队最终决定关闭 sourcery.ai,仅按需请求 Copilot 审核。
  • 作者使用 GitHub Copilot 一年半,认为其在非简单任务上效率低。
    重要细节
  • sourcery.ai 能发现一些问题,如缺失元素属性等,但在某些项目中表现不佳。
  • 部分 PR 中 sourcery.ai 产生无意义通知,如在storage btrfs usage fix中。
  • Copilot 也有错误建议,如在linux-system-roles PR中。
  • 团队总结认为约一半 AI 审核是噪声,四分之一是无关讨论,其余 50%是有用提示或错误评论。
阅读 10
0 条评论