微软与GitHub研究人员探讨AI产品副驾驶的开发挑战与机遇

微软和GitHub的研究人员对构建AI驱动的产品副驾驶（Copilot）所面临的挑战、机遇和需求进行了深入研究。研究包括对26名负责开发这些高级工具的专业软件工程师的访谈。

主要挑战

1. 多数据源和提示的协调：整合多个数据源和提示可能增加失败案例的风险，而测试大型语言模型（LLMs）由于其固有的变异性而变得困难。
2. 最佳实践的跟进：开发人员难以跟上这一快速发展的领域的最佳实践，常常依赖社交媒体或学术论文获取指导。
3. 安全、隐私和合规性：这些是主要关注点，需要谨慎管理以避免潜在的损害或违规。

开发者的需求

• 一站式集成平台：开发者希望有一个快速入手的平台，能够从实验环境过渡到最小可行产品（MVP），并高效地将AI组件集成到现有代码库中。
• 提示工程工具：开发者需要一个提示代码库或“工具箱”，以及能够快速反馈的提示检查工具。
• 提示更改的效果追踪：追踪提示更改的效果对开发者具有重要价值。

提示工程的挑战

提示工程是创建触发AI模型推理过程的提示的过程。由于大型语言模型的响应往往非常脆弱，开发者需要通过提示进行行为控制和引导，这使得提示工程更像是一门艺术而非科学，开发者需要通过试错过程进行导航，这非常耗时。

测试基准的问题

生成式模型（如LLMs）的测试基准编写困难，因为每个响应可能与上一个不同，每个测试案例都像是一个不稳定的测试。一些参与者表示，他们需要多次运行测试，而如果没有合适的工具，实验将非常耗时。

安全与隐私问题

参与者对将AI集成到产品中的安全、隐私和合规性问题表示担忧。例如，有人提到：“我们希望这些技术影响真实的人吗？这些技术运行在核电站中。”这突显了在没有适当保障措施的情况下使用此类技术的潜在风险。

学习新技能的需求

开发者需要不断更新知识，甚至不知道应该将学习新技能或工具的重点放在哪里。一位参与者表示：“这对我们来说是全新的。我们正在边学边做。没有特定的路径来做正确的事情！”

微软Copilot的更新

微软最近对其Copilot进行了设计更改和升级。例如，所有英语国家的Copilot用户现在可以在聊天过程中编辑图像。然而，一些Copilot Pro订阅用户报告了性能问题。

开发者资源

对这项研究感兴趣的开发者可以阅读摘要或完整文章。