Wealthsimple 如何利用生成式 AI 提升生产力

在 QCon SF 2024 上，Mandy Gu 分享了加拿大金融科技公司 Wealthsimple 如何通过生成式 AI 提升生产力的经验。她的演讲聚焦于 Wealthsimple 的生成式 AI 工具套件的开发与演变，以及公司如何跨越“幻灭低谷”实现生产力提升。

背景与动机

Mandy Gu 是 Wealthsimple 的高级软件开发经理，她回顾了公司在过去两年中的大型语言模型（LLM）发展历程。Wealthsimple 的主要目标是构建一个 LLM 网关，供员工使用。这一举措的动机在于为员工提供“护栏”，尤其是防止个人身份信息（PII）泄露。她提到了三星员工因使用 ChatGPT 而意外泄露敏感数据的案例，强调了这一需求的重要性。

LLM 网关的初始设计与推广

Wealthsimple 最初推出的 LLM 网关是作为商业 LLM（如 ChatGPT）的代理，并带有审计跟踪功能，以监控发送的数据及其发送者。为了推动员工采用这一网关，公司采取了“胡萝卜加大棒”的策略：

• 胡萝卜：为开发者提供便利功能，如实现 LLM API 的重试逻辑，并成功提高了集体 API 速率限制。此外，公司支付了商业 API 费用，使员工可以免费使用。
• 大棒：引入了“提醒”功能，自动向绕过网关的用户发送 Slack 通知。

2023 年的功能扩展

在 2023 年，Wealthsimple 团队为 LLM 网关添加了多项功能：

1. 自动 PII 脱敏：减少敏感信息泄露的风险。
2. 自托管：支持较小的开源 LLM（如 Llama 和 Mistral）以及 OpenAI 的开源语音识别模型 Whisper。
3. 检索增强生成（RAG）：将公司知识库导入向量数据库。
4. Boosterpack 工具：为员工提供个人助理，支持个性化的私人知识库和全公司共享的知识库。

2024 年的战略调整

进入 2024 年，Wealthsimple 团队意识到他们在 LLM “炒作周期”中达到了低谷，并开始重新思考策略，更加注重业务对齐。这一转变带来了工具上的几项调整：

1. 移除“提醒”功能：发现其对用户行为影响甚微。
2. 多模态支持：允许用户在与 LLM 聊天时上传 PDF 和图像。
3. 构建与购买策略的重新评估：开始采用 Amazon Bedrock 作为部分功能的解决方案。

使用情况与经验教训

Gu 分享了 Wealthsimple 的 LLM 使用数据：

• 使用类别：约 40% 用于代码生成，30% 用于内容生成，27% 用于信息检索。
• 网关使用率：约 80% 的 LLM 使用通过公司网关，每月约有 50% 的员工使用。
• 用户偏好：用户倾向于使用单一工具，且工具在“工作场景中”最具价值。
• 生产力提升：几乎所有使用过这些工具的员工都表示其生产力有所提升。

总结

Wealthsimple 通过构建 LLM 网关并不断迭代优化，成功跨越了生成式 AI 的“幻灭低谷”，显著提升了员工的生产力。他们的经验表明，合理的策略调整和用户需求导向是推动技术应用成功的关键。