QCon New York会议：LLM在生产中的应用与未来展望

在最近的QCon New York会议上，举行了一场名为“驾驭未来：LLM在生产中的应用”的专题讨论。讨论由Bozhao (Bo) Yu主持，与会嘉宾包括OpenAI的技术成员Sherwin Wu、DoorDash的高级工程经理Hien Luu，以及Openlayer的联合创始人兼CTO Rishab Ramanathan。讨论围绕大语言模型（LLM）的未来应用、测试与评估、以及相关技术挑战展开。

主要观点

1. LLM的未来应用：

   • Ramanathan预测，LLM的应用将分为两类：低风险场景（如内部文档检索）和高风险场景（如作为“副驾驶”而非完全自主运行）。
   • Luu提到了DoorDash AI负责人最近发布的博客，指出了生成式AI的五大应用领域，并详细阐述了LLM作为数字助理的用例。
   • Wu认为，未来的应用场景将包括调用API的“封闭”基础模型和运行自托管的开源模型。

2. LLMOps与MLOps的关系：

   • Luu认为LLMOps将是MLOps的延伸，强调MLOps的目标是让组织快速、轻松、高效地使用机器学习。
   • Ramanathan同意这一观点，但也指出MLOps中某些部分可能不再重要。

3. ML工作流程的调整：

   • Luu赞扬了开源社区在分布式模型研究方面的努力。
   • Wu强调关注管道的输入（用于微调模型的数据）和输出（模型输出的仔细评估）。
   • Ramanathan再次强调评估的重要性，指出LLM输出的消费者应“深入思考如何测试和评估”。

4. LLM发展的愿望清单：

   • Ramanathan希望像Siri这样的助手能达到ChatGPT的水平。
   • Wu希望在多模态模型和AI安全方面取得更多进展。

5. 观众提问：

   • 关于提示工程（Prompt Engineering）的长期需求，Wu认为至少在五年内仍需要提示工程，而Ramanathan指出已有开源库帮助生成提示。
   • 关于隐私和监管问题，Wu表示OpenAI将遵守法律并努力改进模型，Ramanathan则提到欧盟AI法案要求训练数据集的透明度，但法律条款较为模糊。

关键信息

• LLM应用趋势：封闭模型与开源模型并存。
• 测试与评估：组织需深入思考LLM的测试与评估，强调风险缓解。
• 技术挑战：分布式模型、输入输出管道优化、模型评估。

重要细节

• DoorDash的生成式AI应用领域包括数字助理。
• OpenAI和多模态模型的进展是未来发展的关键。
• 欧盟AI法案对训练数据集的透明度提出了要求。

这场讨论深入探讨了LLM在生产环境中的挑战与机遇，为未来LLM的发展提供了重要的见解。