Ines Montani在QCon London的演讲总结

在QCon London的演讲中，Ines Montani（explosion.ai的联合创始人兼CEO，spaCy的开发者）指出，规模经济不足以在AI领域形成垄断，开源技术和模型将使每个人都能跟上生成式AI革命。

开源的优势

Montani首先通过举手调查发现，绝大多数观众都在使用开源软件，这证明了开源的普及性。她强调了开源软件的多个优点，特别是其零成本的特性。

开源模型的分类

机器学习不仅仅涉及代码，还包括数据、权重等。开源模型生态系统不断扩大，主要分为三类：

1. 任务特定模型：专注于单一领域，如spaCy、DaCy、Sci、Stanza和Hugging Face模型。这些模型通常较小、快速且运行成本低，但泛化能力较差，需要额外数据进行微调。
2. 编码器模型：比任务特定模型稍大，但仍需微调，如Bert、Electra和T5。这些模型泛化能力更好，但仍需要数据来微调以满足特定需求。
3. 大型生成模型：由编码器模型发展而来，如Falcon、Mixtral、Qwen、Smaug等。这些模型创新简单：使模型变得更大。它们需要更多资源，部署难度较大。

编码器与生成模型的区别

编码器模型有任务特定的网络，输出结构化的领域特定数据，而生成模型依赖提示来缩小问题范围，输出需要解析的自由文本。

大公司的规模优势

大科技公司的规模优势包括获取人才、批发价格的计算资源等。在AI领域，批处理请求的能力尤为重要，因为GPU的并行化能力强大。批处理类似于火车时刻表：在小城镇，火车不可能每五分钟一班，而在伦敦，火车和地铁一直在运行，因为总有足够的人。

应用与模型的分离

Montani强调了理解面向人类的应用和面向机器的模型之间的区别的重要性。面向人类的应用是普通应用程序，将最终用户的请求传递给模型，确保输出安全。通过将产品的这两层解耦，公司可以随时更换大型生成模型。收集的数据主要用于改进面向人类的应用（如UX/UI、功能、防护栏等），而不是用于训练或调整模型。

生成模型的常见任务

大型生成模型的常见任务包括生成任务（如总结、推理、问题解决、问答、改写、风格转换）和预测任务（如文本分类、实体识别、关系提取、语义解析等）。

问题定义的演变

我们正朝着“如何告诉计算机做什么”的方向发展。从编写规则或指令的“编程空间”，到“机器学习时代”的“通过示例编程”，再到“上下文学习”中使用规则、指令和示例的混合。

从原型到生产

通过知识蒸馏和迁移学习，工程师可以迭代地演进解决方案，使其尽可能准确和高效。这种方法具有类似开源软件开发的多重优点：模块化、无供应商锁定、可测试、可扩展、灵活、高效、私有、可编程、可预测和透明。

避免垄断

Montani总结指出，AI领域唯一可行的垄断策略是监管（“你拥有垄断是因为政府这么说”）。为了避免这种情况，我们必须超越游说团体，确保我们监管的是用例而非技术（面向人类或机器）。否则，我们可能会赠予某人垄断权。

其他垄断策略不适用

其他垄断策略，如规模经济或网络效应的复合效应，或资源控制（如“没有矿山或电话线”），在这种情况下不适用。