大模型激增：真的需要这么多吗？

AI领域已转变为全球企业和国家间的竞技场。众多企业意图建立各自的大语言模型。例如，沙特阿拉伯购买了逾3000块H100芯片来培养其语言模型。这种现象引起了业内人士的思考，无论是互联网初创时期还是今日的AI环境，有市场机会的地方必有竞争。随着众多竞争者的进入，AI竞技场更加激烈。

Transformer引领AI新纪元

在2017年，8位谷歌的计算机科学家发布了一篇名为《Attention Is All You Need》的研究论文，标志着Transformer算法的诞生。此篇成果蜚声AI界，为后续的AI浪潮铺路。

以往，机器阅读长篇文字存在巨大挑战，不同于图像识别，人类阅读需要考虑上下文关系理解。

在初始的神经网络处理文本时每个输入是独立的，容易出现误译。直到2014年，计算机科学家伊利亚（Ilya Sutskever）采用RNN（循环神经网络）改进了文本处理效果，推动了谷歌翻译技术的飞跃。

RNN提出了“循环设计”，让每个神经元既接受当前时刻输入信息，也接受上一时刻的输入信息，进而使神经网络具备了“结合上下文”的能力。

循环神经网络，出自知乎《循环神经网络RNN——深度学习第十章》

传统的循环神经网络（RNN）采用顺序计算，虽然它能够考虑上下文信息，但其计算效率并不高，且难以处理大量参数。于是，沙泽尔（Noam Shazeer）和他的团队从2015年开始致力于开发RNN的替代产品。他们的努力结晶即为Transformer。与RNN相比，Transformer带来了两大创新：并行计算的位置编码机制，以及加强的上下文处理能力。

Transformer的成功逐渐成为了自然语言处理（NLP）领域的主流算法。即便是一度为RNN做出贡献的计算机科学家伊利亚（Ilya Sutskever）也转向了Transformer。此后，Transformer成为了大模型研发中的核心技术。

灰色树根为Transformer，图片参考论文地址：https://arxiv.org/abs/2304.13712

随着Transformer的普及，AI研究焦点转向数据工程和模型架构。几乎所有技术先进的公司都开始开发自己的大模型。Semi Analysis预测，OpenAI的技术一旦被开源。其他大型科技公司也很快就能够复制其成功。

大模型竞逐，开源生态兴起

当前，大模型发展呈现白热化趋势。最新数据显示，截止今年7月，国内大模型总数已超过美国。各国都在积极研发，如印度的Bhashini和韩国Naver的HyperClova X。

大模型如今被视为工程问题而非科学难题。随着Transformer算法的发展，只要有足够的资金和计算资源，理论上任何机构都可研发出自己的大模型。但仅有大模型，并不意味着能跻身AI领域的巨头。例如，尽管Falcon模型在某些排名中领先于其他模型，其对于Meta的市场冲击实际上有限。

企业的开源策略旨在分享技术成果，同时也希望获得社区的贡献。活跃的开发者社区已成为开源大模型的核心竞争力。作为例证，Meta公司自2015年以开源为主基调，并经常举办相关活动鼓励开发者使用和改进其Llama系列模型。据统计，目前Hugging face平台上使用Llama 2开源协议的LLM已经超过了1500个。

图片参考网址：https://huggingface.co/Riiid/sheep-duck-llama-2

尽管大模型如雨后春笋般涌现，但在性能上，多数模型与OpenAI的GPT-4存在显著差距。近期AgentBench测试显示，GPT-4以4.41分位列首位，而第二名的Claude得分为2.77分。很多声名狭闻的开源LLM的测试成绩仅为GPT-4的1/4左右。这种差距主要归因于OpenAI拥有高质量的研究团队和长期的研究经验。换言之，大模型的真正竞争力并非只在于其参数规模，而在于其背后的开源生态建设与出色的推理性能（闭源模型）

图片参考论文：https://arxiv.org/abs/2308.03688v1

预期随着开源社区的活跃化，大模型的性能可能会逐渐趋同。但目前，除少数如Midjourney外，大模型盈利的困难仍是一个现实问题。

AI行业成本失衡，大模型供应商前路难

近日，一篇关于“OpenAI可能在2024年底破产”的文章引起了公众的热议。文章指出，OpenAI在发展ChatGPT之后的亏损速度呈现明显上升。2022年，该公司亏损达到5.4亿美元，期望微软等投资者为其买单。此新闻反映了大模型提供商所面临的核心问题：成本与收益的巨大失衡。

高AI运营成本让多数公司难盈利，仅英伟达、博通等为例外。Omdia数据显示，尽管英伟达二季度销售了30万块H100芯片且市场热需，但AI投资远超收入，存在1250亿美元缺口。即便行业巨头微软和Adobe也承受压力：微软的AI编程工具GitHub Copilot由于高额的运行成本，每月要倒贴每个用户20美元至80美元；此外，Adobe也同样如此，因此Adobe推出积分制度，对超额使用的Firefly AI用户限速。

虽然大模型如ChatGPT推进了AI革命，其真实价值仍受质疑。面对同质竞争和众多开源模型，大模型供应商将遭遇更大考验。