Transformer架构的诞生与影响

2017年，谷歌的八位机器学习研究人员发表了一篇开创性的论文《Attention Is All You Need》，首次提出了Transformer架构。这一架构几乎支撑了当今所有高知名度的生成式AI模型，如GPT-4、ChatGPT、NotebookLM、Sora和Midjourney等。Transformer通过将输入数据块（称为“tokens”）转换为所需的输出形式，推动了现代AI技术的蓬勃发展。

Jakob Uszkoreit的贡献与反思

在TED AI 2024上，Transformer论文的作者之一Jakob Uszkoreit接受了Ars Technica的采访，回顾了Transformer的发展历程以及他对AI未来的看法。

主要贡献

Uszkoreit的主要贡献在于提出了用自注意力机制（self-attention）取代当时主流的序列转导模型中的循环神经网络（RNN），并认为这一方法会更加高效且有效。

对Transformer影响的反思

尽管Uszkoreit及其团队对Transformer的潜力抱有很高期望，但他们并未预料到它会在ChatGPT等产品中发挥如此关键的作用。他提到，Transformer的诞生并非一蹴而就，而是基于多年研究和众多前人的工作。谷歌在早期就曾开发过大型语言模型，但由于产品策略的保守性，这些技术并未及时推向市场。

对ChatGPT成功的看法

Uszkoreit表示，ChatGPT的成功并非技术上的突破，而是其高实用性和广泛的应用场景带来的突破。他提到，谷歌在早期对风险的规避可能是其未能率先推出类似产品的原因之一。

从谷歌到Inceptive：生物计算的探索

离开谷歌后，Uszkoreit联合创立了Inceptive，致力于将深度学习应用于生物化学领域，开发“生物软件”。该公司通过AI编译器将指定的行为转化为RNA序列，这些序列在引入生物系统后能够执行所需的功能。

生物软件的概念

Uszkoreit将生物软件比作计算机软件：用户指定所需的行为，AI编译器将其转化为可以在生物系统中执行的分子。尽管这一领域仍处于起步阶段，但Uszkoreit认为，未来可能设计出具有复杂功能的分子，从而彻底改变医学。

安全性问题

在开发过程中，Inceptive遵循医学界长期以来的安全协议，确保这些分子在实验和临床应用中不会对人类造成危害。Uszkoreit强调，尽管RNA分子具有复杂的功能，但通过严格的实验和监管，可以避免潜在的风险。

总结

Transformer架构的提出标志着AI技术的一个重要转折点，尽管其影响远超研究者的预期。Jakob Uszkoreit的贡献不仅限于Transformer，他还在生物计算领域积极探索，致力于通过AI技术推动医学的进步。他的经历也反映了科技公司在创新与风险之间的平衡，以及开放实验的重要性。