主要观点:Scaling Law 是 2020 年 OpenAI 提出的概念,在 AI 浪潮中成为第一性原理,Transformer 因易 Scaling 而大放异彩,Sora 用 Transformer 替换 U-net 具备 Scaling 可能性。Scaling Law 原指模型性能与计算量、参数量、数据大小相关,本文讨论其方法论,适用于技术、商业和个人。
关键信息:
- 2020 年 OpenAI 提出 Scaling Law 并成为第一性原理。
- Transformer 易 Scaling 使其在 AI 中表现突出。
- Sora 用 Transformer 替换 U-net 有更大潜力。
- Scaling Law 与通用化(预测下一个 token)和规模化(投入算力数据)相关。
- AGI 可视为(预测物理世界下一秒 + 预测人类行为下一秒)×N。
重要细节: - 《千脑智能》中提到预测下一个感觉即大脑预测下一个 token 是智能第一性原理。
- 文生图产品 MJ SD 基于 U-net,Sora 用 Transformer 可通过堆叠算力数据获更好效果。
- ChatGPT 基于文本 Scaling 可接近人类智能集合。
- Scaling Law 在实际操作中存在问题需探讨。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。