缩放定律的方法论

主要观点:Scaling Law 是 2020 年 OpenAI 提出的概念,在 AI 浪潮中成为第一性原理,Transformer 因易 Scaling 而大放异彩,Sora 用 Transformer 替换 U-net 具备 Scaling 可能性。Scaling Law 原指模型性能与计算量、参数量、数据大小相关,本文讨论其方法论,适用于技术、商业和个人。
关键信息

  • 2020 年 OpenAI 提出 Scaling Law 并成为第一性原理。
  • Transformer 易 Scaling 使其在 AI 中表现突出。
  • Sora 用 Transformer 替换 U-net 有更大潜力。
  • Scaling Law 与通用化(预测下一个 token)和规模化(投入算力数据)相关。
  • AGI 可视为(预测物理世界下一秒 + 预测人类行为下一秒)×N。
    重要细节
  • 《千脑智能》中提到预测下一个感觉即大脑预测下一个 token 是智能第一性原理。
  • 文生图产品 MJ SD 基于 U-net,Sora 用 Transformer 可通过堆叠算力数据获更好效果。
  • ChatGPT 基于文本 Scaling 可接近人类智能集合。
  • Scaling Law 在实际操作中存在问题需探讨。
阅读 18
0 条评论