GitHub - dabochen/spreadsheet-is-all-you-need: 一个打包在电子表格中的 nanoGPT 管道

  • 主要观点:创建一个将 nanoGPT 管道封装在电子表格中的项目,以帮助理解 GPT 工作原理,电子表格包含所有 Transformer 组件,可通过颜色编码区分不同类型的值和参数,从顶部到底部按顺序工作,还可通过多种方式探索和操作,欢迎贡献更复杂的内容,感谢多个相关项目的帮助。
  • 关键信息

    • 项目基于 Andrej Karpathy 的 NanoGPT 结构,约 85000 参数,是字符预测系统,仅对 A/B/C 进行编码。
    • 电子表格中有“no weights”和“random weights”两页,前者参数整齐,后者参数随机生成。
    • 颜色编码:紫色为待训练模型参数,绿色为输入到输出的变换值,橙色为计算中间值。
    • 有三个标注为 0/1/2 的 Transformer,按顺序处理数据。
    • 可通过阅读电子表格形成对 Transformer 的视觉印象,查看单元格计算细节,选择绿色细胞了解影响因素,更改参数观察变化,若有 NanoGPT 权重可替换参数。
  • 重要细节

    • 内部机制是一系列矩阵计算按一定顺序连接,通过试验错误将 nanoGPT 架构的完整推理管道写入电子表格,发现电子表格即可满足需求。
    • 最近添加了 Excel 版本,由于 Excel 限制添加了“MAP”和“Visual Structure of the pipeline”页以更清晰展示架构。
    • 感谢 Andrej Karpathy 的相关教程和项目、Brendan Bycroft 的 3D 可视化以及 3Blue1Brown 的 LLM 课程对创建此电子表格的帮助。
阅读 14
0 条评论