这是一个关于自制 GPT（Homemade GPT）的 JavaScript 实现的介绍。

主要观点：

• 是 Karpathy 的 minGPT 的最小 TensorFlow.js 重新实现。
• 所有“自制”GPT 语言模型的定义都在 model.ts 文件中（不到 300 行代码）。
• 模型和游乐场用于学习目的，以理解 GPT 如何工作和使用 WebGPU 进行训练。

关键信息：

• model.ts 是核心文件，包含解码器 GPT 模型的定义。
• model-easier.ts 简化了模型，便于理解。
• config.ts 包含预配置的 GPT 模型参数。
• dataset.ts 是基于 txt 文件的字符级数据集的辅助包装器。
• trainer.ts 提供简单的训练循环。
• 一些预训练模型权重发布在 homemade-gpt-js-weights 仓库中。

重要细节：

• 可以使用 Homemade GPT JS playground 在浏览器中训练、实验参数和生成预测。
• 可在本地启动游乐场以修改和实验变压器模型代码，需安装依赖（npm i）并运行（npm run playground-web），在 [http://localhost:3000/homemade-gpt-js] 访问。
• 也可在 Node.js 环境中实验模型，安装依赖（npm i）并运行（npm run playground-node），[./playground-node/src/index.ts] 文件包含基本示例。运行命令需 Node.js ≥ 20.0.0。