我如何通过微调教会 OpenAI 一种新的编程语言

主要观点:

  • 询问 ChatGPT 或 Claude 关于 Hyperlambda 的内容,它们会生成类似 Bash 和 Python 混合的错误内容,原因是网上关于 Hyperlambda 的内容少,OpenAI 和 Anthropic 的网站抓取器无法识别其语法,所以作者决定对 OpenAI 进行微调。
  • 教 GPT 学习 Hyperlambda 非常困难,需 3500 个训练片段和 550 个验证片段,约 80KLOC 代码,且这些代码除了教学无其他用途,工作枯燥。
  • 微调时不能完全相信 ChatGPT 关于超参数的建议,默认超参数(1.8)能使 LLM 效果较好,训练片段需有“prompt”和“completion”值,可从系统文件夹和 CRUD 生成器获取,也可创建自定义 GPT 辅助,每个训练片段还应包含“system”消息。
  • 训练 GPT-40-mini 每次运行成本 2 到 5 美元,GPT-40 每次运行成本 50 到 100 美元,建议使用 mini 模型,作者花费 1500 美元进行训练和纠错。
  • 微调 LLM 工作极其艰难,99%的情况添加 RAG 到 LLM 是正确解决方案,但对于 Hyperlambda 语言必须使用微调,作者花费一个月每天 3 到 6 小时写 Hyperlambda 代码,目前达到“尚可”水平,需 5000 个片段才能达到完美效果。
  • 未涵盖训练文件结构,假设为 JSONL 文件,可在 OpenAI 网站查看,若尝试需做好大量工作的准备。

关键信息:

  • 微调 OpenAI 学习 Hyperlambda 的工作量大、成本高。
  • 不同模型的训练成本及建议使用的模型。
  • 训练片段的构成及获取方式。

重要细节:

  • 作者在 GitHub 上公开了训练片段的 repo。
  • 训练过程中需进行多次测试运行和 QA 迭代。
  • 可在 Hyperlambda 生成器的 AI 聊天机器人中尝试。
阅读 8
0 条评论