主要观点：Group Relative Policy Optimization (GRPO)是训练语言模型的有用算法，DeepSeek-R1通过监督微调与GRPO结合可与先进模型竞争。本文介绍用GRPO训练自定义小语言模型，以Rust为例，阐述GRPO原理、为何选择Rust及1.5B模型，还说明了制定问题的方式、数据集构建、设定基线、设计奖励函数（如使用cargo工具链）等，训练后模型在代码构建和通过测试方面准确率有显著提升，后续将扩展数据集和尝试更大模型。
关键信息：

• GRPO可用于训练语言模型，DeepSeek-R1展示其效果。
• 以Rust为实验语言，1.5B模型在代码相关任务上有提升。
• 制定问题时从不同方式尝试，最终简化为生成代码和测试在同一响应。
• 构建包含Rust问题及代码的数据集，通过筛选得到训练和评估数据。
• 设定基线后对比不同模型在任务上的表现，如GPT4.5等。
• 设计多种奖励函数，如代码格式、cargo工具运行结果等。
• 训练后模型在代码构建和测试通过方面准确率提升20%和15%。
  重要细节：
• GRPO奖励函数可定义为简单python函数，让模型优化。
• cargo工具用于设置和测试迷你Rust项目，定义RustTool类运行cargo相关命令。
• 通过@experiment.log装饰器将奖励函数结果记录到Oxen.ai，可监测模型改进。
• 后续将扩展数据集和尝试更大模型，如3B和8B。
• 文中提供相关代码仓库及实验结果链接等。