主要观点：

• 介绍了基于游戏《Factorio》的学习环境（FLE），用于测试智能体在长期规划、程序合成和资源优化等方面的能力。
• 定义了两种评估协议：lab-play（有固定资源的结构化任务）和open-play（从无到有构建最大工厂的无界任务）。
• 通过实验在两种设置下评估了六种前沿语言模型，发现它们在空间推理等方面存在局限性。
• 关键见解包括编码技能影响性能、技术投资推动增长、开放环境中规划重要、空间推理是限制、错误恢复困难以及编程风格差异等。
• 结论表明即使最先进的大语言模型在自动化任务的协调和优化方面仍有困难，同时发布了FLE平台及相关内容以促进相关研究。

关键信息：

• FLE基于《Factorio》游戏，提供开放且指数级扩展的挑战。
• 实验评估的六种语言模型包括Claude 3.5-Sonnet等。
• open-play中不同模型在生产策略和性能上有差异，Claude表现较好。
• lab-play中随着任务复杂度增加，模型完成任务的成功率下降，塑料棒制造最具挑战性。
• 实验揭示了编码技能、技术投资、规划等方面对模型性能的影响及模型的局限性。

重要细节：

• FLE中智能体通过Python API与环境交互，提交程序并接收反馈以优化策略。
• 在open-play中，模型需自主设定目标并导航复杂科技树和地图，不同模型性能有明显差异。
• lab-play中任务从简单到复杂，测试模型在有限步骤内创建复杂生产链的能力，多数模型在协调多机器时存在困难。
• 实验中模型在空间规划、错误恢复等方面表现不佳，且编程风格各异。
• 发布的FLE为开源平台，鼓励研究在复杂开放领域的智能体能力。