亚马逊推出强化学习工具，管理机器人工作流程

亚马逊今天推出了 SageMaker 强化学习组件工具包 Kubeflow Components，该工具包支持公司的 AWS RoboMaker 服务，用于协调机器人工作流。亚马逊表示，其目标是加快实验和管理从感知到控制和优化的机器人工作负载，并创建端到端的解决方案，而不必每次都重新构建它们。

机器人正被越来越广泛地用于日益复杂的用途，比如组装、和包装、最后一英里运输、环境监测、搜索和救援以及辅助手术。牛津经济研究院预计，在中国， 制造业将实现 1250 万个自动化工作岗位，而在美国，麦肯锡预计机器将占据这类岗位的 30% 以上。对于强化学习来说，这是一种新兴的人工智能技术，可以帮助开发解决机器人技术中不断出现的各种问题。

SageMaker RL 基于 Amazon 的 SageMaker 机器学习服务，添加了预先打包的工具包，旨在与仿真环境集成。根据亚马逊的说法，有了 Kubernetes 的 SageMaker RL Components，客户可以在他们的管道中使用 SageMaker RL Components 来调用和并行化 SageMaker 培训工作和 RoboMaker 模拟工作，作为其强化学习培训工作流程中的步骤，而不必担心其在后台运行的情况。

运行 SageMaker RL Kubeflow 组件需要一个现有的或新的 Kubernetes 集群。亚马逊表示，客户还必须在集群上安装 Kubeflow pipeline，并为 SageMaker 和 RoboMaker 设置身份和访问管理角色和权限。

Woodside Energy 将 RoboMaker 和 SageMaker Kubeflow 一起训练、调试和部署强化学习模型到他们的机器人身上，让它们执行重复而危险的操作任务。该公司聘请了总部设在澳大利亚的咨询公司 Max Kelsen 协助 RoboMaker 组件的开发和贡献。例如，由 Woodside 公司建造的机器人平台 Ripley 被训练执行“双阻塞和排放”，这是一种手动关闭泵的程序，包括按顺序转动多个阀门。由 RoboMaker 和 SageMaker 共同创造的强化学习/机器人模型使用关节状态和摄像机视图作为输入，输出阀门操作的最佳轨迹。

Woodside 机器人技术工程师 Kyle Saltmarsh 说：“我们的团队和我们的合作伙伴希望开始探索使用机器学习方法来进行机器人操作。在我们能够有效地做到这一点之前，我们需要一个框架，使我们能够有效地培训、测试、调优和部署这些模型。通过 SageMaker 和 RoboMaker 利用 Kubeflow 组件和管道为我们提供了这个框架，我们很高兴能够让我们的机器人专家和数据科学家将他们的精力和时间集中在算法和实现上。”