gymnasium，一个无敌的 Python 库！

大家好，我是涛哥，本文内容来自 涛哥聊Python ，转载请标原创。

更多Python学习内容：http://ipengtao.com

今天为大家分享一个无敌的 Python 库 - Gymnasium。

Github地址：https://github.com/Farama-Foundation/Gymnasium

---

在强化学习（Reinforcement Learning, RL）领域中，环境（Environment）是进行算法训练和测试的关键部分。gymnasium 库是一个广泛使用的工具库，提供了多种标准化的 RL 环境，供研究人员和开发者使用。通过 gymnasium，用户可以方便地创建、管理和使用各种 RL 环境，帮助加速算法开发和测试。本文将详细介绍 gymnasium 库，包括其安装方法、主要特性、基本和高级功能，以及实际应用场景，帮助全面了解并掌握该库的使用。

安装

要使用 gymnasium 库，首先需要安装它。可以通过 pip 工具方便地进行安装。

以下是安装步骤：

pip install gymnasium

安装完成后，可以通过导入 gymnasium 库来验证是否安装成功：

import gymnasium as gym
print("gymnasium 库安装成功！")

特性

1. 多种环境：提供了多种标准化的强化学习环境，如经典控制问题、Atari 游戏等。
2. 易于扩展：用户可以方便地创建自定义环境，并与现有的环境一起使用。
3. 标准接口：所有环境都遵循相同的接口，使得算法开发和测试更加统一和方便。
4. 与主流 RL 库兼容：与主流的 RL 库（如Stable Baselines3, RLlib等）无缝集成。

基本功能

创建环境

使用 gymnasium 库，可以方便地创建一个强化学习环境。

import gymnasium as gym

# 创建CartPole环境
env = gym.make('CartPole-v1')

# 重置环境
env.reset()

# 进行一步动作
action = env.action_space.sample()
observation, reward, done, info = env.step(action)

print(f"观察：{observation}, 奖励：{reward}, 完成：{done}, 信息：{info}")

环境重置和渲染

gymnasium 库支持环境的重置和渲染。

import gymnasium as gym

# 创建MountainCar环境
env = gym.make('MountainCar-v0')

# 重置环境
env.reset()

# 渲染环境
env.render()

# 关闭渲染
env.close()

获取环境信息

gymnasium 库允许用户获取环境的相关信息，如动作空间、状态空间等。

import gymnasium as gym

# 创建CartPole环境
env = gym.make('CartPole-v1')

# 获取动作空间和状态空间
action_space = env.action_space
observation_space = env.observation_space

print(f"动作空间：{action_space}")
print(f"状态空间：{observation_space}")

高级功能

自定义环境

gymnasium 库允许用户创建自定义环境。

import gymnasium as gym
from gymnasium import spaces
import numpy as np

class CustomEnv(gym.Env):
    def __init__(self):
        super(CustomEnv, self).__init__()
        self.action_space = spaces.Discrete(2)  # 两个动作
        self.observation_space = spaces.Box(low=0, high=1, shape=(1,), dtype=np.float32)  # 一个状态变量
        self.state = None

    def reset(self):
        self.state = np.array([0.5])
        return self.state

    def step(self, action):
        self.state = self.state + (action - 0.5) * 0.1
        reward = 1.0 if self.state[0] > 0.5 else -1.0
        done = bool(self.state[0] >= 1.0 or self.state[0] <= 0.0)
        return self.state, reward, done, {}

    def render(self, mode='human'):
        pass

    def close(self):
        pass

# 使用自定义环境
env = CustomEnv()
env.reset()
action = env.action_space.sample()
observation, reward, done, info = env.step(action)
print(f"观察：{observation}, 奖励：{reward}, 完成：{done}, 信息：{info}")

并行环境

gymnasium 库支持并行环境，用于加速训练过程。

import gymnasium as gym
from stable_baselines3.common.vec_env import SubprocVecEnv

# 创建并行环境
def make_env(env_id, rank):
    def _init():
        env = gym.make(env_id)
        return env
    return _init

env_id = 'CartPole-v1'
num_envs = 4
envs = SubprocVecEnv([make_env(env_id, i) for i in range(num_envs)])

# 使用并行环境进行训练
from stable_baselines3 import PPO

model = PPO('MlpPolicy', envs, verbose=1)
model.learn(total_timesteps=10000)

注册新环境

gymnasium 库允许用户注册新的自定义环境。

import gymnasium as gym
from gymnasium.envs.registration import register

# 注册自定义环境
register(
    id='CustomEnv-v0',
    entry_point='__main__:CustomEnv',
)

# 使用注册的新环境
env = gym.make('CustomEnv-v0')
env.reset()
action = env.action_space.sample()
observation, reward, done, info = env.step(action)
print(f"观察：{observation}, 奖励：{reward}, 完成：{done}, 信息：{info}")

实际应用场景

强化学习算法研究

在强化学习算法研究中，研究人员需要标准化的环境来测试和比较不同的算法。gymnasium 提供了丰富的标准化环境，适用于各种强化学习算法的开发和测试。

import gymnasium as gym
from stable_baselines3 import DQN

# 创建CartPole环境
env = gym.make('CartPole-v1')

# 使用DQN算法进行训练
model = DQN('MlpPolicy', env, verbose=1)
model.learn(total_timesteps=10000)

# 评估模型
obs = env.reset()
for _ in range(1000):
    action, _states = model.predict(obs, deterministic=True)
    obs, rewards, dones, info = env.step(action)
    env.render()
env.close()

教育和培训

在教育和培训中，gymnasium 库可以用作教学工具，帮助学生理解和实践强化学习算法。

import gymnasium as gym

# 创建MountainCar环境
env = gym.make('MountainCar-v0')

# 手动控制环境
obs = env.reset()
done = False
while not done:
    env.render()
    action = env.action_space.sample()  # 随机动作
    obs, reward, done, info = env.step(action)
env.close()

工业应用

在工业应用中，gymnasium 库可以用于模拟和优化实际生产环境中的决策过程。

import gymnasium as gym

# 创建自定义工业环境
class IndustrialEnv(gym.Env):
    def __init__(self):
        super(IndustrialEnv, self).__init__()
        self.action_space = spaces.Discrete(3)
        self.observation_space = spaces.Box(low=0, high=100, shape=(1,), dtype=np.float32)
        self.state = None

    def reset(self):
        self.state = np.array([50.0])
        return self.state

    def step(self, action):
        self.state = self.state + (action - 1) * 10
        reward = -abs(self.state[0] - 50)
        done = bool(self.state[0] <= 0 or self.state[0] >= 100)
        return self.state, reward, done, {}

    def render(self, mode='human'):
        pass

    def close(self):
        pass

# 使用工业环境
env = IndustrialEnv()
obs = env.reset()
done = False
while not done:
    env.render()
    action = env.action_space.sample()  # 随机动作
    obs, reward, done, info = env.step(action)
    print(f"观察：{obs}, 奖励：{reward}, 完成：{done}, 信息：{info}")
env.close()

总结

gymnasium 库是一个功能强大且易于使用的强化学习环境工具，能够帮助开发者在强化学习算法的开发和测试中提高效率。通过支持多种标准化环境、易于扩展的接口、并行环境和自定义环境，gymnasium 库能够满足各种复杂的强化学习需求。本文详细介绍了 gymnasium 库的安装方法、主要特性、基本和高级功能，以及实际应用场景。希望本文能帮助大家全面掌握 gymnasium 库的使用，并在实际项目中发挥其优势。