Важное замечание

Команда, которая поддерживала Gym с 2021 года, перенесла всё будущее развитие на Gymnasium, замену Gym (импортируйте gymnasium как gym), и Gym не будет получать никаких будущих обновлений. Пожалуйста, перейдите на Gymnasium, как только сможете это сделать. Если вы хотите прочитать больше об истории этого перехода, пожалуйста, ознакомьтесь с этим постом в блоге.

Gym

Gym — это библиотека Python с открытым исходным кодом для разработки и сравнения алгоритмов обучения с подкреплением, предоставляющая стандартный API для взаимодействия между алгоритмами обучения и средами, а также стандартный набор сред, совместимых с этим API. С момента своего выпуска API Gym стал отраслевым стандартом для этого.

Веб-сайт документации Gym находится по адресу https://www.gymlibrary.dev/, и вы можете предлагать исправления и изменения здесь здесь.

У Gym также есть сервер Discord для целей разработки, к которому вы можете присоединиться здесь: https://discord.gg/nHg2JRN489

Установка

Чтобы установить базовую библиотеку Gym, используйте pip install gym.

Это не включает зависимости для всех семейств сред (их огромное количество, и некоторые из них могут быть проблематичными для установки в определённых системах). Вы можете установить эти зависимости для одного семейства, например, pip install gym[atari], или использовать pip install gym[all], чтобы установить все зависимости.

Мы поддерживаем Python 3.7, 3.8, 3.9 и 3.10 на Linux и macOS. Мы примем PR, связанные с Windows, но официально не поддерживаем её.

API

API Gym API моделирует среды как простые классы Python env. Создание экземпляров среды и взаимодействие с ними очень просто — вот пример использования среды «CartPole-v1»:

import gym
env = gym.make("CartPole-v1")
observation, info = env.reset(seed=42)

for _ in range(1000):
    action = env.action_space.sample()
    observation, reward, terminated, truncated, info = env.step(action)

    if terminated or truncated:
        observation, info = env.reset()
env.close()

Известные связанные библиотеки

Обратите внимание, что это неполный список, и он включает только библиотеки, на которые разработчики чаще всего указывают новичкам, когда их просят дать рекомендации.

• CleanRL — это обучающая библиотека, основанная на API Gym. Она предназначена для новичков в этой области и предоставляет очень хорошие справочные реализации.
• Tianshou — это обучающая библиотека, ориентированная на опытных пользователей и предназначенная для облегчения сложных модификаций алгоритмов.
• RLlib — это обучающая библиотека, которая позволяет проводить распределённое обучение и вывод и поддерживает чрезвычайно большое количество функций во всём пространстве обучения с подкреплением.
• PettingZoo похож на Gym, но для сред с несколькими агентами.

Управление версиями сред

Gym строго контролирует версии для обеспечения воспроизводимости. Все среды заканчиваются суффиксом вроде «_v0». Когда в среды вносятся изменения, которые могут повлиять на результаты обучения, число увеличивается на единицу, чтобы предотвратить возможную путаницу.

Среды MuJoCo

Последние версии «_v4» и будущие версии сред MuJoCo больше не будут зависеть от mujoco-py. Вместо этого mujoco станет необходимой зависимостью для будущих версий сред Gym MuJoCo. Старые версии сред Gym MuJoCo, зависящие от mujoco-py, по-прежнему будут поддерживаться, но не будут обновляться. Для установки зависимостей для последних сред Gym MuJoCo используйте pip install gym[mujoco]. Зависимости для старых сред MuJoCo по-прежнему можно установить с помощью pip. install gym[mujoco_py]`.

Citation

Whitepaper, когда Gym только вышел, доступен по ссылке https://arxiv.org/pdf/1606.01540, его можно процитировать с помощью следующей записи в формате BibTeX:

@misc{1606.01540,
  Author = {Greg Brockman and Vicki Cheung and Ludwig Pettersson and Jonas Schneider and John Schulman and Jie Tang and Wojciech Zaremba},
  Title = {OpenAI Gym},
  Year = {2016},
  Eprint = {arXiv:1606.01540},
}

Release Notes

Раньше здесь были заметки о выпуске новых версий Gym. Новые заметки о выпусках теперь размещаются на странице релизов на GitHub, как и большинство других библиотек. Старые заметки можно посмотреть здесь.