環(huán)境：

PyCharm 2018.3.6 (Community Edition)
Build #PC-183.6156.13, built on April 10, 2019
JRE: 1.8.0_152-release-1343-b28 amd64
JVM: OpenJDK 64-Bit Server VM by JetBrains s.r.o
Windows 10 10.0

安裝gym[atari]：

https://www.cnblogs.com/phonard/p/12585613.html

成功安裝后部分atari游戲執(zhí)行效果：

安裝gym[box2d]：

首先到http://www./download.html 下載swigwin-4.0.1，注意是Windows版。將其解壓到某一路徑下，并添加到系統(tǒng)的path環(huán)境變量。

打開命令行（可能需要管理員權(quán)限打開，這里我是沒用到），執(zhí)行以下語句

　　pip install box2d-py
　　pip install gym[box2d]

執(zhí)行完成命令如下所示，可能會需要安裝一些別的依賴包，比如要安裝pyglet，直接執(zhí)行pip install pyglet。

成功安裝后執(zhí)行box2d仿真器效果：

 
參考鏈接：https://blog.csdn.net/hhy_csdn/article/details/89408844

安裝Mujoco：

　　To be continue...