OpenDuckMini 强化学习训练部署笔记
测试官方预训练模型 uv run playground/open_duck_mini_v2/mujoco_infer.py -o ~/open_duck_mini_ws/Open_Duck_Mini/BEST_WALK_ONNX.onnx
🎯 整体架构
| 阶段 | 工具/框架 | 作用 |
|---|---|---|
| 仿真训练 | Isaac Sim / Brax | 虚拟环境中训练策略 |
| 物理验证 | MuJoCo | 验证训练好的模型 |
| 真机部署 | ONNX + 树莓派 | sim2real 迁移 |
📝 训练步骤
1. 准备运动轨迹数据
# 复制多项式系数文件（用于模仿学习奖励）
cp ~/open_duck_mini_ws/Open_Duck_reference_motion_generator/polynomial_coefficients.pkl ~/open_duck_mini_ws/Open_Duck_Playground/playground/open_duck_mini_v2/data/
2. 配置训练参数
# 开启模仿学习奖励
vim ~/open_duck_mini_ws/Open_Duck_Playground/playground/open_duck_mini_v2/joystick.py
# 设置 USE_IMITATION_REWARD=True
3. 启动训练
cd ~/open_duck_mini_ws/Open_Duck_Playground
# 3亿步训练（PPO算法）
uv run playground/open_duck_mini_v2/runner.py --task flat_terrain_backlash --num_timesteps 300000000
4. 监控训练过程
uv run tensorboard --logdir=<yourlogdir>
5. 导出模型
训练完成后自动生成ONNX.onnx 文件，用于后续部署🔬 MuJoCo 仿真验证
cd ~/open_duck_mini_ws/Open_Duck_Playground
# 测试官方预训练模型
uv run playground/open_duck_mini_v2/mujoco_infer.py -o ~/open_duck_mini_ws/Open_Duck_Mini/BEST_WALK_ONNX.onnx
# 或测试自己训练的模型
uv run playground/open_duck_mini_v2/mujoco_infer.py -o ./ONNX.onnx
控制方式：
- 方向键：控制移动方向
- 空格键：停止
⚠️ 常见问题
| 问题 | 解决 |
|---|---|
AttributeError: 'dict' object has no attribute 'policy' | 修改 runner.py：params[1].policy['params'] → params[1]['params'] |
🔗 相关资源
- 官方GitHub: https://github.com/apirrone/Open_Duck_Mini
- B站视频教程: 搜索"同济子豪兄 OpenDuckMini"
- 训练源码: Open_Duck_Playground 仓库
- 参考教程: https://www.ncnynl.com/archives/202506/6761.html
讨论回复（0）
暂无回复，登录后可参与讨论