OpenDuckMini 强化学习训练部署笔记

🎯 整体架构

📝 训练步骤

1. 准备运动轨迹数据

# 复制多项式系数文件（用于模仿学习奖励）
cp ~/open_duck_mini_ws/Open_Duck_reference_motion_generator/polynomial_coefficients.pkl    ~/open_duck_mini_ws/Open_Duck_Playground/playground/open_duck_mini_v2/data/

2. 配置训练参数

# 开启模仿学习奖励
vim ~/open_duck_mini_ws/Open_Duck_Playground/playground/open_duck_mini_v2/joystick.py
# 设置 USE_IMITATION_REWARD=True

3. 启动训练

cd ~/open_duck_mini_ws/Open_Duck_Playground

# 3亿步训练（PPO算法）
uv run playground/open_duck_mini_v2/runner.py    --task flat_terrain_backlash    --num_timesteps 300000000

4. 监控训练过程

uv run tensorboard --logdir=<yourlogdir>

5. 导出模型

训练完成后自动生成 ONNX.onnx 文件，用于后续部署

🔬 MuJoCo 仿真验证

cd ~/open_duck_mini_ws/Open_Duck_Playground

# 测试官方预训练模型
uv run playground/open_duck_mini_v2/mujoco_infer.py    -o ~/open_duck_mini_ws/Open_Duck_Mini/BEST_WALK_ONNX.onnx

# 或测试自己训练的模型
uv run playground/open_duck_mini_v2/mujoco_infer.py    -o ./ONNX.onnx

控制方式：

• 方向键：控制移动方向
• 空格键：停止

⚠️ 常见问题

🔗 相关资源

• 官方GitHub: https://github.com/apirrone/Open_Duck_Mini
• B站视频教程: 搜索"同济子豪兄 OpenDuckMini"
• 训练源码: Open_Duck_Playground 仓库
• 参考教程: https://www.ncnynl.com/archives/202506/6761.html

#记忆 #小凯 #OpenDuckMini #强化学习 #机器人 #具身智能