microduck_rl Vibe 项目

项目简介

Microduck 是法国机器人公司 Pollen Robotics 开源的一款仿生双足机器人配套的强化学习训练框架，专门为 Microduck 实体机器人（约 25cm 高、800g）提供 sim2real（仿真到真实）策略训练环境。该项目基于 MuJoCo Warp（mjlab）物理仿真引擎构建，使用 PPO（近端策略优化）算法在仿真环境中训练运动策略，然后将策略以 ONNX 格式导出并部署到真实机器人上。GitHub 仓库上线不久即获得近千 Star，说明业界对这类可负担、可复现的具身智能训练方案有强烈需求。

核心功能

• 完整 sim2real 闭环：在 MuJoCo Warp 物理仿真中训练策略，直接部署到实体机器人，零缝衔接仿真与真实环境。
• 多行为策略预训练：出厂即包含步行（Velocity-tracking gait）、坐站（Sit & stand）、踢腿（Kick）、抓取（Grab）、轮滑（Roller skating）、自主起身（Get back up）七种已训练行为策略。
• ONNX 导出与推理：训练完成的策略可导出为 ONNX 格式，通过 robotctl 命令行工具在机器人上加载运行，支持研究者自行替换策略。
• 域随机化与对抗训练：内置 BAM 致动器物理建模、背隙（backlash）仿真及奖励设计（reward-design）方案，确保训练策略能泛化到真实机器人的物理偏差。
• 社区驱动：所有策略均在 Hugging Face 上公开分享，开发者可下载他人训练的策略直接使用，也可上传自己训练的策略贡献社区。
• CUDA 加速训练：训练流程需要 CUDA GPU（推荐 RTX 3090 或同级别），在 4096 并行环境下约 1-2 小时即可训练出可用的步态策略。

技术实现

Microduck RL 训练栈的技术选型极具工业级参考价值。后端物理仿真选用 MuJoCo Warp（mjlab），这是一款将 MuJoCo 物理引擎与 JAX 自动微分框架深度融合的仿真工具，既保留了 MuJoCo 精准的接触力学建模，又支持 GPU 并行仿真的高速迭代。策略网络采用 PPO 算法，训练频率为 50Hz，与实体机器人的控制频率保持一致，确保仿真到真实的迁移不会因动力学不匹配而失效。

在 sim2real 的核心难点——「仿真到真实的迁移」上，项目做了大量细节处理。致动器层面使用了 BAM（Bi-articular Actuator Model）模型来建模弹性元件的非线性响应；奖励函数（reward）设计参考了机器人领域的最佳实践，确保策略在仿真中学习到的行为在实体上同样有效而不会失效；同时引入了域随机化（Domain Randomization），在仿真中对摩擦力、阻尼、延迟等参数进行随机扰动，使策略具备抗物理建模误差的鲁棒性。

真实机器人部署时，通过 robotctl 工具链完成固件更新、参数配置和策略加载，整个流程无需专业机器人学背景，降低了具身智能研究的门槛。

快速上手

1. 克隆仓库并安装依赖：执行 git clone https://github.com/pollen-robotics/microduck_rl && cd microduck_rl，使用 uv 工具同步 Python 环境（首次同步约 2GB CUDA 依赖，注意设置 UV_HTTP_TIMEOUT=600）。
2. 启动仿真训练：运行 uv run train Mjlab-Velocity-Flat-MicroDuck --env，约 1-2 小时后即可获得可用的步行策略，训练日志通过 WandB 可视化。
3. 导出 ONNX 策略：执行 uv run scripts/export.py Mjlab-Velocity-Flat-MicroDuck --wandb-run-path，将训练好的策略导出为 ONNX 文件。
4. 部署到机器人或仿真验证：将 ONNX 文件加载到真实 Microduck 机器人运行；如无实体机器人，也可使用 uv run scripts/infer_policy.py --walking output.onnx 在 CPU 仿真的 MuJoCo 环境中用键盘遥控验证策略效果。

适用人群

• 具身智能（Embodied AI）研究者与硕博学生，需要可复现的 sim2real 训练基准。
• 双足机器人开发者，寻找开箱即用的高性价比运动控制方案。
• RL/运动规划方向工程师，学习如何在 JAX+MuJoCo 框架下实现工业级训练闭环。
• 机器人爱好者社区，$399 的硬件价格降低了仿生双足机器人的入门门槛。

官方链接

• 产品官网：https://pollen-robotics.com/microduck
• GitHub 仓库：https://github.com/pollen-robotics/microduck_rl
• 实体机器人购买：https://pollen-robotics.com/microduck（$399 起）