HandsOn 今日发布

1. HandsOn：给灵巧手补上一份系统化「考卷」的开源仿真基准

产品简介

HandsOn 是一个面向「跨本体灵巧操作能力」的仿真数据平台与评测基准，由清华大学丁宁团队主导，联合北京邮电大学、北京大学与自然意志（Nature Will）共建。论文《HandsOn: A Large-Scale Simulation Benchmark for Generalizable Dexterous Manipulation》于 2026 年 10 月 19 日在 arXiv 公开（编号 2610.26765），代码以 MIT 协议开源在 GitHub，配套的 18000 条人类遥操作示范数据同步发布在 Hugging Face。它建立在 NVIDIA Isaac Sim 5.1 与 ROKAE–Wuji 双手平台上，包含 66 项经人工验证的任务与 18000 条精挑示范（15178 条训练、2822 条验证），共 6053555 个 30Hz 时间步。它的出发点很直接：过去多数机器人操作基准围绕夹爪构建，判定标准只有「抓住没有」「放到位置没有」，而灵巧手有大量主动关节、充满接触、常常需要双手协作，成功与失败难以判定，夹爪时代的评测体系回答不了这些问题。

核心功能

1. Core-50 训练任务集：50 项带示范与执行测试的任务，覆盖功能性工具使用、数值与空间定位、关节结构操作、拿放搬运与双手协同。
2. Transfer-16 迁移评测集：16 项只评测、不给目标任务示范的任务，其中 7 项为资产或关系迁移、6 项为技能组合、3 项为可变形物体操作。
3. 仿真平台与资产库：支持 5 种机械臂、6 种灵巧手，以及约 200 种刚体、关节物体与可变形物体资产，可在随机化场景中自由组合；内置 ROKAE 手臂与 Wuji 灵巧手网格、转换视觉层、腕部走线、工位 CAD 与 PBR 房间材质，路径追踪每像素 32 采样。
4. 人类遥操作数据采集：操作者佩戴 MANUS 数据手套并配合腕部追踪设备，在仿真环境中采集约 56 小时记录，涉及至少 10 名操作者、超过 1050 次采集会话，每帧同步保存正面与左右腕部三路图像（正面 854×480，双腕 848×480）。
5. 任务验收契约：taskdev/ 目录提供「失败即拒绝」的验收流程，每项任务必须通过 schema、assets、reachability、contact、reset、success、camera、stability、collection 共九项检查并附实测证据，否则不予发布。
6. 多策略评测适配器：内置 π0.5、DM0.5、HY-Embodied-0.5-VLA、LingBot-VLA、OpenWAM、FastWAM、Motus、Spatial Forcing 与单任务扩散策略的适配层，按 30Hz 执行并录制三视角画面。
7. 诊断式评估入口：python -m handson.evaluation 可为每个任务输出三路相机视频、首末帧 PNG 与运行回执，用于定位「卡在哪一步」，而不只是一个分数。
8. 任务卡与分阶段诊断：每项任务规定目标、标准初始状态、预期最终状态、允许与禁止的动作以及判定任务完成的证据，能区分「完全没完成」与「前半段完成但在关键时刻失误」。

特色优势

它最核心的价值是把执行能力与泛化能力分开测量，这正是夹爪基准做不到的。更难得的是它同时给出了 1.8 万条可复现的人类遥操作示范和配套的 π0.5 训练栈，让社区能在同一份数据上训练与横向比较。结果也很诚实：Core-50 上表现最好的受训多任务策略成功率仅 29.1%，其中推物、关节操作与拿放类任务为 35%–51%，而工具使用与精密装配只有 2%–3%；Transfer-16 上八种受训多任务策略的平均成功率全部低于 1%。未针对基准数据微调的 GPT-6 通过 move_eef 接口控制手掌与手指，660 次测试中 Core-50 成功率 5.2%、Transfer-16 为 1.9%，整体 29/660（4.4%）。这套难看但真实的成绩单，本身就是这份基准最有价值的部分。

应用场景

1. 训练灵巧操作策略：用 15178 条示范加官方训练配方，直接在 Core-50 上微调 VLA 或扩散策略。
2. 横向评测：把自家模型接到统一适配层上，与 π0.5、OpenWAM 等在同一批任务同一套判据下比较。
3. 机器人公司自建评测：把九项验收契约当作内部上线门槛，避免「演示能做、量产做不了」。
4. 失败归因：借助三视角视频与运行回执定位失败发生的具体步骤，而不是只看一个成功率。
5. 教学与复现：数据集、任务定义、判定规则全部公开，课程与实验室可直接使用。

适用人群

具身智能与机器人方向的研究者与算法工程师；VLA（视觉-语言-动作）模型的训练团队；机器人本体厂商的评测与测试团队；高校实验室与研究生；关注操作类模型泛化能力的基准建设者。

出品方

清华大学丁宁团队，联合北京邮电大学、北京大学与自然意志（Nature Will）的研究者共建。仓库以 MIT 协议开源，论文、代码与数据集面向全球公开。任务设计与资产部分吸收了 DexJoCo（brave-eai/dexjoco）与 DexVerse（ycyao216/DexVerse）的成果，归属与授权细节记录在论文附录与仓库的 NOTICE 文件中。

更新动态

arXiv 论文于 2026 年 10 月 19 日公开，10 月 25 日经机器之心、36 氪、新浪财经等媒体报道后进入业界视野。当前发布的是基于 PhysX 后端采集的数据集，Newton 后端数据集官方标注为「待发布」；可选的 Newton 评估器目前只覆盖 insert-peg 与 place-fruit-in-bucket 两项任务，其余 66 项任务仍走默认 PhysX 环境。默认环境要求 Python 3.11、Isaac Sim 5.1.0.0、Isaac Lab v2.3.2 与一张 NVIDIA GPU。

官方链接

项目主页：https://llltttwww.github.io/HandsOn-website/ 代码仓库：https://github.com/TsinghuaC3I/HandsOn 数据集：https://huggingface.co/datasets/Cyan666/HandsOn-Datasets 论文：https://arxiv.org/abs/2610.26765