清华发布灵巧手操作基准 最佳策略成功率不足三成

时间：论文于2026年10月19日在arXiv公开（编号2610.26765）；10月25日经机器之心、36氪、新浪财经等媒体报道后进入业界视野。 地点：中国北京（清华大学丁宁团队主导），联合北京邮电大学、北京大学及来自自然意志（Nature Will）的研究者共建；论文、代码与数据集面向全球开源。 人物：清华大学丁宁团队；北京邮电大学、北京大学与自然意志（Nature Will）合作研究者；参与遥操作数据采集的至少10名操作者；论文中被横向评测的扩散策略、视觉语言动作模型、世界动作模型等技术路线团队。 事件详情：团队发布可组合仿真平台与评测基准 HandsOn，论文标题为 HandsOn: A Large-Scale Simulation Benchmark for Generalizable Dexterous Manipulation（arXiv 2610.26765），面向跨本体的灵巧操作能力。基准包含66项经人工验证的任务，以及18000条人类仿真遥操作示范，其中15178条用于训练、2822条用于验证；平台支持5种机械臂、6种灵巧手，以及约200种刚体、关节物体和可变形物体资产，并可在随机化场景中自由组合。任务被拆成两套：Core-50 提供训练示范，用于检验策略能否稳定复现已学操作；Transfer-16 不提供目标任务示范，专门考察技能迁移，其中7项为资产或关系迁移、6项为技能组合、3项为可变形物体操作。 关键结果：在提供训练示范的 Core-50 任务中，表现最好的受训多任务策略成功率仅为29.1%；在完全没有目标任务训练示范的 Transfer-16 上，8种受训多任务策略的任务平均成功率全部低于1%。未针对基准数据微调的 GPT-6 通过 move_eef 接口控制手掌与手指，在660次测试中，Core-50 与 Transfer-16 的成功率分别为5.2%和1.9%。 数据与效果：示范数据通过人类遥操作方式采集，操作者佩戴 MANUS 数据手套并借助腕部追踪设备控制仿真机器人，共收集约56小时人类操作记录，涉及至少10名操作者、超过1050次采集会话，每次交互同步保存正面与左右腕部三路图像。团队用 π0.5 做单任务示范规模实验，"把球放入碗"的成功率从7%提升到83%，"举起剪刀并开合"从1%提升到44%，两项任务在五个测试规模上持续改善。 背景：过去多数机器人操作基准围绕夹爪构建，判定标准主要是抓取是否成功、物体是否放到指定位置；而灵巧手拥有大量主动关节，任务充满接触，常常需要双手协作，还要在较长动作序列中保持前序结果，成功与否难以判定、失败发生在哪一步也难以定位，夹爪时代的评测体系无法直接回答这些问题。第一视角（ego）人类操作数据不断积累，为灵巧手学习精细操作提供了新路径，但与之匹配的可靠评测体系此前仍然缺位。HandsOn 因此把执行能力与泛化能力分开测量，并为每项任务制定任务卡，规定目标、标准初始状态、预期最终状态、允许和禁止的动作，以及判断任务是否完成的证据，并设置独立审核流程，检查成功标记是否与实际物理状态一致。 影响：基准把灵巧手评测从"能不能抓住"推进到"能不能真正用起来"，并提供阶段化诊断，可区分"完全没完成"与"已完成前半段却在关键时刻失误"。成绩单也提醒业界，灵巧操作仍是具身智能最薄弱的一环：最好的受训多任务策略在有示范任务上成功率不足三成，未微调的通用大模型不足6%，迁移到新物体、新组合几乎归零。论文、代码与数据资源已全部公开，arXiv 论文、GitHub 仓库与 Hugging Face 数据集均可直接获取，社区可在此基础上训练与横向对比灵巧操作策略。 总结：HandsOn 给灵巧手补上了一份系统化"考卷"，同时贡献了1.8万条可复现的人类遥操作示范。在具身智能从演示走向落地的阶段，能否在有示范的任务上稳定复现操作、能否把技能迁移到新物体与新任务，将比单次演示更能区分系统的真实水平。 参考来源： 1. arXiv 论文《HandsOn: A Large-Scale Simulation Benchmark for Generalizable Dexterous Manipulation》（2026-10-19）：https://arxiv.org/abs/2610.26765 2. GitHub 官方代码仓库 TsinghuaC3I/HandsOn：https://github.com/TsinghuaC3I/HandsOn 3. Hugging Face 官方数据集 Cyan666/HandsOn-Datasets：https://huggingface.co/datasets/Cyan666/HandsOn-Datasets 4. 新浪财经 / 机器之心（2026-10-25）：https://finance.sina.com.cn/roll/2026-10-25/doc-iniwmtkq3056787.shtml 5. 新浪科技 / 机器之心（2026-10-25）：https://finance.sina.com.cn/tech/roll/2026-10-25/doc-iniwmtkr9829954.shtml 6. 搜狐 / 机器之心（2026-10-25）：https://m.sohu.com/a/1092550255_129720 7. 36氪《清华团队构建HandsOn灵巧操作基准，66项任务全方位评测机器人双手能力》：https://36kr.com/p/4041153787892617 8. arXivDaily 论文中文解读：https://www.arxivdaily.com/papers/2610.26765 9. OpenZoo 中文解读：https://news.openzoo.ai/items/nqkolwsbzavhgd3jlqt3ox5hu