苹果披露HALO系统 宇树G1机器人验证成功率91%
时间:2026 年 11 月 7 日
地点:美国 / arXiv 预印本平台
人物:苹果研究团队(Siyuan Hu、Abulikemu Abuduweili、Yue Meng、Shipeng Liu、Quentin Leboutet、Chen Chen、Matthias Müller、Vladlen Koltun 等)
事件详情:苹果研究团队在 arXiv 提交论文《Perceptive Humanoid Motion from Simulation》,披露人形机器人自主控制系统 HALO。系统采用三层架构:最上层是基于视觉语言模型(VLM)的任务编排模块,默认采用千问 Qwen3.6-35B-A3B(4-bit、MLX 量化),在机器人搭载的 Mac mini 上本地运行,无需联网即可工作;中间层是动作生成器,采用千问 Qwen3.5-2B 作为冻结编码器,配合扩散 Transformer 解码器,将机器人的第一人称视角画面和子任务映射为约 5 秒的全身动作规划,每秒重新规划约 3 次;底层是经强化学习、策略蒸馏训练的动作跟踪器,以每秒 50 次频率运行,将动作计划转化为关节级控制指令。该系统部署在宇树科技 G1 人形机器人上验证,背部加装专用 3D 打印保护外壳,内置 Mac mini M4 Pro(64GB 统一内存)负责实时推理。在 6 个未预先扫描或建图的真实环境中,系统完成 360 次单项任务测试,平均成功率为 91%;在单一真实场景对 3 种组合任务各进行 10 次测试,平均成功率为 70%,其中最复杂的“俯身通过障碍—走向目标—推箱子”组合成功率为 50%。训练方面,研究团队使用 250 张英伟达 H100 GPU 耗时约 48 小时合成约 300 小时训练数据;动作生成器使用 64 张 B200 GPU 训练,动作跟踪器使用 4 张 H100 GPU 训练。论文同时公开了数据生成、模型训练与部署代码,项目主页与 GitHub 仓库已上线。
背景:人形机器人要实现自主移动,长期面临数据瓶颈——将视觉和语言指令映射到关节级控制命令需要大规模配对监督数据,而这类数据很难通过人工遥操作或动作捕捉快速生成。HALO 的核心创新是完全在仿真环境中合成 vision-language-motion 数据,数据量随算力扩展而非人力,从而绕过了对真实世界扫描和人工标注的依赖。
影响:这是苹果首次公开其人形机器人自主控制系统,且直接使用阿里云千问开源模型作为核心组件,表明苹果在具身智能领域采取“自研架构 + 开源大模型”的务实路线。91% 的零样本真实环境成功率接近部分专用机器人的水平,且系统完全机载运行、无需联网。对行业而言,仿真合成数据 + 小模型机载推理的方案,可能降低人形机器人的研发门槛。
总结:苹果 HALO 系统通过仿真合成数据训练,在宇树 G1 上实现了 91% 的单项任务成功率,并首次将千问模型嵌入人形机器人控制栈。该研究已公开论文与代码,标志着苹果正式进入具身智能赛道。
参考来源:
IT之家
https://www.ithome.com/1/023/767.htm
澎湃新闻
https://www.thepaper.cn/newsDetail_forward_34427428
arXiv 论文
https://arxiv.org/abs/2611.06908
苹果项目主页
https://apple-aiml-research.github.io/ml-halo/
GitHub 仓库
https://github.com/apple-aiml-research/ml-halo







