苹果在真机iOS上训练UI智能体 8B模型跑通界面导航

时间：2026年11月2日（论文于10月29日提交至arXiv，苹果机器学习研究网站于11月发布收录页） 地点：苹果机器学习研究部门（Apple Machine Learning Research），论文经arXiv公开发表 人物：论文共同第一作者Peitong Duan、Seyed Khashaiar Gatmiry，作者还包括Jeff Nichols、Samy Bengio、Emmanuel Abbe 事件详情：苹果机器学习研究部门公开论文《Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live iOS Apps》，给出一套直接在真实iOS应用上训练界面操作智能体的在线强化学习框架。框架把智能体拆成两个专用模块：一个是专门用强化学习训练的规划智能体，负责决定下一步动作；另一个是冻结参数、只做监督微调的界面落地模型，负责把动作映射到屏幕上的具体坐标，中间由LLM-as-a-Judge提供奖励信号，既包含评估中间进展的稠密步级反馈，也有任务是否完成的终局奖励。训练上采用带步级优势估计的PPO，并提出新的GiGPPO邻接条件价值估计方法，利用并发轨迹中视觉相似状态的奖励信号来稳定critic。为支撑这种在线训练规模，团队搭建了可编排数百台并发虚拟iOS设备的训练基础设施。评测覆盖UINavBench、iOSWorld和AndroidWorld，结果显示在线强化学习训练出的智能体明显优于监督微调和只给终局奖励的离线强化学习基线，且训练收敛更快。其中8B规模的智能体在向Android环境做分布外泛化时，相比监督微调基线取得接近7倍的提升；在真实iOS应用上则超过Gemini-3.5-Flash，并与Gemini-3.1-Pro打成平手。 背景：当前顶级的视觉语言模型做界面操作能力很强，但推理成本过高，难以进入日常使用；而用监督微调或离线强化学习训出来的小模型，往往只会背诵静态轨迹，一旦执行出错就无法恢复。论文指出，GiGPO等既有工作把规划与落地训练在同一个端到端模型里，并且主要在安卓模拟器上完成训练；这篇工作改为把规划智能体与冻结的落地模型解耦，并全程在真实iOS设备上训练，论文称这是首次在真实iOS应用上以数百条并发轨迹的规模开展界面智能体的强化学习训练。 影响：对手机智能体而言，这套方法把界面操作压到了8B规模，而论文的出发点正是前沿视觉语言模型高昂的推理成本让这类能力无法进入日常使用。规划与落地分离、用大模型当裁判给稠密奖励、再配合真机并发训练，也给端侧智能体提供了一条可复制的工程路径。对做手机操作Agent的团队来说，在真机上跑在线强化学习比在模拟器上刷榜更接近真实使用环境，评估时也不必只盯着单一榜单。 总结：苹果公开了在真实iOS应用上做在线强化学习训练界面导航智能体的完整方法，把智能体拆成规划智能体与冻结的界面落地模型，用LLM-as-a-Judge提供稠密加终局的双层奖励，提出GiGPPO稳定价值估计，并配套搭建了可并行数百台虚拟iOS设备的训练基础设施。8B模型在跨系统泛化上比监督微调基线提升接近7倍，在真机应用上超过Gemini-3.5-Flash、与Gemini-3.1-Pro持平。这条路线的意义在于，手机界面操作不必再依赖成本高昂的巨型视觉语言模型，8B级端侧模型同样可以练出可靠的界面智能体。 参考来源： 苹果机器学习研究：面向真实iOS应用界面导航的规划-落地智能体在线稠密强化学习 https://machinelearning.apple.com/research/planning-grounding-ui-navigation arXiv 论文摘要（arXiv:2610.39264） https://arxiv.org/abs/2610.39264 arXiv 论文全文（HTML版） https://arxiv.org/html/2610.39264 DAIR.AI 论文解读：在线稠密强化学习与规划落地智能体用于界面导航 https://academy.dair.ai/papers/online-dense-reinforcement-learning-with-planning-grounding-agent-for-ui-navigat-2610.39264 AI Weekly：苹果8B iOS强化学习智能体 分布外提升近7倍 与Gemini-3.1-Pro持平 https://aiweekly.co/editors-blog/found-first-apple-s-8b-ios-rl-agent-scores-nearly-sevenfold-ood-gain-ties-gemini