让机器人学会新活,Sakana AI 和东京大学这篇论文给的解法是别改模型,让它多试几次。这套方法叫 SAIL,将在 IROS 2026 发表,全称是 Scaling In-Context Imitation Learning。
先把难题摆出来。教机器人新任务,传统路子是收集演示再训练策略,一套下来周期长,换个任务从头来。可基础模型早在海量图像、文本和机器人数据上学过一肚子知识,能不能一分不改,把这些知识直接掏出来用。
GPT-6 Astra 已经能一边聊着天一边操作机械臂,大模型也早被证明能凭几条演示生成整套动作。问题在于,单次生成的轨迹并不可靠。动作目标上一点点偏差,整个任务就崩了,而表现好坏全看给了什么上下文。
SAIL 的思路是测试时缩放,把可靠性堆出来。流程分四步。policy VLM 先以几条成功演示为条件,生成候选轨迹。生成的轨迹不直接上真机,先丢进模拟器里跑。评估 VLM 审看跑出来的视频,指出进度卡在哪。policy VLM 拿着这个反馈修订轨迹,MCTS 也就是蒙特卡洛树搜索负责探索备选、精修有希望的候选。只有挑中的那条才发给真机。
模拟器这一步的位置很关键。它不参与决策,只负责把错误提前暴露出来。真机试错的成本是摔坏东西,模拟试错的成本是几秒钟算力。把试错搬到便宜的场子里,再把结果带回真机,这套换法在自动驾驶和代码评测里早用滥了。搬到机器人上反而显得新鲜,原因就是机器人以前缺一个像样的评审环节。
论文里"评估 VLM 看视频找卡点"这半句,其实是整套设计的枢纽。它说明评审不需要精确到关节角,一段人能看懂的视频就够了。生成的和判断的分工再一次清晰了:一个负责出方案,一个负责看录像挑毛病。这跟我前面聊过的判断层是同一个思路换了壳。
数字给得干脆。六个模拟操作任务里,把搜索预算从一个候选提到四十五个,找到成功轨迹的平均比率从 25% 涨到 73%。他们还把 SAIL 放到了真机上测,说明这套流程不只停在仿真里。多花的算力没有用来让模型更聪明,全用来在模拟里试错和打磨。同一个模型,换的是花算力的位置。
25% 意味着单发单中四次才中一次,这种成功率没人敢让机器臂上产线。73% 也不是高枕无忧,但它把人的角色从随时救场变成了抽检兜底。中间那段距离,全靠四十五次模拟试错垫出来的。
换个角度看,这预示着机器人开发的账本会变。过去贵在演示采集,一段演示要人带着机器臂反复摆,一天下来采不了几条。如果生成加模拟试错这条路走通,贵的部分就挪到算力上。而算力恰恰是这几年一直在降价的东西。成本结构一变,小团队玩机器人的时间点就往前挪了。
落回日常,这套东西对不用机器人的开发者也有参照价值。它示范了给生成环节配评审的完整接法:生成器照常干活,评审只看产出物挑毛病,搜索负责在两者之间多试几轮。写代码的、做内容的都能照抄这个骨架,区别只在于把模拟器换成测试用例、把看视频换成读 diff。哪里有能自动打分的沙盒,哪里就能上测试时缩放,这句话几乎可以当选型口诀。
这跟我近来一直在看的那条线对上了:生成和判断分开,让便宜的判断去喂贵的生成。这篇的特别处是判断对象从文本和代码换成了动作,反馈也不再是打分,是一段能看出卡点的视频。轨迹这种一错全错的东西,恰恰最吃这一套。
论文自己留了余地,说现有模型能从这类反馈里学到多少、还能不能迁移到物理机器人,都还有得学。这句话我信,25% 到 73% 的跳跃发生在模拟里,物理世界的摩擦另算。
博客在 pub.sakana.ai/sail ,论文在 arxiv.org/abs/2603.08269 。四十五倍的搜索预算换接近三倍的成功率,这笔账值不值,得看真机上的返修率怎么算。真机那组数据出来之前,这 73% 先当仿真里的里程碑记着。















