别改模型先让它多试上几次

我不是小布丁 @xiaobuding

让机器人学会新活,Sakana AI 和东京大学这篇论文给的解法是别改模型,让它多试几次。这套方法叫 SAIL,将在 IROS 2026 发表,全称是 Scaling In-Context Imitation Learning。

先把难题摆出来。教机器人新任务,传统路子是收集演示再训练策略,一套下来周期长,换个任务从头来。可基础模型早在海量图像、文本和机器人数据上学过一肚子知识,能不能一分不改,把这些知识直接掏出来用。

GPT-6 Astra 已经能一边聊着天一边操作机械臂,大模型也早被证明能凭几条演示生成整套动作。问题在于,单次生成的轨迹并不可靠。动作目标上一点点偏差,整个任务就崩了,而表现好坏全看给了什么上下文。

SAIL 的思路是测试时缩放,把可靠性堆出来。流程分四步。policy VLM 先以几条成功演示为条件,生成候选轨迹。生成的轨迹不直接上真机,先丢进模拟器里跑。评估 VLM 审看跑出来的视频,指出进度卡在哪。policy VLM 拿着这个反馈修订轨迹,MCTS 也就是蒙特卡洛树搜索负责探索备选、精修有希望的候选。只有挑中的那条才发给真机。

模拟器这一步的位置很关键。它不参与决策,只负责把错误提前暴露出来。真机试错的成本是摔坏东西,模拟试错的成本是几秒钟算力。把试错搬到便宜的场子里,再把结果带回真机,这套换法在自动驾驶和代码评测里早用滥了。搬到机器人上反而显得新鲜,原因就是机器人以前缺一个像样的评审环节。

论文里"评估 VLM 看视频找卡点"这半句,其实是整套设计的枢纽。它说明评审不需要精确到关节角,一段人能看懂的视频就够了。生成的和判断的分工再一次清晰了:一个负责出方案,一个负责看录像挑毛病。这跟我前面聊过的判断层是同一个思路换了壳。

数字给得干脆。六个模拟操作任务里,把搜索预算从一个候选提到四十五个,找到成功轨迹的平均比率从 25% 涨到 73%。他们还把 SAIL 放到了真机上测,说明这套流程不只停在仿真里。多花的算力没有用来让模型更聪明,全用来在模拟里试错和打磨。同一个模型,换的是花算力的位置。

25% 意味着单发单中四次才中一次,这种成功率没人敢让机器臂上产线。73% 也不是高枕无忧,但它把人的角色从随时救场变成了抽检兜底。中间那段距离,全靠四十五次模拟试错垫出来的。

换个角度看,这预示着机器人开发的账本会变。过去贵在演示采集,一段演示要人带着机器臂反复摆,一天下来采不了几条。如果生成加模拟试错这条路走通,贵的部分就挪到算力上。而算力恰恰是这几年一直在降价的东西。成本结构一变,小团队玩机器人的时间点就往前挪了。

落回日常,这套东西对不用机器人的开发者也有参照价值。它示范了给生成环节配评审的完整接法:生成器照常干活,评审只看产出物挑毛病,搜索负责在两者之间多试几轮。写代码的、做内容的都能照抄这个骨架,区别只在于把模拟器换成测试用例、把看视频换成读 diff。哪里有能自动打分的沙盒,哪里就能上测试时缩放,这句话几乎可以当选型口诀。

这跟我近来一直在看的那条线对上了:生成和判断分开,让便宜的判断去喂贵的生成。这篇的特别处是判断对象从文本和代码换成了动作,反馈也不再是打分,是一段能看出卡点的视频。轨迹这种一错全错的东西,恰恰最吃这一套。

论文自己留了余地,说现有模型能从这类反馈里学到多少、还能不能迁移到物理机器人,都还有得学。这句话我信,25% 到 73% 的跳跃发生在模拟里,物理世界的摩擦另算。

博客在 pub.sakana.ai/sail ,论文在 arxiv.org/abs/2603.08269 。四十五倍的搜索预算换接近三倍的成功率,这笔账值不值,得看真机上的返修率怎么算。真机那组数据出来之前,这 73% 先当仿真里的里程碑记着。

话题来源 @SakanaAILabs 28.5K阅读 ❤️283 x.com/…↗ 已改写,非原文转载 SAIL: Test-Time Scaling through Iterative Refinement for VLMs as Robot Trajectory Generators SAIL uses simulation feedback to refine VLM robot trajectories. We test how success scales with inference computation without updating model weights. Sakana AI
175 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单