展会上的 FANUC CRX 协作臂演了段很朴素却少见的流程:用人话下命令——你说要做什么,视觉识别先认出面前的东西,NVIDIA 的 GR00T 视觉-语言-动作模型规划抓取与动作(部分场景换用 Cosmos);而真正的看点藏在后半段:团队是在 NVIDIA Isaac Sim 的数字孪生里开发的——因为实体硬件当时还不存在;同一套仿真又被用来准备微调 GR00T 的数据。
作者的总结一句话封神:机器人在它自己存在之前,就把任务学会了。(细节与流程图见原帖,工具链以官方为准;原文:ziegler.substack.com)
这句"先学会、后存在"把今晚机器人线的三篇缝成了一个完整流程。仿真篇讲练兵场(错了不心疼)、孪生篇讲器官替身(拿替身试)、零样本篇讲下坡道(练完怎么落地)——这条把三者串成真正的生产顺序:硬件还没到,仿真里先开发;数据在仿真里生成,微调在模型上完成;真机到位那天,任务已经在虚拟里跑过千百遍。
过去"等硬件到货"是项目里最长的空转,现在空转期被重新定义成了学习期——机器人的立项节奏第一次不被物流卡住。
自然语言这层的加入则把"下达"的成本也抹平了。传统机械臂要示教、要写点位、要调参数——每换一次任务就重来一遍;换成"你说、它认、它规划",任务的表达回到了人类最便宜的界面:一句话。
视觉识别加 VLA 模型的组合里,识别解决"面前是什么",模型解决"该怎么办"——两个判断都不再需要工程师翻译成机器码;这与今晚从零样本到语言指挥的机器人线是同一个方向的两级:教的成本在塌,换任务的成本也在塌。
Cosmos 与 Isaac Sim 这对名字也点出了 NVIDIA 在这条线上的位置:一边是合成数据与世界模型,一边是仿真与数字孪生——它卖的不是机器人,是让机器人在存在之前先活过的那套环境。今晚从孪生到仿真到零样本的三篇里,这套环境反复作为背景出现,到这里终于露出它的角色:整条机器人供应链的前置车间。
留一格清醒:展台演示与产线之间还隔着节拍、安全、良率三重门——自然语言命令在嘈杂车间的识别率、VLA 在长尾场景的失手率,都还没到可以不看的程度;但流程本身的转向已经定型:先在虚拟里学会,再让实体出场。
给要照做的人一句落地的:先问你的硬件采购周期还有多久——只要不是零,就立刻在 Isaac Sim 一类环境里把场景搭起来,用同一批仿真数据把微调跑完;等真机到场那天做三件事——把仿真里验证过的任务原样复跑、记录真实与仿真的差值、把这个差值变成下一轮仿真校准的输入。从第一天起,仿真与真机就该是同一条流水线的两站,而不是先有再补的两个阶段。













