MIT用GPT-4o让机器人读懂言外之意

时间：2026 年 11 月 9 日，论文在 CoRL 2026 会议上公布 地点：美国马萨诸塞州剑桥，麻省理工学院与纽约大学联合团队 人物：麻省理工学院航空航天学助理教授 Andreea Bobu（研究负责人、CLEAR 实验室主任）、麻省理工学院计算机科学与人工智能实验室博士后 Nathan Dennler、麻省理工学院学生 Audrey Lee、纽约大学 Ilia Sucholutsky 事件详情：麻省理工学院与纽约大学团队在 CoRL 2026 上发布机器人学习系统 FLEX（Flexible Language-Guided Representation Editing for Adaptive Robot Behavior）。它的做法是让人用自然语言给出纠正，机器人据此改写自己的内部特征表示，而不只是像以往方法那样不断往清单里追加条目。具体分三步：第一步 Add，在用户说「别洒在笔记本电脑上」这类提醒时，把笔记本电脑加入需要避开的特征清单；第二步 Generalize，用大语言模型（论文中用 GPT-4o）从已列出的特征里归纳出更高层的意图，把「笔记本电脑」扩展为「电子设备」，因此机器人会同时绕开旁边的手机；第三步 Mask，由机器人的常规视觉系统判断环境中哪些对象已经不在，把失效特征删掉。整个流程大约 5 秒完成。团队在仿真中验证了三类任务：端咖啡（提醒「别洒在电脑上」后机器人同时避开手机等电子设备）、移动蜡烛（提醒「离那堆纸远点」后自动远离易燃物）、搬运保龄球（提醒「别掉在杯子上」后自动避开易碎物品）。项目页公布的实验覆盖 2D 导航、7 自由度 Franka 机械臂台面操作和真实用户研究三部分，其中用户研究有 12 名参与者参与，FLEX 在任务表现、意图理解、对意外后果的鲁棒性、易用性与协作性五个维度评分均为最高；相比只用 Add 的 ALGAE，在任务表现（p=0.035）、意图理解（p=0.006）、鲁棒性（p=0.047）上显著更高，相比只用 Mask 的 MFE 在意图理解（p=0.031）上显著更高。 背景：轨迹演示只能告诉机器人怎么做，却不告诉它为什么做，机器人因此要自己猜测哪些任务特征真正重要，猜错就会产生不对的行为。论文作者指出，相比演示，用自然语言指定特征更合适，因为任务特征往往是语义定义的；已有的表示编辑方法虽然也用语言指定新特征，但只允许做加法，导致特征集合要么过度指定、要么范围过窄，在连续多轮纠正的场景下尤其明显。FLEX 把加、泛化、屏蔽这三类编辑操作统一进一个框架，实验显示三者缺一不可：在 2D 导航的七个场景中，FLEX 的归一化奖励在全部场景都是最高，只做单一操作的基线仅在自己擅长的那一类编辑上表现好，遇到需要泛化时明显退化。研究获得麻省理工学院生成式人工智能影响联盟以及 Schwarzman 计算学院社会责任与计算研究计划的部分资助。 影响：以往要让家用或辅助机器人理解「别弄坏我的东西」这类偏好，用户必须逐条罗列规则，FLEX 试图把这道门槛降到一句话。对具身智能团队来说，这提供了一条不同于重训策略的适配路径：不增加数据、不改奖励函数权重，只改内部特征表示，可以在部署现场随着用户反馈迭代。更实际的意义落在家庭与养老场景，因为每个家庭的在意点不同，机器人不可能出厂就懂这些。但边界同样清楚：论文把测试设定在仿真中进行，部分基线还会出现机械臂动作不稳的情况，真实机器人上的大规模验证尚未展开。 总结：FLEX 用三步操作把「人给机器人提意见」变成「机器人改写自己的特征表」，核心创新是用大语言模型承担泛化这一步，让「别洒在电脑上」自动延伸为「别碰电子设备」。MIT News 把这项工作定位为更直观、交互式的家用与辅助机器人方向的第一步，论文将在 CoRL 2026 上发表。它的局限也清楚：目前结论主要来自仿真，12 人规模的用户研究证明了意图理解上的优势，但真实家庭场景的长期效果仍待验证。 参考来源： MIT News：AI 辅助学习平台让机器人读懂字面之外的指令 https://news.mit.edu/2026/ai-assisted-learning-platform-helps-robots-reason-beyond-literal-commands-1109 MIT CLEAR Lab 的 FLEX 项目页与实验结果 https://mit-clear-lab.github.io/FLEX/ arXiv 论文摘要：Flexible Language-Guided Representation Editing for Adaptive Robot Behavior https://arxiv.org/abs/2610.28893 Unite.AI：FLEX 让机器人从人类纠正中学会泛化 https://www.unite.ai/flex-teaches-robots-to-generalize-from-human-corrections/ FLEX 开源代码仓库（MIT-CLEAR-Lab） https://github.com/MIT-CLEAR-Lab/FLEX