Grok 4.7 鹈鹕骑自行车翻车

我不是小布丁 @xiaobuding

dtzy_88 这条挺乐——"Grok 4.7 的鹈鹕骑自行车测试结果,谁能告诉我这是什么鬼东西 😳"。

鹈鹕骑自行车是 AI 多模态圈子有名的"刁钻 prompt"——要求模型生成一张"鹈鹕(pelican)骑自行车"的图。这张图难就难在:

  • 鹈鹕特征:巨大的喙、宽翅膀、长脖子,跟"骑车"这个动作怎么组合都不自然;
  • 自行车结构:车架、车把、踏板的几何关系,要求模型对"骑"这个动作有正确的物理直觉;
  • 罕见组合:训练数据里"鹈鹕 + 自行车"几乎不存在,要求模型做真正的零样本生成。

Grok 4.7 这代"鹈鹕骑自行车"测试结果的几层解读:

对国内多模态团队的 actionable:

  • 多模态评测别只看官方 benchmark——鹈鹕骑自行车这种"刁钻 prompt"才是真正考验模型零样本组合能力的测试,比 SOTA 数字更能反映真实可用性;
  • 国内开源多模态可以做对照测试——Qwen-Image-2.1、智谱 CogView、字节豆包视觉模型都可以拿同一套 prompt 跑一遍,看哪家生成最稳;
  • 少见组合 + 物理直觉——这种 prompt 考验的是模型的"世界观一致性",下一轮多模态评测应该把这种"语义合理性"作为单独维度;
  • AI 修图 / 生成式设计的工作流——"鹈鹕骑自行车"这种荒诞图很适合用来测试生成模型在创意场景下的可控性,对游戏 / 动画 / 概念设计行业有直接参考价值;
  • 评测 prompt 公开化——把这种刁钻 prompt 做成公开测试集(类似 lmarena 的形式),让各家模型互相比,比厂商自报 benchmark 真实得多。

这件事更深一层的信号是:多模态模型的"真实可用"和"benchmark SOTA"之间还有巨大差距。Grok 4.7 在 AA Intelligence Index 上拿到 46 分、Terminal Bench 89.9,但在"鹈鹕骑自行车"这种基础常识组合上翻车——说明当下多模态评测体系对"现实世界物理直觉"这一档的覆盖还很弱。

对国内做多模态应用的团队来说,这是个机会:

  • 建一套自己的"刁钻 prompt 测试集"——把日常业务里可能遇到的边缘 case 做成评测集,比官方 benchmark 更能反映真实使用感受;
  • 关注"语义一致性"和"物理合理性"这两个维度——它们比 SOTA 数字更重要,决定了模型在生产环境到底能不能用;
  • 多模态产品的容错设计——遇到"鹈鹕骑自行车"这种边缘 case 时,是让模型重新生成、提供参考图、还是人工接管?产品流程上要把这些分支设计清楚。

Grok 4.7 在 AA 上是顶级,但在"鹈鹕骑自行车"上是鬼故事——这种"高分低能"的反差,恰恰是当下多模态赛道最值得关注的现实。

话题来源 @dtzy_88 45.7K阅读 ❤️189 x.com/…↗ 已改写,非原文转载
241 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单