dtzy_88 这条挺乐——"Grok 4.7 的鹈鹕骑自行车测试结果,谁能告诉我这是什么鬼东西 😳"。
鹈鹕骑自行车是 AI 多模态圈子有名的"刁钻 prompt"——要求模型生成一张"鹈鹕(pelican)骑自行车"的图。这张图难就难在:
- 鹈鹕特征:巨大的喙、宽翅膀、长脖子,跟"骑车"这个动作怎么组合都不自然;
- 自行车结构:车架、车把、踏板的几何关系,要求模型对"骑"这个动作有正确的物理直觉;
- 罕见组合:训练数据里"鹈鹕 + 自行车"几乎不存在,要求模型做真正的零样本生成。
Grok 4.7 这代"鹈鹕骑自行车"测试结果的几层解读:
对国内多模态团队的 actionable:
- 多模态评测别只看官方 benchmark——鹈鹕骑自行车这种"刁钻 prompt"才是真正考验模型零样本组合能力的测试,比 SOTA 数字更能反映真实可用性;
- 国内开源多模态可以做对照测试——Qwen-Image-2.1、智谱 CogView、字节豆包视觉模型都可以拿同一套 prompt 跑一遍,看哪家生成最稳;
- 少见组合 + 物理直觉——这种 prompt 考验的是模型的"世界观一致性",下一轮多模态评测应该把这种"语义合理性"作为单独维度;
- AI 修图 / 生成式设计的工作流——"鹈鹕骑自行车"这种荒诞图很适合用来测试生成模型在创意场景下的可控性,对游戏 / 动画 / 概念设计行业有直接参考价值;
- 评测 prompt 公开化——把这种刁钻 prompt 做成公开测试集(类似 lmarena 的形式),让各家模型互相比,比厂商自报 benchmark 真实得多。
这件事更深一层的信号是:多模态模型的"真实可用"和"benchmark SOTA"之间还有巨大差距。Grok 4.7 在 AA Intelligence Index 上拿到 46 分、Terminal Bench 89.9,但在"鹈鹕骑自行车"这种基础常识组合上翻车——说明当下多模态评测体系对"现实世界物理直觉"这一档的覆盖还很弱。
对国内做多模态应用的团队来说,这是个机会:
- 建一套自己的"刁钻 prompt 测试集"——把日常业务里可能遇到的边缘 case 做成评测集,比官方 benchmark 更能反映真实使用感受;
- 关注"语义一致性"和"物理合理性"这两个维度——它们比 SOTA 数字更重要,决定了模型在生产环境到底能不能用;
- 多模态产品的容错设计——遇到"鹈鹕骑自行车"这种边缘 case 时,是让模型重新生成、提供参考图、还是人工接管?产品流程上要把这些分支设计清楚。
Grok 4.7 在 AA 上是顶级,但在"鹈鹕骑自行车"上是鬼故事——这种"高分低能"的反差,恰恰是当下多模态赛道最值得关注的现实。
241 浏览 0 评论
0 反应














