谷歌发布物理工程基准PLE 最强智能体得分不足50%

时间：2026年11月3日 地点：美国，谷歌 Google Cloud AI 与基础设施团队，合作方 Mercor 人物：谷歌 AI 与基础设施团队研发副总裁 Burak Gokturk、研究员 Rujun Han、产品经理 George Lee，以及 Mercor 的合作工程师与执业结构/机电/土木工程师 事件详情：谷歌 AI 与基础设施团队宣布推出 Physical-Engineering's Last Exam（PLE）基准与公开竞赛，联合 Mercor 共同开发，用来测前沿模型能不能端到端完成机械、电气、土木与结构工程的真实活儿。官方同步放出 29 项公开任务、配套评分工具，以及公开竞赛排行榜 ple-bench.com。PLE 共 85 项长程任务，其中机械 30 项、电气 27 项、土木 18 项、结构 10 项。每项任务不是一个提问，而是一个容器化的项目文件夹，基于 Mercor 的 Archipelago 环境构建，平均每个任务 61 个文件、全基准共 5170 个文件，包含 PDF、电子表格、邮件、二维 CAD 图纸、三维 BIM 模型与文档修订版，智能体需要读懂规范与物理限制、完成计算，并产出可交付工程成果。任务由两类方式建成：44 项由执业工程师依据真实项目亲自出题，41 项由工程师设计初稿、智能体流水线自动装配环境与评分器，再由工程师逐项校验并提高难度。官方用 14 个前沿模型、7 种智能体框架（Antigravity、Claude Code、Codex、Hermes、OpenCode、OpenHands、Pi）做了评测。 背景：前沿模型在不少学术基准上得分已超过 90%，但这些题目多是教科书式问答、单次工具调用或小而封闭的设计题，无法回答一个现实问题：智能体在持牌工程师复核与管控之下，能不能给出安全、合规、成本可控的工程设计。PLE 的思路是让智能体交付真实可计费的工作成果，而论文与公开榜单显示，最强组合的平均分也只有 50.6%，每个任务平均消耗约 2700 万 token、耗时约 63 分钟。与 Humanity's Last Exam 衡量通识、Agents' Last Exam 衡量数字专业工作不同，PLE 瞄准的是建造物理世界的工作，这也是 Google AI 与基础设施团队推出公开竞赛与免费模型额度的直接动因。 影响：官方基线结果给出了明确的天花板——私有测试集上所有前沿模型得分都低于 50%，表现最好的模型在其原生框架下平均分 48.3%；得分最高的智能体配置虽然满足了合著任务中 91% 的单项约束，但只有 41.3% 的交付物通过了全部硬性安全与可行性检查。这意味着 AI 目前能做的是起草与试算，签字与放行仍然得靠人。另一组结论同样值得注意：模型选择带来的成绩差距远大于框架选择，同一模型换框架的中位差距只有 3 分，而不同模型之间最多能拉开 50 分，但对成本影响明显。对国内做 AI 辅助工程设计、科研智能体的团队，这套公开任务与评分脚本提供了可直接对标的评测口径。 总结：谷歌联合 Mercor 发布物理工程基准 PLE，用 85 项真实工程项目考智能体，公开 29 项任务、评分工具与排行榜，并宣布举行公开竞赛。官方评测显示所有前沿模型在私有测试集上得分都不到 50%，最高分 48.3%，只有四成多交付物能通过全部安全与可行性检查。结论很清楚：AI 能帮着算和起草，但工程责任暂时还交不出去。 参考来源： Google Cloud 官方博客：Introducing Physical-Engineering's Last Exam for agents（2026年11月3日） https://cloud.google.com/blog/products/ai-machine-learning/introducing-physical-engineerings-last-exam-for-agents/ PLE 论文（arXiv 2610.30537） https://arxiv.org/abs/2610.30537 Google Research 的 PLE GitHub 仓库：29 项公开任务与评分脚本 https://github.com/google-research/ple PLE 公开竞赛排行榜与提交通道 https://ple-bench.com/ TokenPost 报道：AI 工程评测最高得分 50.6% http://tw.tokenpost.com/news/blockchain/62807 MindPattern 报道：谷歌 PLE 基准最佳组合 50.6% 每题耗 2700 万 token https://mindpattern.ai/f/30864