谷歌发布多模态知识智能体基准MKA

时间：当地时间 2026 年 11 月 10 日（北京时间 11 月 11 日），谷歌宣布与独立模型评测机构 Artificial Analysis 联合推出多模态知识智能体基准测试 MKA（Multimodal Knowledge Agent），用来衡量 AI 智能体处理视觉密集型专业文件、交付专业成果的能力。 地点：线上发布，评测任务在第三方 Linux 沙箱环境中运行，评测的执行与题库托管由 Artificial Analysis 负责。 人物：谷歌 DeepMind 高级产品经理 Rohan Doshi 与首席工程师 Ben Caine 负责介绍 MKA；Artificial Analysis 负责 200 项评测任务的实际运行、评分与私有化保管。 事件详情：MKA 由 Google DeepMind 打造，Artificial Analysis 负责实现与执行。官方评测集共 200 项任务，横跨 10 个行业垂直领域，覆盖商业、建筑、教育、工程、金融、医疗、法律与政府、物流与地图、科学以及软件与数据。据 IT之家报道，评测集由 10 个行业的 83 种职业的领域专家共同构建，每项任务都模拟一个多步骤专业项目，需要经验丰富的专业人员投入 3 至 8 小时完成，并配有专家编写的评分标准，平均包含约 70 项是非判断检查项，其中事实准确性占 75%、视觉设计占 25%。所有参测模型都运行在同一个开源智能体框架 Stirrup 上，使用相同的工具、沙箱环境和交互轮次预算；Artificial Analysis 的官方说明写明，每项任务最多允许 250 轮交互，智能体在具备代码执行、联网搜索与页面抓取工具的 Linux 沙箱中工作，图像按原始尺寸送入模型。最终交付成果由一套基于非谷歌模型构建的智能体评审系统打分，谷歌称领域专家人工评分与该自动评审系统的一致率达到 96%。为防止题目泄露进入训练数据，Artificial Analysis 把 200 项正式任务设为私有，另在 Hugging Face 上公开了 10 项示例任务，供开发者了解测试格式。 榜单方面，Artificial Analysis 官方页面以 Climb WSR（加权满足率，每条标准权重 1 到 5 分，Climb 为难度更高的标准、Regression 为基础能力标准）作为头条指标，共收录 21 个参测模型。Claude Fable 5.2（Max，Default Fallback）以 57% 排名第一，Gemini 4 Carbon（High）以 54% 紧随其后，Claude Opus 5.5（Max，Default Fallback）为 53%。第三方榜单平台 BenchLM 按 11 月 10 日核验的数据记录为 56.6%、54.3%、53.0%，其后是 Claude Sonnet 5.5 的 52.0%、Gemini 4 Argon 的 51.3%、GPT-6 Astra 的 50.2%，Kimi K3.1 Pro 为 43.9%。谷歌称 Gemini 4 Carbon 的质量排名第二，但平均任务成本只有排名第一模型的约六分之一；在单任务成本这一项上，Artificial Analysis 列出的最低值来自 GPT-6 Luna（Max），为 0.18 美元，其后是 Claude Haiku 5.5（Max）与 MiMo-V2.6-Pro，均为 0.32 美元。 背景：此前主流的知识工作基准大多只依赖文本即可完成，而现实中的专业工作往往涉及大量视觉信息。据谷歌 DeepMind 的 Rohan Doshi 与 Ben Caine 介绍，建筑师需要交叉核对建筑蓝图，工程师需要分析工程示意图，专业人员还要把不同来源的信息整理成演示文稿、报告和电子表格。MKA 正是针对这一空白设计：让模型真正读图，再交出可交付的成品，而不是只做文字问答。评测框架 Stirrup 本身已在 GitHub 开源。 影响：MKA 把「读懂视觉密集文件并交付专业产出」变成了可横向比较、可复现的量化指标，企业在挑选智能体、模型厂商在自查能力时多了一个参考维度。对开发者来说，Artificial Analysis 已开放该基准，可以在平台上评估自己的模型，公开的 10 项示例任务也放在 Hugging Face 上，可以直接对照任务格式自测智能体。对国内模型厂商来说，Kimi K3.1 Pro 以 43.9% 位列第九，是榜单中排名最高的开放权重模型。需要留意的是，排在前面的几款模型都是闭源模型，而且各家标注的配置并不相同（例如 Claude Fable 5.2 与 Claude Opus 5.5 均标注为 Max、Default Fallback），跨模型比较时要看清具体配置，不能只比模型名字。 总结：谷歌与 Artificial Analysis 联合推出的 MKA 基准，衡量的是 AI 智能体在真实知识工作场景中处理视觉复杂文件的能力。它真正有价值的地方不在首轮名次，而在于把「专业交付物」这件事变成了 200 项有专家评分标准的公开评测。首轮结果里 Claude Fable 5.2 居首、Gemini 4 Carbon 紧随其后且任务成本明显更低，说明当前模型在质量与成本之间还没有形成稳定的性价比共识；榜单仍处早期阶段，后续更新值得盯住。 常见问题： 问：MKA 基准测试考的是什么？ 答：考 AI 智能体能否读懂建筑图纸、工程示意图这类视觉密集文件，并产出报告、表格、幻灯片等专业交付物。 问：Gemini 4 Carbon 在 MKA 上排第几？ 答：按 Climb WSR 口径排第二，官方页面记为 54%，第一名的 Claude Fable 5.2 为 57%。 参考来源： 谷歌官方博客：Introducing the Multimodal Knowledge Agent benchmark https://blog.google/innovation-and-ai/models-and-research/gemini-models/multimodal-knowledge-agent-benchmark/ Artificial Analysis 官方评测页：Multimodal Knowledge Agent (MKA) Benchmark https://artificialanalysis.ai/evaluations/mka Artificial Analysis 评测方法说明（含 MKA 章节） https://artificialanalysis.ai/methodology/intelligence-benchmarking Hugging Face 公开示例任务集：google/multimodal-knowledge-agent https://huggingface.co/datasets/google/multimodal-knowledge-agent Stirrup 开源智能体框架 https://github.com/ArtificialAnalysis/Stirrup BenchLM 第三方榜单快照（2026 年 11 月 10 日核验） https://benchlm.ai/benchmarks/mka IT之家：谷歌联合 Artificial Analysis 推出 MKA 基准测试 https://www.ithome.com/1/025/205.htm