ThinkingBox / ThinkingBox-Bench – 微软×Hugging Face 联合发布的智能体可靠性评测沙箱

产品简介

ThinkingBox 是微软与 Hugging Face 联合发布的 AI 智能体可靠性评测沙箱，覆盖 507 道有状态业务流程（stateful business workflows），以"数据库终态校验"取代传统的"输出文本打分"。在 Agent 完成每次任务后，ThinkingBox 不只检查它说了什么、调用了哪些工具，而是直接读取它写入数据库的真实记录，判断任务是否真的达到了业务要求的终态。配套 20 次重复试验机制，把单次通过率和持续可依赖率分别量化，覆盖零售、车险、旅游、新银行、咨询五大高频业务域。

核心功能

• 507 题基准：横跨 5 个真实业务场景（零售 98 题 / 车险 100 题 / 旅游 104 题 / 新银行 104 题 / 咨询 101 题），每题配套明确的"终态字段 + 副作用清单"，由可执行校验器（executable checks）判分，避免"看起来对就判通过"的伪评测。
• 20 次重复试验：每道题对每个模型跑 20 轮独立执行，每次从干净的后端状态启动，分别给出 pass@1（通常怎么行）、pass@20（是否能一次以上）、Observed 20/20（是否每次都对）三套指标。
• 三档指标设计：pass@1 看一次性表现，pass@20 看"能不能做"，Observed 20/20 看"是否每次都做对"，让企业能区分"能跑通"与"能依赖"的本质差异。
• 数据库终态校验：基于真实 CRM、订单、退款、票务等后端的字段级可执行检查（如 ticket.status 是否从 hold 被错误写成 solved），任何最终响应 / 工具调用都只是辅助信号。
• OpenEnv 集成：与 Hugging Face OpenEnv 打通，开发者可以在本地拉起同一沙箱环境复现并跑回归测试，方便自研 Agent 接入评测。
• 排行榜与论文配套：完整数据 + 表格 + 附录已收录于 arXiv 2608.19741（ThinkingBox 论文），并由 HF Spaces 公开排行榜展示当前模型在 5 个域上的能力与一致性。

特色优势

• 抓住本质差距：在 121,680 次试验里，67.24% 的失败表面上"干净退出 + 调用了状态变更工具 + 无工具错误"，传统评测判为通过，但 executable check 仍能在 77.61% 的情况发现错误字段值、43.30% 多出副作用、25.36% 漏做必要动作。ThinkingBox 直接量化这一差距。
• 一致性指标决定生产可用性：Kimi-K3 在 pass@20 维度领先（93.89%，476/507 题至少跑通过一次），却在 Observed 20/20 上仅 13.41%（68/507）；Claude Opus 5.5/5 在 20/20 维度高达 47.53%（241/507）。对真正部署到生产环境的 Agent 而言，20/20 比 pass@20 关键得多。
• 帕累托成本前沿：每个 token 按 OpenRouter 标准价反推折算，给出"每次成功成本 + 每可依赖任务成本"双指标。GPT-5.6 Sol 单次成功 $0.127 最便宜，Claude Opus 5.5 在 20/20 上以 $7.80 / 任务为最便宜的"高一致性"模型。
• 失败诊断分桶：79.9% 的失败归因于"工具使用"（重试 + 错误恢复），10.3% 是错误状态写入，7.0% 是用户问题未真正解决，2.9% 是根本没改状态——给 Agent 调优指明具体抓手。
• 模型选择指南：Claude Opus 5.5 综合 pass@1 67.16% 居首，Kimi-K3 是开源最强（57.37%），Claude Opus 4.6 在零售 68.62% 但车险仅 8.30%——按业务侧强弱选用，不只看总榜。

应用场景

• 企业 Agent 选型：把模型列表接入 ThinkingBox 跑一遍，按业务所在域（零售/车险/旅游/新银行/咨询）挑出既能跑通又能每次跑通的型号。
• 回归测试：每次 Agent 系统升级后，重跑同一批 507 题，确认 Observed 20/20 数字没有回退，避免线上 P0 故障。
• 工具链路可靠性优化：当失败分桶显示 79.9% 来自工具使用时，优先加强 MCP 工具的错误处理与重试策略，而非堆模型参数。
• 学术研究 / 论文复现：HF OpenEnv 一键起沙箱，所有任务用例可下载（sandbox_external_retail_group1.py 等），便于第三方团队在同等条件下复现对比。

适用人群

企业 AI / Agent 平台负责人、SRE 与运维团队、Agent 框架开发者、模型选型决策者、AI 评测研究人员，以及任何需要"对生产环境负责"的工程团队。

出品方

ThinkingBox 由 Microsoft 与 Hugging Face 联合发布，联合作者包括 Enderis AI 创始人 Tommy Guy（前 Microsoft）、HF 的 Sergio Paniego，以及匹兹堡大学、UC Irvine、西北大学的实习生。论文 arXiv 2608.19741，代码开源在 huggingface/OpenEnv/tree/main/envs/thinkingbox_env。

官网链接

https://huggingface.co/blog/microsoft/thinkingbox