史上最严湿实验预测基准发布 前沿模型最高平均分0.478

时间：2026年11月13日 地点：线上发布（预印本平台 arXiv），评测覆盖化学、材料科学、生物和医学四大领域 人物：UniPat AI 团队牵头，顾问委员会包括斯坦福大学、哈佛大学、康奈尔大学、北京大学、香港科技大学（广州）等高校，以及优睿赛思、爱博泰克、深度原理与恩和生物等机构 事件详情：UniPat AI 发布 Science Prediction Universe（SPU）湿实验预测基准，包含 100 个公开任务和 16 个私有任务，总计 116 个任务、4207 个湿实验。研究团队对 12 款前沿模型的 13 种配置进行了系统评测，要求每个 agent 在 8 小时内自主预测真实湿实验的结果排序。结果显示，表现最好的 Claude Opus 5.5 任务调整后平均 Spearman 相关系数仅为 0.478，所有配置的得分范围为 0.227 到 0.478。即使将 GPT-6 Astra 的推理强度从中等调至最高，运行时间中位数增加 4.8 倍、API 成本增加 5.3 倍，预测得分也几乎无提升。各配置仅在 34% 至 52% 的 scored tasks 上超过了随机水平阈值。 背景：随着 AI for Science 的深入，AI 已能自主检索文献、安装科学软件并连续工作数小时。但现有基准如 BrainBench、ScienceAgentBench 等大多测试已知答案的分析任务，或仅要求模型预测数值而非在真实实验条件下对候选条件进行排序。SPU 首次将 AI 的自主研究过程与湿实验结果预测放在一起考核，要求 agent 在不知道实测结果的情况下，对实验条件进行从低到高的排序。 影响：SPU 揭示了一个关键瓶颈：当前 AI 的科研判断力远未达标。分析发现，不同模型之间的共识（0.52）反而高于它们与实验真实结果的吻合度（0.33），说明模型容易陷入共同的错误假设。此外，工具调用次数、GPU 使用量与得分几乎无关，真正决定预测准确率的是模型选择判断依据的科学性。这一发现对科研 AI 的部署具有直接指导意义：盲目增加算力和推理时间并不能提升预测可靠性。 总结：Science Prediction Universe 把 AI 湿实验预测的距离量化了出来。当前最先进模型的平均得分不足 0.5，距离真正可靠的科研预测还有很长的路要走。SPU 同时提供了预测表现与调用成本的对照，为研究团队选择适合的科研模型提供了可复用的评估框架。随着任务持续积累，AI 到底能在哪些实验环节替代或辅助人类判断，将变得更加清晰。 参考来源： UniPat AI 发布 SPU 湿实验预测基准，116 个任务、4207 个实验覆盖四大领域 https://arxiv.org/abs/2611.15049 CASRAI 报道 Science Prediction Universe 测试 AI 对实验结果的预测能力 https://casrai.org/news/science-prediction-universe-ai-experimental-outcomes-benchmark-2026 36 氪编译：史上最严湿实验预测基准发布，推理拉满、算力翻 5 倍也白搭 https://www.c114.net.cn/industry/146601.html 量子位详细解读 SPU 基准设计与首批模型成绩单 https://www.qbitai.com/2026/11/510232.html SPU 项目主页 https://spu.unipat.ai SPU 开源代码与数据集 https://github.com/UniPat-AI/SPU