时间：2026年7月8日
地点：美国旧金山（OpenAI总部）
人物：OpenAI研究团队
事件详情：2026年7月8日，OpenAI发布了一项关于SWE-Bench Pro编程评测基准的详细审计报告。通过对731个公开任务的数据集进行系统性审查，OpenAI发现约30%的评测任务存在各种缺陷，包括测试用例设计不当、任务描述模糊、评估标准不统一等问题。OpenAI使用了一套自动化数据点分析管线，结合多个AI智能体的交叉审查和五名经验丰富的开发者的独立评估，对每个被标记的任务进行了严格核查。此前OpenAI已于近期退出了SWE-Bench Verified评测，理由是发现该基准存在根本性设计和数据污染问题。SWE-Bench Pro是Scale AI在SWE-Bench Verified基础上设计的升级版，旨在评测模型在更长周期和更真实编程任务上的能力。
背景：AI编程能力评估一直是行业难题。现有的编程评测基准普遍面临任务污染、测试覆盖不足、评分标准不一致等顽疾。OpenAI表示，不准确的评测会造成对能力虚假的理解，歪曲安全论证并影响研究优先级。在退出SWE-Bench Verified后，OpenAI鼓励业界转向SWE-Bench Pro，但如今对该基准也提出了质疑，凸显出整个AI编程评测领域亟需更严谨的评估体系。
影响：
- SWE-Bench Pro约30%缺陷率意味着当前业界引用的许多模型编程能力数据存在水分，可能导致企业基于不准确的评估做出错误决策
- OpenAI连续对两大主流编程评测基准发出质疑，可能推动行业建立更严格的AI编程能力评估新标准
- 更准确的评测标准将使真实能力排名更加透明，减少刷榜行为带来的市场误导
总结：OpenAI对SWE-Bench Pro的审计揭示了AI编程评测领域的系统性问题。当整个行业以基准分数作为模型能力的主要参照时，基准本身的缺陷可能导致严重的决策偏差。这不仅关系到模型之间的公平比较，更涉及AI安全——如果模型在虚假的高分掩盖下存在未被检测到的能力不足，可能在软件开发等高风险场景中带来隐患。OpenAI此次主动披露审计结果，有助于推动AI评估领域的自律和改进。
参考来源：
- https://openai.com/index/separating-signal-from-noise-coding-evaluations/
- https://news.ycombinator.com/
- https://scale.com/blog/swe-bench-pro