CWE-bench v2开放100个漏洞修复任务

时间：2026年11月3日 地点：美国，Collinear AI 与 Hugging Face 平台联合发布，线上公开 人物：Collinear AI 团队与 Hugging Face 平台 事件详情：Collinear AI 在 Hugging Face 上发布网络安全基准 CWE-bench 的第二个版本 v2，开放包含100个任务的公开任务集，任何人都可以运行并评测自己的模型。这100个任务覆盖91种不同的 CWE（常见弱点枚举），涵盖范围很广的漏洞类别。评测设定与此前一致：智能体拿到一个真实开源代码库的检出副本和一句简短指令，目标是找出并修复一个安全弱点，同时不破坏原有功能。评分完全程序化，结果确定，任意人都能零成本复现。任务集附带的校验器经过逐条检查，并由 LLM 评审团参与打磨难度与公平性。 背景：CWE-bench 由 Collinear AI 推出，用于测试前沿模型网络能力的极限。v2 的任务设定与此前保持一致，但一次性放出了可公开复现的任务集，并另外保留一个留出集，用于持续追踪模型没有见过的任务上的进展。留出集不对外开放，评测需联系该团队。 影响：公开任务集、评分器和运行框架全部开源，意味着第三方可以直接对 Gemini、Claude、GPT 这类只提供 API 的模型做同口径复测，AI 修漏洞能力的横向比较第一次有了统一的公开尺子；对防守方而言，它也提供了一份可复用的漏洞类型清单。任务还被标注为可用于训练防守型智能体的强化学习环境，而不只是评测题。 总结：在11个参评模型中，Gemini 4 Argon 以 pass@1 67.8%、pass@4 81.0% 领先，Claude Opus 5.5 紧随其后，pass@1 67.3%、pass@4 78.0%。共有95个任务至少被一个模型解出，说明任务确实可解，但即便最强的模型每次尝试仍有19%的题目做不对，长尾远未解决。成本侧的帕累托前沿由 DeepSeek V4.1 Flash、Claude Opus 5.5 和 Gemini 4 Argon 构成：DeepSeek 以每次运行0.04美元达到 pass@1 57.0%，Opus 再加10个百分点但成本升至1.83美元，Gemini 以3.92美元略胜一筹。 常见问题： 问：哪个AI模型修漏洞能力最强？ 答：11个参评模型中 Gemini 4 Argon 以 pass@1 67.8% 领先，Claude Opus 5.5 为 67.3%。 问：CWE-bench v2怎么用？ 答：任务集、评分器和运行框架全部开源，可用 Harbor 框架直接拉取 Hugging Face 仓库运行，任意人可零成本复现。 参考来源： Hugging Face 官方博客：CWE-bench v2 - More coverage, quality, and transparency https://huggingface.co/blog/cwe-bench CWE-bench 官方站点：CWE-bench v2 - a cybersecurity benchmark by Collinear AI https://cwe-bench.com/ CWE-bench 留出集站点：a cybersecurity benchmark by Collinear AI https://www.cwebench.com Hugging Face 数据集：collinear-ai/cwe-bench 任务集与排行榜 https://huggingface.co/datasets/collinear-ai/cwe-bench Hugging Face Space：CWE-bench Leaderboard 完整模型对比 https://huggingface.co/spaces/collinear-ai/cwe-bench-leaderboard Collinear AI 官网：AI Simulation Lab for Training Data & RL https://collinear.ai/ Harbor 框架官网：承载每个任务的容器化运行环境 https://harborframework.com/ Hugging Face 博客源码：cwe-bench.md https://github.com/huggingface/blog/blob/main/cwe-bench.md