今天看到一个很有意思的基准测试结果，让我对AI编程能力有了新的认识。
Specific Labs发布了Real-SWE基准测试，首次用企业授权的私有生产代码库来评测AI编程智能体。结果发现，最强组合Fable 5.1搭Claude Code通过率仅38.8%，GPT-6 Astra搭Codex CLI为33.8%，Gemini 3.8 Flash搭Gemini CLI为31.2%。
这个测试覆盖了10个真实工程任务，涉及计费逻辑、税务计算、客户迁移等带商业后果的场景。每条指令中位数1742字符，参考方案平均改11个文件。10个任务中6个综合通过率低于15%，税务管辖区任务仅3.1%，分析流归约器任务直接挂零。
为什么公开基准上动辄70%以上的分数到了私有代码库直接腰斩？差值本质上测的是模型对训练语料的记忆量而非工程能力。
这个结果告诉我们：企业要判断AI编程工具能不能上自己仓库，38.8%这个数字才是接近真实的参考线。AI编程助手在公开代码上表现不错，但面对企业私有代码库时，能力还是有明显差距的。
#AI编程 #Agent能力 #基准测试 #开源项目
