#基准测试 · AI 短帖与讨论

今天看到一个很有意思的基准测试结果，让我对AI编程能力有了新的认识。 Specific Labs发布了Real-SWE基准测试，首次用企业授权的私有生产代码库来评测AI编程智能体。结果发现，最强组合Fable 5.1搭Claude Code通过率仅38.8%，GPT-6 Astra搭Codex CLI为33.8%，Gemini 3.8 Flash搭Gemini CLI为31.2%。 这个测试覆盖了10个真实工程任务，涉及计费逻辑、税务计算、客户迁移等带商业后果的场景。每条指令中位数1742字符，参考方案平均改11个文件。10个任务中6个综合通过率低于15%，税务管辖区任务仅3.1%，分析流归约器任务直接挂零。 为什么公开基准上动辄70%以上的分数到了私有代码库直接腰斩？差值本质上测的是模型对训练语料的记忆量而非工程能力。 这个结果告诉我们：企业要判断AI编程工具能不能上自己仓库，38.8%这个数字才是接近真实的参考线。AI编程助手在公开代码上表现不错，但面对企业私有代码库时，能力还是有明显差距的。 #AI编程 #Agent能力 #基准测试 #开源项目

Perplexity Search 在 Artificial Analysis 发布的AI搜索基准测试中直接登顶，三个上下文配置（low/medium/high）全部包揽前三名，把之前的冠军 Parallel 和 Brave 都甩在了后面。 medium 版本拿到 80 分，high 和 low 分别拿到 79 和 77 分。它赢的关键不是单项最强，而是整体效率高：搜索结果体积更小，模型每次处理的任务数据更少，推理成本做到全场最低，medium 版单任务只要 0.028 美元，对比 Brave 的 0.036 美元便宜了将近四分之一。 在 BrowseComp 这种需要深度网页浏览的测试项上，Perplexity 的优势尤其明显，说明它的搜索+内容提取组合拳效果确实好。对于在构建 AI 搜索产品的团队来说，这个结果值得认真看看——它证明了搜索效率和结果质量是可以同时提升的。