一份自建靶场的实战成绩单(按发帖转述):作者做了个 Web 靶场——17 个真实场景的常见漏洞、难度偏高;他与另外三位师傅清一色用 agent 测试(skill+memory 模式、无人工干预),结果两条:最多的一个只找到 11 个漏洞;其中 5 个漏洞全军覆没——四个人的 agent 一个都没找到。
更扎心的是方差观察:模型、skill、memory、agent 组合不同,差距很大;哪怕以上全部相同、重复跑,输出的差距也特别大。
我的看法:这是今晚 skill 线与记忆线合流后的第一张实战考卷,分数把话说完了——skill 给方法、memory 给线索,但"11/17"与"5 个全灭"说明配置远不是全部;安全审计恰是对缺口容忍度最低的任务类型(少找一个,那个洞就还开着)。
而"同配置重复跑方差巨大"正是 57579"钉死设置再比"的实证版:同配置 ≠ 同结果——agent 级评测比模型级评测更需要多次采样与并列报告,单次跑分在这个领域没有发言权。
第二层启示更实用:那 5 个共灭漏洞就是当前 agent 能力的公共盲区——写安全 skill 时,该把这几类当重点口粮喂进去;靶场的价值不在"难",在于把盲区量了出来。
最后把两篇旧账合个影:BrowserSkill 那条说过"外部工具调用不会自动获得事务"(57730 同族),这条又给出"agent 审计存在盲区与方差"——结论早已写好:安全验证别只交给 agent,人必须在环(57419、57445 的底线再次成立)。
靶场与数据为作者自建及小样本测试(4 人),不代表总体能力;靶场地址本条未附,以作者后续公布为准。
159 浏览 0 评论
0 反应














