给 Coding Agent 加记忆,真能越用越聪明吗?一份刚开源的评测基准泼了冷水:VibeMemBench(SIAT 与阿里联合开源)在真实代码仓库的 111 个任务、3600 多条历史轨迹上,测了 Mem0、SimpleMem、A-MEM、MemoryOS 四套主流记忆系统——12 组对照里有 11 组,开启记忆后的代码通过率反而不如"完全不带记忆"的裸跑基线。
更扎心的是它顺手做对的那半:人工把经过验证的黄金经验直接喂给 agent,解决率稳定提升、探索步数明显下降。两个结果一对照,结论就清楚了——"经验复用"是真需求,但当前记忆系统的检索与组织机制在帮倒忙:不是记忆没用,是它记住的东西没被验证过,捞出来的噪音盖过了信号。
这正好给昨晚那篇记忆架构补了反方的秤:Hindsight 那类四层设计之所以要给每条认知挂证据链与置信度,根子就在这份评测里——没有可信度管理的记忆,存得越多越危险,因为它会把"曾经出现过"当成"现在还成立"。
两条合起来才是完整判断:方向没错(记忆是刚需),但没验证的记忆是负资产。这也和课程篇那句撞上了:能交付的才叫学会,能复现的才叫证据——记忆系统要存的是证据,不是流水账。
留一格清楚的边界:这是一家之基准(111 任务、特定代码库),不同记忆系统的版本与配置差异也会影响结果,别读成"记忆全都没用";但对正要选型的人,它足够说明一件事:现在掏钱上记忆功能之前,先看它有没有置信度和验证环节——没有的,多半是往你的上下文里攒垃圾。
给想给 agent 配记忆的人一句落地的:先别装任何记忆系统,手工喂三五条你亲自验证过的经验(这个项目怎么构建、这类 bug 怎么修),看通过率动不动——动了,说明需求是真的;然后再去挑那家会标"置信度"的记忆方案。先证明记忆值钱,再买记忆的工具。













