腾讯元宝×KCL发布首个群聊Agent记忆基准
时间:2026年11月21日
地点:香港/伦敦
人物:腾讯元宝团队、伦敦国王学院NLP团队
事件详情:腾讯元宝与伦敦国王学院NLP团队联合发布GroupAssistBench,这是首个基于真实群聊构建的Agent记忆基准。研究覆盖50个真实群聊、80,299条历史消息,构建2,395道评测题,检查Agent记忆能否从记得住走向用得好。论文已在arXiv公开,代码和数据集同步在GitHub与Hugging Face开放。
背景:现有Agent Memory评测多通过事实问答检验历史回忆,但真实群聊场景更复杂——同一条信息可能由不同成员补充,安排会随讨论更新。GroupAssistBench将评测分为L1记忆召回与L2开放式服务两个层级,并按照M1单条记忆、M2多记忆整合、M3更新与冲突处理划分依赖类型,避免把不同题型差距误当成记忆能力差异。
影响:实验显示,EverMemOS在L1记忆召回中得分0.621,高于相同模型完整上下文的0.570,但在L2开放式服务评测中仅0.247,远低于完整上下文的0.431,说明更会回忆并不必然更会服务。Full Context在M1到M3的记忆使用得分从0.505降至0.303,显示多人冲突记忆场景下能力明显衰减。团队提出的RER与ACB干预机制,让不同记忆系统的L2分数相对基线带来一致提升。
总结:GroupAssistBench首次让群聊场景下的Agent记忆能力可被量化比较,揭示了当前记忆系统找得到但用不上的普遍缺陷。随着多用户助手成为大模型落地的重要方向,如何让AI在正确时机使用正确的记忆,将成为提升群助手实用性的关键。该基准的发布,为行业提供了可复现的评测框架。
参考来源:
量子位
https://www.qbitai.com/2026/11/511841.html
arXiv
https://arxiv.org/abs/2611.04867
今日头条
https://www.toutiao.com/article/7710586945436533291/?wid=1795262633788
CAIP
https://uat.caip.org.cn/news/detail?id=44766
AIzws
https://aizws.net/news/detail/14689
Zaker
https://www.myzaker.com/article/6b016d308e9f096cb77858fc
shaqiu.cn
https://www.shaqiu.cn/tracking/research%3Aarxiv%3A2611.04867?from=%2Ftracking
academy.dair.ai
https://academy.dair.ai/papers/one-assistant-many-memories-benchmarking-real-world-group-assistance-when-recall-2611.04867







