Rehearsals与DeepMind发人类行为基准

时间：2026年10月20日（美国东部时间上午9点30分发布，北京时间10月20日晚间至21日凌晨）。AI 消费者研究平台 Rehearsals（Deep Prediction Inc.）正式发布 Human Behavior Bench 人类行为基准，联合 Google DeepMind 与 Kaggle 共同设计，基准站点与实时排行榜同步上线。 地点：美国纽约（Rehearsals 总部），基准地面真值来自其自建的美国第一方样本库，计算资源由 Google DeepMind 与 Kaggle 提供赞助。 人物：Rehearsals 联合创始人兼CEO Liam Bolling（曾带队谷歌与微软工程团队，创办过三家创业公司）；Google DeepMind 与 Kaggle 团队作为共同设计方与算力赞助方参与基准构建；被评测方包括 Google Gemini 4 Argon 与 Gemini 3.8 Flash、OpenAI GPT-6 Astra 与 GPT-5.6 Sol、Anthropic Claude Opus 5.5、xAI Grok 4.6。 事件详情：这是首个公开衡量"AI 模型能否准确预测并理解人类偏好与行为"的基准。官方方法为：地面真值来自 Rehearsals 自有第一方样本库的1244名美国成年人，2026年6月至9月间以语音访谈与表单问卷两种方式采集，覆盖750个类别、95553条个体回答；人群按人口结构（年龄、收入、地域）或行为特征（如使用GLP-1类药物者、近12个月购车者）划分为"受众"；评测任务共1199道，其中239道公开、960道私有（按类别分层的20/80留出）。每道题均为封闭式、给定选项集，评分指标为 Agreement = 100 × (1 − 全变差距离)，即预测分布与真实分布的一致度，0至100分、越高越好。基准方同时介绍了一种新的分布预测方式 Engram：不用模型直接输出一个分布，而是用真实用户的"AI分身"构建模拟、汇总个体回答得到最终分布；Engram 训练于数十万小时的视频与音频访谈数据，未在任何基准内容上训练，使用独立的人类数据集。 排行榜（分布一致度，0至100）：Rehearsals Engram 1.0 以94.1居首，其后为 Gemini 4 Argon 80.6、GPT-5.6 Sol 79.5、Claude Opus 5.5 79.3、Gemini 3.8 Flash 79.1、GPT-6 Astra 79.0、Grok 4.6 76.2。官方给出四项发现。其一，大模型在产品与营销决策上最弱：当被要求选出某受众的首选答案时，大模型在产品功能、话术与定价类问题上正确率约41%，在品牌认知与日常习惯类问题上约74%，而 Engram 1.0 达到约九成。其二，大模型把人群看得更"冷漠"——平均低估最受强烈认同的选项13个百分点，同时高估"从不/没有/不要"这类答案约10个百分点；在435道带此类选项的任务中真实选择率仅14%，大模型却预测为22%至25%。其三，六个真实商业决策场景中大模型的误判高度一致：农村车主续保时不比价者真实仅24%，大模型普遍预测50%至56%；60岁以上中西部人群使用手机或手表闪付者真实为25%，大模型预测不超过6%；45至59岁、年收入5万至10万美元人群反感外露商标者真实仅14%，大模型预测32%至48%；东北部55至64岁人群在流媒体涨价4美元后仍保留订阅者真实为70%，大模型预测36%至47%；认为"运动服广告主打保持干爽"极有吸引力的男性高知白领真实为42%，大模型预测17%至23%；视信用卡月月还债为常态的男性高知白领真实为37%，大模型预测13%至26%。其四，在四个情感强烈的任务上（希望内容都集中在一处、由家长承担大部分做饭、愿为更耐用的球鞋多付钱、忠诚度计划让利），大模型同样系统性低估真实强度，例如第一题真实70%表示强烈认同，Engram 66%，Gemini 4 Argon 30%，其余大模型为23%至31%。 背景：大模型在长任务与软件工程上进步显著，但与人类价值观的对齐仍相距甚远。Rehearsals 联合创始人兼CEO Liam Bolling 表示："2026年AI行业的重心是能完成长任务、掌握软件工程的智能体；我们对2027年及以后的判断是，随着AI变得更个人化，重心将回到价值观与文化对齐上。这也是我们与 Google DeepMind 共同打造 Human Behavior Bench 的原因。" 官方站点同时指出，大模型知道人类如何说话，却不一定知道人类如何行为——向不同人群各问100人同一问题会得到分散、不均甚至意外的回答，而大模型往往给出平滑的分布或取一个"听起来合理"的答案。Rehearsals 是一家预测营销结果的AI消费者研究平台，通过模拟真实人的"AI分身"服务营销、消费者洞察与产品团队，用于30分钟内测试定价、文案、广告创意与产品概念；公司获 a16z Speedrun、25madison、Plug and Play Ventures、Factorial Fund 投资，并有来自 OpenAI、Google DeepMind 与 Scale AI 的个人投资者。 影响：这套基准把"AI替企业做用户决策"这件事第一次放到了公开可核验的标尺上，其结论对正在用大模型做定价与营销决策的团队有直接成本意义——在多个场景中大模型预测与真实人群出现20至30个百分点的系统性偏差。需要明确的边界同样清晰：官方披露 Engram 由 Rehearsals 使用自有评测系统打分，而基线大模型在 Kaggle 上评测，两者虽使用相同案例与指标，但运行环境并不完全一致；V1 仅覆盖美国、样本偏小；地面真值来自公司自有样本库；官方称大部分基准数据保持私有以维持有效性，公开部分有限；目前尚无独立第三方复现这些数字。官方称下一版本将扩大参与者规模、覆盖另外四个国家并拓展至更广领域，预计在2026年底前推出。 总结：Human Behavior Bench 的价值在于给出了"分布一致性"这把尺子——不只问模型答对没有，而是问它对一群人的答案分布还原得准不准。在此标尺下，六个前沿模型的最好成绩停在80.6分，Rehearsals 自家模型以94.1分领先，而官方对 Engram 1.0 的定义是"预览中、面向部分合作伙伴"；基准由 Rehearsals 与 DeepMind 共同设计、DeepMind 与 Kaggle 提供算力，这一组合也让该基准在方法层面更具可信度。 参考来源： https://www.runrehearsals.com/human-behavior-bench https://www.kaggle.com/benchmarks/rehearsals/human-behavior-bench/leaderboard https://fortune.com/press-releases/rehearsals-launches-human-behavior-bench-google-deepmind-2026-10-20/ https://finance.yahoo.com/technology/ai/articles/rehearsals-launches-human-behavior-bench-150500065.html https://www.webdisclosure.com/press-release/rehearsals-launches-human-behavior-bench-with-google-deepmind-and-kaggle-to-measure-how-well-ai-models-understand-humanity-v0RfaCiv4sr https://markets.businessinsider.com/news/currencies/rehearsals-launches-human-behavior-bench-with-google-deepmind-and-kaggle-to-measure-how-well-ai-models-understand-humanity-1036643802 https://www.runrehearsals.com/ https://www.kaggle.com/