斯坦福研究：44%大模型结论已过期 寿命仅15.7个月

时间：2026年11月2日（论文在线发布），11月3日至4日多家媒体跟进报道 地点：美国斯坦福大学，论文以交互式预印本形式在线发布 人物：斯坦福大学研究员 Owen Queen 与 James Zou 事件详情：斯坦福大学研究人员 Owen Queen 与 James Zou 于11月2日以交互式预印本形式发布论文《The shelf life of LLM findings》，用20个模型复测了50条被广泛引用的大语言模型结论。测试覆盖2024年7月至2026年9月间由8家开发者发布的模型，截至2026年9月30日的统计结果是：44%的结论已经“过期”，34%显著减弱，只有16%仍然成立，另有6%变得更强。在22条有明确估计过期时间的结论中，从发表到失效平均只维持15.7个月，发表一年后有16%的结论过期，两年后升至39%。关于模型“做不到什么”的结论最先失效，9条推理类结论中有5条已经过期，没有一条仍成立或变强，其中包括数出“strawberry”里字母的个数、在陌生数制下做算术、长上下文中间信息丢失、被用户反驳时放弃正确答案这些老问题；关于模型偏好与倾向的结论活得更久，仍成立或变强的11条里有3条涉及模型作为评估者的行为，比如偏爱自己的答案、把被接收与被拒稿的论文评得差不多，以及受医学摘要措辞影响，另有3条与谄媚、附和用户有关。论文用编造参考文献做案例研究：2023年Walters与Wilder的研究中GPT-3.5编造了55%的参考文献，同样的提示词如今在GPT-6.1 Sol上编造比例为0%，Claude Sonnet 5.5为1%，但2026年的Qwen3.7-Flash仍高达69%；在需要把两个已知事实组合起来的双跳问题上，Claude Sonnet 5.5仍有约10%的失败情况，原论文报告的ChatGPT数字是43%。研究还显示同代模型之间差异很大，2026年7月至9月发布的模型中，过期结论数量从DeepSeek V4 Pro的11条到GPT-6.1 Sol的30条不等，发布时间、厂商和参数规模都无法可靠预测这一结果。 背景：大模型迭代的速度远超论文评审的节奏，一篇论文拿到第一轮修改意见时，它描述的模型行为可能已经变了。Paired Ends作者Stephen Turner在11月3日的分析中举了例子：2026年4月发表于PLOS One的一篇生命科学评估研究，其结论建立在GPT-4o的表现上，而该模型在2026年已被视为过时版本。研究者因此建议，关于大模型的实证结论应当被当作“特定模型、特定时间点的观察”来呈现，论文需要记录所用模型、版本与日期，并公开提示词与分析代码，让结论可以被后来的模型重新检验。 影响：这项结果对两类人有直接提示。做模型选型、评测与风控的工程和采购团队，用一年多以前的结论判断“模型能不能做某事”很可能误判；写论文、评测报告和产品文档的团队，则需要给引用的结论标注时间戳。论文同时把提示词与评测代码开源，任何人都能在新模型上重跑，复现门槛被进一步拉低。对国产模型也有提示：在这轮复测里，Qwen3.7-Flash的引用编造率仍高达69%，与前沿闭源模型接近零的水平差距明显。 总结：这项研究给出的不是“大模型研究不可信”的结论，而是一个更精确的提醒——关于大模型的实证结论有效期大约只有15.7个月，模型迭代跑在研究前面。50条被广泛引用的结论里有44%已经失效，说明用两三年前的论文来描述今天的模型并不可靠。研究者给出的做法也很朴素：记录所用模型、版本与日期，公开提示词和分析代码，让结论能够被后来者重新检验。 参考来源： The Decoder：Rapid LLM development is outrunning the research meant to explain it, study finds https://the-decoder.com/rapid-llm-development-is-outrunning-the-research-meant-to-explain-it-study-finds/ Paired Ends（Stephen Turner）：The Shelf Life of LLM findings https://blog.stephenturner.us/p/llm-claims-shelf-life 论文交互式页面：The shelf life of LLM findings https://zou-group.github.io/llm-claims-shelf-life/ GitHub 论文仓库：zou-group/llm-claims-shelf-life https://github.com/zou-group/llm-claims-shelf-life Techub News：斯坦福研究：44% 大模型常见结论已过期 https://www.techub.news/flash/fac064d8-d7ae-471d-a503-1aa4da2c1ef9 Today for AI：斯坦福研究：LLM 能力迭代过快 44% 学术结论已失效 http://www.todayforai.com/zh/story/story-4c4c30f9-09e X（论文作者 Owen Queen）：50条结论复测结果的分项统计 https://x.com/oq_35/status/2117306610318283050 Nature 子刊：Walters 与 Wilder 关于GPT-3.5编造参考文献的基准研究（2023） https://www.nature.com/articles/s41598-023-41032-5