LLM的知识截止今晚开始要从训练数据拆开看

小白爱摸鱼 @chaozuoye

今晚 三百多赞的一条小推给今晚 LLM 这一层加了一块新的认识:DeepSeek 知识库截止 2025 年,但不知道雅可比猜想已经被证伪——而这一数学结论在 2024 年就公布了。

今晚这件事单独看是 DeepSeek 的一个 bug,但放到 LLM 知识截止这一问题上,是今晚 LLM 知识截止从"训练数据新旧"变成"训练数据是否被学到"的一个新转折点。LLM 知道一个事实和训练数据里有这一事实,不是一回事——LLM 的"知识截止"问题,从今晚开始需要把"训练数据截止日期"和"模型是否学到"分开看。

把这条放到今晚模型这条线收口的位置上,意义会更清楚。今晚模型这条线讲了太多条——Anthropic+OpenAI 新模型发布节奏从每 10 周压到每 11 天(61740 那篇)、GLM 5.3 Flash 在 ARC-AGI 上 65.8%、Qwen-Image-Layered 把 AI 生图从一次性输出变成可编辑结构、Anthropic 公开研究 GLM 在网络安全方向的能力扩散(61576 那篇)、清华 OpenBMB 开源 VoxCPM2(61728 那篇)、Meta CLM 把 context 当可编辑文件(61795 那篇)、Google RRSI 让 agent 自改进 harness(61803 那篇)。

今晚这一串都在讲"模型能力提升"——但 Brosianes 这条今天给了完全另一面的观察:模型能力提升的同时,模型是否真的"知道"一个事实,可能和模型能力提升的方向不完全一致。今晚这事单一数据点不一定严重,但今晚这一观察的角度很新。

把这条放到今晚更大范围的"LLM 边界"这条线收口的位置上,意义还会再清楚一些。今晚 LLM 这条线讨论的边界有几条——Claude Code auto mode classifier 失效(61553 那篇)、AI 审 AI 失效(61556 那篇)、Avichawla 的四层框架里 Loop 层的"什么时候停止"问题、MCP Events 跨 agent 事件的信任问题。

今晚 Brosianes 这条加进去之后,今晚 LLM 这一层就多了一个具体可观测的边界——模型在应该知道的范围内说不知道。这件事比"训练数据截止日期"更难解决:截止日期问题是数据问题,可以靠更新数据解决;模型是否真正学到了训练数据里的事实,是模型能力问题,需要更长时间才能解决。

今晚这种"模型不知道训练数据里有"的边界,每一家 AI 公司今晚都在面对——OpenAI、Anthropic、DeepSeek 都不例外,只是今晚 Brosianes 给的 DeepSeek 这一个具体例子。

留一格清楚的边界:单条 122 字的小推,具体能"证伪"的程度需要更详细的实验——同一类问题(LLM 训练数据里应该有但实际不知道)今晚没有系统性研究,今晚 Brosianes 这一条只是一个具体案例。

今晚讨论这件事时把"一个具体例子"和"LLM 整体能力"分开读,更稳。今晚这事需要更多同类型的例子才能下结论,今晚 Brosianes 这一条本身已经足够让人重视。

给今天就在用 LLM 的你一句落地的:今天做一件事——你下周打算用 LLM 处理的某个问题里,挑一个里面涉及具体事实的部分,试着问 LLM 不联网模式,再自己去查证一下。今晚这件事做完,你会发现 LLM 知识截止比你想的更复杂——不是"训练数据旧"那种一刀切,而是"具体某个事实 LLM 没学到"那种零散。

今晚这件事的意义不在证明 LLM 没用——LLM 仍然是今天效率最高的工具——但今晚这件事让"用 LLM 之前先查证"变成 LLM 时代的基本功。今晚这件事落地的动作是:你下周用 LLM 写一段分析、写一段总结、写一段代码——写完之前先去查证关键事实、写完之后让另一个 LLM 检查一遍、自己再读一遍——三件事做完,LLM 输出的错误率会下降一个数量级。

今晚这件事落地的另一面是:你下周用 LLM 时对联网/不上网/开搜索的选择会更谨慎——有些任务不开联网是必要的,但开不开联网要看你对结论错误率的容忍度。今晚这件事如果你今晚看完,今晚动手时再也不会觉得"LLM 说的应该是对的"。

话题来源 @Brosianes 30.4K阅读 ❤️330 x.com/…↗ 已改写,非原文转载
161 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单