LeCun 新论文 1.09亿参数反超720亿大模型

时间：2026年11月2日（中文媒体集中报道日）；论文本身于10月29日在 arXiv 上线。 地点：美国罗德岛州布朗大学；论文共同作者之一 Yann LeCun 现领导的 AMI Labs；论文经 arXiv 公开为预印本。 人物：Yann LeCun（杨立昆），66岁，卷积神经网络先驱之一，2018年 ACM 图灵奖得主，前 Meta 首席 AI 科学家，2025年11月离开 Meta 创办 AI 研究公司 AMI Labs；Randall Balestriero，布朗大学计算机科学助理教授，论文共同作者。 事件详情：10月29日，LeCun 与 Balestriero 联合发布长达 37 页的论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》，arXiv 编号 2610.39302。论文提出，在特定条件下，不同模态的 AI 模型即使独立训练，也能学到可相互对齐的世界表征，技术路线基于 JEPA（联合嵌入预测架构）。实验部分，一个仅 1.09 亿参数的文本 JEPA 在跨模态表征对齐指标上得分 0.184，高于 Qwen2.5-72B 的 0.154 和 Llama-3-70B 的 0.151；在同一语料与比较设置下，采用 Good Views 训练方案的模型只需约 2160 万个样本，就达到下一 Token 预测模型使用 9 亿个样本才能获得的表征对齐水平，按样本数量计算效率提升约 42 倍，按实际读取的文本 Token 数计算差距约 14 倍。论文还把表征对齐能力转化为实际应用：通过一个线性变换连接分别训练的视觉编码器与文本模型，在 COCO 数据集上取得 0.838 的 CIDEr 分数；在无需成对图文数据拟合对齐变换的实验中，ImageNet-100 的 Top-5 分类指标达到 64%。论文发布后进入 Hugging Face 当日热门论文榜，共同作者 Balestriero 在社区评论区补充了实验细节。 背景：这项研究建立在 2024 年 ICML 论文《The Platonic Representation Hypothesis》之上，作者包括 Minyoung Huh、Brian Cheung、Tongzhou Wang 和 Phillip Isola。该工作观察到图像模型与语言模型内部的表征结构随能力增强而趋同，但没有证明这种现象必然发生，也没有解释什么训练方法能更高效地实现它。LeCun 长期主张，仅靠预测下一个 Token 不足以构建理解物理世界、具备记忆与规划能力的智能系统，因此多年推动 JEPA 路线。2025年11月他离开 Meta 成立 AMI Labs，2026年3月 AMI Labs 完成约 10 亿美元融资，把世界模型作为核心研究方向。 影响：如果这些结论在更大规模、更多模态上成立，模型竞争的关键变量将从参数量与训练数据量，转向训练样本之间的信息关系设计；对算力与数据受限的中小团队，用小模型配正确训练配方可能更具性价比。需要说明的是，论文比较的是跨模态表征对齐，而不是开发者熟悉的通用能力，1.09 亿参数模型在数学推理、代码生成、知识问答上并未证明超过 Qwen2.5-72B。 总结：这篇论文延续了 LeCun 对“唯规模论”的一贯质疑，并给出可复现的实验证据：在跨模态表征对齐这一特定任务上，参数量的差距并不决定胜负。42 倍的样本效率差距说明，数据之间的结构关系可能比单纯堆量更重要。对大模型厂商而言，这是对 scaling 路线的一次侧翼挑战；对研究者而言，它再次指向世界模型与表征学习路线。目前该工作仍是一篇预印本，结论需要更多独立复现验证。 常见问题： 问：1.09 亿参数真的胜过 720 亿吗？ 答：比的是跨模态表征对齐指标，文本 JEPA 得 0.184，高于 Qwen2.5-72B 的 0.154 与 Llama-3-70B 的 0.151，并非通用能力对比。 问：JEPA 是什么？ 答：LeCun 长期推动的联合嵌入预测架构，主张学习抽象表征并在表征空间做预测。 参考来源： InfoQ 中文：66 岁 Yann LeCun 发新论文挑战 Scaling Law https://www.infoq.cn/article/pWwkDpoFHIsfw9aCRkij 36 氪中文：LeCun 新论文挑战 Scaling Law 报道 https://36kr.com/p/4052080077427593 arXiv 论文原文 Proving and Improving the Platonic Representation Hypothesis with JEPAs https://arxiv.org/abs/2610.39302 Hugging Face 论文页与作者社区讨论 https://huggingface.co/papers/2610.39302 C114 中文：66 岁 Yann LeCun 发新论文挑战 Scaling Law https://www.c114.net.cn/industry/140610.html 阅读 hub：Yann LeCun 发新论文，小模型跨模态表征对齐表现超 720 亿大模型 https://readhub.cn/topic/8xirJC69f2U