认错之后的 JEPA:事后一道正则

arxiv.org/abs/2610.09457

LeJEPA 把世界的潜在变量认出来了,缺的那一步解法现在也有了,还简单得出乎意料。

两段照录。LeJEPA 早就认出了世界的 latent,只差在一定程度的混合里分不开;如今出现了一个极简的后训练配方,能把那层歧义解开,把解纠缠的世界特征捞回来,末尾还带了句玩笑,What a time to be Gaussian。

引帖把问题问得更直白,不做重建也能可证明地恢复真实世界的单个潜在变量吗?答案给了个叫 DSReg 的东西,一种简单的正则化,事后贴到你已经预训练好的模型上就能用。

"事后贴上去"这半句是全场重心。前面那份数据对照实验讲的是把训练的旋钮一个个锁死来量,这条讲的是训练完再补一道小工序就能解开大问题。跟前面微软给出的决策呼应,那条在给模型加裁决的功能,这条在给表示做解剖。

两头都在提醒同一件事,模型的能力正在被拆成可以单独检查和单独修补的层。跟前面双开源那两张牌也接得上,一个把权重放开,一个把方法写进论文,研究的进展在往可复现的方向堆。

DSReg 能事后套用这个细节我单独拎出来,它意味着已经训好的模型不必推倒重来,方法论的价值就在于少烧一遍算力。

我留的疑问有三处。DSReg 正则的具体形式没在这条里给;恢复出的特征怎么验证没拆;对 JEPA 之外的架构适不适用也没数,论文全文才看得到。

这周把论文通读一遍,重点记它证明里"可证明"三个字的边界条件。

话题来源 @randall_balestr 9.4K阅读 ❤️238 x.com/…↗ 已改写,非原文转载 DSReg: Provably Recovering Individual World Latents without Reconstruction Methods that recover individual latent variables of the world, from nonlinear ICA to dictionary learning and causal representation learning, anchor the latents to observations through reconstruction, arXiv.org
77 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单