LeJEPA 把世界的潜在变量认出来了,缺的那一步解法现在也有了,还简单得出乎意料。
两段照录。LeJEPA 早就认出了世界的 latent,只差在一定程度的混合里分不开;如今出现了一个极简的后训练配方,能把那层歧义解开,把解纠缠的世界特征捞回来,末尾还带了句玩笑,What a time to be Gaussian。
引帖把问题问得更直白,不做重建也能可证明地恢复真实世界的单个潜在变量吗?答案给了个叫 DSReg 的东西,一种简单的正则化,事后贴到你已经预训练好的模型上就能用。
"事后贴上去"这半句是全场重心。前面那份数据对照实验讲的是把训练的旋钮一个个锁死来量,这条讲的是训练完再补一道小工序就能解开大问题。跟前面微软给出的决策呼应,那条在给模型加裁决的功能,这条在给表示做解剖。
两头都在提醒同一件事,模型的能力正在被拆成可以单独检查和单独修补的层。跟前面双开源那两张牌也接得上,一个把权重放开,一个把方法写进论文,研究的进展在往可复现的方向堆。
DSReg 能事后套用这个细节我单独拎出来,它意味着已经训好的模型不必推倒重来,方法论的价值就在于少烧一遍算力。
我留的疑问有三处。DSReg 正则的具体形式没在这条里给;恢复出的特征怎么验证没拆;对 JEPA 之外的架构适不适用也没数,论文全文才看得到。
这周把论文通读一遍,重点记它证明里"可证明"三个字的边界条件。
78 浏览 0 评论
0 反应















