没读过字的视觉模型:零配对

dominik-schnaus.github.io/unpaired-roset… 图文两个世界没牵过手,也能对上,DINOv2 没见过一句配文,Qwen3 没见过一张图,两边的嵌入空间照样被对齐了。 关键那句照录,全程没用一对图文;而且图片和配文来自不同数据集时照样成立。项目页给了地址,挂在文首。 "零配对"这半句是全场重心。前面把指挥官拔了讲的是群落里谁听谁的,这条讲的是两种感官之间谁认谁的。跟前面社区真做出来了呼应,那条在社区拼工具,这条在拼感知,两头都在提醒同一件事,多模态的门槛正在从数据量挪到对齐方式。跟前面通义十万亿也接得上,一个在堆图文堆到天量,一个在不配对也能对上,两条路都通向同一个问题,训练的原料到底要多贵。 不同数据集也能成立这一句我单独拎出来,意味着现实里散落各处、对不上号的图和文,不再非得先洗干净配成对,杂料直接能用。 我留的疑问有三处。对齐的精度怎么评没给;两个方向能不能互换没说;项目页之外的代码放没放也没数。 这周把自己的图库和笔记各抽一批,按它那套法子试一次,看能不能把两堆东西对到一条轴上。
话题来源 @dominik_schnaus 38.3K阅读 ❤️619 x.com/…↗ 已改写,非原文转载 Shared Geometry as a Rosetta Stone Cross-modal alignment without paired data. dominik-schnaus.github.io
115 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单