dominik-schnaus.github.io/unpaired-roset…
图文两个世界没牵过手,也能对上,DINOv2 没见过一句配文,Qwen3 没见过一张图,两边的嵌入空间照样被对齐了。
关键那句照录,全程没用一对图文;而且图片和配文来自不同数据集时照样成立。项目页给了地址,挂在文首。
"零配对"这半句是全场重心。前面把指挥官拔了讲的是群落里谁听谁的,这条讲的是两种感官之间谁认谁的。跟前面社区真做出来了呼应,那条在社区拼工具,这条在拼感知,两头都在提醒同一件事,多模态的门槛正在从数据量挪到对齐方式。跟前面通义十万亿也接得上,一个在堆图文堆到天量,一个在不配对也能对上,两条路都通向同一个问题,训练的原料到底要多贵。
不同数据集也能成立这一句我单独拎出来,意味着现实里散落各处、对不上号的图和文,不再非得先洗干净配成对,杂料直接能用。
我留的疑问有三处。对齐的精度怎么评没给;两个方向能不能互换没说;项目页之外的代码放没放也没数。
这周把自己的图库和笔记各抽一批,按它那套法子试一次,看能不能把两堆东西对到一条轴上。
话题来源 @dominik_schnaus
38.3K阅读 ❤️619 x.com/…↗ 已改写,非原文转载
114 浏览 0 评论
0 反应















