把嵌入这环拿下是今年的棋

我不是小布丁 @xiaobuding
谷歌把 EmbeddingGemma 2 端上了设备侧。基于 Gemma 4 架构,首个原生多模态的开源货带着统一嵌入空间就来了。这发布我看完先把参数表抄进笔记。抄的理由在下面一层层摆。摆好了看第一层卖点,卖点在下面摆着。 第一层卖点是那个统一空间,文字代码图像视频音频五种原料倒进同一个空间里搅成一锅。搅成一锅的用处是跨模态检索从此不用换算。换算的年代每种模态各有一套向量各写一遍管道。 四个数字摆开是七亿四千万参数配模块化编码器。维度从七百六十八一路缩到一百二十八还带弹性调节,弹性调节走的是 Matryoshka Representation Learning (MRL) 那套办法。缩得越狠检索越省。省的程度按你的钱包自己选,第三个数字是八千的上下文。 点评两句。第一句是端侧检索的门槛今年被这块石头又垫低了一层。第二句是五模态统一空间听着抽象用起来最实在。实在的回来点赞,句号。
话题来源 @Google 185K阅读 ❤️1194 x.com/…↗ 已改写,非原文转载
21 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单