EmbeddingGemma 2

# EmbeddingGemma 2 - Google DeepMind 开源多模态嵌入模型 ## 产品简介 Emb

LLM大模型 部分免费

EmbeddingGemma 2 - Google DeepMind 开源多模态嵌入模型

产品简介

EmbeddingGemma 2 是 Google DeepMind 于 2026 年 10 月 6 日发布的开源多模态嵌入模型,也是 EmbeddingGemma 系列的第二代旗舰模型。该模型在初代 EmbeddingGemma 仅支持文本的基础上扩展至原生支持文本、代码、图像、视频和音频五种输入类型,并将它们统一映射到同一个 768 维向量空间中。模型总参数量为 740M,采用模块化架构设计,开发者可以按需加载 270M(文本/代码)、440M(文本+视觉)、570M(文本+音频)以及 740M(全模态)四种规模组合。EmbeddingGemma 2 由 Google 基于 Gemma 4 主干构建,与 Gemma 4 共享文本 tokenizer 和音频编码器,搭配 Gemma 4 做端侧 RAG 时所需内存显著低于两套独立模型,是 Google 推进"端侧 AI"战略的关键开源产品之一。

核心功能

  • 统一多模态嵌入空间:将文本、代码、图像、视频和音频五种模态映射到同一 768 维向量空间,原生支持跨模态检索(如用文本搜索视频帧、用音频匹配相似图像)。
  • 模块化加载:运行时可选择性加载编码器,提供 270M / 440M / 570M / 740M 四种规格,避免冗余内存占用。
  • Matryoshka 表征学习(MRL):原生支持 128 / 256 / 512 / 768 维度动态截断,存储空间最高可缩减 6 倍,在 256 维时多语言 MTEB 仍保持 60.41,质量几乎不受影响。
  • 量化感知训练:支持 INT4 / INT8 量化,显著降低端侧设备显存占用。
  • 超长上下文窗口:8K token 上下文窗口,可一次性处理约 29 张图片、58 帧视频或约 5.5 分钟音频。
  • 任务提示词(Task Prompt):通过 prompt_name 参数切换"SearchQuery""Document"等任务指令,引导嵌入表示适配不同检索场景。
  • MTEB Code 专项优化:针对编码 Agent 的代码检索场景专项训练,代码检索准确率显著提升。
  • 跨框架兼容:可与 sentence-transformers(v6.1.0+)、Hugging Face Transformers、Ollama、llama.cpp GGUF、LiteRT 等主流推理框架直接集成。

特色优势

  1. 同类模型 SOTA:在子 10 亿参数规模的多模态嵌入模型中处于业界领先水平。MTEB Code v1 全精度得分 78.68,比上一代 68.76 提升约 14%;MTEB 多语言 v2 得分 61.36 与上一代持平;MIEB lite(图像)64.64、MMEB v2 图像检索 57.28、视觉文档检索 67.84、MAEB 音频任务 49.39。
  2. 极致端侧性能:在 Pixel 11 Pro 上仅文本模式激活内存仅约 191 MB,全模态模式约 567 MB;在 MacBook M5 Pro GPU 上单张图像嵌入耗时约 37.3 毫秒,单机可离线运行。
  3. 开源友好许可:采用 Apache 2.0 商业友好许可,权重已同步上架 Hugging Face 与 Kaggle,Ollama、llama.cpp GGUF、LiteRT 构建已上线,vLLM 即将支持。
  4. 百万级开发者验证:上一代 EmbeddingGemma 自 2025 年 9 月发布以来已被开发者下载超过 2000 万次,社区生态成熟。
  5. 降低 RAG 部署门槛:搭配 Gemma 4 做本地 RAG 时无需 GPU 服务器即可在消费级硬件运行,对隐私敏感场景(医疗、法律、金融)和断网环境意义重大。

应用场景

  • 本地代码 Agent 检索:在编码 Agent(Claude Code、Cursor、Codex 等)中作为代码库嵌入底座,让 Agent 自主检索本地仓库内容,支持百万行代码秒级检索。
  • 端侧 RAG 问答:在手机、平板、笔记本等离线设备上构建基于多模态知识库的问答系统,无需连接云端即可获得准确检索结果。
  • 跨模态内容搜索:用文本查询定位视频片段(如"找到产品展示的镜头"),用语音查询匹配相似音乐片段,用图像查询检索相似产品图。
  • 隐私敏感行业:医疗、法律、金融、政务等数据不能出网的领域,使用 EmbeddingGemma 2 在本地完成数据索引和检索,杜绝数据外泄风险。
  • 企业知识库管理:为内部文档、PDF、演示文稿、白板照片、录音等多模态资料建立统一索引,员工可通过自然语言快速定位所需内容。
  • 多语言客户服务:在跨国客服系统中为不同语言的客户咨询、文档、语音留言建立统一嵌入空间,实现跨语言意图匹配。
  • 离线视频分析:在手机端对录制的视频进行场景识别、片段定位、字幕检索,无需上传云端。

适用人群

  • 应用开发者:希望为 App 增加本地化、低延迟的多模态搜索能力,无需付费调用云端嵌入 API。
  • AI 工程师:负责企业内部 RAG 系统、多模态知识库、跨模态检索服务的研发工程师。
  • 隐私敏感团队:医疗、法律、金融、政务等数据合规要求严格的组织,需要在本地完成数据嵌入与检索。
  • 编码 Agent 开发者:为 Claude Code、Cursor、Cline 等 AI 编程工具开发本地代码库检索插件的工程师。
  • 学术研究者:研究多模态表征学习、向量检索、端侧 AI 等前沿方向的科研团队。
  • 独立开发者:希望以低成本为产品增加智能搜索能力的个人开发者。
  • 断网/弱网环境用户:在野外、船上、飞机上等无网络场景下需要本地 AI 检索能力的用户。

出品方

EmbeddingGemma 2 由 Google DeepMind 研发,核心工程师包括 Sahil Dua 与 Henrique Schechter Vera。该模型是 DeepMind 在 2025 年 9 月发布初代 EmbeddingGemma 后的迭代产品,也是 Google 推进"端侧 AI"战略的重要组成部分。EmbeddingGemma 2 与 Gemini Embedding 共享底层技术栈,与 Gemma 4 共享文本 tokenizer 和音频编码器,三者构成 Google 端侧 AI 完整生态。

更新动态

  • 2026 年 10 月 6 日:Google DeepMind 正式发布 EmbeddingGemma 2,权重同步上线 Hugging Face 与 Kaggle。
  • 2026 年 10 月 7 日:亚洲开发者可下载权重;Ollama、llama.cpp GGUF、LiteRT 构建上线;vLLM 集成即将推出。
  • 配套发布:同期发布的开发者指南详细介绍了 EmbeddingGemma 2 的安装、加载、任务提示词使用、跨模态输入编码等最佳实践,并展示了 Hugging Face Transformers 代码库的实际嵌入应用案例。
  • 生态合作:Google AI Edge 已在 macOS 上的 Foresight 会议应用中实测使用 EmbeddingGemma 2 + Gemma 4 组合,并通过 AI Edge Gallery 演示 Video Moments Finder(通过文本或语音查询定位视频场景)。

官网链接

团队信息

由 AI 猎手自动发现

评论与建议

0 条评论