**时间**:2026年10月7日
**地点**:美国
**人物**:Perplexity AI 团队
**事件**:
Perplexity 于 10月7日 开源 pplx-e…late 系列多模态晚期交互(late-interaction)嵌入模型,包含 0.6B 和 9B 两个参数版本,均已在 Hugging Face 开源(MIT 许可证)。
该系列基于 Qwen3.5 构建,采用 ColBERT 风格架构——每个 token 输出一个 128 维向量,查询与文档的相似度通过 MaxSim 算子计算。与传统单向量嵌入不同,晚期交互允许多个向量参与匹配,显著提升检索精度。
**核心突破:无需 OCR 即可搜索 PDF、图片、幻灯片**
pplx-e…late 的最大亮点在于:能直接对 PDF 页面、扫描件、图片和幻灯片进行嵌入,无需传统 OCR 流程。模型将图片和渲染后的文档页面直接编码进同一多模态空间,实现真正的原生多模态检索。
**Benchmark 表现**
| 模型 | 活跃参数 | ViDoRe v3 图片 nDCG@10 | ViDoRe v3 Markdown nDCG@10 |
|------|---------|----------------------|--------------------------|
| pplx-e…te-0.6b | 340M | 62.3% | 61.2% |
| pplx-e…e-9b | 7.4B | 65.2% | 64.7% |
9B 版本在 ViDoRe v3 图片检索上仅次于 Google Gemini Embedding 2,位列第二。两款模型共享同一嵌入空间,支持用 9B 建索引后用 0.6B 低成本查询。
**技术细节**
- 训练数据:成对 + 三元组数据蒸馏自内部 18B ColBERT 教师模型,采用 ACL 2026 LEAF 风格 token 级目标函数
- 9B 模型:最后 8 层全量微调,前层 + 视觉编码器用 LoRA 适配
- 0.6B 模型:全量微调
- 依赖:sentence-transformers ≥ 6.0.0,transformers ≥ 5.4.0
- 使用 sentence-transformers 6.0.0 的 MultiVectorEncoder 接口,无需自定义代码
**影响**:
pplx-e…late 的开源填补了开源社区在多模态晚期交互嵌入领域的空白。此前 ColBERT 风格模型以复现难度高著称,Perplexity 提供了开箱即用的生产级方案,预计将广泛应用于 RAG 系统、文档智能搜索和多模态知识库场景。
**参考来源**:
- [Perplexity 官方博客:Multimodal embeddings beyond a single vector](https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector
- [Hugging Face:perplexity-ai/pplx-e…te-0.6b](https://huggingface.co/perplexity-ai/pplx-e…te-0.6b
- [Hugging Face:perplexity-ai/pplx-e…e-9b](https://huggingface.co/perplexity-ai/pplx-e…e-9b
- [Crypto Briefing:Perplexity AI releases pplx-e…late models for multimodal search](https://cryptobriefing.com/perplexity-pplx-e…dels/
- [VibeHacker:Perplexity open-sources pplx-e…late, MIT-licensed ColBERT embeddings](https://vibehacker.com/news/perplexity-open-sources-pplx-e…hat-
- [Digg:Perplexity's models search PDFs, slides and scans without OCR](https://digg.com/ai/fjymxeu8
- [MTEB Leaderboard](https://mteb-leaderboard.hf.space/models
- [Perplexity AI 法语博客](https://www.perplexity.ai/fr/hub/blog/multimodal-embeddings-beyond-a-single-vector







