Milvus 3.0
开源向量数据库,External Collection 直接索引数据湖
产品简介
Milvus 是全球领先的开源向量数据库,专为 AI 应用场景设计,能够高效处理大规模向量数据的存储、索引和检索。作为大模型与大数据融合的核心枢纽,Milvus 在语义检索、推荐系统、RAG(检索增强生成)、具身智能等 AI 落地场景中发挥着关键作用。Milvus 3.0 是该项目的最新重大版本,于 2026 年中期发布,带来了湖原生向量搜索、外部集合、快照功能、Storage V3 存储格式和 Spark/Hadoop 生态集成等重磅新特性,在架构设计和功能完备性上实现了质的飞跃。
核心功能特点
湖原生向量搜索(Lake-Native Vector Search)
Milvus 3.0 引入了革命性的外部集合(External Collection)功能,允许 Milvus 直接对存储在数据湖(如 HDFS)中的数据构建索引和提供检索服务,而无需将数据迁移到 Milvus 内部。这一能力使得企业在不改变现有数据架构的前提下,即可为海量原始数据赋予语义检索能力,大幅降低了向量搜索的使用门槛。Milvus 3.0 通过 HDFS 接口直接读取海量向量数据,与 Spark 集成后可在批处理任务中直接调用向量检索能力,实现「特征提取—向量存储—语义检索」的全链路自动化处理。
快照功能(Snapshot)
Milvus 3.0 支持创建集合的时间点快照视图,用户可以在不复制数据的情况下获取某个历史时刻的完整数据状态。这一功能对于模型回溯、历史分析、审计合规等场景具有重要价值——用户可以随时「回到」某个历史时间点进行查询和分析,而无需额外部署数据备份系统。
多类型索引与硬件加速
Milvus 支持 HNSW、IVF 等十余种索引类型,开发者可以根据精度和性能的权衡选择最适合当前业务需求的索引方式。HNSW(分层可导航小世界图)基于图的索引结构在高维向量检索中表现优异;IVF(倒排文件索引)通过聚类方式实现高效的范围检索。同时 Milvus 支持 AVX512 指令集和 GPU(NVIDIA CAGRA)加速,向量检索吞吐量提升可达 50% 以上,大幅缩短大规模向量检索的响应时间。Milvus 3.0 还新增了 Ngram 索引,用于加速关键词匹配和 LIKE 查询,更好地支持 Agent 工作负载中的文本检索需求。
高级检索与排序能力
Milvus 3.0 增强了混合检索能力,支持 Top-K ANN(近似最近邻)检索、Range ANN 范围检索以及结合元数据过滤的精准检索。用户可以按标量字段对搜索结果进行排序,并支持聚合查询(Search Aggregation)和服务端 ORDER BY,实现从纯粹向量检索到结构化数据库查询的能力延伸。Milvus 3.0 还引入了正则表达式(Regex)原生数据库过滤能力,可以在向量检索的同时执行复杂的字符串过滤条件,替代过去需要在应用层二次过滤的低效流程。
模块化可扩展架构
Milvus 采用全分布式微服务架构,将存储层、协调器和计算工作节点完全解耦。每个组件都可以独立扩展,用户可以根据实际负载特征(向量检索 vs. 元数据过滤 vs. 写入吞吐)灵活分配资源,避免了传统架构中「木桶效应」导致的资源浪费。这种架构使 Milvus 能够支撑从小型项目到亿级向量规模的大型生产部署。
灵活的一致性模型
Milvus 提供增量一致性模型,允许用户指定「陈旧容忍度」——即可以接受的数据延迟程度。这一设计使得用户可以在查询性能和数据新鲜度之间动态平衡:对于实时推荐等对延迟敏感的场景,可以接受一定的数据延迟以换取更高的 QPS;对于需要严格数据准确性的场景,可以选择强一致性模式。这种灵活性使 Milvus 能够同时满足在线系统和离线分析两类场景的需求。
混合密集与稀疏向量搜索
Milvus 3.0 即将支持混合密集向量(dense vector)与稀疏向量(sparse vector)搜索。密集向量适合捕捉语义相似性,稀疏向量则擅长关键词匹配,两者结合可以显著提升检索相关性,特别适用于 RAG 和知识库搜索等场景。
大数据生态深度集成
Milvus 3.0 已实现与 Hadoop、Spark 等大数据生态的深度集成:通过 HDFS 接口直接读取海量向量数据,无需数据迁移;与 Spark 集成后可在批处理任务中直接调用向量检索能力,实现端到端的自动化数据处理流水线。这一集成使得 Milvus 能够无缝嵌入企业级大数据架构,而非作为一个孤立的专用数据库存在。
适用场景
Milvus 适合以下应用场景:为大模型提供 RAG(检索增强生成)所需的私有知识库检索能力;构建个性化推荐系统,基于用户行为和内容特征的语义匹配;图像、视频、音频等非结构化数据的相似性搜索;具身智能领域的大规模机器人训练数据合成与管理;需要对海量文本、图片进行语义索引和快速检索的企业搜索场景。
产品官网:https://milvus.io
评论与建议
登录 后参与评论或提建议