CobbleDB

CobbleDB 是美国 AI 搜索公司 Perplexity 自主研发的键值数据库，专为 AI 搜索场景下的高频批量读取设计，采用 Rust 语言编写，约 40000 行代码，于 2026 年 9 月 15 日正式发布并投入生产环境。该数据库完全替代了亚马逊云科技的 AWS DynamoDB，成为 Perplexity 搜索热读路径的核心存储引擎。CobbleDB 的核心技术架构基于 RocksDB 嵌入式键值引擎，通过三层解耦设计——Pillar（持久化文档状态层）、Lorry（批量更新交付层）和 CobbleDB（低延迟读取服务层）——将文档处理、批量更新与在线读取三类负载彻底分离，避免了传统耦合架构下大批量重处理任务与延迟敏感型读取请求相互抢占资源的困境。读取路径针对 AI 搜索批量获取场景进行深度优化：请求进入后，路由器按分区并行发起 MultiGet 读取，优先路由至同可用区副本以降低跨区网络延迟，当某一副本响应过慢时自动向另一副本发起对冲请求，防止单点慢响应拖累整批读取的 P99 延迟。Pillar 层基于分布式存储平台 YTsaurus 构建，运行于成本更低的 HDD 存储之上，承载文档的持久化版本化状态；Lorry 层将导出任务按分区对齐分批写入对象存储 S3 并向 CobbleDB 副本发布元数据，各副本独立轮询控制平面 API、下载并按时间顺序回放增量更新，无需阻塞主写入链路。生产环境实测数据全面碾压原 DynamoDB 方案：中位批量读延迟从 31.4ms 降至 5.60ms（降幅达 82%），P90 延迟从 56.7ms 降至 9.77ms，P99 延迟从 123ms 降至 24.2ms；Perplexity 内部成本模型估算相对 DynamoDB 至少节省 20%、最高每年节约 1 亿美元。该项目由 Perplexity CEO 阿维纳什（Aravind Srinivas）主导，仅用 2 名工程师带领数百个主动式 AI 编码智能体，历时 2 个月完成构建，体现了「极少量工程师加大量 AI 智能体」完成核心基础设施工程的新范式——智能体负责代码审查、修复、测试、监控、CI 门控和迁移，人类把关架构设计和发布授权。项目计划在验证规模达标后开源，届时将为高吞吐读密集型 AI 应用提供重要的工程参考。

核心功能

CobbleDB 提供以下核心能力，均围绕 AI 搜索场景的批量读取痛点设计：

• 超低延迟批量读取：支持每次请求 100-120 个页面键的批量 MultiGet 操作，中位延迟 5.60ms，P99 仅 24.2ms，较 DynamoDB 降低约 80%
• 三层解耦架构：Pillar（文档持久化状态）、Lorry（批量更新交付）、CobbleDB（低延迟读取服务）三层职责分离，消除读写路径竞争
• 智能副本路由：路由器优先选择同可用区副本，对慢响应副本自动发起对冲请求，确保整批读取不被单点拖累
• 并行分区读取：按分区并行发起读取请求，充分利用分布式集群的并发能力
• 增量异步更新：Lorry 层通过 S3 异步批量推送更新，各副本独立回放，不阻塞主写入链路
• 版本化文档状态：Pillar 层基于 YTsaurus 存储，实现文档的版本化管理，支持大规模语料重处理而不影响线上服务
• RocksDB 引擎：每节点嵌入 RocksDB，常用数据驻留内存缓存，未命中时从本地 NVMe 读取
• 开源承诺：计划在验证生产规模后开源，输出高吞吐读密集型 AI 应用的工程参考实现

特色优势

CobbleDB 相比传统托管数据库方案具有以下差异化优势：

• 性能压倒性领先：批量读 P99 延迟从 123ms 降至 24.2ms，降幅约 80%，中位延迟降幅达 82%，为 AI 搜索的实时性需求提供根本保障
• 成本大幅优化：内部模型估算每年最高节约 1 亿美元，20% 以上的边际成本节省在每个承诺用量档位均可实现
• 架构完全可控：不依赖全托管服务的内部调度策略，团队可自主控制分区机器归属、缓存分配策略及副本选择逻辑，实现深度性能调优
• 大规模弹性扩展：单栋楼可承载 10 万张 AI 加速卡集群的存储需求，支撑每秒数万次请求
• AI 工程范式验证：2 名工程师加数百个 AI 编码智能体，2 个月完成核心基础设施构建，证明 AI 辅助系统工程的生产可行性
• 读写彻底解耦：将文档处理、批量更新交付与在线读取分离，使得大规模语料重处理（如换分词器或嵌入模型升级）不再影响线上读取延迟

应用场景

CobbleDB 的设计目标场景包括但不限于：

• AI 搜索引擎热读路径：作为 Perplexity 等 AI 搜索产品的核心存储引擎，支撑每次查询 100-120 个页面键的批量读取，将预处理的段落文本和向量一并返回给排序和答案生成模块
• 大语言模型推理数据供给：为需要批量获取上下文的 LLM 推理管线提供低延迟、高吞吐的键值读取服务
• 实时推荐系统：支撑推荐算法需要快速拉取候选内容向量和文本描述的实时读取场景
• 高并发内容分发平台：面向需要跨分区并行拉取海量内容的分发网络，确保 P99 延迟稳定在 30ms 以内

适用人群

CobbleDB 主要面向以下用户群体：

• AI 搜索产品团队：如 Perplexity 一样，需要支撑高频、批量、低延迟读取的搜索或问答产品
• 大模型应用开发者：需要为 LLM 推理管线提供高效上下文获取能力的团队
• 基础设施工程师：关注数据库选型、存储架构设计，需要在性能与成本间寻找最优解的技术决策者
• AI 原生创业公司：希望摆脱云厂商全托管数据库定价控制，构建自研可控存储基础设施的团队

出品方

CobbleDB 由 Perplexity（Perplexity AI Inc.）自主研发并发布。Perplexity 是一家总部位于美国的 AI 搜索公司，专注于 AI 驱动的实时问答与信息检索产品。截至 2026 年，Perplexity 已完成累计超过 5 亿美元的融资，估值超过 90 亿美元，位居全球 AI 独角兽前列。

更新动态

• 2026 年 9 月 15 日：Perplexity 正式发布 CobbleDB 技术论文，宣布已用自研 CobbleDB 完全替代 AWS DynamoDB，并投入生产环境支撑搜索查询
• 2026 年内开源：CobbleDB 在验证生产规模达标后，将按计划开源并发布完整代码和技术文档
• 持续演进：Perplexity 工程团队将持续优化 CobbleDB 性能，后续版本将进一步压低 P99 延迟

官网链接

Perplexity 官方技术博客（包含 CobbleDB 详细技术解析）：https://www.perplexity.ai/en-GB/hub/blog/cobbledb