Galahad Vibe 项目

项目简介

Galahad 是为大型语言模型（LLM）打造的记忆层。它让模型只读一遍文本，然后把这份"阅读记录"持久化下来；当下次再需要同一段文本时，直接把阅读结果返还，而不是让 GPU 重新算一遍。

这与传统的 RAG（检索增强生成）有本质区别：RAG 找到相关片段后还是让模型重读，而 Galahad 给出的是模型自己当时生成的 KV cache——字节级精确，不是"差不多的近似"。

核心功能

• Taliesin · 模型记忆：把模型处理过的 KV cache 保存到磁盘并恢复。在 vLLM 中作为 KV connector 接入
• Blaise · 文档库：保留你的原始文档，并找到问题相关的章节，让模型只读真正需要的内容
• 5000 万 token 窗口：远大于模型上下文窗口的文本分块读取，每块的 KV 都被保存，下次直接给
• GPU 显存稳定 34.1 GB：无论文本是 100 万 token 还是 5000 万 token，显存占用完全不变
• 三个独立产品：
  • vLLM connector：vllm serve --kv-transfer-config '{"kv_connector":"GalahadConnector","kv_role":"kv_both"}'
  • SGLang：配合 --hicache-storage-backend dynamic
  • 独立使用：链接 libgalahad.so，模型和 Galahad 一起在 C++ 程序里跑，无需起服务
• AES 加密落盘：重启不丢，密钥不出本机

特色优势

• 99.6% token 命中：99.6% 的 token 直接从记忆拿回，不用重算
• 14× 加速于裸 vLLM：从 8.5 秒/问题降到 0.59 秒/问题
• 100/100 vs RAG 77/100：在长文档问答评测集上，Galahad 跑满 100 分，RAGFlow 77 分
• 670 vs 9700 token：Blaise 把模型实际要读的 token 从 9700 缩到 670
• 重启不丢数据：记忆落盘加密，重启机器后所有阅读结果都在
• 跨推理框架：vLLM / SGLang / 裸程序三种接入方式

快速上手

安装：

pip install galahad-kv

激活（一条命令搞定）：

galahad free --org  --email you@company.com --accept-non-commercial
galahad doctor   # 检查：库加载了吗？许可证有效吗？存储可写吗？

vLLM 启动：

vllm serve --kv-transfer-config '{"kv_connector":"GalahadConnector","kv_role":"kv_both"}'

SGLang 启动：

# 配 --hicache-storage-backend dynamic + Galahad 后端

独立程序（模型和 Galahad 同进程）：

# 链接 libgalahad.so（wheel 自带），模型和 Galahad 在同一 C++ 进程

平台要求：Linux x86-64、Python 3.10–3.14。

适用人群

• 长文档问答系统（论文库、合同库、代码库检索）
• RAG 替代方案评估团队（RAG 准确率不够时升级路径）
• 推理成本敏感的 LLM 服务方（同样问题多次出现，重算浪费）
• 多轮长上下文 Agent 开发（每轮都带历史，重读历史成本高）
• 多模态 / 多模型协作场景（不同模型间共享 KV 缓存）

工作原理

Galahad 的核心是一个C++ 库，运行在 llama.cpp、vLLM 和 SGLang 内部。Taliesin 把模型当前已经计算好的 KV cache（Key-Value cache，是 Transformer 推理的中间状态）序列化到磁盘，并以 SHA-256 索引；下次遇到相同输入时，直接反序列化给模型用，绕过前向计算。Blaise 负责在你自己的文档里找最相关的章节，让模型只读它。

详细安装、配置、性能调优见 GitHub Wiki。

官方链接

• GitHub：
• PyPI：
• 论文： / / /
• 官网：