colibri Vibe 项目

colibri — 在你的电脑上跑万亿参数大模型

项目简介

colibri（意大利语"蜂鸟"）是一款纯C语言编写、零外部依赖的大模型推理引擎，核心创新在于将存储、内存和显存视为统一的多层存储体系，让744B到2.8T参数的前沿MoE模型能够在普通消费级硬件上运行。项目诞生仅六周即斩获25000+ GitHub Star，以"小引擎、大模型"为理念，彻底打破了"前沿模型必须依赖数据中心级硬件"的固有认知。

核心功能

• 极致轻量引擎：纯C实现，零外部依赖，单文件构建，Apache 2.0开源协议
• 多模型家族支持：支持GLM-5.2/5.3、Kimi K3（2.8T参数）、DeepSeek V4 Flash/V4.1 Flash、Qwen3.8/Qwen3.6、Inkling、OLMoE等8个模型家族，共用一个引擎
• 多层存储分层调度：将专家权重按热度动态分配到VRAM→内存→NVMe存储，路由器提前一层预取，隐藏从磁盘加载的延迟
• 多硬件后端：支持CPU（流式推理）、CUDA（GPU加速）、Metal（Apple Silicon），在不同机器上测速数据全部公开
• Token精度保证：默认策略永远不会静默改变模型精度或路由语义，速度不足只降速度，不改模型语义
• Atlas可视化：13,260个专家的路由热力图与3D星系图，揭示大模型的内部工作机制
• OpenAI兼容API：提供与OpenAI API兼容的 web 接口，自带Web仪表盘

技术实现

colibri的核心创新是AI内存多层化（AI Memory Multitiering）。以GLM-5.2为例，单次前向传播只激活约400亿参数（约110GB），其余均为"专家"权重。colibri将这些专家按测量到的路由热度分配到不同存储层级：最热的专家常驻显存，次热专家放在内存，最冷的专家直接从NVMe流式读取。路由器提前一层运行，预取下一层需要的专家权重，从而将存储I/O延迟隐藏在计算背后。

此外，项目还引入了测量路由热力图（Measured Expert Routing Heat）机制：不是用学习的嵌入，而是直接测量每个专家在不同话题上的激活频率，生成可解释的路由图谱。这一设计让研究者和普通用户都能直观理解大模型"在想什么"。

快速上手

1. 克隆仓库：git clone https://github.com/JustVugg/colibri
2. 编译引擎：cd colibri/c && make（纯C，无依赖）
3. 下载模型权重（各模型均有量化版本）
4. 运行对话：./coli chat --model /path/to/glm-5.2
5. 启动Web仪表盘：./coli web --model /path/to/glm-5.2（自动开启兼容OpenAI的API服务）

适用人群

• AI研究员：想在大模型内部"看见"专家如何被激活、用真实硬件测速
• 开发者：需要本地跑大模型但没有数据中心级GPU
• 技术极客：想理解大模型推理的工程实现，在自己机器上跑Kimi K3
• 开源贡献者：项目有100+贡献者，PR活跃，issues响应快

相关链接

• 官网：https://justvugg.github.io/colibri
• GitHub：https://github.com/JustVugg/colibri
• Discord社区：https://discord.gg/RXV83nSZdk