Colibrì Vibe 项目

Colibrì — 纯 C 语言实现的多模态大模型推理引擎

项目简介

Colibrì 是一款实验性开源推理引擎，使用纯 C 语言编写（单文件），不依赖任何第三方推理框架（如 llama.cpp、vLLM）。它的核心设计理念是将存储、内存（RAM）和显存（VRAM）视为统一的分层推理资源池，通过 AI 内存多级调度机制，让消费者级硬件也能运行超大规模 MoE 模型（如 GLM-5.2 744B、DeepSeek V4 Flash 284B）。目前支持 GLM、Kimi、DeepSeek、Qwen、OLMoE 等多个模型家族，最高可运行 2.8 万亿参数模型。

核心功能

• 超大规模模型支持：在消费级硬件运行 744B~2.8T 参数的 MoE 模型，包括 GLM-5.2 744B、Kimi K3 2.8T、DeepSeek V4 Flash 284B、Qwen3.8 Flash 等
• AI 内存多级调度：将 VRAM、RAM 和 NVMe 存储视为统一内存层次，根据模型不同层的激活频率动态调度，实现极限内存压缩
• 多模型格式兼容：同一个可执行文件（coli）支持 8 个模型家族，无需重新编译，通过参数切换模型
• 纯 C 无依赖：整个引擎仅一个 C 文件，不依赖任何外部推理库，方便嵌入和二次开发
• 全协议支持：Web 界面（coli web）、命令行（coli chat）、API 服务（coli serve）三种使用方式
• 透明化精度管理：默认策略保证模型精度不被静默降级，内存不足时降低速度但保证语义一致性

技术实现

Colibrì 的核心创新在于多级内存调度器和 MoE 并行策略。传统推理引擎将完整模型层加载至 GPU 显存，而 Colibrì 根据专家层（Expert）的激活频率，将"热专家"保留在 GPU VRAM，"温专家"换入系统 RAM，"冷专家"换入 NVMe 存储。调度器基于历史激活数据动态预测未来访问模式，最小化跨层级数据传输开销。C 语言实现避免了 C++ 模板膨胀，产出的二进制可直接编译进嵌入式固件或作为轻量级 CLI 工具分发。

快速上手

第一步，下载预编译二进制（Linux/macOS/Windows）：

# macOS ARM64
curl -L github.com/JustVugg/colibri/releases/latest/download/colibri-macos-arm64 -o coli
chmod +x coli

第二步，下载模型权重（首次运行自动下载）：

./coli pull glm-5.2  # 下载 GLM-5.2 744B 模型

第三步，启动命令行对话：

./coli chat
# 🐦 colibri v1.10.2 — GLM-5.2 · 744B MoE · int4 · streaming CPU

第四步，启动 Web 界面（可选）：

./coli web
# 浏览器打开 localhost:18789 查看实时指标面板

适用人群

• AI 研究者，探索大模型在消费级硬件上的可行性和性能边界
• 嵌入式 AI 开发者，需要轻量级推理引擎集成到自有硬件产品
• 开源爱好者，研究纯 C 语言实现的模型推理技术
• 技术极客，在有限硬件上体验超大模型的能力
• 模型压缩研究者，Colibrì 的内存调度策略可作为基准参考

官方链接

• 官网/演示：https://justvugg.github.io/colibri
• GitHub：https://github.com/JustVugg/colibri
• Discord 社区：https://discord.gg/FkyrEeJR