WASTE Vibe 项目

WASTE 是一款 Kimi K3 模型 NVMe 推理引擎，可以在 RAM 不足的情况下，通过直接从 NVMe 流式传输激活权重来运行 2.78 万亿参数的大模型，无需额外依赖，可嵌入式使用。

WASTE 解决了大模型部署的核心瓶颈：模型太大，单机 RAM 装不下。传统方案需要高端服务器，WASTE 通过 NVMe 存储和流式推理技术，让消费级硬件也能跑超大规模模型。

核心特点： • 超大模型支持：支持 2.78 万亿参数的 Kimi K3 模型 • NVMe 流式推理：RAM 不够时直接从 NVMe 流式传输激活权重，突破内存限制 • 无依赖设计：零外部依赖，可嵌入式集成到其他应用 • C 语言实现：高性能、低延迟，适合生产环境

适用人群： 需要在有限硬件上运行超大模型的工程师、研究人员，以及对大模型边缘部署感兴趣的开发者和研究者。