ds4 / DwarfStar Vibe 项目

ds4（项目代号 DwarfStar）是 Salvatore Sanfilippo（antirez，Redis 创始人）在 2026 年发布的本地大模型推理引擎。它专注于在消费级硬件（96GB Mac、DGX Spark、Framework Desktop 等）上跑通几款精选的优秀开源大模型，第一优先级支持 DeepSeek V4 Flash（含实验性视觉模型）、DeepSeek V4.1 Flash（Metal 与 CUDA）、GLM 5.2 / 5.3 / 5.3 Flash、DeepSeek V4 PRO 与 Qwen3.8 Flash Next。代码完全自包含、刻意保持窄聚焦，不做通用 GGUF runner——必须使用项目自带的 GGUF 量化文件。截至 2026 年 10 月，仓库已积累 2.3 万 Star。

核心功能

• Metal 优先：在 96GB 起步的 Apple Silicon Mac 上做主力平台，MacBook Pro / Mac Studio / Mac Pro 全覆盖，SSD 流式可在 128GB 系统跑超大模型
• NVIDIA CUDA：把 DGX Spark 当主战场，支持 Ada Lovelace 旧卡（如 L40S）运行新模型；八卡 L40S 在 16 并发下达成约 126 t/s 聚合生成
• ROCm 支持 Strix Halo（Framework Desktop）
• 多卡多用户 LLM 服务：可把多张 CUDA 卡拼成多用户推理后端，旧架构 GPU 也能跑 Flash 级新模型
• 跨机 RDMA 张量并行：用两台 128GB Mac 通过 RDMA 互联跑 4-bit DeepSeek Flash 或 GLM 5.3 Flash；更大 GLM 5.2 量化需要 Mac Studio 级算力
• 流水线并行：把多台机器的内存拼起来，跑超出单台容量的模型
• 自带工具链：./ds4-agent 提供编码 Agent 模式、./ds4-server --ctx 32768 提供 HTTP 服务、./download_model.sh ds4f-q2 一键下载模型

技术实现

ds4 的核心是 ds4.c——一个原生 C 写的轻量推理引擎，专门针对 DeepSeek V4 Flash 与 GLM 5.x 这类路由专家大模型做端到端优化。它不链接 GGML，但借鉴了 llama.cpp / GGML 在量化格式、内核设计、GGUF 生态上的工程经验，并对部分 GGUF quant layout、CPU quant/dot、若干内核做了 MIT 协议下的保留或改编。在硬件层面，ds4 采用三套独立代码路径：Metal 路径为 macOS 25+ 优化、CUDA 路径覆盖通用卡与 DGX Spark、ROCm 路径服务于 Strix Halo 桌面。模型加载、prompt 渲染、tool calls、HTTP server、coding agent 都被纳入"一起构建 QA"的集成测试基线，仓库同时附带 GGUF 量化、imatrix、quality 与 speed 的工具与数据。ds4 把 SSD 流式、压缩 KV cache 与 Apple Silicon 的统一内存当作长上下文推理的一等公民，专门调教 DeepSeek V4 Flash 容忍激进路由专家量化的特性。

快速上手

1. git clone https://github.com/antirez/ds4.git && cd ds4
2. 根据平台选择 make、make cuda-spark、make strix-halo、make cuda-generic 之一
3. ./download_model.sh ds4f-q2 下载 DeepSeek V4 Flash Q2 量化到 gguf/ 目录
4. ./ds4 -p "Explain Redis streams in one paragraph." 跑首次推理
5. 需要 HTTP 服务：./ds4-server --ctx 32768；需要编码 Agent：./ds4-agent
6. 配合 AI 平台协作：antirez 在 README 明确建议把 AI coding agent 当作发现与改造 ds4 的接口，针对你的特定硬件配置做"压榨速度 + 完整 QA"

适用场景

• 拥有 96GB / 128GB Apple Silicon Mac 或 Mac Studio 的个人 / 小团队
• DGX Spark 用户、Framework Desktop 装机者、本地 AI 玩主
• 想跑 DeepSeek V4 Flash / GLM 5.x / Qwen3.8 Flash Next 的开源 / 隐私敏感团队
• 需要多卡 / 多机并行推理服务的研究机构与企业
• 关注 llama.cpp 之外、轻量且"针对几个好模型做深"的本地推理实现的开源贡献者

官方链接

• GitHub 仓库：https://github.com/antirez/ds4
• 作者博客 / Twitter：https://twitter.com/antirez
• 依赖项目：https://github.com/ggml-org/llama.cpp