Strata Skill：把 125B MoE 大模型塞进 12GB 显卡的本地推理引擎

Skill超级捕获手 技术创作者 2026-10-02 1454 阅读

把 1250 亿参数的大模型塞进 12GB 显存的家用游戏显卡——这不是 PPT 演示，是 GitHub 上一个仅 8 天、5,261 star 的 C++ 引擎 Strata 已经做到的事。围绕 Qwen3.8-Flash-Next 这个 MoE 模型，Strata 用三层存储分摊（显存/内存/SSD）和自研推理引擎，把服务器级模型变成本地一键启动的应用，并向本地暴露 /v1 与 /v1/messages 双协议接口，可以直接喂给 Claude Code、Cursor、Codex 这类 Coding Agent 当成本地后端。

功能与原则

Strata 的核心能力可以拆成三块：第一，针对 Qwen3.8-Flash-Next 的专用推理引擎（不是通用 llama.cpp 魔改），作者为 Q2_0 量化手写了 AVX-512 VNNI 内核以加速 CPU 计算；第二，三层存储调度，把 24,576 个 expert 按”台面 / 储藏间 / 仓库”分层——常驻计算部分和热点 expert 进显存，路由 expert 走 64GB 系统内存，n-gram embedding 表放 SSD 并用页缓存预读；第三层缓存命中走 GPU，未命中由 CPU 接力，让数据搬运和计算尽量重叠。

设计原则很工程师取向：模型权重大部分不进硬盘，+ 全部本地、零数据泄漏”是底线而非卖点；硬件门槛越低越好，能塞进 12GB RTX 5070 比”全速跑 H100″更重要；装机要顺从”一脚步本 + 套件官官 AI 走完装机”，不要求用户手动挂断网卡；最末才是吞吐：在低玩硬件上跑得比手慢还慢才靠谱。

认可度

  • GitHub stars：5,261（截至 2026-10-02）
  • GitHub forks：474
  • License：MIT
  • 语言：C++（含少量 Python/PowerShell 脚本）
  • 创建时间：2026-09-24，仅 8 天即冲上 GitHub Trending 月榜、点榜 Top 5
  • 社群讨论：微博/X 上被 0x0/@拉出实测背、5 9 友夸
  • trending 经历：被7月项目 AI 趋势报、GitHub 日榜点名
  • 封装者：被多个 AI 趋势作者被列为 2026-09 后本地推荐必装热度项目

GitHub stars 增速曲线在创建后第三天就过了 1K，创建后一周越过 5K，是 Q4 2026 这个区间里增速最快的本地 LLM 推理项目。

链接

GitHub：https://github.com/Niko1221/Strata

原作者

  • GitHub 用户名：Niko1221
  • 背景：个体开发者，专注本地化推理引擎和模型量化
  • 项目动机：自己在家用 RTX 5070（12GB）跑 125B 模型，想把”服务器级模型 = 云 API”的迷之思走远

介绍

Strata 的目标很直接：把一个 server 级别的 Qwen3.8-Flash-Next（125B MoE）装进一块 12GB NVIDIA 显卡 + 64GB RAM 的家用 PC。安装只需要用户自己装好显卡驱动，剩下的 Python、引擎、模型全部由脚本代劳。装完浏览器自动打开 http://127.0.0.1:8080，是一个带 Chat、实时 Monitor（盯着模型和 GPU/CPU/内存）和 About 的本地应用。

为什么 125B 能塞进 12GB？因为它是 MoE 架构，模型里其实是 24,576 个小 expert（expert），每次生成只需要其中 10 个。作者用”厨房”类比来描述：高频用的放台面（显存），中频的放储藏间（系统内存），几乎不用的 n-gram embedding 放仓库（SSD），用页缓存预读提前加载。这种分层调度让常驻显存权重极少，剩余内存归 SSD。

Strata 对外不是一个本地模型，而是两个存在保护：OpenAI 兼容（base URL http://127.0.0.1:8080/v1，随便填 API key 和模型名），Anthropic Messages API 兼容（http://127.0.0.1:8080/v1/messages）。这意味着 Claude Code、Cursor、Codex、Copilot 等任何 Coding Agent 可以直接连过来当本地后端，不用接云 API、不走订阅扣费、不撞墙。

在 RTX 5070（12GB）+ 64GB RAM 的作者机器上，Q2_0 量化输出 93 tokens/s（短问答）、读取 prompt 2,170 tokens/s；在 IQ3_S 量化下输出 53 tokens/s、读取 1,620 tokens/s。AMD RX 9070 XT（16GB）上 Q2_0 也能到 60 tokens/s。24GB 的 RTX 3090 可达 100-140 tokens/s。

特点

  • 三层存储调度：24,576 个 expert 按热度分层进显存、内存、页缓存预读，CPU/GPU/内存三路同时动
  • 模型专属优化：为 Q2_0 量化手写 AVX-512 VNNI 内核，同硬件下推理速度 3 倍于 llama.cpp（实测 RTX 3090 IQ3_S：67 tok/s vs 20 tok/s）
  • OpenAI + Anthropic 双兼容：本地同时暴露 /v1（Chat Completions）和 /v1/messages，Coding Agent 直接当本地后端
  • 原生多平台：1260，NVIDIA RTX 20/40/50 与 AMD RX 7800/7900/9070 全覆盖，多 GPU 可共享负载
  • 一脚步本装机：Windows 一条 .bat、Linux 一条 .sh，自动检查硬件/选模型/下载/启动
  • 可选视觉：–vision 参数启用图像输入；Coder 版本额外优化代码补全，CPU/内存同时节省

使用方法

一键安装（最省事）

Windows：下载 release 解压，双击 START-HERE.bat。
Linux：解压后运行 ./setup.sh。
脚本自动检查显卡、RAM、磁盘，按回车参数选最推荐模型（默认 Q2_0，~70GB 下载）。

手动调参：

# 下载特定量化版本
./setup.sh --model qwen3.8-flash-next --quant IQ3_XXS --ctx 128K --vision

# 多 GPU 共享
./setup.sh --gpu 0,1

本地接 Claude Code：

在 Claude Code 设置里把 Anthropic base URL 改为：

ANTHROPIC_BASE_URL=http://127.0.0.1:8080/v1/messages

随便填个 API key，模型名写 qwen3.8-flash-next。Claude Code 会把所有请求发到本地 Strata。

MCP 调用（让 Agent 主动管理 Strata）：

claude mcp add --transport http strata http://127.0.0.1:8080/mcp

Claude Code 可以自己启动、停止、切换模型、查 GPU/CPU 负载。

最小示例（curl 调用本地 API）：

curl http://127.0.0.1:8080/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{
    "model": "qwen3.8-flash-next",
    "messages": [{"role":"user","content":"用 Python 写一个快速排序"}],
    "stream": true
  }'

使用场景与人群

适用场景：
– Coding Agent 本地化部署（替代 OpenAI/Anthropic 云 API）
– 隐私敏感场景（医疗/财务/企业内部数据不进云 API
– 离线开发（没有云 API、或者端口封顶）
– 费用控制（代理模型从单价 token 计费转为一次性资产折旧）

目标用户：
– 拥有 RTX 20/40/50 系列或 AMD RX 7800+ 显卡的个体开发者
– 使用 Claude Code/Cursor/Codex/Copilot 的 Coding Agent 调入者
– 企业内部需要本地部署 LLM 的 AI 团队
– 家里没云 API、不想装云 API、或者网络受到限制的动手派

输入与输出案例

示例 1：本地接 Claude Code 跑代码生成

输入（在 Claude Code 里输入）：

帮我写一个 FastAPI 接口，接受 JSON {a: int, b: int}，返回 a+b 加 a*b。

底层走 Strata 路径：请求发到 http://127.0.0.1:8080/v1/messages → 走 125B Qwen3.8-Flash-Next 推理（IQ3_S 量化，53 tok/s） → 返回 Anthropic Messages API 格式响应 → Claude Code 拿到结果并调用文件写入。

输出：

from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class SumMul(BaseModel):
    a: int
    b: int

@app.post("/calc")
def calc(payload: SumMul):
    return {"sum": payload.a + payload.b, "product": payload.a * payload.b}

本地 token 单次成本约 0（不计电量），全本地、不走云 API。

示例 2：原生 curl 调用本地 OpenAI API

输入：

curl http://127.0.0.1:8080/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{
    "model": "qwen3.8-flash-next",
    "messages": [{"role":"user","content":"用一句话解释 MoE"}],
    "stream": false
  }'

输出：

{
  "id": "chatcmpl-strata-001",
  "object": "chat.completion",
  "choices": [{
    "message": {
      "role": "assistant",
      "content": "MoE（Mixture of Experts）是一种神经网络设计，把一个大模型拆成很多'专家'小网络，每次推理只调用其中几个，从而在保持大模型能力的同时大幅降低计算量。"
    }
  }]
}

响应延迟约 1.5 秒（RTX 5070 + Q2_0），对比云 API 的 200-500ms 网络往返，本地响应反而更快且全离线。

GitHub: https://github.com/Niko1221/Strata

评论区

0 条评论

登录后可评论。

Skill超级捕获手 1454 阅读