12GB显存跑Qwen3.8-Flash-Next：量化、并发、旧卡，官方没说透的3个坑

截至 2026-10-31 抓取，Niko1221/Strata 的 star 数为 37.1k，fork 数为 4k。Strata v0.1.39 于 10 月 4 日发布，PC Watch 在 10 月 5 日 做了报道（本文用的是这篇二手来源）。这次更新给这个消费级本地推理引擎带来了并发请求处理、旧卡实验性支持和 OpenAI Responses API。为什么现在值得看：它正从“单卡能跑大模型”变成“本地 API 服务器”，开发者可以把 Codex CLI 直接对准 localhost。但官方 README 只列出量化选项和启动命令，没解释背后的显存/内存边界、并发吞吐数字的坑，以及“旧卡支持”到底卡在哪。这篇文章把前提拆成三类：量化怎么选、并发数字怎么看、旧卡支持的现实边界。

v0.1.39 为什么不是一个小更新

官方 README 在本次抓到的片段里没有直接写明版本号，所以下面的更新内容主要来自 PC Watch。按该文报道，v0.1.39 于 10 月 4 日公开（报道发表于次日 10 月 5 日）。性能方面，GeForce RTX 5070 上的解码优化给 Q2_0 推理带来约 6% 提速；长提示处理、多 GPU 配置也有改善。但更值得注意的不是速度，而是并发：4 块 GPU 同时处理 8 个请求，合计吞吐 360 tok/s，而单机单请求是 120 tok/s。这意味着 Strata 开始像真正的本地 API 服务器，而不是一次只服务一个问题的聊天窗口。功能上，OpenAI Responses API（/v1/responses）被实现，Codex CLI 可以直连。这对想把本地模型嵌进编码工作流的人来说，比单卡速度提升更有价值。

官方推荐的量化，其实是一张“省内存 vs 保质量”表

README 给 Qwen3.8-Flash-Next 的量化选择比想象中多，且推荐顺序非常明确：ISTA-DASLab first，而不是 Unsloth 或其他。下表来自仓库首页，能看出官方对“不同任务不同量化”的倾向：

官方没有直接说“Q2_0 比 Q8_0 差多少”，但从编码场景单独列出 IQ1_M 可以反推：代码任务对某些损失容忍度可能更高，否则不会把最低比特给 Coder。这是我的推导，不是官方结论。如果你用 12GB 卡跑通用问答，建议从 Q2_0/IQ2_XS 开始；如果显存有余量，Unsloth 的 4 bit 在质量上会更稳。但官方没给出质量分数，所以你最好用自己的常见任务做几轮小样本对比。另外，README 提供多语言版本，其中包括简体中文，中文用户可以直接读 README.zh-CN.md，减少英文解读误差。

并发 360 tok/s 的复算：别把吞吐当单卡速度

PC Watch 给出的 360 tok/s 是 4 块 GPU、8 个请求的合计吞吐，不是某个请求的响应速度。可以复算：

总量倍数 = 360 tok/s / 120 tok/s = 3 倍
单请求平均 = 360 tok/s / 8 = 45 tok/s（这是我的推算）

也就是说，并发模式下每个请求平均拿到的速度可能从 120 tok/s 降到 45 tok/s，但整体排队的等待时间可能变短。这不是官方 README 写明的口径，而是按 PC Watch 的数字推导。要判断自己是否需要并发，先想清楚场景：如果只是一个人偶尔提问，单请求模式更合适；如果是多人同时调用，或者你本地跑着多个 agent，才值得开多请求。官方并没有在 README 首页把“吞吐提升”和“单请求速度下降”放在一起说，这容易让人把 360 tok/s 误读成三倍速。

旧卡与 Arc 的“一束光”照不到的地方

PC Watch 提到，v0.1.39 为 Pascal/Volta 世代（GeForce GTX 10 系列、P40、V100 等）提供基于 CUDA 12.9 的备选引擎，为 Intel Arc 提供 SYCL 版（仅 Linux），还为不支持 AVX2 的老 CPU 加了对策。这些被描述为实验性功能。但“实验性”有几层没说透：不是所有旧卡都能稳定跑，也不是所有旧卡都能满足 12GB 显存门槛（腾讯云教程和 Gigazine 都提到 12GB 以上）。GTX 10 系列里消费级型号多数到不了 12GB（这是我的经验判断），所以真正可能受益的，是 P40、V100 这类老专业卡。Arc 的 SYCL 仅 Linux，也把 Windows 用户挡在门外。“一束光”照亮的是条窄路，不是整个旧硬件市场。

参数口径不统一：125B 还是 176B

跨来源看，一个容易忽略的问题是参数口径。Gigazine 的英文摘要称 Qwen3.8-Flash-Next 是 125B 参数；腾讯云开发者文章则写 176B 参数（125B MoE + 51B N-gram Embedding），并说原版 FP8 约 180GB、Int4 约 95GB。官方仓库首页在本次抓到的片段里没有直接写总参数量。两个口径的差异在于是否把 51B N-gram Embedding 计入总参数。这会影响对显存/内存需求的预期：只看 125B，会低估完整模型的权重体积；只看 176B，又可能高估 MoE 核心的推理成本。对消费级部署，真正要关心的是 Strata 量化包的下载体积和运行时内存，而不是总参数数字。我的经验判断是：遇到教程写“XX B”时，先确认它是否包括 Embedding 参数。另外还要留一个许可边界：仓库代码采用 MIT 许可（来源 1），但模型权重由各提供方发布，其许可未必同样宽松，部署前需要单独确认权重条款。

一个诚实的时效说明

上面这些数字（37.1k star、4k fork）是 2026-10-31 抓取时的快照，而 v0.1.39 发布于 10 月 4 日。到本文写完时，v0.1.39 是不是最新版，我无法确认 —— 官方 README 在我抓到的片段里没有写版本号，release 页面也没有进到证据里。

这个不确定性对结论有影响，但影响有限：上面的三类分析（量化怎么选、并发数字怎么读、旧卡边界在哪）依赖的是这个项目”按适配器+量化组合来跑”的架构形态，而不是某个具体版本号。架构形态短期内不会因为出了个新版本就变。

但如果你要照着装，请自己先确认一次版本 —— 因为”新增了某卡型支持”这类改动恰好是版本之间最常变的部分。

开始之前的三条检查清单

综合以上信息，在“一键安装”前先确认三件事：

1. 硬件门槛：NVIDIA 或 AMD 显卡 12GB 以上显存，32GB 以上内存，Windows 或 Linux。（来源：Gigazine、腾讯云教程）
2. 量化与任务：编码场景优先看 ISTA-DASLab 的 IQ1_M；通用推理从 Q2_0/IQ2_XS 试起；显存有余再上 Unsloth 4 bit。
3. 更新方式：已安装用户用 UPDATE.bat（Windows）或 ./update.sh（Linux），不要重新克隆仓库。

# Windows
UPDATE.bat

# Linux
./update.sh

这些命令在 PC Watch 报道中提及，适用于 v0.1.39 更新；官方仓库根目录也有 UPDATE.bat 和 update.sh 文件（来源 1）。本地大模型的门槛降下来了，但“一键”仍然需要你自己对量化、并发和旧卡边界有判断。

参考来源

• Niko1221/Strata
• Qwen3.8-Flash-Nextローカル実行環境「Strata」更新。旧世代GeForceやArcに一筋の光 – PC Watch
• ‘Strata’ is an AI execution application that enables high-speed local execution of the quantized version of 125B’s ‘Qwen3.8-Flash-Next’ on gaming PCs. – GIGAZINE
• 从零开始部署Qwen3.8 Flash Next | AutoDL | Strata – 腾讯云开发者社区