Strata开源：12GB显存显卡即可跑125B参数Qwen3.8模型

时间：2026年10月6日（北美时间）gigazine 报道，10月7日（亚洲时间）中国媒体跟进解读 地点：开源社区 GitHub（项目作者 Niko1221），同时被 Hacker News 收录（得分 508 分） 人物：开发者 Niko1221（Strata 引擎作者）；阿里 Qwen 团队（Qwen3.8-Flash-Next 模型作者） 事件详情：开源开发者 Niko1221 推出 Strata 推理引擎，可在 12GB 及以上显存的消费级显卡上运行量化后的 Qwen3.8-Flash-Next 模型，该模型由阿里 Qwen 团队 2026 年 8 月发布，是 125B 参数的多模态混合专家（MoE）压缩版，原生支持 262K token 上下文。Strata 采用两项关键降显存设计：第一，将 MoE 模型整体载入系统 RAM，仅把高频使用的专家模型载入 VRAM；第二，使用轻量模型进行投机解码，预测下一 Token 以加速推理。项目 GitHub 仓库十天累计收获 1.07 万星标，并登上周日 Hacker News 榜首（508 分）。 性能实测：在 NVIDIA GeForce RTX 5070（12GB 显存）+ AMD Ryzen 5 7600 + 64GB RAM 配置下，2 比特量化版本（Q2_0）实现 94 词元/秒的输出速度，读取 32K 长文档速度达到 2650 词元/秒；3 比特量化版（IQ3_S）输出速度为 53 词元/秒。在 AMD Radeon RX 9070 XT（16GB VRAM）+ Ryzen 9 3900X + 47GB 内存环境下，Q2_0 版本达到 60 词元/秒。项目方估算 24GB 显存的 RTX 3090 可达 100-140 词元/秒，社区用户 @ivanalog_com 通过自定义优化在 RTX 5070 Ti 单卡上实现 2200 词元/秒提示处理与 67 词元/秒生成速度。 部署门槛：硬件最低配置为 12GB+ VRAM 的 NVIDIA 或 AMD 显卡、32GB+ RAM、80GB+ SSD 存储空间，支持 Windows 10/11 与 Linux 系统。Strata 同时内置 OpenAI 与 Anthropic 兼容的本地 API，可被 Claude Code、Codex、Cursor 等主流编程代理直接调用；项目附带 MCP server，允许代理自主启停模型；安装说明甚至明确推荐把一句话贴给本地编程 Agent，让它根据 AI_SETUP.md 自动检测硬件并选择量化版本。 背景：传统上 100B+ 参数的 MoE 大模型需要多卡 H100/A100 集群或 80GB 级别的高端消费卡才能运行。Strata 的方案延续了 llama.cpp、MLX 等"低显存跑大模型"的探索路线，但首次在 12GB 消费级显卡上实现 90+ 词元/秒的可交互速度，使普通游戏 PC 即可作为本地 Agent 的推理底座。Qwen3.8-Flash-Next 模型本身为 Qwen 系列里偏侧终端/边量化产品线的 Flash 子档，主打"性能"而非"前沿"，与 Qwen 团队其它前沿模型区分明显。 影响：Strata 把"125B 大模型本地推理"从极客演示变成普通消费级硬件的可达选项，对本地代码 Agent、隐私敏感行业（金融、医疗、政务）与海外断网场景意义重大；本地 OpenAI/Anthropic 兼容 API + MCP server 的设计进一步把 Agent 工具链从云端拉回端侧，与 Mistral Large 4、EmbeddingGemma 2 等同期发布的"端侧可用"开源产品形成同频趋势；阿里 Qwen 系列的"Flash-Next 压缩版"也借此证明 8 月发布的工程路线已被社区验证可玩，加速国内开源大模型在端侧生态的渗透。 总结：Strata 用 MoE 内存卸载 + 投机解码的组合拳，把 125B 参数的 Qwen3.8-Flash-Next 塞进了 12GB 显存的消费级游戏显卡，并在 RTX 5070 上跑出 94 词元/秒的输出速度，配合本地 MCP server 与 OpenAI/Anthropic 兼容 API，让普通 PC 第一次具备承载本地大模型 Agent 循环的硬件基础，是 2026 年本地 AI 推理工程化的标志性节点。 参考来源： 1. IT之家：https://m.ithome.com/html/1010006.htm 2. 太平洋科技：https://news.pconline.com.cn/2183/21831956.html 3. 驱动中国：https://www.qudong.com/article/525320.html 4. 凤凰网科技：https://tech.ifeng.com/c/8x0H17vatEe 5. Strata GitHub 仓库：https://github.com/Niko1221/Strata 6. Hacker News 讨论：https://news.ycombinator.com/item?id=49983780 7. AGI Hunt：https://agihunt.info/p/1a10263c87f1fe0913633c10971 8. Clauday 中文解读：https://clauday.com/zh/article/32d4432e-8753-460b-b743-078f3f451ab3 9. Gigazine 原文：https://gigazine.net/news/20261006-strata-125b-qwen3-8/