Strata

产品简介

Strata 是一套让普通游戏 PC 也能跑起 1250 亿参数大模型 Qwen3.8-Flash-Next 的本地推理引擎，提供 Windows/Linux 一键安装，免费开源。模型可以聊天、写代码、读图片、对接你的应用与编程智能体，全部在本机完成，数据不出电脑。支持 NVIDIA RTX 20/30/40/50 系列与 AMD RX 7000/9000 系列显卡，12GB 显存起步。

核心功能

• 一键安装：Windows 双击 START-HERE.bat、Linux 运行 setup.sh，安装器自动检测显卡、选择对应引擎与合适档位的模型，约 70GB 模型下载支持断点续传。
• 本地 API 服务：启动后在 127.0.0.1:8080 提供 OpenAI/Anthropic 兼容接口，任意支持自定义端点的应用即插即用。
• 多档量化：提供 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 与 Coder 专用档，按显存和内存自由选择，支持 128K 上下文。
• 多卡共享：两张或三张显卡可共同承载模型（multi-GPU），进一步提升吞吐。
• MCP 服务器：内置 MCP server，Claude Code、Cursor、Codex 等 AI 工具可直接安装、启动、停止 Strata；仓库提供 AI_SETUP.md，让编程助手自动完成整机部署。
• 图片理解：可选开启视觉能力，读取图片内容参与对话。

性能实测

在 RTX 5070（12GB 显存）+ 64GB 内存的主机上，Q2_0 档写出速度约 94 tokens/s、读入 32K 提示词约 2650 tokens/s；IQ3_S 档为 53/1620 tokens/s。AMD RX 9070 XT（16GB）上 Q2_0 约 60/1160 tokens/s。显存更大的 RTX 3090 预计可达 100–140 tokens/s——写答案速度已超过一般人的阅读速度。

硬件要求

12GB 及以上显存的 NVIDIA GeForce RTX 20–50 系或 AMD Radeon RX 7900/9060/9070 系显卡；32GB 内存起步（64GB 可跑全部档位）；约 80GB 磁盘空间，建议 SSD；Windows 10/11 或 Linux。老显卡（Tesla P40/V100、GTX 10 系等）与 Intel Arc 有社区实验文档。

特色优势

完全本地运行，任何内容都不离开你的电脑；免费开源，长期成本远低于租用云 API；安装器把引擎配置与模型量化选择全部自动化，小白也能几分钟跑起百亿参数模型。

应用场景

本地私密对话与写作、离线代码辅助（作为本地后端接入编程工具）、图片理解与文档问答、内网隔离环境下的 AI 能力部署。

适用人群

拥有游戏显卡的开发者、注重数据隐私的个人与企业、希望零成本体验百亿参数模型的 AI 爱好者。

出品方

Niko1221 及社区贡献者维护，免费开源，附多语言 README，接受 Buy Me a Coffee 赞助。

更新动态

2026 年 10 月发布 v0.1.10，登上 GitNova 日榜（热度 7.4，单日预估新增 2264 stars），多语言文档与社区基准测试持续更新。

官方链接

GitHub 仓库：https://github.com/Niko1221/Strata