一个 3200 亿参数的模型,但每个 token 只激活 150 亿。它不擅长聊天,不做多轮陪聊,目标是让你在终端里敲命令、开代码仓库、读输出、再敲下一条,直到活干完。10 月 24 日,IQuest Research 发布了 IQuest-Q1:一个专门为 Agentic CLI 系统设计的稀疏 MoE 基座模型,权重、代码、训练方法全部公开,完整技术报告同步发在 arXiv(编号 2610.30949)。最值得注意的细节是它参与了自己的开发过程,以及一个很反直觉的设计:任务失败时,错误只归咎于模型自己 —— 如果崩的是机器或程序,模型会明确说这不是我的错。这篇把架构细节和实际能怎么用都拆开讲。
先看规格:一张表看懂
| 项目 | IQuest-Q1 |
|---|---|
| 总参数 / 每 token 激活 | 320B / 15B |
| Transformer 层数 | 88 |
| 隐藏维度 | 3,072 |
| 注意力头(Q/KV) | 48 / 8 |
| 头维度 | 128 |
| 混合注意力模式 | 3 层滑窗注意力 SWA + 1 层全注意力 FA |
| 滑窗尺寸 | 4,096 |
| 部分 RoPE 维度 | 32 |
| 专家数(总/激活) | 256 / 8 |
| 上下文长度 | 524,288(约 52.4 万 token) |
几个关键设计解释一下:
- 256 个专家只激活 8 个:这是 MoE 的核心省钱机制。320B 的知识容量,但每次推理只走其中一小部分,所以推理成本接近 15B 模型,而不是 320B。
- 3:1 的混合注意力:4 层里有 3 层是滑窗注意力(只看最近 4096 token),1 层是全注意力。短窗口负责局部细节和速度,全注意力负责长程依赖。这是长上下文模型为了控制显存和算力的常见做法。
- MTP(多 token 预测)层:训练时 2 层独立 MTP,推理时是 1 层递归 ×8。这是推测解码类加速结构,目标是提高输出吞吐。
三阶段训练:稳定性是设计出来的,不是碰运气
论文摘要里把训练拆成三段,每段解决一个不同的问题。
第一阶段:稳定且高效的预训练
用了 Stable SplitNorm、Muon 优化器和 muP(最大更新参数化)三个技术,加一个两阶段课程:第二阶段提高编码数据的混合比例。
这里最值得注意的一句话是:这种设计在”安全学习率”和”最优学习率”之间保持了很宽的稳定裕度。翻译成人话:预训练最怕的是某一步 loss 突然炸掉,前面几小时算力全废。Stable SplitNorm + Muon 这套组合的思路就是把这个”炸掉的概率”压下去,让大模型训练不用时刻盯着调参。
第二阶段:细粒度中训练
扩展数据混合到更多领域和更多格式,并逐步拉长上下文窗口。这是把预训练阶段那种”什么都会一点但什么都不精”的状态,往”能真正干活”推进的阶段。
第三阶段:多脚手架 + 多版本后训练
组合 SFT(监督微调)、领域专门化 RL(强化学习)和 MOPD。官方描述中特别提到这个模型在人类监督下参与了自己的开发过程 —— 也就是说,它有一部分训练数据或工作产物来自它自己的早期版本。这是一个挺有意思的自举式开发流程,也解释了为什么它对 CLI 工作流的理解比通用模型深。
一个特别值得学的设计:失败归因
日报里提到的那句话,原文意思大致是:任务失败时,只有当错误确实来自模型时才会归咎于模型;如果崩的是机器或程序,模型不会背这个锅。
为什么这个设计重要?因为 Agent 在终端里干活,失败原因极其繁杂:
- 模型生成的代码本身有 bug
- 模型生成的命令参数错了(比如删错了路径)
- 测试环境挂了、网络断了、依赖装不上
- 超时了、内存爆了、进程被 OOM kill
如果模型不区分这些,每次失败都当成”我错了”然后盲目重试,它会陷入无限自我怀疑的循环 —— 改一点、再试、又崩、再改。而准确区分失败来源,意味着它知道什么时候该重试、什么时候该换个思路、什么时候该承认”这是环境问题不是我的问题”。
⚠️ 这一点在官方 README 里没有用同样的措辞明确表述,是日报对该论文的解读。本文把它作为一个值得留意的设计方向来呈现,读者若要引用请以论文原文为准。
跑分怎么看的:先看清评测条件
官方 README 里附了一张性能对比图,覆盖多个 benchmark,包括与 DeepSeek-V4-Flash / Pro 的对比,还有 Humanity’s Last Exam(无工具条件下报告),以及 IQuest-CLIBench —— 官方自建的 CLI 用户体验基准。
但真正该看的是官方给出的复现说明,这段比任何分数都实用:
| 维度 | 官方设定 |
|---|---|
| 采样参数 | temperature 1.0,top-p 0.95,top-k 20 |
| 推荐 harness | Claude Code 2.1.140 或 Codex 0.142 |
| DeepSWE v1.1 | 用 mini-SWE-agent |
| 其他任务 | 用 Claude Code |
| Agents’ Last Exam | 用 Claude Code 2.1.258 |
| CyberGym 超时 | 6 小时 |
| Terminal-Bench 2.1 超时 | 8 小时 |
| 多模态处理 | 模型无多模态能力,分词时把多模态内容替换为占位符 |
这份说明的价值在于:它把自己的评测口径摊开给你看。哪个模型用哪个 harness、什么采样参数、超时设多久、哪些地方做了降级处理 —— 全写出来了。前面站内那篇壳税研究刚说过”换壳能翻转 13% 的任务结果”,所以看到任何跑分先看 harness 和采样参数,是很实际的习惯。
另外 CLIBench 是自建基准,这一点要看的时候留个心眼。
部署:OpenAI 兼容 API,主流推理框架都能跑
官方给了完整路径:
- 服务端:推荐 SGLang(官方预构建镜像
iquestlabworkspace/sglang-iquest-q1:cu130,CUDA 13.0)或 vLLM(官方 fork:IQuestLab/vllm-iquest-q1) - 客户端:标准 OpenAI SDK,base_url 指向本地 8000 端口,api_key 随便填
sk-iquest(本地部署不校验) - 模型下载:HuggingFace 上 IQuestLab/IQuest-Q1
接口是完全 OpenAI 兼容的,这意味着任何支持 OpenAI 协议的工具(各种 Agent 框架、CLI 工具、代理层)理论上都能接。这对想把它当”后端模型”塞进自己工作流的人很友好。
⚠️ 三个必须知道的限制
- 权重带”house licence”:日报明确提示权重附带自有许可协议,商业使用前必须阅读。这是开源模型最常见的坑 —— “开放权重”不等于”MIT 协议”。商用前一定要自己读一遍 LICENSE。
- 没有多模态能力:官方在评测时把对话中的多模态输入替换成占位符。所以它读不了截图、不能看 UI 界面。Agent 场景里”看一眼报错截图再决定”这种流程是走不通的。
- 跑分是发布方自报的:日报提到公布的分数来自发布方本人,而且测试里包含一个自建基准(CLIBench)。不是没有第三方评测,是自建基准那部分天然要打个折看。
另外还有一条现实约束没说在前面:即使激活参数只有 15B,320B 总参数的权重你还是要完整下载和装进显存。MoE 省的是推理算力,不是存储和加载成本。个人机器上跑这个模型,显存门槛是真实的。
什么时候值得用它
| 场景 | 建议 |
|---|---|
| CI/CD 里跑长链路自动化 | ✅ 适合。52 万上下文 + 终端原生能力就是冲这个去的 |
| 大仓库重构、跨文件多步修改 | ✅ 值得试,但注意它要配 harness 用,不是开箱即用的聊天框 |
| 需要看截图/看界面来判断 | ❌ 不行,无多模态 |
| 商业部署前评估许可 | ⚠️ 先读 LICENSE,house licence 不是标准开源协议 |
| 个人机器本地跑 | ⚠️ 算力省了,显存没省 |
一个更大的观察
把这件事和前两天的三条消息放在一起看,10 月 24 到 25 日这一周其实在说同一件事的不同侧面:
- AWS + 伯克利:Agent 等结果时不该占着机器(并发调度问题)
- 山东大学 + 伯克利 HarnessTax:Agent 每步重发超长提示词,账单能差 3 倍(包装层成本问题)
- IQuest-Q1:模型本身转向专为终端 Agent 设计,不再是”给聊天模型套个工具”(原生化问题)
趋势很清楚:Agent 专用模型正在从”通用模型 + 工具”变成独立的一层。证据就是 IQuest-Q1 连评测都专门建了一个 CLI 体验基准(CLIBench),而不是拿通用 benchmark 凑数;连失败归因机制都是围绕终端环境的失败模式设计的。
这也解释了为什么它只激活 15B 却敢做 320B:在终端 Agent 这个场景里,瓶颈根本不是参数量,而是”能不能连续几千步不出错、每步少花 token”。这两个方向,正好是壳税研究告诉你的两个省钱点。
📚 参考信源:
- arXiv 论文:Advancing Foundation Capabilities for Agentic CLI Systems(2610.30949)- (https://arxiv.org/abs/2610.30949)
- 论文 PDF – (https://arxiv.org/pdf/2610.30949)
- 官方项目页 IQuest-Q1 – (https://iquestlab.github.io/)
- 官方 GitHub 仓库(含完整规格表与复现说明)- (https://github.com/IQuestLab/IQuest-Q1)
- Hugging Face 模型卡 – (https://huggingface.co/IQuestLab/IQuest-Q1)
- AGI Hunt:IQuest Research Releases IQuest-Q1, a 320B MoE Model – (https://agihunt.info/en/e/1a167d8c51d62accaae77edb1ac)
- The Agent Watch 2026 年 10 月 25 日日报 – (https://theagentwatch.com/en/briefing/2026-10-25.html)
引用总结:本文引用了 arXiv 论文摘要与 PDF、IQuest 官方项目页、官方 GitHub 仓库 README(含全部规格表与复现说明)、Hugging Face 模型卡、AGI Hunt 报道、The Agent Watch 日报的全部数据。320B/15B 参数量、88 层、3,072 隐藏维度、48/8 注意力头、128 头维度、3 SWA + 1 FA、4,096 滑窗、32 维部分 RoPE、256/8 专家、524,288 上下文、Stable SplitNorm + Muon + muP 三阶段训练、SFT + 领域 RL + MOPD、采样参数 temperature 1.0 / top-p 0.95 / top-k 20、harness 版本 Claude Code 2.1.140 / 2.1.258 / Codex 0.142 / mini-SWE-agent、CyberGym 6 小时与 Terminal-Bench 2.1 8 小时超时、CLIBench 为自建基准、SGLang 镜像名与 vLLM fork 均来自官方一手材料。
❓ 相关问题:
1. 320B 但只激活 15B,是不是”虚假宣传”?
不是,这是 MoE 的标准做法。256 个专家每次只激活 8 个,每个 token 走到的计算量约等于一个 15B 模型,但保留了 320B 的知识容量。代价是显存和存储要按 320B 算 —— 省算力,不省内存。而且”参数少所以一定弱”也不成立,实际能力还取决于训练质量。
2. 到底该怎么用起来?
三步:从 HuggingFace 下载权重(IQuestLab/IQuest-Q1);用官方 SGLang 镜像或 vLLM fork 起服务;用 OpenAI SDK 连 http://127.0.0.1:8000/v1,api_key 填 sk-iquest 即可。注意它是为 Agent 场景设计的,配合 Claude Code / Codex 这类 harness 用效果最好,不是拿来当聊天机器人。
3. 跑分能信吗?
官方把评测口径写得很清楚,这比多数厂商强。但两点要注意:CLIBench 是自建基准,测的正是自家主打的 CLI 场景;公布的分数是发布方自报,没有大规模第三方复现。建议拿自己的真实任务集跑一遍 —— 记得先跑两次看噪声区间,这是壳税研究给出的分辨率标准。
4. 商业能用吗?
不要想当然。日报明确提示权重带”house licence”,属于自有协议,不是 MIT 或 Apache 2.0。商业使用前必须自己读 LICENSE 确认条款。这是最容易踩的坑。
5. 没有多模态影响大吗?
看场景。纯命令行的 CI 自动化、代码重构影响不大。但如果你的 Agent 流程依赖”读取截图里的报错””对照 UI 界面调整代码”,那就完全走不通 —— 官方评测时是把多模态内容替换成占位符处理的。
6. 跟普通开源大模型比,选它的理由是什么?
核心不是通用能力,而是三点:为终端 Agent 原生设计(长链路、多步工具调用)、52 万上下文能装下大仓库、OpenAI 兼容接口好接入。如果你的需求就是”在终端里让它自己把活干完”,这三点比通用 benchmark 高几分重要得多。