一个 3200 亿参数的模型,但每个 token 只激活 150 亿。它不擅长聊天,不做多轮陪聊,目标是让你在终端里敲命令、开代码仓库、读输出、再敲下一条,直到活干完。10 月 24 日,IQuest Research 发布了 IQuest-Q1:一个专门为 Agentic CLI 系统设计的稀疏 MoE 基座模型,权重、代码、训练方法全部公开,完整技术报告同步发在 arXiv(编号 2610.30949)。最值得注意的细节是它参与了自己的开发过程,以及一个很反直觉的设计:任务失败时,错误只归咎于模型自己 —— 如果崩的是机器或程序,模型会明确说这不是我的错。这篇把架构细节和实际能怎么用都拆开讲。

先看规格:一张表看懂

项目 IQuest-Q1
总参数 / 每 token 激活 320B / 15B
Transformer 层数 88
隐藏维度 3,072
注意力头(Q/KV) 48 / 8
头维度 128
混合注意力模式 3 层滑窗注意力 SWA + 1 层全注意力 FA
滑窗尺寸 4,096
部分 RoPE 维度 32
专家数(总/激活) 256 / 8
上下文长度 524,288(约 52.4 万 token)

几个关键设计解释一下:

  • 256 个专家只激活 8 个:这是 MoE 的核心省钱机制。320B 的知识容量,但每次推理只走其中一小部分,所以推理成本接近 15B 模型,而不是 320B。
  • 3:1 的混合注意力:4 层里有 3 层是滑窗注意力(只看最近 4096 token),1 层是全注意力。短窗口负责局部细节和速度,全注意力负责长程依赖。这是长上下文模型为了控制显存和算力的常见做法。
  • MTP(多 token 预测)层:训练时 2 层独立 MTP,推理时是 1 层递归 ×8。这是推测解码类加速结构,目标是提高输出吞吐。

三阶段训练:稳定性是设计出来的,不是碰运气

论文摘要里把训练拆成三段,每段解决一个不同的问题。

第一阶段:稳定且高效的预训练

用了 Stable SplitNorm、Muon 优化器和 muP(最大更新参数化)三个技术,加一个两阶段课程:第二阶段提高编码数据的混合比例。

这里最值得注意的一句话是:这种设计在”安全学习率”和”最优学习率”之间保持了很宽的稳定裕度。翻译成人话:预训练最怕的是某一步 loss 突然炸掉,前面几小时算力全废。Stable SplitNorm + Muon 这套组合的思路就是把这个”炸掉的概率”压下去,让大模型训练不用时刻盯着调参。

第二阶段:细粒度中训练

扩展数据混合到更多领域和更多格式,并逐步拉长上下文窗口。这是把预训练阶段那种”什么都会一点但什么都不精”的状态,往”能真正干活”推进的阶段。

第三阶段:多脚手架 + 多版本后训练

组合 SFT(监督微调)、领域专门化 RL(强化学习)和 MOPD。官方描述中特别提到这个模型在人类监督下参与了自己的开发过程 —— 也就是说,它有一部分训练数据或工作产物来自它自己的早期版本。这是一个挺有意思的自举式开发流程,也解释了为什么它对 CLI 工作流的理解比通用模型深。

一个特别值得学的设计:失败归因

日报里提到的那句话,原文意思大致是:任务失败时,只有当错误确实来自模型时才会归咎于模型;如果崩的是机器或程序,模型不会背这个锅。

为什么这个设计重要?因为 Agent 在终端里干活,失败原因极其繁杂:

  • 模型生成的代码本身有 bug
  • 模型生成的命令参数错了(比如删错了路径)
  • 测试环境挂了、网络断了、依赖装不上
  • 超时了、内存爆了、进程被 OOM kill

如果模型不区分这些,每次失败都当成”我错了”然后盲目重试,它会陷入无限自我怀疑的循环 —— 改一点、再试、又崩、再改。而准确区分失败来源,意味着它知道什么时候该重试、什么时候该换个思路、什么时候该承认”这是环境问题不是我的问题”。

⚠️ 这一点在官方 README 里没有用同样的措辞明确表述,是日报对该论文的解读。本文把它作为一个值得留意的设计方向来呈现,读者若要引用请以论文原文为准。

跑分怎么看的:先看清评测条件

官方 README 里附了一张性能对比图,覆盖多个 benchmark,包括与 DeepSeek-V4-Flash / Pro 的对比,还有 Humanity’s Last Exam(无工具条件下报告),以及 IQuest-CLIBench —— 官方自建的 CLI 用户体验基准。

但真正该看的是官方给出的复现说明,这段比任何分数都实用:

维度 官方设定
采样参数 temperature 1.0,top-p 0.95,top-k 20
推荐 harness Claude Code 2.1.140 或 Codex 0.142
DeepSWE v1.1 用 mini-SWE-agent
其他任务 用 Claude Code
Agents’ Last Exam 用 Claude Code 2.1.258
CyberGym 超时 6 小时
Terminal-Bench 2.1 超时 8 小时
多模态处理 模型无多模态能力,分词时把多模态内容替换为占位符

这份说明的价值在于:它把自己的评测口径摊开给你看。哪个模型用哪个 harness、什么采样参数、超时设多久、哪些地方做了降级处理 —— 全写出来了。前面站内那篇壳税研究刚说过”换壳能翻转 13% 的任务结果”,所以看到任何跑分先看 harness 和采样参数,是很实际的习惯。

另外 CLIBench 是自建基准,这一点要看的时候留个心眼。

部署:OpenAI 兼容 API,主流推理框架都能跑

官方给了完整路径:

  • 服务端:推荐 SGLang(官方预构建镜像 iquestlabworkspace/sglang-iquest-q1:cu130,CUDA 13.0)或 vLLM(官方 fork:IQuestLab/vllm-iquest-q1)
  • 客户端:标准 OpenAI SDK,base_url 指向本地 8000 端口,api_key 随便填 sk-iquest(本地部署不校验)
  • 模型下载:HuggingFace 上 IQuestLab/IQuest-Q1

接口是完全 OpenAI 兼容的,这意味着任何支持 OpenAI 协议的工具(各种 Agent 框架、CLI 工具、代理层)理论上都能接。这对想把它当”后端模型”塞进自己工作流的人很友好。

⚠️ 三个必须知道的限制

  1. 权重带”house licence”:日报明确提示权重附带自有许可协议,商业使用前必须阅读。这是开源模型最常见的坑 —— “开放权重”不等于”MIT 协议”。商用前一定要自己读一遍 LICENSE。
  2. 没有多模态能力:官方在评测时把对话中的多模态输入替换成占位符。所以它读不了截图、不能看 UI 界面。Agent 场景里”看一眼报错截图再决定”这种流程是走不通的。
  3. 跑分是发布方自报的:日报提到公布的分数来自发布方本人,而且测试里包含一个自建基准(CLIBench)。不是没有第三方评测,是自建基准那部分天然要打个折看。

另外还有一条现实约束没说在前面:即使激活参数只有 15B,320B 总参数的权重你还是要完整下载和装进显存。MoE 省的是推理算力,不是存储和加载成本。个人机器上跑这个模型,显存门槛是真实的。

什么时候值得用它

场景 建议
CI/CD 里跑长链路自动化 ✅ 适合。52 万上下文 + 终端原生能力就是冲这个去的
大仓库重构、跨文件多步修改 ✅ 值得试,但注意它要配 harness 用,不是开箱即用的聊天框
需要看截图/看界面来判断 ❌ 不行,无多模态
商业部署前评估许可 ⚠️ 先读 LICENSE,house licence 不是标准开源协议
个人机器本地跑 ⚠️ 算力省了,显存没省

一个更大的观察

把这件事和前两天的三条消息放在一起看,10 月 24 到 25 日这一周其实在说同一件事的不同侧面:

  • AWS + 伯克利:Agent 等结果时不该占着机器(并发调度问题)
  • 山东大学 + 伯克利 HarnessTax:Agent 每步重发超长提示词,账单能差 3 倍(包装层成本问题)
  • IQuest-Q1:模型本身转向专为终端 Agent 设计,不再是”给聊天模型套个工具”(原生化问题)

趋势很清楚:Agent 专用模型正在从”通用模型 + 工具”变成独立的一层。证据就是 IQuest-Q1 连评测都专门建了一个 CLI 体验基准(CLIBench),而不是拿通用 benchmark 凑数;连失败归因机制都是围绕终端环境的失败模式设计的。

这也解释了为什么它只激活 15B 却敢做 320B:在终端 Agent 这个场景里,瓶颈根本不是参数量,而是”能不能连续几千步不出错、每步少花 token”。这两个方向,正好是壳税研究告诉你的两个省钱点。

📚 参考信源:

  1. arXiv 论文:Advancing Foundation Capabilities for Agentic CLI Systems(2610.30949)- (https://arxiv.org/abs/2610.30949)
  2. 论文 PDF – (https://arxiv.org/pdf/2610.30949)
  3. 官方项目页 IQuest-Q1 – (https://iquestlab.github.io/)
  4. 官方 GitHub 仓库(含完整规格表与复现说明)- (https://github.com/IQuestLab/IQuest-Q1)
  5. Hugging Face 模型卡 – (https://huggingface.co/IQuestLab/IQuest-Q1)
  6. AGI Hunt:IQuest Research Releases IQuest-Q1, a 320B MoE Model – (https://agihunt.info/en/e/1a167d8c51d62accaae77edb1ac)
  7. The Agent Watch 2026 年 10 月 25 日日报 – (https://theagentwatch.com/en/briefing/2026-10-25.html)

引用总结:本文引用了 arXiv 论文摘要与 PDF、IQuest 官方项目页、官方 GitHub 仓库 README(含全部规格表与复现说明)、Hugging Face 模型卡、AGI Hunt 报道、The Agent Watch 日报的全部数据。320B/15B 参数量、88 层、3,072 隐藏维度、48/8 注意力头、128 头维度、3 SWA + 1 FA、4,096 滑窗、32 维部分 RoPE、256/8 专家、524,288 上下文、Stable SplitNorm + Muon + muP 三阶段训练、SFT + 领域 RL + MOPD、采样参数 temperature 1.0 / top-p 0.95 / top-k 20、harness 版本 Claude Code 2.1.140 / 2.1.258 / Codex 0.142 / mini-SWE-agent、CyberGym 6 小时与 Terminal-Bench 2.1 8 小时超时、CLIBench 为自建基准、SGLang 镜像名与 vLLM fork 均来自官方一手材料。

❓ 相关问题:

1. 320B 但只激活 15B,是不是”虚假宣传”?
不是,这是 MoE 的标准做法。256 个专家每次只激活 8 个,每个 token 走到的计算量约等于一个 15B 模型,但保留了 320B 的知识容量。代价是显存和存储要按 320B 算 —— 省算力,不省内存。而且”参数少所以一定弱”也不成立,实际能力还取决于训练质量。

2. 到底该怎么用起来?
三步:从 HuggingFace 下载权重(IQuestLab/IQuest-Q1);用官方 SGLang 镜像或 vLLM fork 起服务;用 OpenAI SDK 连 http://127.0.0.1:8000/v1,api_key 填 sk-iquest 即可。注意它是为 Agent 场景设计的,配合 Claude Code / Codex 这类 harness 用效果最好,不是拿来当聊天机器人。

3. 跑分能信吗?
官方把评测口径写得很清楚,这比多数厂商强。但两点要注意:CLIBench 是自建基准,测的正是自家主打的 CLI 场景;公布的分数是发布方自报,没有大规模第三方复现。建议拿自己的真实任务集跑一遍 —— 记得先跑两次看噪声区间,这是壳税研究给出的分辨率标准。

4. 商业能用吗?
不要想当然。日报明确提示权重带”house licence”,属于自有协议,不是 MIT 或 Apache 2.0。商业使用前必须自己读 LICENSE 确认条款。这是最容易踩的坑。

5. 没有多模态影响大吗?
看场景。纯命令行的 CI 自动化、代码重构影响不大。但如果你的 Agent 流程依赖”读取截图里的报错””对照 UI 界面调整代码”,那就完全走不通 —— 官方评测时是把多模态内容替换成占位符处理的。

6. 跟普通开源大模型比,选它的理由是什么?
核心不是通用能力,而是三点:为终端 Agent 原生设计(长链路、多步工具调用)、52 万上下文能装下大仓库、OpenAI 兼容接口好接入。如果你的需求就是”在终端里让它自己把活干完”,这三点比通用 benchmark 高几分重要得多。