Mirendil Fern 上下文1000万token

时间：2026年10月26日 8:00（美西太平洋时间），Mirendil 官网发布题为 Introducing Fern 的正式公告 地点：美国加州（AI 研发初创公司 Mirendil 总部），面向 AI 研发人员与研究实验室开放申请 人物：Mirendil 联合创始人 Behnam Neyshabur 与 Harsh Mehta，两人此前分别在 Anthropic 与 Google 任职；开发者社区消息由 Mirendil 官方账号与 Behnam Neyshabur 的个人账号同步发布 事件详情：2026年10月26日，Mirendil 公布其从零预训练的首个模型 Fern，首个版本 Fern 0.1 的上下文窗口最高可达 1000 万 token。按官方口径，这一容量约等于 23 MB 的代码，接近 50 万行代码，规模与 Megatron-LM 这个开源训练框架相当；也可以一次性装下数十到数百条完整的智能体轨迹，或相当于一个智能体数天的工作量。Fern 0.1 是基础模型 Mirendil-Base 经过一轮短周期后训练得到的版本，官方表示新版本将频繁发布。 模型家族按三个梯队规划。Fern 0.1 参数量区间 0.1 至 0.5 万亿，输入为文本与代码，定位是高负载智能体任务，访问方式标注为即将开放；更大的 Mirendil-Base-Large 参数量区间 0.5 至 2 万亿，预训练进度 80% 以上；最大的 Mirendil-Base-XL 参数量区间 2 至 10 万亿，预训练进度 20% 以上，目前两者仍在训练中。 Mirendil 对长上下文给出的论证方式是：语言模型的能力有两种增长路径，一种是堆参数，另一种是拉长上下文；后者让模型能调动更多任务相关信息，包括自身既往经验、规格说明、证据、代码与原始数据。公告中 Mirendil 先展示了上下文变长对下一词预测本身有帮助，随后用 RULER 这一长上下文标准基准做了有效访问的初步测试，并称更完整的长上下文结果稍后公布。 据第三方报道整理的 RULER 成绩为：在满 1000 万 token 长度下，单针检索 100%，多键检索 90%，多跳问答 45%；官方对每个结果只跑了 20 个样本，样本量偏小，且全部数字均来自 Mirendil 自行披露，公告正文未给出可读的智能体基准数值。 背景：Fern 的底座 Mirendil-Base 于 2026 年 10 月 21 日由 Mirendil 单独发布，官方文章标题为 Pretraining at scale without a pretraining team，给出的三个数字是 1 名研究员、3 个半月、算力成本不足 1000 万美元，这笔成本涵盖全部研究探索、实验与最终训练运行。项目从空白代码仓库起步，仅使用 PyTorch、JAX 等通用开源库，训练数据全部来自 GitHub 与公开网页，没有采购授权数据集，也没有使用其他大模型的输出做蒸馏或合成数据。官方称工程代码中超过 99% 由 AI 智能体编写、运行与排错，人类研究员负责确定研究方向、判断哪些实验结果可信并在关键节点介入。评测上，Mirendil-Base 在内部留出代码库与 7 个训练截止后才公开的外部仓库上的平均预测损失为 0.222，优于 Nemotron-550B-Base 的 0.247、GLM-5.3 的 0.242 与 DeepSeek-V4-Pro-Base 的 0.243，仅次于总参数达 2.8 万亿的 Kimi-K3 的 0.193。Mirendil 方面称，下一代模型将部分由 Mirendil 自家模型参与构建。 公司背景方面，Mirendil 于 2026 年 6 月走出隐身状态，完成据报道 2 亿美元的种子轮融资，估值约 10 亿美元，由 Andreessen Horowitz 与 Kleiner Perkins 联合领投，英伟达亦有参投。Fern 0.1 目前仅开放早期访问申请，未公布定价，第三方也指出其窗口约为 Claude Opus 5 与 Gemini 4 Argon 等百万 token 级窗口的十倍。 影响： - 长上下文竞赛再上一个量级。把窗口推到千万 token 级别，意味着不需要复杂检索系统就能直接把整个代码库或一整段训练日志塞进一次提示词，对 AI 研发自身的基础设施是直接利好。 - 官方自己的数字也暴露了短板。多跳问答 45% 意味着在满长度下，模型有一半以上的多跳关联问题答不出来；查找单一事实与串联多个事实之间存在明显差距，这正是实际工程落地前需要重点压测的部分。 - 组织范式的变化比模型本身更值得注意。Mirendil 展示的是研发瓶颈从专业人员编制转向算力、数据获取与少数研究者的判断力，对垂直行业团队自建专用基础模型是新的可行性样本。 - 需要保留的判断是：这批数据全部来自厂商自述，样本量小，且与 Kimi-K3 等对照模型的比较使用的是预训练损失而非下游任务表现，损失领先不等于智能体基准领先。访问尚未开放，也暂无第三方复现。 总结：Fern 0.1 的意义在于把上下文窗口的标尺从百万级推到千万级，并且给出了从零预训练加短期后训练这条相对轻量的产品化路径。但从官方披露看，它目前更像一份技术规格书而非可用的模型：单针与多键检索接近满分，多跳问答只有 45%，智能体基准数值尚未公开，访问权仍在申请阶段。对于关注长上下文的团队，合理动作是排队申请早期访问，同时把多跳推理能力列为自己的验证项，而不是把千万 token 直接写进架构方案。 参考来源： https://mirendil.com/news/introducing-fern https://digestai.news/story/mirendil-announces-fern-v0-1-with-10m-token-context-window https://explainx.ai/blog/mirendil-fern-0-1-10m-token-context-coding-agent-model-early-access-claimed-vs-verified-2026 https://aiparabellum.com/mirendil-fern-10m-token-context-ai-model https://wisevoter.com/world/2026/10/26/mirendil-releases-fern-0-1-ai-model https://ai-pulse-lab.com/ https://news.sig.ai/cn/article/cmvmas3of0005t3ufr4yjxz1y https://robot.agientry.com/en/articles/mirendil-pretraining-at-scale