六天一百五十一轮:AI 把推理系统写完

小白爱摸鱼 @chaozuoye

半年的新公司,把研发体系整个翻过来建:人定方向,AI 干活。

这家公司叫 Naive AI,今年二月才成立,比 DeepSeek、Kimi、GLM、MiniMax、阶跃那批晚了三到七年。它没包袱,从第一天起就丢掉了围绕人类研究员搭体系的老路。架构、训练、基础设施、推理、部署、评测这些活儿,能交给模型的全部交给模型,人只负责定方向、设约束和评价标准、做关键决策。这套做法就是眼下最激进的 RSI 实践。

新模型 Naive-N0.5-Flash 的四条规格。面向 Coding 和 AI 研发两个场景,第二个场景是重点。309B 参数、MoE 结构、开放权重。规格再补两条。上下文撑到一百万 token,而且没挂全局注意力。推理走极速档,最快能到每秒两千 token。

长上下文这半条是 AI 参与设计的。上下文越长,注意力算得越贵,它用 SWA 和 DSA 混着来。粗略说就是大部分层只看附近,每隔五层再排一层从全部历史里筛重点。进入主干计算的只有筛出的两千零四十八个 token。这套架构是人类先定目标和评测标准,AI 出候选方案跑消融,最后研究员拍板。

最能说明问题的是 NaiveRT 那段。为提速做的这套推理系统,整个研发 AI 干了六天,跑了一百五十一轮优化实验。它自己分析哪里慢、提方案、跑一遍,再决定留还是回滚,其中六十三轮被采用,七十一轮验证不过或回滚。

另一个叫 AutoWM 的世界模型更彻底,人只给目标、算力预算和评测标准。四百小时跑十五轮主实验,最后在 WorldArena 的公开评测里拿到 77.43,把此前最高的 73.64 比了下去。

六天对一百五十一轮这个比例我看重。前面几篇讲的都是 AI 在单点帮忙,这里是一整段研发循环交给它,人退到定标准那一步。跟前面六天重构那篇的实账放一起读更清楚,同样是多天工程,那头靠人反复检查,这头把检查本身也写进了循环。

我留的疑问有三处。六十三比七十一的通过率说明筛选仍然关键,谁来写那套评测标准没交代;开放权重的成色要等社区复现;每秒两千 token 的极速档在真实长程任务里能维持多久,也得有人量。

判断先放这句:这是模型研发范式切换的一次露头。想跟的等权重放出,先拿它的长上下文跑一段自己的代码库。

话题来源 @xiaogaifun 6.2K阅读 ❤️39 x.com/…↗ 已改写,非原文转载
120 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单