小白爱摸鱼
@chaozuoye
MiniMax M3 从训练第一天就把文本和视觉焊在一起，不是等文本练好了再塞视觉。
要点照录。眼下多数多模态模型还是老一套，先把文本喂熟，再往里硬塞视觉，翻车是常事。文本能力掉了、训练不稳了、注意力图上两种符号各据一方。M3 的做法反着来，训练的头一步就让两者一起学，重点不是"我也能看图"，而是真正做到了原生融合。
几处亮点也摆开。第一，原生多模态，不是后期贴的视觉，注意力图显示文本和视觉的符号真正搅在了一起。第二，一百万 token 的超长上下文，配上自家的 MSA 稀疏注意力，预填充比全注意力快约九倍，解码快约十五倍。
第三，智能体加编程能力，开源权重，走的是 agentic coding 那条线，不是只会聊天的模型。第四，MSA 的设计思路很硬核，索引分支先找出重要的块，稀疏分支只算相关的部分。
它还把 DeepSeek 那套 DSA 在显存访问上的短板补了，改成块级检索，更贴合真实硬件。第五，视觉侧也做了三维注意力，在 ViT 里加跨帧交互来提升理解，四帧是实测出的性价比平衡点。
最戳人的点也留着。后期补视觉的那条 CPT 老路，动不动就把原本好好的文本能力搞崩，超参数还特别娇气。反倒是从头就两家一起练，在同样的 token 预算下，文本基本没掉链子，这思路其实挺反直觉。
收尾那句反问同样照录，从第一步就多模态这条路，会是以后的主流吗，还是大模型得先把文本打透。模型已经开源，GitHub、Hugging Face、技术报告都有，搜 MiniMax M3 或 MSA 就能找到。
"一起学更稳"这半句是场重心。前面 Strata 那条讲的是把模型塞进游戏机，这条讲的是把两种感官塞进同一个脑子。跟前面国产基座那座岛呼应，那条在把家族往外铺，这条在把训练往根上改。
两头都在提醒同一件事，国产开源的打法已经从追分数变成了改路线，这比任何单点分数都更能说明问题。跟前面 R-SWA 那条也接得上，一个在推理侧省显存，一个在训练侧省预算，省与省之间是同一门手艺。
四帧这个细节我单独拎出来，它说明这套方案已经过了实验室阶段，连性价比的平衡点都实测了出来，这是要拿去真实部署的架势。
我留的疑问有三处。MSA 和 GQA 的对比数据没给；agentic coding 的实际成绩没拆；开源权重的许可条款也没数，这些都在技术报告里才看得到。
这周把 M3 的权重拉下来，拿同一道多模态题跟闭源几家跑一遍对比。
