曾妍新论文揭示字节10万亿参数路线图
时间:2026年11月18日
地点:北京
人物:曾妍、张一鸣、周畅
事件详情:字节跳动研究员曾妍作为第一作者发表的Cola2论文,其权重于11月上半旬开放在Hugging Face。论文提出用视频生成领域的扩散模型与连续隐空间方法处理语言建模,平均两个token压成一个提纲点,理论上主要计算量降至原来的一半。Cola2在约3460亿token上训练的未收敛checkpoint,8项任务平均60.10分,在HellaSwag和StoryCloze两项上超过Llama-3-8B。同一时间,外媒报道称字节Seed团队正在预训练参数最高可达10万亿的模型。
背景:曾妍1997年出生,2021年校招加入字节,曾任Seedance预训练负责人,今年3月职级从3-2升至4-2。她从扩散模型出发相信规模效应的路线,与张一鸣在AI团队全员会上提出的长期主义一致。字节8月完成组织调整,将原按模态划分的团队合并为四个一级部门,集中资源推进核心项目。
影响:字节正从多线赛马转向集中押注,先在一个模态上打赢,再让赢的人带着方法走向其他模态。张一鸣在内部会上表示,字节追上前沿模型的时间最早也要到2029年或2030年。Seedance海外收入占比已达50%,过去半年增长近5倍。
总结:曾妍的Cola2论文不仅提出了一种更省算力的语言建模方法,也折射出字节在大模型路线上的战略选择。从多线赛马到集中押注,字节正在用Seedance验证过的方法论,向下一个10万亿参数模型推进。
常见问题:
问:Cola2和之前的Cola DLM有什么区别?
答:Cola2主要弥补了上一代在生成类任务上的短板,通过按意思动态切块、解码器灵活处理提纲、以及提纲与正文协同训练三项改进,让模型更高效。
问:曾妍在字节是什么职位?
答:曾妍是字节Seedance核心负责人,今年3月至11月从3-2连跳两级至4-2,被认为是Seedance的实际leader。
参考来源:
DoNews 字母榜
https://www.donews.com/article/detail/6885/109944.html
人人都是产品经理 字母榜
https://www.woshipm.com/ai/6496057.html
火星财经 字母AI
https://news.marsbit.co/20261118200015989229.html
arXiv 论文页
https://arxiv.org/abs/2610.31305
Hugging Face 模型页
https://huggingface.co/ByteDance-Seed/Cola2
凤凰网科技 转FT报道
https://ishare.ifeng.com/c/s/v00686H0hr9mWzAR6it6FvEi--nIwS--T0hDplYmjjSltzr38__?spss=np&channelId=
DigitalToday 转FT报道
https://www.digitaltoday.co.kr/cn/view/90703/bytedance-trains-ai-model-with-up-to-10-trillion-parameters-nearing-anthropics-mythos#none
C114 光通信Pro
http://www.c114.net.cn/industry/148572.html
腾讯新闻 钛媒体APP
https://news.qq.com/rain/a/20261119A05PLW00








