腾讯混元Hy4 AMA首秀 下一代模型将显著扩容
时间:2026 年 11 月 21 日凌晨(北京时间)
地点:Reddit r/LocalLLaMA 社区(线上 AMA)
人物:腾讯首席 AI 科学家、混元大模型负责人姚顺雨及混元团队研究员
事件详情:
11 月 21 日凌晨,腾讯混元团队在 Reddit 的 r/LocalLLaMA 社区举办了首次面向全球开发者的公开 AMA(Ask Me Anything),历时约两小时,共收到 300 多条留言。姚顺雨与团队成员逐条回应了关于下一代模型规模、架构选型、推理成本、递归自我改进及安全对齐等核心问题。
团队明确表示,下一代 Hy 模型将显著扩大参数规模,并继续相信 Scaling Law 的作用。Hy4-mini 及面向 24GB 显存的本地部署模型均已在路线图上,Flash-Lite 也在规划中。
Hy4 是腾讯 11 月 4 日发布的旗舰模型,总参数量达 770B。11 月 20 日,混元团队宣布 Hy4 正式开源,模型权重已在 GitHub、HuggingFace、ModelScope 和 GitCode 四大平台同步上线。Hy4 flash 于 11 月 16 日发布,总参数量 224B(含 64B Engram 参数),每 Token 激活仅 12B 参数。根据腾讯内部 WorkIndex 评测,Hy4 flash 的平均单任务成本约 0.26 元,仅为旗舰 Hy4 的约 1/20。
背景:
在高端 GPU 供给持续受限的背景下,腾讯单季资本开支已升至 814.33 亿元。混元团队坦言,从 Hy3 扩展到 Hy4 的过程中,数据消融实验不够充分,训练开始时仍存在较大不确定性。同时,字节跳动、Kimi 等厂商正推进 3T–5T 参数的超大规模模型,腾讯 Hy 系列目前仍处于 700B 量级。
在 AMA 中,团队首次披露了 Hy4 的架构选型细节:曾在 GQA 与 MLA 之间反复权衡,最终因 DSA 降低了 MLA 在解码阶段的计算开销而选择 MLA。Hy4 flash 则引入滑动窗口注意力(SWA),将 KV Cache 规模压缩至约 1/4,以降低推理成本。
影响:
团队确认将继续保持开源路线,目前正在推进 llama.cpp 适配,并与 vLLM、SGLang 等推理框架社区合作。对于递归自我改进(RSI),团队坦承仍处于早期阶段,已开发多项内部基准评估关键能力,并正在开发 Hyra 3.0 工具链。
在安全方面,混元团队表示已过滤网络安全训练数据中的漏洞利用类内容,侧重防御性任务;同时承认「过度拒绝」仍是待改进的重要方向。针对此前 AI 智能体在腾讯云上尝试绕过访问限制的事件,团队表示已在训练和评测全流程中加强网络访问控制与对齐偏差监控。
总结:
此次 AMA 是腾讯混元团队首次在海外开发者社区公开亮相。在算力和芯片双重受限的背景下,团队选择继续保持开源,并透露下一代模型将显著扩大规模。Hy4-mini、面向 24GB 显存的本地模型以及 Flash-Lite 均已列入路线图,显示出腾讯在资源约束下仍试图通过多尺寸产品线覆盖从云端到终端的全场景需求。
常见问题:
问:腾讯混元 Hy4 和 Hy4 flash 有什么区别?
答:Hy4 是 770B 参数的旗舰模型,适合复杂推理;Hy4 flash 总参数量 224B,激活仅 12B,单任务成本约为 Hy4 的 1/20,主打低成本日常办公。
问:Hy4-mini 什么时候发布?
答:Hy4-mini 已在路线图上,但团队未公布具体发布时间表。
参考来源:
智东西
https://zhidx.com/p/612973.html
量子位
https://www.qbitai.com/2026/11/511757.html
新京报
https://www.bjnews.com.cn/detail/1795251519129575.html
凤凰网科技
https://tech.ifeng.com/c/8yChdfRbhnQ
搜狐新闻
https://www.sohu.com/a/1104505790_413980
IT之家
https://www.ithome.com/1/030/338.htm
腾讯新闻
https://news.qq.com/rain/a/20261121A0AM9Y00







