算力资本密集化加速,巨头举债购芯租用成常态
先看反直觉的那部分:
770B 听起来像烧钱玩具,但 MoE 把单次激活压到 49B(约 6.4%),等于用 49B 的推理账单,买 770B 的脑容量。Hy3 是 295B/21B/256K,这一代直接拉到 2.6 倍参数、2.3 倍激活、4 倍上下文。
架构上也没偷懒:
78 层 backbone,首层 dense,其余 77 层 MoE(256 路由 + 1 共享,每 token 激活 top-8+1);注意力是 Gated DSA + IndexCache 跨层稀疏复用,残差流用 iHC 扩到 4 条;还白送一层原生 MTP(10B/0.7B)做投机解码,不计入官方 770B 口径。
因为 1M 上下文 + 长程 Agent 基准一起跳,才是真信号:
内部 163 专家盲测 203 个工程任务,2.99/4 略胜 GLM 5.3(2.92)和 Kimi K3(2.94)——不是碾压,是“掰手腕”。
Hy4 preview 不是来替你写邮件的,它是来替你扛“整库代码 + 跨文件需求 + 多轮调试”的。
腾讯这次的定位很硬——“为生产力而生”,训练数据和 CodeBuddy/WorkBuddy 的软工、金融、游戏、安全专家共建,盲测任务也是真实工程,不是 GSM8K 刷分。对做 Agent / 长上下文 RAG / 代码库的团队,1M 上下文意味着很多场景可以先别切文档了,整仓塞进去。
当然 preview 就是 preview:复杂任务爱绕弯、暂不支持视觉、厂商自测尚无第三方交叉验证——这些别当正式版结论用。
#腾讯混元 #Hy4Preview #开源大模型 #MoE #LongContextAgent
你更看好 1M 上下文干掉 RAG,还是觉得“长上下文 + 工具调用”才是 Agent 的终局?评论区聊聊你拿 Hy4 准备先虐哪个任务。
如何在短短4个月内成为一名专业的AI工程师
科技市场正以惊人的速度变化,AI不仅仅是你技术栈中添加的新工具
作为开发者,未来真正的价值将体现在你从头到尾构建和设计智能系统的能力上
在这4个月里,你将学会如何构建LLM应用、对接AI API、使用RAG、设计Agent与Workflow,并将你的项目部署到Production
🔖 请收藏这篇帖子,因为这份Roadmap可能成为你踏入AI Engineering领域的真正起点
🔹 第一个月:编程基础 + LLM Fundamentals
先搭建所有AI项目都需要的工程基础
GitHub: github.com/actionow-ai/ac…