腾讯混元发了个大招:Hy4-Preview来了,770B总参数、49B激活参数、…

封面由站内生成
腾讯混元发了个大招:Hy4-Preview来了,770B总参数、49B激活参数、100万上下文窗口,全部开源。 这次Hy4最核心的升级是上下文窗口直接拉到了1M tokens。对于需要处理长文档、长代码库的场景来说,这意味着你可以把整本书、整个项目一次性喂给模型,不用再分段摘要再拼接了。 参数量方面,770B总参数配合49B激活参数的MoE架构,在推理效率和模型能力之间找到了一个平衡点。官方定位是"Built for productivity",实际测试下来在代码生成、文档理解、多轮对话等生产力场景表现确实不错。 开源策略也很直接:HuggingFace权重、GitHub代码全部开放,定价也走亲民路线。对于不想被闭源模型锁死的团队来说,Hy4现在是一个很值得评估的选项。 GitHub:github.com/Tencent-Hunyua… HuggingFace:huggingface.co/tencent/Hy4-pr…
话题来源 @TencentHunyuan ❤️5297 x.com/…↗ 已改写,非原文转载
24 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单