腾讯混元Hy3发布极致量化版本 295B参数模型单张显卡即可部署

时间：2026年7月14日 地点：中国 人物：腾讯混元团队 事件详情：腾讯混元团队于2026年7月14日正式发布旗舰大模型Hy3的量化版本，将总参数295B的MoE模型权重量化至1bit与4bit，打包为GGUF格式并开源，使原本只能运行在多卡服务器上的模型，现在最少仅需一张高端推理显卡即可部署。 背景：Hy3是腾讯于2026年7月6日正式发布的旗舰大模型，采用快慢思考融合的MoE架构，总参数量295B，单次推理仅激活21B参数，支持256K上下文长度。原生BF16权重文件接近600GB，此前需多卡服务器承载，部署门槛极高。自开源以来，社区开发者持续呼吁推出量化版本。 影响： - 1bit版本（IQ1_M）压缩至85.5GiB，压缩幅度达6.7倍，单张96GB推理显卡即可完整承载，大幅降低本地部署门槛 - 4bit版本（Q4_K_M）体积169.9GiB，双显卡可稳定运行，Agent与代码任务性能接近满血原生版本 - 配合MTP投机解码技术，1bit版本解码速度提升约50%，4bit版本提升近60% - 同步提供GPTQ Int4版本，原生适配vLLM推理框架，面向企业线上API服务场景 - 以Apache 2.0协议开源，全球开发者均可免费商用，推动国产大模型社区生态繁荣 总结：腾讯混元Hy3量化版的发布，标志着295B参数级大模型正式进入消费级显卡可部署时代。这一技术突破大幅降低了大模型本地部署的门槛，使得个人开发者和小型团队也能在本地运行接近旗舰级能力的大模型，将加速AI技术在更多场景中的落地应用，对推动国产开源大模型生态发展具有重要战略意义。 参考来源： https://view.inews.qq.com/a/20260714A099ER00 https://so.html5.qq.com/page/real/search_news?docid=70000021_0456a55ff7329552 https://blog.csdn.net/shaobingj126/article/details/162688835