国产AI栈多模态层新证据

今晚国产 AI 栈今晚已经拼到了第三块——DeepSeek 开源面向华为昇腾的全栈适配补完了硬件层,今晚凌晨这一波清华 OpenBMB 把 VoxCPM2 开源补完了多模态这一层(github.com/OpenBMB/VoxCPM )。

VoxCPM2:2B 参数 + 200 万小时多语言音频 + 48kHz 录音棚级音质 + Apache 2.0 协议商用不设卡——GitHub Star 已破万,Trending 榜上还在挂着。

今晚这一开源的体量、技术规格、开源协议开放程度——是国产 AI 多模态这一周最硬的一次开源。

具体说几句关键变化。VoxCPM2 最有意思的不是参数规模,是它放弃了经典 TTS 路线——经典路线是把音频切成离散 token 再生成,丢掉信息严重,声音怎么听都差点魂。VoxCPM2 直接在连续潜空间做扩散自回归,音色、情绪、换气节奏一个不落全保留。

这一刀砍下去,把经典 TTS 路线的天花板砍下来了。30 种语言外加 9 种中文方言——普通话、粤语、闽南语来回切换,RTX 4090 上实时率 0.13——流式输出基本摸不到延迟,声音克隆能调情绪、语速、口癖,想让它结巴都随你——这是开源模型第一次把克隆精细度做到这种程度。

把这条放进今晚国产 AI 栈这条线看,意义特别清晰。今晚国产 AI 这条线已经聊到了 GLM 5.3 Flash(智谱)、Qwen-Image-Layered(阿里)、ncnn+Qwen(腾讯/阿里)、DeepSeek+昇腾(深度求索/华为)、Anthropic 公开研究 GLM(智谱在海外)、Dario 当年出自百度(百度人才外溢)——这一串拼图是从模型层、推理层、应用层、人才层、硬件层、多模态层各层都有。

今天凌晨清华 VoxCPM2 这一开源补完了多模态层:国产 AI 栈不只是能写文字、画图、看图,今天加上能说话这一层。从今天开始国产 AI 栈第一次形成"模型+推理+硬件+学术+多模态"完整的五层栈。

把这条放到今晚更大范围的 AI 多模态线对照,意义还会再清楚一些。今晚聊过的多模态有几条主线——Dots 把 AI 助手变成 24/7 随身的对话型 agent,Kling 4.0 把视频生成的视觉真实度抬上去,Qwen-Image-Layered 把图像分层生成从一次性输出变成可编辑结构,OpenAI DevDay Codex CLI 多模态刷新,DeepSeek 转向多模态推理。

今天凌晨这一开源 VoxCPM2 放到这条线上看,是国产多模态走到"语音也能开箱即用"的一次。今天一个独立开发者想用国产 AI 做完整的多模态应用——文字靠 GLM、图靠 Qwen-Image-Layered、视频靠 Kling 4.0、语音靠 VoxCPM2——栈不用补,几家国产拼起来就是一套。

留一格清楚的边界:开源模型的可控性比闭源低一个量级——TTS 开源模型容易催生 AI 语音克隆,被滥用门槛降得很低,这一条今晚原帖里也点了出来。开源协议 Apache 2.0 商用放行本身是好事,但相应配套的滥用防护要靠开发者和平台自己来。今天看国产多模态时把"技术突破"和"滥用可能性"分开读,比把它混在一起读更稳。

给今天就在 AI 多模态方向工作的你一句落地的:今天看你的产品里语音这一块用的什么——商用 API、开源本地、还是干脆没接。今晚这一开源值得今天就拿它跑一下,看在你的场景下能替代哪一块商用 API、能省多少成本、能加哪些以前做不出来的功能。

把这个评估做完,再决定是否上这条线——今晚的技术突破有了,但你的产品上不上是另一回事。今晚以后,每周你可能都得把这条重新评估一次——开源模型的迭代速度比商用 API 还快。

话题来源 @Manorgw 4.2K阅读 ❤️57 x.com/…↗ 已改写,非原文转载
205 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单