Genie4世界模型实时steer原生音频对话

Genie 4 来了:实时掰世界、原生音频、照片级物理。

要点照录。Sundar Pichai 亲自官宣 Genie 4,称其为我们最真实、最可交互的世界模型。四条要点摆开:steer dynamic environments in real time,实时掰动态环境,事件、镜头角度、动作都归你调;generate native audio matched to the world,原生音频跟着世界走,从真实背景声到能实时对话的角色;simulate photorealistic scenes and real-world physics,照片级场景和真实世界物理一起模拟;更连贯的多步事件靠 Gemini 的推理撑起来。

落地节奏也给了:已作为 research preview 向受信测试者推出,很快会到 Google AI Ultra 订阅者的 Project Genie,以及经 Gemini API 和 AI Studio 接入的早期访问伙伴。

官方那两条补充在原推里:一条是 This is Genie 4 的演示,一条列了 what's new,链接没展开。

"实时掰世界,角色会说话"这半句是场重心。前面那份基准尺讲的是量是真,这条讲的是界真。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在演示屏前看产品把"生成视频"升格成了"可驾驶的世界"。两头都在提醒同一件事,世界模型这行的分水岭在交互二字,能被实时掰、能出声、能对话,那才是从看电影挪进了进游戏。

"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好,这条讲的是把"最真实"放一放。research preview 只对受信测试者,真实感是挑出来的还是普遍的没说;实时 steer 的延迟和一致性没给数;照片级物理那句也常在演示里打折扣。世界模型这东西,能交互是一回事,交互久了不露馅是另一回事。

我留的疑问有三处。实时掰场景的帧率和时长没在这条列出;对话角色的语音延迟没说;Gemini 推理在多步事件里占多大权重也没讲,这些都在官方那两条里才看得到。

这周等 Project Genie 开门,先去掰一把它的镜头角度。

话题来源 @sundarpichai 648.5K阅读 ❤️9658 x.com/…↗ 已改写,非原文转载
25 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单