Viggle发布JST-2 物理原生世界基础模型

时间：2026 年 10 月 19 日，Viggle AI 官方发布 JST-2，同日通过官方 X 账号 @ViggleAI 公布，官方技术页与角色基准测试页同步上线。 地点：美国旧金山（Viggle AI 总部）；可通过官网 PINOC 免费体验，也可通过 Viggle API 与 MCP 调用。 人物：Viggle AI 创始人兼 CEO 楚航；NVIDIA 研究员 Daiqing Li 等研究者在发布后公开转发评价；盲测由人工评审完成。 事件详情： 模型定位：Viggle 称 JST-2 是“全球首个全栈物理原生世界基础模型”（world's first full-stack physics-native world foundation model）。与在像素或视频空间学习的世界模型不同，Viggle 回到第一性原理，把整个模型栈直接在 3D 空间中构建。 架构：JST 全称 Joint Space-and-Time（时空联合）。模型把世界表示为 3D 空间中的“持久原子”，每个原子是一块物质或物体的某个部件，在移动和形变过程中保持自身身份，拥有明确的 xyz 坐标以及学习得到的属性向量与动力学向量。这些原子被编码为 Physics-Native Tokens，再由 JST 解码器还原为 3D Gaussian splats。整条管线分为三段：Encoder 把输入图像映射为 Physics-Native Tokens；Generator 直接从多模态提示生成同样的 token；Decoder 接收 token、视点以及可选的运动或力输入，输出图像或 3D 高斯泼溅。Viggle 表示从编码器到训练管线均由团队自建。 场景生成：官方称 JST-2 生成一个 3D 场景约需 1 秒，推理成本低于 0.01 美元。其前馈架构直接产出 3D 表征，无需像传统方案那样对每个场景做数分钟的逐场景优化。计时口径为 NVIDIA B200 上的模型推理时间，不含网络延迟。发布文章中给出的对比是 Marble 需要约 5 至 6 分钟，但 Viggle 自己的产品事实文件注明“这不是同等保真度的对比”，Marble 的硬件与计时范围未作说明。 空间扩展：JST-2 最多支持 64 个输入视角作为空间上下文窗口，逐视角扩展世界时，每个新视角都会补入下一轮的上下文。解码出的 splats 在浏览器本地渲染，场景生成一次后即可从不同视点反复探索，无需重跑模型。 角色与动作：JST-2 可从单张图片或文本生成带有运动动力学的 3D 角色，无需单独的绑定（rigging）与蒙皮（skinning）步骤；动力学向量编码了各部件在不同运动下的形变方式，因此角色生成即可直接驱动。官方盲测将 JST-2 与 Meshy 7.1、Tripo H3.1 对比，每个模型走各自官方 API 批量生成，测试集覆盖写实、风格化、卡通、动漫、科幻五类，并加入遮挡、裁切、离轴视角、困难光照等真实用户常见的难例。角色生成平均分对 Meshy 7.1 为 58.4%（脸部细节 63.0%、总体偏好 59.9%），对 Tripo H3.1 为 73.2%（脸部 82.0%、总体偏好 66.9%）；动画就绪度同样领先两个基线，优势集中在手部骨骼与运动中的身体、衣物形变。模型还能从被裁切或被遮挡的局部图补全出结构比例合理的完整身体。动作方面，可从文本或视频生成全身 3D 动作并直接套用到 JST-2 角色，无需单独的重定向（retargeting）。 现实重建与用途：JST-2 可从稀疏的真实世界观测重建完整 3D 环境，在模型没见过的新视角下，生成视图在结构与外观上都与真实环境接近。官方点名机器人仿真、自动驾驶、建图与施工为潜在应用方向。 接入方式：官网 PINOC 可直接免费体验；Viggle API 已提供角色创建（/v1/characters，可导出 VSplat）、动作生成（/v1/motions，可导出 GLB，兼容 Mixamo、MetaHuman 与 Unity）与视频重混（/v1/renders），场景模型在 API 侧标注为“即将推出”。官方称后续版本将支持用文本提示引导场景扩展、提升每场景的高斯泼溅数量以获得更细视觉细节，并改进复杂衣物形变与头发运动。 背景： Viggle 成立于 2022 年，前两年做的是 JST-1，支撑起其角色替换类应用 Meme Maker——用户把任意角色放进热门舞蹈或梗视频。该应用官方称用户超过 5000 万、累计生成视频超过 3 亿条，且未投入付费买量。JST-2 从 2024 年开发至 2026 年。 创始人楚航此前对外解释过技术选择的出发点：如果希望人工智能真正理解世界，就必须直接建模物理世界本身；因此团队选择用具备空间与运动属性的 token 表达真实世界中的对象与关系，而不是沿用把多模态信息压缩进语言序列的传统路径。 影响： 对 3D 资产生产，绑定与蒙皮在传统动画和游戏管线里是以小时计的专家工种，且绑定一旦做成就决定了角色此后的运动方式。JST-2 把角色生成与运动动力学合成一次输出，等于同时移除了这两道工序，对小型工作室和独立开发者的意义尤其明显。 对世界模型路线，JST-2 与 Runway 的 GWM Worlds 2（生成连续 720p、24fps 视频）、VAST 的 EdenLive（重绘游戏引擎渲染结果）代表不同押注：前者输出的是可探索的 3D 空间而非成片。叠加 Google、Unity 等“一句话生成游戏”的进展，从生成世界的图片到生成可以走进去的世界，这一步的门槛在明显下降。 对 Physical AI，如果从稀疏真实观测重建可交互 3D 环境的能力能稳定下来，搭建机器人仿真场景的成本有望被进一步压低，这也是官方把机器人仿真列在首位的原因。 需要提示的是，上述速度、成本与对比数据全部来自 Viggle 自测，“1 秒对 Marble 5 至 6 分钟”并非同等保真度比较；角色盲测由人工评审、样本集与权重方案均为官方自定，目前尚无第三方独立复现；API 端的场景模型尚未开放，文本引导扩展与细节增强仍在路线图上。 总结： JST-2 把“生成一张世界的图片”改成了“生成一个可以走进去的空间”——持久原子与 Physics-Native Tokens 保证了物体不会因为换个视角就凭空消失，前馈架构把场景生成压进一秒之内。角色与动作共用一套架构，又让绑定与蒙皮这两道传统工序同时消失。但所有漂亮数字目前都出自厂商自己的评测，场景模型也还没开放给 API 用户，接下来要看的是第三方能否复现，以及真实项目里跑上几周是否还稳。 参考来源： 1. https://viggle.ai/jst2 2. https://viggle.ai/research 3. https://viggle.ai/research/jst2-character 4. https://viggle.ai/research/jst2-motion 5. https://viggle.ai/developers 6. https://www.llms.blog/posts/viggle-jst-2-explained-a-physics-native-3d-world-model-for-scenes-characters-and-motion 7. https://headsupai.io/ai-news-and-updates 8. https://finance.sina.com.cn/cj/2026-04-10/doc-inhtymqk0415545.shtml