英伟达发布Cosmos3-H-Dreams 手术仿真器

时间：2026年10月20日，英伟达（NVIDIA）通过 Hugging Face 官方博客发布新一代医疗物理仿真模型 Cosmos3-H-Dreams，同日在 Hugging Face 与 GitHub 同步放出模型权重、推理代码与评测数据说明，模型卡标注的发布日期为 10 月 20 日。 地点：美国加州圣克拉拉，英伟达总部主导发布；成果托管于 Hugging Face 官方博客与 nvidia 组织页面、GitHub 仓库 isaac-for-healthcare/Cosmos3-H-Dreams 与 NVIDIA/flashdreams 运行时，全球开发者可直接下载权重与代码。 人物：英伟达医疗科技（nv-medtech）与物理 AI 团队；数据与器械合作方为英国剑桥的 CMR Surgical，其 Versius 外科机器人系统贡献了临床胆囊切除录像；基础模型来自英伟达 Cosmos3-Nano 与 Cosmos3-H-Embodied-Nano；模型卡同时标注了 Self-Forcing 与分布匹配蒸馏两篇论文的作者团队。 事件详情：英伟达称，据其所知，Cosmos3-H-Dreams 是首个在真实临床胆囊切除录像上训练、并支持实时运动学控制的实时生成式手术仿真器。它不是回放手术录像，而是给一张内窥镜初始画面与一条机器人指令流，逐块生成"如果器械这样动，画面会变成什么样"的短视频。据英伟达博客，该模型由 Cosmos 3 世界基础模型驱动，配合 FlashDreams 流式推理库，可在单张英伟达 RTX PRO 6000 GPU 上实现交互式运行。 模型卡披露的技术细节相当具体。架构为 Mixture-of-Transformers，即一个 Qwen3-VL-8B-Instruct 推理塔加一个隐扩散生成专家、共享多模态注意力，运行在 Wan2.2 VAE 潜空间上，参数量约 151.7 亿。训练分三阶段：先以在 Open-H-Embodiment 数据集上后训练过的 Cosmos3-H-Embodied-Nano 初始化（该模型本身约 160 亿参数）；再在 Versius 胆囊切除数据上微调双向教师模型，先用 24 帧视野训练 2000 步，再扩到 72 帧视野训练 4400 步；最后做实时蒸馏，先用 1000 步因果教师强制把双向教师转成块因果学生，再结合 300 步 Self-Forcing 分布匹配蒸馏，得到带 KV 缓存、每个潜帧 4 步去噪的自回归学生模型。 动作接口方面，CMR Versius 对应的动作维度从 20 维扩展到 28 维，每条手臂 14 维，包括相对锚点的平移 3 维、6D 旋转 6 维、钳口 1 维、电外科能量激活 1 维、拇指摇杆按键 1 维与摇杆轴 2 维；原有位姿与钳口权重保留，新增控制量零初始化。训练视频分辨率为 832 乘 480，动作按 10 Hz 对齐，每 4 个未来动作向量（10 Hz 下 0.4 秒）生成 4 帧新画面，默认一次生成 72 帧即 7.2 秒，可通过自回归循环持续延长。推理时条件帧与最多 16 步动作历史一次性预填入 KV 缓存。 数据方面，模型卡写明微调与蒸馏使用的是 CMR Surgical Versius 的专有临床胆囊切除录像，来源为 4792 例手术、约 1700 万帧 60 Hz 1080p 画面，降采样到 10 Hz；筛样只保留内窥镜视野中恰好两件器械且全程处于 engaged 状态的窗口，标准器械配对为左臂抓钳、右臂电钩，并剔除拇指摇杆推杆超过阈值的主动运镜窗口。实际训练集为 64 段录像、约 526 分钟不重复视频，按约 98% 与 2% 划分，留出集为 10 段录像、约 10.6 分钟。评测集包含两个固定留出面板，每个面板 48 个画质案例加 12 个动作控制案例，合计 120 个案例，每个案例为一个条件帧加 72 帧目标帧，另有中立与正负 5 度、15 度器械旋转探针以及 30.4 秒连续 rollout 供人工查看。 性能表显示，在 832 乘 480 分辨率下，RTX PRO 6000 Blackwell 工作站版跑 4 步去噪可达 30.0 帧每秒，2 步可达 43.2 帧每秒；RTX PRO 6000 Blackwell Max-Q 版本分别为 20.2 与 31.2 帧每秒；DGX Spark 以 512 乘 288 分辨率 2 步运行可达 16.9 帧每秒。测试硬件为单张 Blackwell 架构 RTX PRO 6000 边缘目标机、DGX Spark，以及 Hopper 架构 H100。训练与原生推理以 BF16 混合精度进行，权重导出为 FP32，仅在 Linux 上测试。代码仓库同时提供离线回放生成 MP4，以及用 VR 头显浏览器实时驱动、手柄动作直接控制仿真场的交互模式，并附带教师微调与 Self-Forcing 蒸馏的完整配方文档。 背景：这是英伟达两年多来医疗仿真路线的第三步。2026 年 7 月，英伟达开源了基于 Warp、Newton 与 Cosmos 的 GPU 原生医疗物理仿真框架 Medical Physics Simulation，当时公布的数据显示 8192 个机器人训练环境并行运行可把训练时间从 5 小时以上压缩到不足 2 分钟，CMR Surgical、强生医疗科技、XCath、Inner Logic 与美敦力结构心脏业务均为早期采用者；同年 7 月首发的 Cosmos-H-Dreams 基于 Cosmos-Predict2.5，训练场景是 dVRK 桌面缝合。英伟达称，前一版证明了世界基础模型可以不显式建模几何、组织形变与物理交互，而是直接从同步视频与机器人运动学里学视觉动态；这一版把同一思路推进到临床腹腔内场景，那里组织会被牵拉、反射会变化、器械会遮挡解剖结构、烟雾会影响视野，微小生成误差还会随 rollout 累积并逐渐改变器械几何与解剖形态。CMR Surgical 已向 Open-H-Embodiment 开源数据集贡献近 500 小时 Versius 匿名临床数据，覆盖胆囊切除、前列腺切除、疝修补与子宫切除等术式。 影响：医疗机器人长期卡在数据瓶颈上，罕见场景难以采集，硬件测试昂贵，而手术器械在真实组织中的行为又难以用第一性原理建模。Cosmos3-H-Dreams 提供了第三条路：用生成模型直接学视觉动态，把手术场景变成可交互、可外推的环境，从而支撑策略评测、遥操作式探索与合成数据生成三种用法，模型卡列出的目标用户包括手术机器人研究者、医疗 AI 开发者、学术机构与手术机器人公司。对英伟达而言，这也是把 Isaac for Healthcare 从仿真底座推向世界模型层的关键一步，让其硬件与 Isaac 生态在医疗赛道形成闭环。 但边界必须说清楚。英伟达自己在官方博客与模型卡里反复强调，视觉真实不等于生物力学准确，一个看起来合理的画面如果忽略操作者的控制指令，就无法充当交互式环境；它同时写明这是研究用仿真器，不是经过验证可用于患者护理的系统，尚未在真实临床用途上验证。官方列出的后续方向包括建模完整术式、把生成式仿真与数值仿真对接以约束和验证形变、请外科医生评估并形成可复现基准、支持更多器械以及开发自主手术策略。换言之，"AI 手术仿真"目前仍处在可研究、可评测而不可临床的阶段。 总结：Cosmos3-H-Dreams 把生成式世界模型从桌面缝合推进到真实临床胆囊切除场景，第一次让手术动作能实时驱动画面连续演化，并在单张 RTX PRO 6000 上达到 30 至 43 帧每秒的交互帧率。它把手术机器人训练与评测的关键瓶颈从"如何拿到数据"部分转化为"如何验证生成的数据够不够真"，这是从仿真底座走向可验证世界模型的一步。但官方反复声明这是研究仿真器而非临床系统，视觉合理性不等于生物力学准确性，模型卡中所有性能数字均为英伟达自测，无第三方复现。 参考来源： Hugging Face 官方博客（NVIDIA 撰文）：https://huggingface.co/blog/nvidia/cosmos3-h-dreams Hugging Face 模型卡（技术细节与性能表）：https://huggingface.co/nvidia/Cosmos3-H-Dreams GitHub 代码仓库与使用说明：https://github.com/isaac-for-healthcare/cosmos3-h-dreams 基础模型 Cosmos3-H-Embodied-Nano：https://huggingface.co/nvidia/Cosmos3-H-Embodied-Nano Open-H-Embodiment 开源数据集：https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Open-H-Embodiment FlashDreams 流式推理运行时：https://github.com/NVIDIA/flashdreams Syncai 转载解析：https://syncai.news/article/nvidia-cosmos3-h-dreams-bringing-clinical-surgery-to-life-through-generative-sim-4eb9f7 Superpower Daily 深度解读：https://superpowerdaily.com/posts/nvidia-releases-ai-surgery-simulator-trained-on-clinical-recordings WorldProgramming 技术拆解：https://www.worldprogramming.org/posts/nvidia-cosmos3-h-dreams-bringing-clinical-surgery-to-life-through-generative-simulation-fwwlka Techy101 架构与训练细节整理：https://techy101.com/2026/10/20/nvidia-releases-cosmos3-h-dreams-real-time-surgical-world-model-unite-ai