英伟达开源Cosmos-H-Dreams 手术实时仿真

时间：2026年7月27日 地点：美国加州圣克拉拉 人物：英伟达 Isaac for Healthcare 团队 事件详情：英伟达于2026年7月23日在GitHub首发、7月27日通过Hugging Face博客正式公开其实时生成式手术仿真模型 Cosmos-H-Dreams。该模型基于 NVIDIA Cosmos-H-Surgical-Simulator 蒸馏而来，集成自研 FlashDreams 流式推理库，可在单张 RTX PRO 6000 GPU 上根据机器人运动学输入实时生成手术场景视频。模型针对达芬奇研究套件（dVRK）桌面缝合任务做了专项微调，支持离线批处理推理和基于 WebRTC 的浏览器键盘或 Meta Quest VR 头显实时控制两种模式，权重采用 NVIDIA Open Model License 开源。 背景：手术机器人研发长期受困于物理平台成本高、实验复现慢、边缘场景难复现等痛点。传统物理仿真器需要手动建模每一根针、每一条缝线，难以胜任形变组织、烟雾、镜面反射等复杂场景。Cosmos-H-Dreams 采用世界基础模型思路，从同步视频与机器人运动学数据中直接学习视觉动力学，将被动视频生成器转变为可控的实时仿真器，可用于外科手术技能演练、机器人策略闭环评估与合成数据生成。 影响： - 手术机器人开发者可在虚拟环境中以毫秒级延迟测试策略，把物理硬件试错成本压到接近零 - CMR Surgical、强生医疗科技、美敦力结构性心脏、XCath 等企业已基于该框架开发患者特定仿真与数字孪生 - 端到端开源（代码+权重）降低了医疗 AI 研究的进入门槛，监管审查与结果可复现性显著改善 - 单卡部署让中小机构也能搭起实时手术仿真平台，推动具身智能与医疗机器人交叉研究 总结：英伟达把大模型时代的世界基础模型能力注入手术机器人研发，从原本的「写一个仿真器」转向「让模型看视频自学习物理」。Cosmos-H-Dreams 让外科医生、研究者和学习策略在闭环中实时交互，把仿真从定制工程项目变为可复用的基础设施。叠加开源权重，预期将加速下一代腔镜、血管介入与数字孪生手术系统的落地。 参考来源： - https://huggingface.co/blog/nvidia/cosmos-h-dreams - https://huggingface.co/nvidia/Cosmos-H-Dreams - https://github.com/isaac-for-healthcare/Cosmos-H-Dreams - https://baijiahao.baidu.com/s?id=1871497259976428405&wfr=spider&for=pc - https://baijiahao.baidu.com/s?id=1871472353741988902&wfr=spider&for=pc - https://it.sohu.com/a/1053904184_121885030 - https://www.myzaker.com/article/6a630cb8b15ec059a93d515f - https://baike.baidu.com/item/NVIDIA%20Cosmos%203/67903379