英伟达开源实时手术世界模型Cosmos3-H-Dreams，单卡RTX PRO 6000可跑

可模拟胆囊切除手术。

机器人前瞻10月21日报道，英伟达正式发布并开源了实时生成式手术世界模型 Cosmos3-H-Dreams。该模型能够根据输入的机器人操作指令，实时生成对应的手术画面，模拟手术器械移动、组织牵拉及形变等过程。

与此前主要面向桌面缝合任务的 Cosmos-H-Dreams 不同，这款新模型将生成式仿真扩展到了真实临床手术场景，能够模拟腹腔镜胆囊切除术中的器械操作和组织变化。

Cosmos3-H-Dreams 基于160亿参数的 Cosmos3-H-Embodied-Nano 开发，训练数据从4792段手术记录中筛选而来，最终使用约526分钟真实手术视频进行训练。通过教师-学生模型蒸馏和 FlashDreams 流式推理加速框架，该模型仅需单张 NVIDIA RTX PRO 6000 GPU 即可实现实时交互。

160亿参数基础模型，支持28维动作输入

今年7月，英伟达曾推出 Cosmos-H-Dreams，基于 Cosmos-Predict2.5 开发，主要用于 dVRK 桌面缝合任务。该模型通过学习同步记录的视频与机器人运动学数据，直接预测器械操作后的场景变化。Cosmos3-H-Dreams 沿用了这一生成式仿真思路，但在基础模型、动作控制能力及实时生成方式上做了明显升级。

新模型基于 Cosmos3-H-Embodied-Nano 开发，这是一个在 Open-H-Embodiment 上完成预训练的160亿参数模型。在此基础上，英伟达针对临床胆囊切除术视频和对应的机器人运动学数据，对双向教师模型进行微调，使其学习手术器械操作与人体组织变化之间的关系。

模型支持28维动作输入，涵盖双臂的位置与姿态、夹持器状态、能量控制、摇杆轴及摇杆按钮等信息。这意味着 Cosmos3-H-Dreams 不仅能生成手术画面，还能根据器械的移动、旋转、夹持等动作，预测相应的场景变化。

为实现实时生成，研发团队采用教师-学生蒸馏方案。首先对双向教师模型进行微调，将未来视频预测长度从24帧扩展至72帧。按照10Hz的数据采样频率计算，这分别对应2.4秒和7.2秒的未来画面，使模型能够学习更长时间跨度的手术场景变化。

随后，通过因果教师强制训练（Causal Teacher Forcing）和自强制蒸馏（Self-Forcing），将教师模型的能力迁移至能够连续生成视频的学生模型。其中 Self-Forcing 让学生模型在训练时使用自己生成的历史画面，并接受教师模型及判别器的指导，减少连续生成过程中逐渐累积的误差。

英伟达此次开源了4步和2步去噪两个学生模型版本。其中，2步版本在4步模型基础上进一步训练，通过减少去噪步骤来提高推理速度，但生成画面质量有所下降。

推理阶段，Cosmos3-H-Dreams 采用英伟达 FlashDreams 流式推理框架，并通过改进的 FadeMem 模块，优化长时间视频生成过程中的历史信息缓存，降低持续生成的计算与存储负担。因此，模型能够持续接收新的器械操作指令，并逐段生成对应的手术视频，而不需要每次都从头生成完整序列。

基于真实临床手术数据，模拟胆囊切除操作

在具体手术应用中，英伟达选择了腹腔镜胆囊切除术来验证 Cosmos3-H-Dreams 对真实手术场景的生成和交互能力。

相比桌面缝合任务，人体内部手术环境要复杂得多。为此，英伟达使用了来自 CMR Surgical Versius 手术机器人平台的临床胆囊切除术记录。原始数据包含4792段手术记录，总计约1700万帧视频，采样频率为60Hz，分辨率为1080p。这些手术由外科医生远程操作机器人完成，器械动作标签由机器人遥测数据自动生成，器械可见性则由人工标注。

经过筛选，研发团队最终使用64段手术录像、约526分钟视频作为训练数据，并将视频处理为832×480分辨率，动作数据按10Hz对齐。在数据筛选过程中，团队仅保留两种手术器械同时出现并操作的画面，分别是左侧抓钳和右侧电钩。

此外，团队还留出约10.6分钟、来自10段手术录像的数据进行验证，通过画面质量、动作控制、器械旋转及连续生成等测试，评估模型生成效果。

实际演示中，Cosmos3-H-Dreams 能够根据抓钳的动作，模拟抓取、提起胆囊以及相应的组织形变。随着抓钳向上移动，画面中的胆囊及周围组织也产生相应的位移和形变。在两组模拟视频中，初始画面相同，但由于输入的器械动作数据不同，最终生成了不同的手术画面。

结语：距离实际临床应用仍有距离

从桌面缝合到腹腔镜胆囊切除术，英伟达正在将生成式世界模型推向更复杂的手术场景，为手术机器人的交互式训练和测试提供新的仿真方式。

不过，生成画面符合视觉预期，并不意味着模型能够准确模拟真实组织的物理变化。如何保证器械运动与输入动作一致、组织形变合理，以及长时间生成过程中解剖结构的稳定性，仍然是需要进一步验证的问题。这些挑战解决到什么程度，将决定这类生成式仿真能否真正走进临床训练流程。