找回密码
立即注册
搜索
发回帖 发新帖

5455

积分

0

好友

701

主题
发表于 半小时前 | 查看: 6| 回复: 0

创造一个世界不难,难的是让这个世界“听话”。

Google DeepMind 此前发布的 Genie 4 展示了交互式世界模型的进展:用户可以通过键盘或鼠标控制角色探索世界,也能通过提示词改变环境。不过,在实际交互中,生成效果与用户预期之间仍存在差距。

让世界“听话”,至少需要两种能力:一是控制精度,用户发出的操作指令能够得到准确响应;二是时序一致性,世界持续变化时,物体的身份、外观和状态仍能保持稳定。简单说,就是该变的变,不该变的不变。

近日,蚂蚁集团、西湖大学和浙江大学联合发布 Code World Model 2.0(CWM 2.0)。其核心视觉引擎 Invoker-Render 能够接收结构化 Proxy,将场景布局、物体运动和镜头变化转化为连续的高保真画面。

CWM 2.0 的多类型 Proxy、动作分支、镜头控制与流式生成能力

团队展示了一段赛车演示:输入端是低模赛车 Proxy,画面中还展示了手柄操作。随着测试者拨动摇杆,Proxy 中的车辆改变方向,主画面中的白色赛车也随之转向。

团队还展示了一段连续 30 分钟的赛车演示,中途没有切镜或重置,用以展示长时间生成时的画面稳定性和主体一致性。

几根简单的线框如何驱动逼真的世界?持续生成时,又如何尽量保持物体外观和场景结构的一致性?

CWM 2.0 的答案是 Invoker-Render。这套生成式渲染引擎能够理解从简单几何到精细骨架等不同粒度的 Proxy,控制场景、物体和镜头,并通过 ProForcing 训练方法提升长时流式生成的稳定性。

代码控制世界,生成模型负责画面

一类交互式世界模型采用端到端生成路线:用户输入操作,模型直接预测并生成后续画面,无需单独搭建复杂的世界程序。

但随着交互越来越复杂,模型需要同时承担两类任务:既要像物理引擎一样维护物体状态、运动轨迹和交互规则,又要像图形渲染器一样合成材质、纹理和光照。这增加了精准控制和修改世界规则的难度。

另一种思路是将世界状态管理与视觉生成分开。

在这种架构中,代码定义物体、运动规则和摄影机路径,再将信息转换为结构化 Proxy,交给生成模型完成视觉呈现。代码提供明确、可修改的控制条件,模型则负责补充材质、光影和局部细节。

早在 CWM 1.0 中,团队就尝试将世界状态管理交给代码,将视觉呈现交给生成模型。CWM 2.0 在此基础上进一步完善了生成式渲染环节。

在 MiniMax-H3 基座上,团队构建了两种互补的 Invoker-Render 模型,使用同一套输入接口:结构 Proxy、外观参考图和文本条件。

  • 双向创作模型:读取完整的 Proxy 序列,利用前后文信息生成画面,适合离线视频创作和复杂运镜调整。例如,创作者可以先规划完整的镜头运动,再根据结构条件生成画面。
  • 因果四步流式模型:无法提前看到尚未发生的操作,只能逐块接收新的 Proxy,结合此前生成的画面持续生成后续内容,更适合实时交互。

要让这种分工发挥作用,渲染器还需要解决两个问题:理解不同精度的结构输入,并在连续生成中保持画面稳定。

从线框到骨架:如何精确控制世界模型?

Proxy 是连接上游世界程序与下游生成模型的关键。它可以记录场景布局、物体位置、朝向、运动轨迹和摄影机变化,却不需要完整包含最终画面的材质、纹理和光照信息。

不同交互场景需要的结构信息并不相同。

在赛车场景中,如果只需要控制车辆沿道路行驶,几个简单的三维框就可以描述汽车的位置和朝向。这类 Proxy 构建成本低,传输也更加轻量。

但在人物格斗场景中,仅知道人物整体移动到哪里还不够。模型还需要了解手臂、腿部和身体各个关节如何运动,才能还原对应动作。

Invoker-Render 的做法,是将不同粒度的结构控制能力统一到同一套模型中。

五类 Proxy,一套生成模型

Invoker-Render 支持五类结构表示:

  • 语义图(Semantic Map)
  • 稀疏三维框(Sparse 3D Boxes)
  • 主体掩码(Subject Mask)
  • 带明暗的几何体(Shaded Geometry)
  • 三维框与骨架(Boxes + Skeletons)

Invoker-Render 支持的五类 Proxy 及不同几何精度示例

除了支持不同类型的 Proxy,Invoker-Render 还能够适应同一种表示内部的不同几何精度。

面对简单的人体结构,模型可以自行补全迈步、摆臂等局部动作;输入更精细的骨架信息时,模型则能够遵循具体的关节姿态,实现更严格的动作控制。

为训练模型理解不同精度的结构输入,团队构建了约 200 小时的多粒度对齐数据。其中约 150 小时来自自采的三维交互和驾驶序列,其余约 50 小时来自 OmniWorld-Game、Magpie、CARLA、Virtual KITTI 2 等公开数据集。

团队通过场景重建和物体运动恢复,从同一场景中生成不同精度的 Proxy,并与对应的真实视频配对,让模型学习不同结构约束下的画面生成。

同一事件,不同镜头

除了物体和动作,摄影机也是世界模型需要控制的重要部分。

在一组海岸隧道追逐演示中,同一个场景和事件可以对应不同的摄影机运动路线。模型根据输入的 Proxy,分别生成不同视角下的连续画面。

同一赛车场景下的环绕运镜与升降运镜对比

Proxy 不仅能够描述场景和物体,还能规定主体运动与摄影机路径,为镜头、动作和场景布局提供更精确的控制。

连续生成 30 分钟,如何保持画面稳定?

如果说多粒度 Proxy 解决的是“如何控制”,那么 ProForcing 要解决的就是“如何持续生成”。

实时流式生成与普通视频生成有一个重要区别:模型无法提前看到完整的视频内容,需要不断接收新的输入,逐块生成后续画面。

每一块生成完成后,都会成为下一块的历史上下文。如果前面的画面已经产生误差,后续生成可能继续继承这些问题。

例如,最开始生成的红色汽车可能只有轻微颜色偏移,但随着模型不断读取自己生成的历史,变化可能逐渐累积,最终变成另一种颜色。纹理、光照和物体结构也可能发生类似变化。

因此,模型不仅需要学会快速生成,还必须学会在自身生成的历史存在误差时,继续维持画面质量。

ProForcing:三个训练阶段

团队提出 Progressive Forcing(ProForcing)渐进式训练方法,将因果适应、少步蒸馏和长序列自生成训练拆分为三个阶段。

  1. 因果适应:结合 Teacher Forcing(TF)和 Resampling Forcing(RF)。前者使用真实视频历史作为上下文,后者引入一定程度的重建误差,让模型逐渐适应不完美的历史信息。
  2. 少步蒸馏:通过 RF-DMD 将生成过程蒸馏为四步,并结合 GAN 对抗监督,改善少步生成容易出现的细节损失和画面过度平滑问题。
  3. 长序列自生成训练:通过 SF-DMD(Self-Forcing DMD),让模型在自身连续生成的历史上继续训练。团队同时将学生模型、Fake Score 模型、判别器,以及相应的优化器状态和 EMA 权重延续到这一阶段,以保持训练稳定性。

ProForcing 与其他流式生成方法的训练阶段对比

上图将不同方法的训练角色对齐展示;各方法使用的骨干网络与训练预算存在差异。ProForcing 通过 TF→RF、RF-DMD+GAN 和 SF-DMD+GAN,逐步完成因果适应、少步生成蒸馏与长序列自生成训练。

赛车演示中的长时一致性

在开头的赛车演示中,车辆持续沿赛道行驶,车身外观、道路结构和环境光照在长时间生成过程中保持了较好的一致性。

技术报告还展示了两组约五分钟的赛车序列对比,时长分别为 298 秒和 299 秒。在这些序列中,Invoker-Render 持续跟随输入轨迹,并保持车辆外观。

298 秒和 299 秒赛车序列的关键帧生成结果对比

团队另外展示的完整赛车演示,将连续生成时间延伸到了 30 分钟。这些演示展示了 CWM 2.0 在长时间流式生成中维持场景结构和主体外观一致性的能力。

从模型到推理系统:如何持续生成?

除了模型训练,实时流式生成还需要一套能够持续运行的推理系统。

即使模型能够用四步生成一个视频块,如果每次推理仍需重复处理大量历史信息,编码、生成和解码环节也必须依次等待,整体效率就会受到限制。

CWM 2.0 随报告开放了基于 SGLang 与 SGLang-Omni 构建的单机八卡流式推理引擎。团队针对连续推理设计了几项工程优化。

首先是结构化块因果掩码。常规流式推理除了四步去噪,还需要分别完成上一块历史上下文的提交,以及下一块 Proxy 条件的预填充。团队将历史提交、条件预填充和第一步去噪融合到一次前向计算中,剩余三次前向完成后续去噪。这样,每个视频块的主干前向调用从六次减少至四次,调用次数降低约三分之一。

其次是缓存复用。团队通过常驻外观参考锚点、持久化 KV 缓冲区和零拷贝滑动窗口,让关键历史信息在显存中持续复用,同时管理不断增长的历史窗口,减少重复计算与数据搬运。

最后是八卡流水线调度。Proxy 编码、视频生成和视频解码不再完全串行等待:模型生成当前视频块时,系统可以并行准备下一块 Proxy,并对上一块生成结果进行解码。不同计算阶段重叠执行,从而减少等待时间。

CWM 2.0 单机八卡流式推理、KV 缓存与编解码流水线架构

配套代码仓库还提供 WebSocket 会话服务、文件推理客户端,以及支持手柄交互的浏览器前端。除了模型权重,开发者也能获得配套的流式推理实现和交互工具。

140 组流式评测:四项指标排名第一

团队设计了 140 组留出测试序列,将 Invoker-Render 与三款近期流式渲染模型进行对比。测试覆盖不同三维环境、多主体交互和不同 Proxy 表示方式。

评测采用 Gemini 3.8 Flash 进行匿名两两比较,再通过 Bradley–Terry 模型拟合 Elo 分数。评估分为画面质量、结构与运动、参考外观保持、综合偏好四个维度。

在这组测试中,Invoker-Render 的四项指标均排名第一:

  • 画面质量 Elo:1336.4
  • 结构与运动 Elo:1309.0
  • 参考外观保持 Elo:1214.1
  • 综合偏好 Elo:1343.2

与三种流式渲染基线相比,Invoker-Render 的综合偏好胜率分别为 92.9%、82.9% 和 62.9%。其中,面对最具竞争力的 Other Work-3,综合偏好 Elo 领先 97.9 分。

Invoker-Render 与三种流式渲染基线的综合偏好胜率对比

在七组流式生成对比中,其他方法出现了不同程度的结构和外观漂移。

七组留出序列中不同方法的流式生成结果对比

例如,在水下场景中,其他方法生成的环境逐渐偏离原本的水下礁石,甚至变成明亮的天空;奔跑的鹿失去了鹿角,带翅膀的角色丢失了翅膀,鲜红的跑车也逐渐褪成米白色。部分场景还出现道路纹理退化,甚至整片区域逐渐变黑。

这些变化说明,流式世界渲染需要同时维持多种约束:物体运动要遵循结构输入,主体还必须在不同时间保持原有外观。

世界模型走向可编程

当世界模型不仅能够生成画面,还能够接受控制和持续修改时,它就有机会从供人观看的内容,发展为新的创作与交互空间。

在 Akina 赛车演示中,用户通过手柄改变车辆运动状态,Proxy 随之变化,主画面同步呈现车辆转向和赛道环境的变化。这为游戏原型、交互式虚拟环境等场景提供了一种实现思路:开发者可以将结构化控制与生成式渲染结合,而不必完全依赖传统图形管线生成所有视觉细节。

影视创作也是一个值得关注的方向。在赛车超车的双镜头演示中,创作者可以调整摄影机路径,生成同一事件的不同视角画面,为镜头预演和分镜设计提供新的工具。

从 CWM 1.0 提出的 Coding Agent as World Brain,到 CWM 2.0 对生成式渲染能力的进一步完善,这条路线正在逐步补齐从世界构建、规则控制到实时视觉呈现的关键环节。

未来,世界模型或许不再只是根据一句提示词生成一段视频,而是能够通过代码定义规则、通过交互改变状态,再由生成模型持续呈现的世界。

来源

编辑:山辉

版权:转载请联系原公众号获得授权。




上一篇:Rust 编译器并行前端默认开启,Nightly 编译提速
下一篇:GRPO 探索不足的原因:隐式优势对称性与 A-GRAE
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-21 00:36 , Processed in 0.065902 second(s), 40 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表