世界模型综述：架构、训练方法与推理范式全景解读

世界模型（World Model）是一种内部模拟器，能学习环境如何演化，并推演不同行动可能导致的后果。近日，arXiv 上线的一篇百页综述从架构、训练方法、推理范式和应用场景四个维度，对世界模型进行了系统的分类与梳理。文中提出，与依赖自然语言展开推理的思维链不同，世界模型可以直接在潜空间中模拟状态变化，形成扎根于时空与行动的“想象链”。这或许预示着世界模型正从预测未来的模拟器，逐步演化为能够支撑智能规划与决策的推理引擎。对这一前沿方向，云栈社区 的开发者们也展开了热烈讨论。

论文题目：World Models: A Comprehensive Survey of Architectures, Methodologies, Reasoning Paradigms, and Applications
论文链接：https://arxiv.org/abs/2606.00133
发表时间：2026年5月28日
论文来源：arXiv

世界模型的历史与架构

世界模型的理念源于一种更宽泛的预测性智能观——系统不仅对当前输入做出反应，还能通过预测未来状态、估计行动的后果，并利用内部模拟来指导行为。认知科学中的早期心理模型理论，与 Minsky 的框架表示方法一脉相承，而深度学习则为这一概念注入了新的活力。Ha 和 Schmidhuber 证明了生成式神经网络可以无监督地学习环境的紧凑时空表征，更关键的是，智能体甚至可以完全在由这些表征衍生出的内部生成模拟中进行训练。

LeCun 将世界模型确定为自主智能的核心架构组件：它应该推断世界的当前状态中所缺失的信息，并预测由想象的动作序列所产生的合理未来状态。在基于模型的强化学习（MBRL）中，Dreamer 系列展示了智能体能够完全通过潜空间想象学习复杂行为；DeepMind 的 MuZero 通过隐式模型，在无法访问明确环境规则的情况下，表现超越人类；OpenAI 的 Sora 则让大规模视频生成成为一种世界模拟的形态，引发了关于“生成视频是否构成真正世界模型”的广泛讨论。此外，Meta 的 V‑JEPA、DeepMind 的 Genie、NVIDIA 的 Cosmos 等基础模型，进一步证明大规模自监督预训练可以产出可操作的物理世界模拟器。这些努力都与 LeCun 围绕联合嵌入预测架构构建模块化认知系统的愿景相呼应。

以下三个特性将世界模型与一般的预测模型区分开来：

1. 以行动为条件（Action‑conditioning）：预测环境如何响应特定行动，从而支持反事实推理（“如果我向左转而不是向右转，会发生什么？”）。  
2. 多步推演（Multi‑step rollout）：自回归地生成任意长度的轨迹，支撑规划与模拟。  
3. 对决策的实用性（Utility for decision‑making）：预测结果用于策略优化、规划、数据增强或安全验证，而非仅为预测而预测。

典型的架构包含：将高维观测映射为紧凑隐变量的编码器；根据当前状态与动作预测下一隐状态的动力学模型；从隐状态估计标量奖励的奖励预测器；以及可选的重建观测的解码器。综述进一步将世界模型视为三个紧密耦合的子系统：

• 视觉模型：过滤无关感知细节，保留对预测和控制最关键的特征，化解原始观测空间的维度灾难。  
• 记忆模型：整合当前观测与历史上下文，推断隐藏结构，跟踪时间依赖关系，并表达不确定性，使模型从静态感知升级为动态预测模拟器。  
• 控制模型：基于视觉编码和记忆更新的隐状态，决定动作以最大化期望奖励或满足约束，将预测知识转化为有目的的行为。

基于架构的世界模型分类

架构分类反映了模型如何编码观测、表示动态、处理不确定性并支撑下游决策。根据状态表征类型，世界模型可分为连续、离散与混合三类。根据状态转移的建模方式，又可划分为：确定性模型（给定状态‑动作，输出唯一下一状态）；随机动力学模型（将潜状态分解为确定性记忆与随机变量）；隐式生成模型（完全不重建观测，只优化对策略、价值和奖励的预测）；表征空间预测模型（利用扩散模型在隐空间中迭代去噪生成未来状态）；记忆增强模型（借助 Transformer 的全局注意力或状态空间模型替代传统 RNN 处理长程时序）。

按数据来源区分：仅依赖 RGB 或视频流的为纯视觉世界模型；将文本、知识图谱等作为世界状态、利用大语言模型进行反事实推理和规划的为纯语言世界模型；处理 LiDAR 点云、深度图的几何世界模型多用于自动驾驶的 4D 时空预测；融合关节角度、力矩反馈与触觉数据的本体感受与触觉模型对精密操作不可或缺；而多模态融合模型则代表着当前的最前沿。

在学习范式的维度上，知识获取方式涵盖无监督预训练、在线模型‑强化学习、离线/批处理学习以及模仿学习，但当前趋势是走向混合多阶段学习与基础模型——先在海量多模态数据上进行大规模预训练以构建通用物理与因果先验，再通过模仿学习或在线微调快速适配到特定的具身交互与下游任务。

下游任务反过来会决定架构的倾向：强化学习与规划要求极低的推理延迟与精确的价值评估，倾向于隐式或连续潜空间；自动驾驶要求 3D 空间理解与长视距多智能体博弈预测；机器人与具身智能需融合视觉与触觉并支持仿真‑现实迁移；医疗与科学建模将疾病进展或分子动力学视为“环境”；视频生成与创意仿真侧重物理规律涌现；语言推理与决策则将大语言模型作为世界模型，通过思维链或想象链进行逻辑推演。

基于训练目标与归纳偏置的分类

即使架构相同，训练目标的差异也会催生出截然不同的世界模型。基于变分推断的方法将世界建模视为概率推断问题，借 VAE 框架优化重建与 KL 正则，学习潜状态后验。面向隐式价值一派则坚决放弃“重建观测”，认为世界模型只需学习对决策有用的抽象表示，典型代表是与蒙特卡洛树搜索和自我对弈紧密结合的系列工作。

自回归序列方法受大语言模型启发，将世界建模转化为下一个 Token 的预测问题，具备极强的泛化与多任务处理能力，Genie 等模型已展现出从互联网视频中学习交互环境的潜力。扩散与生成类模型则将未来状态预测建模为逐步去噪的过程，无论是像素级还是潜空间扩散，都能生成高保真度且物理一致的轨迹，但推理计算成本高昂。LeCun 大力推动的联合嵌入预测架构（JEPA）家族在抽象特征空间中完成预测，编码器将输入映射为嵌入，预测器预测未来嵌入，通过对比损失或余弦相似度优化，计算效率极高，能有效避免生成式模型常见的“幻觉”和模糊问题，但如何将其无缝整合到闭环控制中仍是研究热点。

纯数据驱动的模型在长程推演时容易违反物理定律。为此，研究者将物理先验直接嵌入世界模型，常见有四类：物理守恒的神经动力学模型（强制网络遵守能量守恒等）；基于图神经网络（GNN）的动态模拟器（将系统表示为节点与边）；以对象为中心的模型（将场景分解为可组合的对象表示）；等变与对称性保持模型（将平移、旋转等不变性内置于网络结构）；以及神经符号与组合方法（从数据中恢复可解释的物理定律，如符号回归从 GNN 模拟器中重新发现牛顿万有引力定律）。

纯视觉世界模型缺少自然语言所具备的语义与组合结构。当前一种做法是将语言作为额外的条件信号馈入潜在动力学模型；另一种则直接联合预测未来的文本与图像表示，或将视频生成架构转化为世界模拟器，通过语言接口生成可交互、符合物理直觉的 3D/视频环境（如 NVIDIA Cosmos、DeepMind Genie）。更激进的方向是直接在语言和语义空间推理，将世界建模重新定义为关于未来的视觉问答，甚至构建原生整合视觉、语言与动作的统一多模态架构，在单一框架内灵活切换世界模型、VLA（Vision‑Language Action）模型和视频生成模式。

基于推理方法的分类

架构与方法回答了“如何构建”，推理策略则聚焦“如何使用”。综述将推理方法分为四大类。

最标志性的方式是基于想象进行规划：智能体在与外界交互的间隙，在内部沙盒中预演未来，利用世界模型在后台生成大量虚构轨迹，用这些数据更新策略或价值函数；或在需要执行动作时，在线展开搜索，评估预期回报并选择最优动作。实际应用中，规划针对动作序列进行，每步轨迹展开均以该步动作为条件，而且推理过程可在隐空间中跨域进行，使得同一种规划算法能无缝迁移使用。

另一种方案则是直接端到端训练参数化策略，世界模型充当可微模拟器，使得梯度能从预测的未来回报穿过动力学模型反向传播到策略网络。在离线强化学习中，世界模型则被用作强大的数据增强引擎，通过生成合成轨迹来扩充静态数据集，从而减轻分布外动作评估的难题。

面对环境随机性，反事实推理使智能体能够回答：“在完全相同的初始状态下，如果我当时采取了不同的行动，结果会怎样？”它能精准剥离特定决策的真实因果效应。前沿工作正致力于将因果图或结构因果模型嵌入世界模型架构，确保模型在未见过的干预下仍能遵循正确的因果机制。这一过程遵循“溯因‑行动‑预测”三阶段流水线：

1. 溯因：根据当前观测推断环境中的隐藏变量或噪声，更新对世界状态的信念。  
2. 行动/干预：在模型中强制执行一个假设的动作，切断其与常规自然原因的联系。  
3. 预测：使用修改后的模型，向前推演该干预导致的未来结果。

在部分可观测且具有内在随机性的真实世界里，世界模型必须预测状态的概率分布而非单点值。这通常通过随机隐变量、集成模型或扩散模型来捕捉“多种可能”的未来。此时，单纯的期望回报最大化可能引向灾难性后果（例如 99% 安全但 1% 致命）。推理策略需引入风险度量，例如在不确定性高的状态‑动作对上施加惩罚，预测整个回报分布以支持偏好调节，或者通过主动信息收集引导智能体执行能最大程度减少状态不确定性的探索动作。

基于应用场景的分类

在不同场景下，世界模型呈现出高度定制化的形态。

• 机器人学与具身智能：通过在世界模型的潜空间中进行数百万步的“想象”训练，智能体能在极短时间内掌握灵巧手抓取、双足行走等复杂技能，充当高保真内部模拟器，缓解现实试错的高昂成本。现代模型更融合力矩、触觉反馈等多模态信息，实现对柔性物体或易碎品的精细操作。  
• 自动驾驶：OccWorld、UniAD 等 4D 时空预测模型不仅预测轨迹，还推演整个场景的 3D 占据状态变化，比传统轨迹预测更能捕捉交通博弈。世界模型还支持反事实安全验证——模拟“前车急刹”“强行变道”等极端状况，提前规避高风险动作。端到端架构再将世界模型作为中间层，让梯度直接从驾驶表现回传至感知特征提取器，实现基于数据的实时优化。  
• 视频生成与创意仿真：Sora、Genie 等在海量数据中自发学习重力、碰撞、流体等基本物理规律。Genie 更进一步，将生成的帧作为可交互的游戏环境，实现了从“被动观看”到“主动探索”的转变。在制造业中，这类模型正被用来构建数字孪生，模拟生产扰动以优化效率。  
• 科学与医疗：世界模型能模拟难以用解析方程描述的复杂系统。在气象领域，FourCastNet、Pangu‑Weather 在预测速度与精度上已超过传统数值预报；在药物研发中，GNN 驱动的世界模型模拟蛋白质折叠或分子结合，比量子化学计算快数个数量级；在天体物理中，星系演化、黑洞吸积盘等宏大尺度的模拟也加速了宇宙结构形成的认知。  
• 医疗领域：利用电子健康记录与医学影像序列，世界模型可构建患者的“数字生理双胞胎”，预测阿尔茨海默病、糖尿病等慢性病轨迹，回答反事实问题——“如果使用药物 A 而非药物 B，指标会如何变化？”从而制定个性化治疗方案。基于 MRI/CT 影像的模型也可预测肿瘤体积变化、评估疗效。不过，由于医疗决策对准确性要求极高，目前尚无任何医疗世界模型真正达到自主规划与控制的 L4 级别。

• 教育：通过世界模型构建个性化的学习路径模型，模拟“推送某道几何题后，学生知识状态如何变化”，从而优化长期学习曲线。结合生成式模型，系统还能动态生成匹配认知水平的练习题或解释文本，实现真正的因材施教。  
• 金融与商业：世界模型可模拟高频交易中订单簿的动态变化、预测大额交易的价格冲击，或生成极端的“黑天鹅”市场情景以评估投资组合韧性；在供应链管理中，更能模拟突发事件对全球供应链的级联影响，优化库存与物流路由。

世界模型的评价标准与阻碍

缺乏统一、标准化的评估体系是当前世界模型发展与比较的主要瓶颈。现有评估大致分为三类：传统的强化学习与环境模拟基准（测试样本效率、泛化能力或连续控制精度）；基于 Minecraft 的基准（评估长视界规划、开放世界探索与资源管理）；自动驾驶全链路基准（感知‑预测‑规划）。针对视频生成，Physics‑101、CLEVRER 等任务评估视频的物理一致性，VBench、GenBench 关注时间连贯性、动作协调性与文本对齐度。新兴的基准还考察认知与因果推理，如 ARC‑AGI 检测抽象规则归纳能力，专门的反事实推理数据集则评估 L3 级推理水平。

尽管进展迅速，世界模型仍面临若干根本性挑战。自回归模型的单步微小误差会在多步推演中乘法式累积，一个单步 1% 误差的模型，几十步后就会与现实严重偏离。更长的想象视界增强了规划能力，却放大了模型不准确性带来的风险，这一权衡尚无完美解法。数据与算力瓶颈同样突出：NVIDIA 的 Cosmos 基础模型需在 2000 万小时以上的视频上训练，而基于扩散的模型每帧预测还需多次去噪迭代。仿真到现实的鸿沟包括视觉领域差距（渲染、光照、纹理差异）和动力学领域差距（不准确的接触模型、未建模的延迟与噪声），使得在仿真中表现优异的模型往往在真实环境中步履蹒跚。此外，现实环境的多模态特性（视觉、听觉、触觉、本体感觉、语言）远未被充分利用，多数模型仍集中在单一视觉输入上。

在自动驾驶、医疗决策、机器人等安全关键应用中，模型的预测必须可靠、校准良好且可解释。过度自信可能导致危险行动，过于保守又会限制性能。因此，对世界模型进行形式验证，以及向下游决策者量化并传递不确定性的方法，是实现现实世界部署必不可少的一环。

结论与未来展望

什么构成一个“世界模型”至今没有公认定义：基模型的强化学习将其视为状态转移模型与奖励预测器的结合；视频生成系统用它输出逼真影像却无明确动作与奖励概念；大语言模型的内部表征可能编码、也可能不编码因果结构；各领域模拟器也纷纷冠以世界模型之名。明晰区分“在动作条件下预测未来状态并支持决策的预测性世界模型”与“生成逼真感官数据但不一定支持交互控制的生成式世界模拟器”显得尤为重要。

当前趋势是世界模型与基础模型持续融合——通过预训练获得通用模拟器，再通过微调或提示适配下游任务，这与语言模型从特定任务系统演变为通用推理引擎的轨迹如出一辙。不过，能否将这一共享表示有效迁移到受根本不同物理原理支配的领域，仍是未解之题。

弥合数据驱动方法与物理规律之间的差距，可能需要超越纯粹的学习范式，转向融入更强物理归纳偏置的架构，无论是通过等变网络、物理信息损失函数，还是将学习组件与已知控制方程结合的神经符号系统。未来，世界模型可能从被动的模拟器进化为主动的推理引擎，在潜空间中完成多步深思熟虑，使“思考”与“模拟”之间的界限日益模糊。构建分层和组合式世界模型——将复杂环境分解为可重用组件，并在多个时空抽象层次上推理——仍是一个难以达成的目标。将这一思想扩展到以异构对象、不确定交互和长视距任务结构为特征的开放式真实世界，将是下一步最关键的挑战。