具身智能怎么落地：VLM、VLA、VLN与世界模型闭环拆解

2026 年想弄懂具身智能大模型，不妨从一个非常具体的任务切入：机器人第一次面对空气炸锅，要在人的语言指导下把红薯放进去加热。这类任务在 Physical Intelligence 的 π0.7 展示[2] 与 π0.7 技术报告[3] 里，已经不再只是概念演示。

（注：本文部分配图由 AI 生成，仅供参考）

表面看只是个家务活，实际却把具身智能的关键能力压进了一个场景里。机器人得看懂桌面、红薯和空气炸锅的位置，理解“放进去加热”需要哪些步骤；还要判断自己该站哪儿、手臂从哪个角度接近。等到真正执行，又得把理解转成连续动作，再根据环境反馈不断修正。

想弄明白具身智能大模型，自然绕不开四个关键词：VLM、VLN、VLA 和世界模型。这四者不是互相孤立的模型，更像是机器人要完成真实任务时必须接通的四层能力：

• VLM：看懂环境，理解人的任务。
• VLN：判断目标在哪里，自己该怎么过去。
• VLA：把理解变成动作，真正控制身体。
• 世界模型：在行动前预判后果，评估下一步可能发生什么。

如果说过去的大模型只是在屏幕里回答问题，具身智能面对的则是一个会反过来改变模型输入的真实世界。机器人每迈一步、每伸一次手，环境都在变。错误可不再只是一句话说错，而可能直接变成碰撞、滑落，甚至带来安全风险。

所以这篇文章不会把 VLM、VLN、VLA、世界模型摆成四条平行赛道，而是放进真实任务的动作闭环里来看：机器人怎么感知、理解、导航、行动，并在动手之前预测行动之后的世界。

01 开篇：大模型走出屏幕之后，问题彻底变了

拿“使用空气炸锅加热红薯”来说，对人而言可能就是厨房里的几分钟。但对机器人来说，这可不是一句简单指令，而是一整串连续决策。

它要先看懂红薯在哪里，空气炸锅在哪里，锅门、托盘、按钮分别是什么。如果自己和操作台之间还有距离，就得判断该移动到哪里、身体停在什么姿态。伸手之前，还要估计夹爪从哪个角度接近，红薯会不会滑落，锅沿会不会挡住动作。中间任何一步出错，都不是“回答不准确”这么简单，可能直接碰撞、卡住、掉落，甚至带来安全风险。

这正是具身智能和普通大模型应用的根本差别。

LLM 的基本循环是：

输入文字 → 输出文字

具身智能的循环是：

读取传感器 → 理解任务 → 执行动作 → 改变环境 → 读取反馈 → 继续修正

它面对的是一个连续、动态、部分可观测，而且动作往往不可撤销的世界。

所以，2026 年讨论具身智能大模型，不能只盯着“模型参数有多大”。更重要的问题是：机器人如何看懂环境、如何听懂任务、如何规划路径、如何输出动作，又如何在脑中预演行动后果。这就是接下来要讲的四个主角——VLM、VLN、VLA 和世界模型。

02 何为具身智能大模型？

具身智能大模型，就是把基础模型的视觉、语言、常识和推理能力，接到一个能感知、能行动、能接收环境反馈的系统里。

这里的“身体”不一定非得是人形机器人。机械臂、移动机器人、无人车、仿真环境里的智能体都算。关键不是外形，而是它能不能通过传感器读世界，通过动作改变世界，再根据反馈继续调整自己。

有几篇综述值得先看，能帮我们把脉络理清楚。

《Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI》[4] 把具身智能放在“数字空间和物理世界对齐”的框架下理解，核心是感知、交互、智能体和 sim-to-real。

《Foundation Models in Robotics》[5] 更偏机器人基础模型视角：基础模型不是只替换某一个模块，而是会影响感知、决策和控制这条机器人自治链路。

《Large Model Empowered Embodied AI》[6] 则更贴近这篇文章的主线：大模型正在进入高层规划、低层执行、反馈学习、VLA 和世界模型。

03 VLM：机器人先要看懂，才能谈行动

VLM，也就是 Vision-Language Model，负责把视觉和语言对齐。放到机器人身上，它要解决的是第一件事：机器人到底看见了什么，又该怎样把眼前画面和人的指令对上。

在普通多模态应用里，它可以看图问答、识别物体、描述场景、理解图中关系。到了机器人场景里，VLM 的作用变得更具体：帮助机器人知道自己看见了什么，用户指令指向什么，当前场景里有哪些可操作对象，以及任务可以怎样拆解。

比如“用空气炸锅加热红薯”这句话，VLM 至少要先解决几个问题：

• 哪个物体是红薯？
• 空气炸锅在哪里？
• 锅门、托盘、按钮分别是什么？
• “放进去加热”大概包含哪些子步骤？

早期有代表性的工作是 PaLM-E[7]。它把图像、机器人状态估计和文本一起送入语言模型，让模型围绕具身任务做多模态推理。这里的关键不是“看图说话”更准了，而是模型开始把视觉、语言和机器人自身状态放到同一个上下文里理解。

在 Gemini Robotics-ER[8] 这项工作中，VLM 的角色又往前走了一步。DeepMind 把它描述为面向机器人空间理解和 embodied reasoning 的模型，强调的能力包括指向、3D 检测、抓取预测、轨迹预测等。换句话说，它不只是回答“画面里有什么”，而是开始回答“这个东西和我的身体、动作、安全路径有什么关系”。

但 VLM 的边界同样明显。它可以说“红薯在托盘旁边”，却不一定知道机械臂每个关节该怎么动；它可以根据图片判断“这里可能会碰到锅沿”，却不一定能在高频控制里稳定避障；它可以给出一个计划，却不一定能承受真实世界里的摩擦、遮挡、碰撞和误差累积。

所以，VLM 很重要，但它不是完整答案。它让机器人“看懂”和“想明白”了一部分事情。真正要落地到动作，还需要 VLN、VLA 和世界模型。

04 VLN：机器人如何听懂路线，并在陌生环境里走对路？

如果 VLM 解决“我看到了什么”，VLN 解决的就是“目标在哪里，我该怎么走过去”。

VLN，全称 Vision-and-Language Navigation。它不是普通地图导航，而是让智能体根据自然语言指令、第一视角画面和自己的历史轨迹，在陌生环境里找到目标位置。

经典的 Room-to-Room[9] 任务里，指令可能是这样的：

上楼，穿过正前方的拱门，经过钢琴。当走廊尽头是画作和桌子时，向右转。在挂在墙上的麋鹿鹿角旁等待。

这比地图导航难得多。地图导航通常给一个坐标，系统负责算路线。而 VLN 里，机器人拿到的是一句人话，看到的也不是完整地图，而是不断变化的第一视角画面。它要把“上楼”“正前方的拱门”“钢琴”“走廊尽头的画作和桌子”“墙上的麋鹿鹿角”这些语言线索，和眼前真实场景对齐；还要记住自己走过哪里，判断是不是走错了，必要时回退和重新规划。

VLN 真正难的地方有四个：

• 语言 grounding：把“正前方的拱门”“钢琴”“画作和桌子”“麋鹿鹿角”这些描述，落到第一视角画面里的具体物体和位置上。
• 空间记忆：机器人经过钢琴之后，还要记得自己已经上楼、穿过拱门，不能在相似的走廊里反复确认同一段路。
• 条件判断：指令里不是简单说“看到画作就右转”，而是“当走廊尽头是画作和桌子时，向右转”。机器人要判断这个条件是否已经满足。
• 停止与安全：最后不是随便停下，而是要在墙上的麋鹿鹿角旁等待，同时避免挡路、碰到家具，或停在不安全的位置。

基础模型进入 VLN 之后，路线也在变化。一条路线是把视觉大语言模型直接接到第一视角视频和连续动作上，比如 VLN-R1[10] 尝试用 SFT 和强化微调，让模型从导航失败和奖励信号里继续改进。

另一条路线是把导航拆成快慢两个系统。高层 VLM 慢速思考，负责理解指令、识别地标、生成航点或子目标；低层策略快速移动，负责避障、轨迹和实时控制。NaVILA[11] 和 DualVLN[12] 这类工作都在说明一个趋势：VLN 正在从“语言导航任务”走向更接近机器人实机部署的闭环系统。

方法	主要输出	优点	主要问题
经典模块化导航	地图、路径、控制量	稳定、可解释	语义泛化有限
VLM 规划器	文字计划或航点	语言理解和泛化强	延迟高、动作粒度粗
端到端 VLN	离散或连续动作	流程统一	长程稳定性和可解释性弱
双系统 VLN	高层航点 + 低层轨迹	兼顾推理与实时性	系统训练和接口更复杂

因此，VLN 不是“会看地图”这么简单。它更像是给机器人建立空间行动能力：听懂人怎么描述路线，看懂环境里有哪些地标，记住自己走到哪里，并在移动中不断修正。

05 VLA：让模型真正输出机器人的下一步动作

VLM 可以看懂“把红薯放进空气炸锅”，也可以把任务拆成“找到红薯、打开锅门、抓取、放入”。但机器人不会因为读懂这句话，机械臂就自动动起来。

VLA，也就是 Vision-Language-Action Model，负责把视觉和语言理解继续往下接，变成机器人可以执行的动作。

一个 VLA 策略可以粗略写成：

动作序列 a_t:t+H = Policy(图像 o_t，语言指令 l，机器人状态 s_t，历史 h_t)

输入包括四部分：

• 视觉信息：第三视角画面、腕部摄像头画面。
• 语言指令：“把红薯放进空气炸锅。”
• 本体状态：关节角、末端位姿、夹爪开合状态。
• 历史信息：刚才看到了什么、执行过哪些动作、是否发生过失败。

模型不会输出一句“抓住红薯”就结束。它要给出电机真正能执行的控制信号：机械臂向哪个方向移动、手腕旋转多少、夹爪什么时候闭合，以及接下来一小段时间内要连续完成哪些动作。

这也是 VLA 和普通 VLM 最直接的区别：

VLM：图像 + 语言 → 文本、语义或计划
VLA：图像 + 语言 + 本体状态 → 动作 token、控制量或动作序列

难点随之落到一个很具体的问题上：动作到底该怎样表示？

RT-2[13] 把机器人动作离散成 token，让视觉语言模型可以像生成文本一样生成动作。

OpenVLA[14] 延续了这条路线，并开源模型、训练和微调链路。

Octo[15] 使用扩散式动作生成，目标是适配不同机器人平台、传感器和动作空间。π0[16] 则在预训练 VLM 旁增加 action expert，用 flow matching 生成连续动作，面向更高频、更灵巧的机器人控制。

几种常见动作表示可以这样理解：

路线	代表工作	直觉	特点
动作 token 化	RT-2、OpenVLA	把动作当作另一种语言	易接入 VLM，量化会损失精度
连续回归	行为克隆策略	直接预测位置、速度或关节控制量	简洁直接，但较难表达多种合理动作
扩散动作生成	Octo、Diffusion Policy	从噪声中逐步生成动作序列	能表达多峰动作分布，推理步骤较多
Flow Matching	π0 系列	学习噪声到连续动作的生成路径	适合连续动作块和灵巧控制

实际系统通常不会只预测下一帧动作，而是一次生成一小段 action chunk。这样能减少大模型推理延迟带来的停顿，但动作块太长，又可能来不及根据新画面纠错。模型必须在“动作连续”和“及时反馈”之间找平衡。

让机器人动起来只是第一步，VLA 还要处理四个更难的问题：

• 动作精度：夹爪偏几厘米，红薯就可能掉下来。
• 跨本体泛化：同一个任务，单臂、双臂和移动机器人有完全不同的动作空间。
• 长程稳定性：打开锅门、抓取、放入、关闭，每一步的误差都会传到下一步。
• 反馈与安全：物体滑动、抓取失败或人突然靠近时，机器人必须及时停下并重新规划。

所以，VLA 把“理解”接到了“行动”，但这根线还远没有接稳。接下来真正值得看的，是它如何从早期动作 token，逐步走向连续控制、长程任务、记忆和跨机器人泛化。

06 世界模型：机器人为什么需要在脑中预演未来？

如果 VLA 负责“迈出这一步”，世界模型负责的是“先想一想这一步可能带来什么后果”。

可以把它粗略写成：

当前状态 + 候选动作 → 未来状态与任务结果

还是以“把红薯放进空气炸锅”为例。机器人伸手之前，可以比较三种动作：

• 直接平移过去，夹爪可能撞到锅沿。
• 先抬高手臂再向下放，路径更安全。
• 提前松开夹爪，红薯可能掉到锅外。

世界模型先预测三种动作可能带来的结果，再把更安全的一条交给 VLA 执行。这里的“世界”不等于一套完整的物理模拟器，也不一定要生成视频。它可以只预测潜空间中的未来状态、奖励或任务进度。关键在于：预测必须和机器人的动作对应，并且真的有助于控制。

视频生成：当前画面 + 文本 → 看起来合理的未来
世界模型：当前状态 + 动作 → 对控制有用的未来

三类世界模型，分别看什么？

路线	论文导读	核心架构
控制型世界模型	DreamerV3[17]、TD-MPC2[18]：理解世界模型怎样直接帮助决策	状态编码 → 潜空间动力学与奖励预测 → 想象训练或模型预测控制（MPC）
具身预测模型	V-JEPA 2[19]：理解不重建像素也能完成机器人规划	视频编码 → 动作条件预测器 → 图像目标规划
世界基础模型	NVIDIA Cosmos[20]：理解世界模型怎样服务数据和仿真	多模态条件 → 未来视频或场景 → 合成数据与测试环境

DreamerV3 和 TD-MPC2 更接近控制算法；V-JEPA 2-AC 关注动作条件下的未来表征；Cosmos 更像面向机器人和自动驾驶的生成式训练基础设施。它们都叫世界模型，但解决的问题并不相同。

世界模型正在进入 VLA

π0.7[2] 可以接收轻量世界模型生成的视觉子目标，用“下一步应该变成什么样”约束动作。GR00T N1.5[21] 则加入未来潜表示对齐，让策略在学习动作时，也学习动作之后的场景表征。这类世界模型未必作为独立模块部署，它可以进入 VLA 的训练目标、视觉子目标或动作评分过程。

判断一个机器人世界模型好不好，最终不能只看生成画质，而要看它能否排对候选动作、减少碰撞和失败，并真正提高任务成功率。

07 VLM、VLN、VLA、世界模型如何协同工作？

VLM、VLN、VLA、世界模型更像四层能力，不一定对应四个独立模型。一个 VLA 里可能已经带着 VLM，移动操作模型可能同时完成 VLN 和 VLA，世界模型也可能藏在训练目标或动作评分过程里。

放回“用空气炸锅加热红薯”的任务，这套闭环可以简化成：

用户目标
  ↓
VLM：看懂环境，理解任务
  ↓
VLN：确定站位、路线和子目标
  ↓
VLA：生成底盘、机械臂和夹爪动作
  ↓
安全控制器：限制速度、力矩和碰撞风险
  ↓
机器人执行 → 环境变化 → 传感器反馈
     ↑                         │
     └──── 重新感知、预测和规划 ────┘

世界模型可横向作用于 VLN 与 VLA：
评估候选路线、动作后果和视觉子目标

机器人每移动一步、伸一次手，环境都会变化，整个循环也会重新运行。世界模型可以在动作前比较候选未来，也可以在动作后检查结果是否符合预期。

系统实现通常有两种路线：

• 统一端到端：一个模型共享视觉、语言、规划和动作表示，接口少，但更难调试，也更难保证实时性和安全边界。
• 分层混合：大模型低频推理，小策略高频执行，传统控制器负责硬实时与安全。模块更多，但更方便部署和替换。

从公开系统看，分层混合仍然很常见。DualVLN[12] 用慢速系统理解语言和规划目标，再用快速系统执行连续导航。Helix 02[22] 则把语义推理、全身动作和底层平衡拆成三个时间尺度，其中 System 1 以 200 Hz 生成关节目标，System 0 以 1 kHz 处理平衡与接触。π0.7[2] 展示了世界模型的另一种接入方式：用轻量世界模型生成视觉子目标，告诉 VLA“下一步应该变成什么样”。

因此，四者汇合未必会得到一个包办所有能力的模型。更实际的组合是：基础模型负责理解和泛化，动作策略负责实时控制，世界模型提供预测，传统控制器守住硬件和安全边界。

08 2026 年值得关注的十大新方向

到了 2026 年，具身智能的研究重点正从扩大模型规模，转向推理效率、长期记忆、跨本体适配和真实部署。这些方向并非都在今年首次出现，但它们正在更具体地进入机器人系统与评测。

1. 多时间尺度架构

大模型适合做语义推理，底层控制却要在毫秒级响应。DualVLN[12] 把慢速目标规划和快速连续导航分开，Helix 02[22] 则用 System 2、System 1、System 0 分别处理语义、全身动作和底层平衡。

2. 推理不再每一步都展开

显式思维链能改善复杂任务，却会拖慢机器人动作。Fast-ThinkAct[23] 尝试把长推理压缩成可解释的潜在规划，只在关键节点投入更多计算。重点开始从“会不会推理”转向“什么时候值得推理”。

3. VLA 走向端侧运行

机器人不能始终依赖稳定网络。Gemini Robotics On-Device[24] 把低延迟推理和本地任务适配放到机器人端，不过截至 2026 年 7 月仍主要面向受信测试者。端侧 VLA 接下来还要继续解决算力、功耗和模型压缩。

4. 一个策略适配更多机器人本体

单臂、双臂、四足和人形机器人拥有不同的关节与动作空间。π0.7[2] 和 GR00T N1.6[25] 都在推进跨本体训练，但“共享任务知识”和“直接复用动作”仍是两件不同的事，新硬件通常还需要适配。

5. 从 VLA 走向 World Action Model

普通 VLA 直接从观察生成动作，World Action Model 则同时建模动作和环境变化。MotuBrain[26] 将策略学习、未来视频和动作预测放进统一架构，代表了“边预测世界、边生成动作”的方向。目前这类工作仍以新近论文和预印本为主。

6. 导航、操作和全身控制合并

真实机器人任务很少只包含走路或抓取。ABot-M0.5[27] 这篇 2026 年 7 月发布的预印本尝试统一移动与操作，Helix 02[22] 则展示了行走、平衡和双臂操作的连续执行。移动操作正在成为检验系统能力的重要场景。

7. 世界模型开始生产机器人数据

真实遥操作数据昂贵，生成式仿真正在补充训练来源。DreamGen[28] 使用视频世界模型生成神经轨迹，Cosmos 3[29] 继续扩展面向 Physical AI 的合成场景。问题仍然是：生成画面像真实世界，不代表接触动力学也足够准确。

8. 从模仿示范走向经验学习

机器人部署后产生的失败、纠正和奖励，正在重新进入训练流程。π*0.6[30] 使用示范、人工纠正和自主经验改进策略，Cosmos Policy[31] 则利用 rollout 数据更新世界模型与价值函数。后训练的重点是让机器人从自己的执行结果中继续学习。

9. 长短期记忆进入长程任务

机器人既要记住刚才有没有抓稳，也要记住十分钟前已经整理过哪个区域。Multi-scale Embodied Memory[32] 用短期视频记忆保存动作细节，用长期语言记忆记录任务进度。上下文越长未必越好，系统还得判断什么值得保留。

10. 从纯视觉走向主动感知、触觉与力觉

面对遮挡、插接、擦拭和装配，摄像头看到的东西并不够。ActiveVLA[33] 让机器人主动选择视角，ForceVLA2[34] 则把力感知接入接触丰富的操作任务。

安全贯穿这十条路线。Safety in Embodied AI[35] 将风险覆盖到感知、规划、动作和人机交互；ForesightSafety-VLA[36] 则进一步衡量任务执行过程中的安全成本与风险暴露时间。机器人完成了任务，不代表执行过程足够安全。

参考链接

1. 项目地址：https://ai-mzq.github.io/From-Zero-to-AGI/
2. Physical Intelligence 的 π0.7 展示：https://www.pi.website/blog/pi07
3. π0.7 技术报告：https://arxiv.org/abs/2604.15483
4. 《Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI》：https://arxiv.org/abs/2407.06886
5. 《Foundation Models in Robotics》：https://arxiv.org/abs/2312.07843
6. 《Large Model Empowered Embodied AI》：https://arxiv.org/abs/2508.10399
7. PaLM-E：https://arxiv.org/abs/2303.03378
8. Gemini Robotics-ER：https://deepmind.google/blog/gemini-robotics-brings-ai-into-the-physical-world/
9. Room-to-Room：https://arxiv.org/abs/1711.07280
10. VLN-R1：https://arxiv.org/abs/2506.17221
11. NaVILA：https://arxiv.org/abs/2412.04453
12. DualVLN：https://arxiv.org/abs/2512.08186
13. RT-2：https://arxiv.org/abs/2307.15818
14. OpenVLA：https://arxiv.org/abs/2406.09246
15. Octo：https://arxiv.org/abs/2405.12213
16. π0：https://arxiv.org/abs/2410.24164
17. DreamerV3：https://arxiv.org/abs/2301.04104
18. TD-MPC2：https://arxiv.org/abs/2310.16828
19. V-JEPA 2：https://arxiv.org/abs/2506.09985
20. NVIDIA Cosmos：https://blogs.nvidia.com/blog/cosmos-world-foundation-models/
21. GR00T N1.5：https://research.nvidia.com/labs/gear/gr00t-n1_5/
22. Helix 02：https://www.figure.ai/news/helix-02
23. Fast-ThinkAct：https://arxiv.org/abs/2601.09708
24. Gemini Robotics On-Device：https://deepmind.google/models/gemini-robotics/gemini-robotics-on-device/
25. GR00T N1.6：https://research.nvidia.com/labs/gear/gr00t-n1_6/
26. MotuBrain：https://arxiv.org/abs/2604.27792
27. ABot-M0.5：https://arxiv.org/abs/2607.00678
28. DreamGen：https://research.nvidia.com/labs/gear/dreamgen/
29. Cosmos 3：https://research.nvidia.com/labs/cosmos-lab/cosmos3/technical-report.pdf
30. π*0.6：https://www.pi.website/blog/pistar06
31. Cosmos Policy：https://research.nvidia.com/labs/cosmos-lab/cosmos-policy/
32. Multi-scale Embodied Memory：https://www.pi.website/research/memory
33. ActiveVLA：https://openaccess.thecvf.com/content/CVPR2026/papers/Liu_ActiveVLA_Injecting_Active_Perception_into_Vision-Language-Action_Models_for_Precise_3D_CVPR_2026_paper.pdf
34. ForceVLA2：https://openaccess.thecvf.com/content/CVPR2026/papers/Li_ForceVLA2_Unleashing_Hybrid_Force-Position_Control_with_Force_Awareness_for_Contact-Rich_CVPR_2026_paper.pdf
35. Safety in Embodied AI：https://arxiv.org/abs/2605.02900
36. ForesightSafety-VLA：https://arxiv.org/abs/2606.27079