清华大学等团队提出LATENT系统，人形机器人从非完美运动数据学习网球技能

是的，你没看错，人形机器人已经学会打网球了。

日前，来自清华大学、北京大学、银河通用、上海期智研究院、上海人工智能实验室的联合研究团队提出了一种名为 LATENT 的机器人系统。这是一种 从非完美人体运动数据中学习竞技网球技能 的新方法。

论文的多位核心作者均在银河通用任职，其中也包括北京大学助理教授、银河通用创始人及CTO王鹤。

该研究除了提出 LATENT 系统，还设计了一系列用于 稳健的仿真到现实迁移 方案。将这些策略部署到 宇树G1人形机器人 上后，取得了出色的效果。机器人能够与人类选手稳定完成多拍连续对打，应对来球峰值速度 >15m/s。其表现让许多国外网友直呼“不可思议”！

论文一作 Zhikai Zhang 在社交媒体上分享道：“在实际部署的第一天，机器人一个我发的球都没能接住。到项目最后一天，我已经无法战胜它了（尽管它距离职业运动员还有很长的路要走）。”

机器人如何练就球技？

在过往的研究中，已有团队让机器人掌握了乒乓球（如 HITTER 系统）、羽毛球（如 ANYmal 四足机器人）等技能。

2026年年初，优必选也曾展示过 Walker S2 机器人打网球的视频。但相对而言，这次 LATENT 系统展示的机器人动作更为敏捷协调。它不仅会打出吊球，还能快速奔跑并调整姿态去接球，整体表现令人印象深刻。

学习球类运动技能一直是人形机器人领域的核心挑战之一。这类运动通常需要高度动态的动作、快速反应与高精度控制。

以网球为例，运动员往往需要以 超过6m/s 的速度在球场上来回奔跑，对速度为 15–30m/s 的来球做出反应，并在 仅几毫秒 的极短球拍接触时间内完成击球。这些特性使得无法通过 人机遥操作 采集机器人动作数据来直接进行模仿学习，在人形机器人上复现竞技网球技能挑战巨大。

一种替代方案是使用 人体运动学数据 作为参考。LATENT 的方法是从 非完美人体运动数据 中学习。这些数据仅包含捕捉网球基础技能的运动片段（如正手击球、反手击球、侧向滑步、交叉步），而非来自真实比赛中完整的人体运动序列，从而显著降低了数据采集难度。

这里的“非完美”数据主要体现在两个方面：

1. 不精确：受限于动作捕捉难度与跨具身差异，挥拍过程中的手腕动作往往不够精准。
2. 不完整：运动数据仅提供自然运动技能的先验，不包含任何如何将这些技能用于网球任务的知识。

该团队的核心观点是：尽管数据存在缺陷，这类准真实数据仍能充分提供网球场景下人体基础技能的先验信息。通过进一步的修正与组合，这些信息可用于学习网球技能，同时保留自然的人体运动行为。

在 LATENT 系统中，研究人员首先基于采集到的非完美人体运动数据，预训练一个运动跟踪器；然后通过在线蒸馏构建可修正的隐动作空间，并训练高层策略对隐动作进行修正与组合，以完成网球回球任务；最后，通过动力学随机化与观测噪声，将策略迁移至现实世界。

出色的性能参数

研究团队在仿真器与真实环境部署中均进行了大量实验，所有实验均采用 29自由度（DoF）的宇树G1人形机器人，主要探讨以下三个问题：

1. 与现有方法相比，LATENT 在网球回球任务上表现如何？
2. 各个模块分别对 LATENT 的最终性能有何贡献？
3. LATENT 在真实世界中的表现如何？

实验数据显示，LATENT 在网球回球任务的成功率与动作质量上均优于基线方法。它能够在 不依赖精确系统辨识 的前提下，实现有效的 仿真到现实迁移，具备优异的真实环境性能。

此外，研究发现若缺少 腕部修正，策略的成功率会显著下降。若没有 隐动作屏障，高层策略会倾向于在隐空间中采样 次优动作，这会导致动作序列抖动，并最终降低策略的整体性能。

可推广到更多运动技能任务中

这篇论文有三位共同一作：

• Zhikai Zhang 是清华大学交叉信息研究院的二年级博士生，目前在银河通用从事人形机器人学习方向的研究。
• Haofei Lu 现为清华大学计算机科学与技术系三年级硕士研究生，目前是银河通用的研究实习生。
• 连允睿（Yunrui Lian） 在复旦大学获得学士学位，目前是清华大学交叉信息研究院一年级硕士研究生。

通讯作者 弋力（Li Yi） 是清华大学交叉信息研究院的助理教授和博士生导师，目前的研究方向主要包括三维感知、人形机器人学习与人机交互。

研究人员在论文结尾表示，尽管 LATENT 主要针对 网球回球任务，但所提出的框架 具备泛化能力，可推广到 无法获取完整、高质量人体运动数据 的更广泛任务中（如足球、跑酷）。未来的改进方向包括引入 主动视觉、多智能体训练框架 等。

LATENT 为人形机器人学习动态技能提供了全新的技术路径，大幅降低了对竞技运动技能的学习门槛。这项结合了强化学习与运动先验的工作，展示了如何有效利用不完美的数据来训练复杂的机器人策略。随着仿真到现实迁移技术的不断成熟，或许在不久的将来，我们真的能在赛场上与人形机器人切磋球技了。

对机器人运动控制、机器学习前沿应用感兴趣的开发者，可以关注 云栈社区 的 人工智能 板块，获取更多技术深度解读与行业动态。