字节填坑Skill：桥接动作让人与机器人技能迁移不再拧巴

AI 这一轮最热的词，不是模型，是 Skill——技能。

大模型会说话，但真正值钱的是会干活：会调工具、会跑流程、会操作物理世界。所以从 Claude 的 Skills，到各种 Agent 自己造工具、自己测自己，所有人都在卷同一件事——怎么让 AI 真正拥有可复用、能迁移的技能。

字节联合港大 这次也下场了，发力前沿AI领域，而且填了一个很关键的坑：怎么把人的Skill技能，传给机器人。

这道坑，卡在哪

先说个反直觉的事。你想教机器人“开微波炉”，最直觉的办法是把人开微波炉的动作录下来，原样教给它。

结果机器人的手腕会拧成一个对不准把手的怪姿势，直接失败。

为什么？因为 人手和机器人的夹爪，根本不是一回事。人有五根手指、能转能抓能捏；机器人就两个平板夹爪。你把人“怎么转手腕”也一起抄过去，这部分信号又抖、又对不上机器人的身体——技能在“翻译”的过程中就被扭坏了。

这就是技能进化路上的大坑：人会的事，没法直接喂给机器人。以前主流做法就是硬抄人类的完整手部动作，噪声大、对不上号，迁移效果一直很差。

字节的填法：只留往哪移，丢掉怎么转

这篇论文的核心动作特别简单——把技能剥到只剩骨架。

不再抄人类的完整动作，只取一个东西：手腕往哪个方向移动。不学怎么转。

为什么是这个？因为不管是人还是机器人，“手往哪儿移”这件事，两边都能算、都能对上。它是人和机器人唯一能共享的那部分“动作语言”。论文管它叫 bridging action（桥接动作）——一座架在人和机器人中间的桥。

剩下的“怎么转、夹爪开不开”这些细节，交给机器人自己的数据去补。模型是一个能看图、听指令、再输出动作的“机器人大脑”，同时吃下人和机器人两套数据，缺哪部分就先不管哪部分，只学双方都有的那个“移动方向”。

训练三步，说人话就是：

1. 先看 600 小时人类干活视频，只学“手往哪移”这一件事（用字节的 PICO 头显采的）；
2. 再混着喂一点机器人自己的抓放数据，让它把“人的移动方向”和“机器人能执行的动作”对上号；
3. 最后每个任务只补 10 条真人示教，微调一下。

机器人本体，是字节自家的 ByteMini 双臂机器人。

效果：技能真的传过去了

15 个真实任务、每个测 8 次。数字很直白：

• 硬抄人类完整动作 vs 只学移动方向：成功率从 12.5% 涨到 22.5%，几乎翻倍；
• 先看 600 小时人类视频再学：少样本后训练成功率从 35.8% 拉到 55.0%——人类那些“不可执行”的视频，真变成了机器人的技能储备；
• 最狠的一刀：把“人和机器人对齐”那一步去掉，成功率从 38.3% 直接跌回 12.5%，三倍暴跌。说明这座桥不是装饰，是迁移能不能成的关键。

最后

Skill 这场火，已经烧到物理世界了。

之前大家卷的技能，大多在软件里——Agent 调工具、跑流程。字节这篇把它推到了机器人身上，而且给出了一条真正能做大、能 scale 的路：人类干活视频几乎零成本、随时能采，只要找到一个“人和机器都听得懂”的共同语言，这些视频就能变成机器人的技能库，而不是永远靠人一点点遥操作示教。

边界也老实写了：只学移动、丢掉旋转，是有代价的。需要精细旋转的活儿（把吸管插进杯子、拉抽屉）会失败；抓薄片物体也吃力。论文自己说下一步要补回“一点点可靠的旋转”。而且天花板也就 55.8%，离通用还远。

但方向清楚了——技能进化的关键，常常不是堆数据、堆参数，而是找一个跨场景、对噪声不敏感的“共同语言”。字节这次带着 ByteMini 和 PICO 入场，填的就是这个坑，这一前沿方向在云栈社区的技术圈内也引起了大量关注。

论文标题: Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots
论文链接: https://arxiv.org/abs/2606.28133
https://translation-as-a-bridging-action.github.io/