机器人数据工厂如何运作？Mecka创始人谈第一视角采集与可穿戴传感器

本文整理自红杉资本频道节目，2026-10-20 发布。以下为完整中文实录：

本期看点

• 机器人缺的是经验：互联网文字无法完整记录真实操作，Mecka 给人配传感器，把日常动作变成训练素材。
• 视频看不到全部力道：拧瓶盖、拿鸡蛋需要力的信息，Josh 认为触觉数据将成为训练配方的重要补充。
• 先落地受约束的任务：家庭数据虽易得，家庭部署却难，机器人商业化会逐步解锁工业等具体场景。
• 通用与专用可能并存：基础模型能借机器人数据提升泛化，专用模型仍可能在特定任务上获得更高可靠性。

机器人缺少互联网的数据大礼包

Sonya Huang： 今天很高兴请到 Mecka 的 Josh 来节目做客。Josh 是 Mecka AI 的创始人兼 CEO，这家公司为机器人提供数据和部署服务。我觉得，整个行业应该也都觉得，机器人即将进入一个黄金时代。跟大语言模型不同的是，训练大语言模型时，我们有互联网上海量的免费人类数据，而机器人面临的根本约束是数据。你们在整个生态里的位置特别有意思：作为领先的数据工厂，为模型提供符合其所需分布的机器人数据和物理世界数据。所以，我很期待今天聊聊，机器人领域的第一人称视角数据和数据采集究竟是怎么回事，运营一家数据工厂，实际的运作方式和经济账是怎样的，以及你对机器人研究和部署的整体看法。

Josh Gao： 太好了，谢谢你邀请我。

Sonya Huang： 先从最基础的问题开始：对于还不了解你们的人，Mecka 是做什么的？你们希望怎样影响机器人世界？

Josh Gao： 就像你说的，Mecka 是一家为物理 AI 提供数据和部署服务的公司。具体来说，我们现在会创建、处理数据，最终把其中大量用于训练机器人基础模型的数据授权给客户使用。整个机器人领域的一大难题是，我们没法像大语言模型那样，在冷启动阶段就享受到互联网的便利。归根结底，这些机器人数据包含三样东西：像素、动作和逻辑。我们没有现成的大量经过筛选、处理、清洗的数据，来训练这些模型，让它们理解置身物理世界是怎么回事。所以，我们的工作很大一部分就是：首先，开发不同类型的硬件，比如给人配备传感器和可穿戴设备；再搭建各种采集流程，与个人贡献者、企业合作，在不同环境中采集各种任务的数据；最后，做后处理，负责把住质量关，让这些数据集真正有用，教机器人认识这个世界。

Sonya Huang： 没有白送的庞大互联网语料库，没有那几万亿、可能很多万亿，甚至万亿个万亿的免费 token，机器人却得花钱、实际组织采集训练中要用到的全部数据——你觉得这个挑战真的能完成吗？没有互联网这份大礼包，从经济上说，这件事做得通吗？

Josh Gao： 我觉得，互联网带来的很多成果，我们还是能享受到的。所以，说到底，我们并不是从零开始。看看大语言模型以及它们的数据就能发现，预训练数据基本一直是实验室自己主导获取的，比如通过网络爬虫之类的方式，它并没有形成一个很大的市场。而在今天的机器人领域，我们确实看到，预训练是一个相当大的市场，而且可以有好几种形式。比如，我们可以教视频模型生成更符合物理规律的世界景象。为了做到这一点，我们可以利用此前在视觉语言模型，以及不同类型的世界模型上积累的所有成果。至于能不能做到、能不能规模化到那么大的数据量，我觉得最终取决于：在不同的数据规模下，你能解锁哪些商业应用。我们坚信，在这条路的前期，靠我们正在创建的数据，就能让机器人完成很多简单的抓取、放置任务。而要覆盖后面的长尾，所需的数据规模会比今天大很多个数量级。

教机器人认识碳基生命

Sonya Huang： 我为这次访谈做了一点功课。你们的网站很有奇思妙想。上面说，你们在教机器人认识碳基生命。这是什么意思？

Josh Gao： 那个网站其实是我做的，大概就在我们第一次发推官宣的前一天晚上。科幻里有这么一个想法：当机器人和 AI 最终实现了完全泛化，解决了人类能做的所有任务之后，最后的边疆会是有机生命，是生物世界。阿西莫夫的作品里有，《安德的游戏》里也有，甚至《银河系漫游指南》的结尾也有。那颗星球其实是一台巨大的有机计算机，试图运算、理解生命的意义到底是什么，或者说，那个问题到底是什么。对我们来说，想法也差不多：人脑运行只需要 20 瓦，我们还能自我修复。所以，在教机器人、让它们实现完全泛化的过程中，我们也会慢慢让它们看到，碳基生命到底是由什么构成的。

Sonya Huang： 我很喜欢这个说法。你进入机器人行业的背景挺不传统的。如果我没记错，你最初是在金融科技和球鞋领域。聊聊你和联合创始人是怎么走到机器人这条路上的吧。

Josh Gao： 对，那确实是一段挺有意思的经历。在这之前，我做的东西，基本上就是云厨房版的 Toast。这意味着我们什么都做，包括餐厅后厨的订单管理。有一阵子，我还在读大四，会翘课跑到纽约州罗切斯特的乡下，部署、安装自助点单机。我们得通宵干活，给餐厅更换各种前厅系统。我的联合创始人之前做过一个稳定币项目，最后卖给了 Coinbase。他是个特别执着的人，玩四款竞技游戏都打进过前一千名，其中包括《英雄联盟》。我觉得让我们走到一起的，很大程度上有两点：第一，我们都是加拿大人；第二，我们都深受科幻影响。我们当时的想法是，支付确实是个很难、很棘手的问题，但不管接下来做什么，我们都希望它是件让人兴奋的事，让我们觉得未来会无比精彩。而机器人看起来就是一个很值得进入的领域。

Sonya Huang： 我记得走进你们办公室，立刻就看到了那些机电机器人，还有墙上川崎的 CORLEO。你内心的那个小孩，肯定对自己现在做的事特别开心吧。

Josh Gao： 对，绝对是。

Sonya Huang： 你不是机器人专业出身，你觉得这在打造这家公司时，给你带来了哪些优势？又在哪些地方带来了挑战？

Josh Gao： 优势在于，我们进入这个领域的时候，必须完整地做一遍探索。我们联系了行业里几百位我们欣赏的人，能找到的论文都读，去参观不同的机器人实验室。大概在 2024 年底，我们看到 GPT 正在迅速崛起，而机器人领域还在从传统机器人时代演变过来。至少在我们看来，有一点很明显：数据和算力会变得对整个行业都非常重要。沿着这个方向，我们带着全新的视角去读、去看 Ego4D 之类的论文，心想：“这里大约有 4,000 小时的人类示范数据。”等你真去看这些数据，就会发现，有些数据集记录的是人们的日常生活，比如打保龄球。在 4,000 小时这个规模上，就已经涉及非常广泛的使用场景和潜在应用。所以，带着一种全新的眼光进入这个领域，我们可以说是从第一性原理出发，对什么会重要形成一个大致的直觉，再跟那些比我们聪明得多、对未来有不同看法的人密切合作，不断迭代，紧跟他们的反馈，逐步打磨产品最终会变成什么样。

Sonya Huang： 有意思。机器人这个领域变化太快了，感觉专业出身几乎既是优势，也是劣势，因为大家来自不同的时代，对训练数据组合里什么最重要之类的问题，理解也不一样。

从叔叔阿姨的做饭视频开始

Sonya Huang： 给我们的听众简单讲讲，什么是第一人称视角数据吧。我觉得，你们创办公司时，某种程度上就是押注了这个方向。当然，现在业务分布已经广泛多了。但第一人称视角数据到底是什么？为什么一开始你们决定把整家公司押在这上面？

Josh Gao： 第一人称视角数据，基本上就是人类以第一视角示范、执行任务的视频数据。总体思路是，在人类数据和机器人数据之间，视觉上的差距有很大一部分是可以弥合的。机器人是从自己的视角感受世界的，那我们能不能也让它看到，从第一视角与世界互动是什么样的？我们之所以押注这个方向，主要是因为，我们探索这个领域时，看到当时大量机器人数据都来自遥操作，也就是人控制机器人来做示范。那时候，这件事很难规模化。而从 GPT 的发展，以及很多关于规模扩张的规律来看，我们必须找到办法，大幅扩大数据规模。我觉得，我们早期的一些直觉是，人和机器人有很多相似之处。当时人形机器人刚开始兴起，人类和人形机器人的样子也一样。那我们为什么不能把人类变成类似特斯拉那样、能开展车队式学习的群体，让每个人都来贡献数据，帮助模型理解这个世界，并把理解扎根于真实世界的物理规律？

Sonya Huang： 那具体是什么样的？把一部 iPhone 固定在一个人的额头上，让他照常过一天，还是怎么样？实际操作起来是什么样？

Josh Gao： 刚开始的时候，我们最早的试点是做了一个手机应用，找来一群中国阿姨、叔叔，让他们拍自己做饭、打扫卫生、做各种事情。后来当然演变了很多。我们试过不少东西，做过其他数据采集尝试，一开始各种方式都试了。一路发展到现在，我们得自己生产各种定制硬件，还得在不同行业里建立各种合作关系。说到底，我们是在给人配备传感器。这是更大的一个类别。

视频之外还缺一双触觉手套

Sonya Huang： 从传感器里采集力的数据有多重要？我一直在想，自动驾驶其实不太需要力的数据，对吧？但机器人就不一样了，尤其是物体操作，你会很在意：我握门把手到底用了多大力，拿起那颗鸡蛋又用了多大力。在我看来，视频并不能完全捕捉到这些。你或许能估算，但它并没有真正记录下来。采集力的数据到底有多重要？你们打算怎么获取？

Josh Gao： 我们现在看到的一些替代办法，比如给人和机器人都装上腕部摄像头，观察手和不同物体发生接触的时间。说到底，这显然是个有点取巧的办法，用来理解拉开一把椅子或者拧开瓶盖，到底需要多少牛顿的力。我觉得，力的数据会极其重要。这实际上也是我们正在开发的一类产品。跟许多不同的机器人基础模型实验室一起迭代时，你会发现，要弥合这个差距，首先我们就得创造新的硬件。所以，我们一直在开发让人佩戴的手套之类的设备，通过这些手套，采集人们在日常生活、不同任务中究竟需要用多大力的信息。

数据工厂要造硬件也要管物流

Sonya Huang： 我很想花些时间聊聊数据工厂的实际运营，因为已经有太多钱投进了大语言模型的数据工厂。现在，也开始有很多钱流向机器人数据工厂，我觉得未来还会有更多。而它们究竟怎么运作，对我来说既神秘，又很有吸引力。所以，如果可以的话，我想问问你们运营方面的事。

Josh Gao： 好啊，聊吧。

Sonya Huang： 具体怎么运作？比如，我想赚点外快，是不是只要去你们网站注册一下，把摄像头装在额头上，就能开始给你们发送数据了？还是怎么样？

Josh Gao： 实际上，在采集人员这一端，我们有很多不同的做法。一种是直接面向个人。所以，通过直接面向用户的手机应用，你能不能在世界任何一个地方注册，开始贡献数据？能不能登记自己从事什么职业？能不能收到一系列让你完成的任务，比如打扫卧室、做早餐、做完以后收拾干净？这是一种很轻量的方式，最终是为了让预训练数据具有多样性。第二种做法就得走出家门了，因为家庭以外，还有太多东西值得采集。所以，我们必须搭建起很大一套面向企业的业务体系，练就招募企业的能力，覆盖人类所有体力工作这个极其庞大的分类体系。可以是面包店，可以是印刷电路板的生产线，什么都可以。

现场短评： 录播客。不过录播客好像没多少手上的活儿，是吧？在这儿赚点钱。

Josh Gao： 我们应该给自己也装备上的。总之，贡献者就是这样参与进来的。但一家数据工厂实际的数据引擎，远比大家想象得复杂，也麻烦得多。我们得发放到世界各地的很多东西，在我们设计、生产这些硬件之前，根本就不存在。触觉手套就是个很好的例子。市面上没有什么现成的东西，让你买来戴上，就能可靠地告诉你日常活动用了多大的力，再把这些变成不同机器人基础模型可以直接使用的数据集。所以，我们必须建立硬件迭代闭环，经历三四轮不同的产品周期，建立起工程能力，真正去思考、迭代什么东西有用，再把生产规模扩大，把这些设备送到世界各地。接下来就变成了物流问题：把设备分发到成千上万户家庭、成千上万家企业，采集数据，再上传。在许多开展业务的地方，我们都得架设这些 100 Gbps 的上传链路，才能撑住我们现在要处理的数百 PB 数据。然后还要处理数据，确保质量把关非常到位，再加上各种计算机视觉处理，最终让它们真正有用。

Sonya Huang： 那假设你们发现，训练数据组合里的播客主播还不够多，或者，比如说，做甜甜圈的师傅还不够多。你们真的会出门，挨家挨户敲甜甜圈店的门，让他们注册加入平台吗？具体怎么做？

Josh Gao： 一般来说，我们会维护一张类似热力图的东西，覆盖不同职业、行业，以及我们考虑多样性的各个维度。看着这张热力图，如果我们觉得，哎，像 Sonya Huang 这样的播客主播还不够多，得去补一点——其实这就是我们今天来这儿的原因。这是我们的秘密任务，所以这里才到处都是摄像头。

Sonya Huang： 不不不，你们可别想把我从这里剪掉。没有啦，开玩笑的，拜托还是剪掉吧。好，挺有意思。我听说，机器人数据采集整体上存在很多质量问题，提交上去的机器人数据样本里，有很多小时的数据最后都没被接受。这是为什么？你们怎么解决这个问题？

Josh Gao： 这些教训，最早从不同类型的机器人数据里就已经出现了。有些规模非常大的机器人工厂，是拿大型仓库改出来的，里面反复执行任务，试图把遥操作数据做大规模。相关研究让大家学到的一点是，多样性存在某种门槛；一旦到了一定程度，你所需要的机器人数据量，或者一般意义上的数据量，就会出现饱和。在人类数据这边，可以想象，随着我们不断发展，质量其实是一个不断变化的目标。真实世界里，你要处理的边缘情况可以极端到难以想象，而且你永远都会看到以前没见过的新东西。所以对我们来说，关键是：能不能设计出一些启发式规则，在数据处理过程中识别出各种不同的问题？能不能建立不同的处理机制，在有需要时迅速升级处理？说到底，我们不断会对质量和多样性有新的认识，有些认识甚至一周前还不成立。所以，你必须足够灵活，能迅速行动，创建、调整自己的引擎，把这些情况识别出来。

连麦当劳上班视频都有人冒充

Sonya Huang： 你们会识别出什么样的问题？

Josh Gao： 我觉得，在整个数据行业里，欺诈是个被低估的问题。毕竟，我们是在创造原本还不存在的数据，而不是到互联网上筛选已有内容。所以在这个过程中，你会遇到一些非常有创意、很有意思的情况。

Sonya Huang： 比如提交 AI 生成的视频，还是别的什么？

Josh Gao： 对，特别有创意的人。我记得有一次，有人把 YouTube 上那种“第一视角在麦当劳上班”的视频录下来，基本上就是想把它当成自己的贡献交上来。

Sonya Huang： 哇，永远不要低估人们的创业精神。真是绝了。

Josh Gao： 对，真的是这样。这些都算是我们吃过的苦头、学到的教训。没错，你必须设置很多道关卡，但最终，你也必须到实际采集数据的现场去，亲眼看看他们是怎么做的。你得想出一套激励机制，真正鼓励人们贡献高质量的数据。

数据中间商靠什么守住利润

Sonya Huang： 你怎么看你们长期赚取利润的底气？我能想象，Mecka 的某个竞争对手来找 Sonya Huang，说：“Sonya Huang，我特别想要你的播客数据。”那我也能想象，你们作为中间方能拿到的利润空间，最后会被挤压。

Josh Gao： 我觉得，要从头到尾确保这些数据有用，付给贡献者的那部分钱，在成本和利润空间里其实不是一个很大的因素，至少不是最大的因素。所以，虽然那个基础部分会一直存在，而且可能越来越没有竞争力，但你还是可以通过合适的硬件、运营和软件做出差异化，确保你的数据在非常大的规模上，也有办法验证它确实是高质量的。我们考虑这些产品时，最终确实是想把它们做大、做成熟。就像任何开始规模化的产品一样，你会想优化它。不过，随着时间推移，也会演化出不同的产品。所以，当你把录播客的这种第一视角数据，看成你众多 SKU 中的一个，再意识到还有其他不同类型的数据也会很重要，你就会想：比如，我们能不能从路边的中餐馆，逐步走进米其林星级餐厅？能不能越来越接近费德勒的水平，而不只是普通网球选手的水平？所以，这些产品会变，生产这些产品的方式也会变。

百万小时离终点还有多远

Sonya Huang： 真有意思。你觉得现在已经采集的数据到了什么规模？接下来几年，你觉得又会采集多少数据？

Josh Gao： 我觉得，我们终于进入了数据量达到数百万小时的阶段。两年前，我们还处在 Ego4D 那种只有 4,000 小时数据的阶段，跟那时候比，这是一个巨大的跨越。但相较之下，拿自动驾驶来说，特斯拉花了十多年，归根结底是在解决加速和方向这两个自由度的问题，路上有数百万辆车。到现在，他们的视频数据早就远远不止几百万小时了。所以相对而言，我们离最终需要达到的数据量，还差着很多个数量级。

Sonya Huang： 所以，一方面，这听起来是你们的机会，听起来机器人数据工厂能从中获得很多收入。另一方面，作为一个投资机器人基础模型的人，我看到这个会想：哎呀，我们到底有没有可能到达那个理想中的彼岸？因为我也做过跟你一样的计算，一辆车有两三个自由度，一个机器人则有——

Josh Gao： 光一只手就有几十个。

Sonya Huang： 对，就是这样。然后再加上，你可能还需要力的数据，而且还有更多。它要工作的环境就是难得多。我这么一算，就觉得可能需要数十亿、数万亿、数千万亿小时的数据。全世界的 GDP 够不够支付采集这些数据的成本？你怎么看？

Josh Gao： 关键是在这个过程中不断解锁商业应用场景。所以，不一定非得是一个非此即彼的问题，好像某一天，我们要么突然把机器人这件事做成了，要么就完全没做成。它会慢慢渗透到现实世界里。一个很好的推进方式是，先把金字塔的一部分底座搭起来，我们开始看到泛化能力，看到规模定律在发挥作用，这就给了大家扩大规模的勇气。有了这种勇气，我们首先能不能在其中一些环境里具备一定的泛化能力？然后，我们能不能再采集大量针对特定领域、特定任务的数据，弥合训练中的那段差距？比如，我可以就在这个房间里，针对这次播客的具体演示采集数据，真正补上那个缺口，让机器人在这些真实环境里，达到很多场景所要求的“四个九”，也就是 99.99% 的可靠性。

Sonya Huang： 这个框架很有帮助。所以，它不是一个从零到一、非此即彼的问题，而是我们会逐渐拥有能力越来越多、能做的事情越来越多的机器人。

Josh Gao： 而且，在这个过程中，我们会解锁很多任务。

家里的数据多但机器人难落地

Sonya Huang： 对。不过有一点我很好奇：现在最丰富的数据，看起来好像是家庭场景的数据，对吧？因为人人都能拍，获取起来挺容易的。但家庭似乎又是机器人最难部署的环境之一。所以我很好奇，你觉得机器人哪些应用会最先落地？因为数据最容易获得的地方，似乎恰恰跟机器人最容易部署的地方反过来了。

Josh Gao： 家庭绝对会是我们最需要谨慎对待的环境之一。机器人领域里很多刚开始成熟起来的基准测试和评估，也都跟这个有关，比如要确保机器人不会在家里摔倒，压到婴儿。我觉得，沿着这个发展谱系往前走，最初的任务会有更多限制，目标非常明确，可以围绕这些任务一步步优化，而且对于这项工作应该怎么做，已经有现成的标准作业流程，也就是 SOP。

Sonya Huang： 比如叠衣服机器人。

Josh Gao： 可以是叠衣服。叠衣服这件事，我们花了一年半多的时间去攻克，我觉得短期内肯定会解决。还有很多抓取、放置的任务，以及你在流水线上看到的那些包装任务，它们必须靠能进行物体操作的机器人来完成，传统机器人又解决不了。未来一两年，我们会把这些做出来。

Sonya Huang： 这正好可以引到部署的话题。我很想跟你聊聊机器人部署这个整体概念。你说过，今天就已经可以部署有用的机器人了。你为什么这么认为？

Josh Gao： 我觉得大家低估了机器人可以有多么多样化。如果我们只把自己限制在一种形态里——人形机器人现在确实非常热门，而且也会是机器人发展到后期时非常流行的一种形态。但除此之外，今天的机器人已经有非常多不同的形态。你可以看看不同市场，比如中国或东南亚的酒店，那里已经有提供服务、做清洁的机器人。还有配送机器人，你的 Uber Eats 外卖送到酒店门口以后，它就能把东西从前台送到你的客房门口。这类机器人，现在已经在世界各地广泛部署了，只是在美国和北美才刚开始普及。我觉得，最早要部署的一批机器人，甚至可能就是工业清洁机器人。外面已经有很多这种面向特定用途的机器人。然后，从这个起点一步步往上走，开始解决这个谱系里早期的物体操作任务，一直到未来，人形机器人开箱即用，就能解决任何任务。

部署之后才能转起数据飞轮

Sonya Huang： 你前面在节目里提到过特斯拉和 FSD。你觉得，我们什么时候能走到开始出现一点类似 FSD 飞轮的阶段？到了那个阶段，你觉得你们这家公司扮演的角色会怎么变？

Josh Gao： 什么时候能到那里？我觉得还需要一段时间，但会是一个缓慢的过渡。当你逐渐解决一些商业任务时，你也终于能开始建立其中一些飞轮。然后，你能拿到实际部署中的数据，包括失败案例和纠正数据。这对启动机器人的飞轮绝对很重要。究竟还有多远，要看你处在这个谱系的什么位置，也要看那些尚未完成、尚未解决的不同任务和领域，分别推进到了什么程度。所以，确实还要挺长一段时间。等我们走到那一步，我相信，在这个过程中，Mecka 的样子也会变得很不一样。首先，我们并不是只认第一视角数据。我们总体上相信，很多不同的 SKU、整锅“数据汤”，都很重要。所以，未来某个时候，我们会不会生产“米其林星级”的数据？会不会去教机器人一些它们还没接触过的真实世界边缘情况？如果我们相信世界极其广阔，细节又极其丰富，那就永远不会缺少可以教的东西。即便到了那个阶段，我们也有另一个方向：我们相信 Mecka 会对机器人的部署作出很大贡献。所以，在一些这样的环境里，为了弥合差距，让机器人能够在那个领域、那个环境下完成那个任务，我们能不能成为这样一个平台：采集那个领域的数据，做后训练，为企业提供支持，用高接触、细致周到的服务，手把手帮助它们进入一个到处都有机器人的世界？我们认为 Mecka 会逐渐发展成这样。

机器人也需要新式系统集成商

Sonya Huang： 我很想听听你的预测：你觉得部署会怎样在物理世界里扩散开来？也许可以拿大语言模型领域已经发生的事情来类比。部署这件事，已经出现了几种不同的路径，对吧？有针对具体垂直领域的应用公司，有基础模型公司自己扩大市场拓展的规模，还有各种 FDE，也就是前线部署工程师，以及部署公司、服务公司，随便你怎么叫，就是一大群人帮助企业大规模采用 AI。看起来，这就是把 token 传播到整个经济体系中的几条主要路径。你觉得，物理世界里对应的会是什么？

Josh Gao： 我们非常看好机器人领域里的垂直和横向这两种路线。一种是完整的垂直整合，针对非常具体的任务，从硬件到模型再到数据，一整套都做。我们也相信会有这样一个生态：其中有数量庞大、形状和尺寸各不相同的机器人硬件，世界上也会存在不同类型的开放模型。我觉得，它看起来会像是现代机器人版本的系统集成商。在传统模式里，你负责安装产品，竞争极其激烈，利润空间很薄。但现在有一种可能：你不仅可以把产品装好，还能帮它随着时间推移，变得更由数据驱动，生产力越来越高。比如，你能不能让上周安装的机器人，做出几天前甚至还觉得不可能做到的事情？它能不能帮你开始拓展业务能力的边界？这才是我们最终希望追求的里程碑。

Sonya Huang： 那你会怎么跟我这个投资人说呢？给我一点投资建议吧。也就是说，通用机器人和垂直领域机器人，你都会投。你最喜欢哪些垂直领域的机器人类别？

Josh Gao： 我觉得，一开始最好的会是工业机器人。这些场景里本来就已经有很多传统机器人。就像我们刚才说的，它们的任务是受到约束的。

Sonya Huang： 比如数据中心维护机器人。

Josh Gao： 对。比如，你不用预想着会突然出现一个婴儿，还得考虑它，确保自己不会摔倒压到它。所以，这个世界比开放环境里的世界受限得多。我们还很感兴趣的其他类别，就是那些在早期就有可行性、就有可能实现的场景。比如酒店里的一些做法，你确实可以开始把东西从前台送到客房，还能进行物体操作，把东西交到人手里，这些我们都很看好。然后，还有一些是人类根本做不到的地方。我们有时在公司全员大会上开玩笑说，要是有一天，Mecka 能帮忙部署一个去小行星上采矿的机器人，那我们大概算是干得不错了。

Josh Gao： 那是一种现在完全不存在的工作、完全不存在的任务，人类做不到，我们眼下也根本不知道该怎么做，但它似乎又必然会发生。

Sonya Huang： 我太喜欢这个了。这让我想到，我倒还没想到跨星球那么远，不过，你听说过 Gecko Robotics 吗？他们做的那些帮助维护船舶之类的事情，我觉得特别酷。

Josh Gao： 绝对是。

给人戴上传感器之后的训练配方

Sonya Huang： 在你愿意公开分享的范围内，能不能聊聊你们已经开发的那一系列硬件，以及现在各家实验室最有兴趣在哪些方面采集定制数据？

Josh Gao： 有些迭代是从我们一开始做手机应用时来的。当时我们很快就把它做到了规模化。那个产品当时也有不少不足之处。它的不足归根结底在于，你没办法像本来可以做到的那样，获得那么丰富的世界信息。所以，我们很早就必须开发一些东西，说到底就是把人“Waymo 化”。在传感器配置上，能不能做出这种装有不同摄像头和传感器的棒球帽？我们做了一个中央连接枢纽，再把各种不同的配件连到上面，比如触觉手套、外接摄像头等等。所有这些，都是为了捕捉你日常如何与世界互动，并希望能够克隆这种行为。

Sonya Huang： 有意思。EgoVerse 是什么？

Josh Gao： EgoVerse，像 Danfei Xu 教授、Ryan、Simar，他们是最早一批相信第一视角数据有价值的研究者。我们很荣幸，能成为这个联盟早期的贡献者之一。这个联盟聚集了不同的人，大家都认为，把人类数据规模化，对机器人会很重要。所以，首先，我们制作并贡献了大量不同类型的第一视角数据，覆盖不同的企业、行业和家庭环境。我们分享了所有的动作轨迹数据；这也涉及后处理、计算机视觉处理和质量把关。我们还贡献了所有平台和网页工具，基本上就是数据加载、基础设施这些。重述一下他们的愿景，理想情况下，我们最终希望把机器人行业里的很多人团结起来，希望在这波浪潮里，让所有人都能受益，并共享工具、数据和经验教训，因为作为一个行业，我们离那个目标真的还差得很远。

Sonya Huang： 是不是可以说，机器人行业在训练数据的组合上，已经有点趋同了？也就是来自 YouTube 等平台的互联网规模数据，加上大量第一视角数据，再加上 UMI 这类数据，再加上遥操作数据。可能还有一个三角形，展示每一类的数据量。我记得 Jim Fan 在一次红杉的活动上，用一张特别好的图展示过这个。你看到的数据组合，大致就是这样吗？还有，你们的客户是不是也都趋向一种非常、非常相似的组合了？

Josh Gao： 很有意思的是，就在一年前，很多人还会争论说：“不对，只有 UMI 数据才有用。”“只有第一视角数据才有用。”然后你会慢慢意识到，就像你说的，这些东西本质上是一锅数据汤。而在这锅汤里，所有食材在某个阶段都会很重要。我觉得，我们现在看到的是，大家对眼下这份配方可能是什么样，开始达成共识了。大致上，它像是这样一种组合：跨越第一视角和其他不同模态，大约一百万小时的人类数据；几万小时的 UMI 数据；然后加上一些解决最后一公里问题的遥操作数据，以及特定领域内、符合目标分布的数据，其中的示范数据甚至有的只有几个小时。我觉得，我们确实正在看到这样的组合。但随着时间推移——这也是为什么我们在这里不会死认任何一个流派——像触觉数据这样的东西，甚至还没有加入进来。如果我们相信，这些模型最终需要学会，比如对门把手施加多大的力，那么这些数据就必须进入这锅数据汤。仿真也会进入这锅数据汤，而要走向最终的融合，它们全都会很重要。

看够网球视频就能打败费德勒吗

Sonya Huang： 对于现在采集的这些类型的数据，我最常听到的质疑之一是：你就算看了数百万小时的网球数据，还是不知道怎么打败罗杰·费德勒，对吧？我很好奇你怎么看，以及这对机器人学习方式未来可能的发展方向，意味着什么。

Josh Gao： 我特别喜欢 AlphaGo 这个类比。你要谈机器人打网球，就得谈机器人下围棋。想想李世石，还有 DeepMind 做的所有工作，最初是大规模克隆不同围棋高手的下棋行为。然后，下一步是自我对弈：在游戏规则之内，你能不能模拟各种不同的走法，直到最终创造出第 37 手那样的神来之笔？那一手完全超出了当时人类下围棋能想到的范围。不过，在我们这个机器人场景里，情况不一样。对于围棋，游戏规则就是你要在其中行动的整个世界的边界。但在机器人领域，物理世界有着极其丰富的细节，而今天，我们还没有一个能重现这一切的世界模拟器。所以，为了弥合这个差距，现在很多第一视角数据，首先是在帮我们建立对基本物理规律的扎实理解，以及完成必须先做到的基础行为克隆。它也在帮助我们构建未来那个世界模拟器可能的样子。然后，我觉得，在这条路上的某个阶段，我们能够造出像罗杰·费德勒一样打网球的机器人。

Sonya Huang： 你觉得它们主要会在模拟环境里进行自我博弈，还是在现实世界里？

Josh Gao： 我觉得最终可能会是两者结合。如果我们能用上模拟环境，也不必一开始就把现实世界的每一个细节都完整重建出来。不过，我认为自我博弈既会发生在物理世界，也会发生在模拟环境里。

让模型先在梦里摔碎杯子

Sonya Huang： 你刚才好几次提到“世界模拟器”。你怎么看世界模型现在的发展？我感觉现在大家在用这个词的时候，有点把它和视频模型混着用了。你怎么看世界模型，以及它们对机器人训练数据组合的贡献？

Josh Gao： 我觉得，刚才说的那种自我博弈，如果能成为现实，潜力会非常大。哪怕只是让模型在“梦里”想象一下，杯子掉下来摔碎会是什么样，而不用真的去摔，这本身就非常有价值，能带来很多可能性。这里的价值在于，我们最终可以在像素预测这件事上，借用互联网上已经积累的大量成果，比如 YouTube 上的内容。如果我们能再把这些预测转换成相应的动作轨迹，就能帮助我们大大加快进度。

Sonya Huang： 对，很有意思。你提到，我们现在算是逐渐形成了这样一个金字塔式的数据组合。你觉得，只要继续把规模做大，这个金字塔就能一路扩展下去吗？这样能把我们带到那个理想中的终点吗？大家以前会把这个终点叫作“机器人的 GPT-3 时刻”，但我现在已经不太喜欢这种说法了。我想问的就是：机器人到底什么时候才能真的帮我叠衣服，或者给我做一顿饭？你觉得，现有的数据组合能让我们走到这一步吗？还是说，要走到那里，算法和数据方面都还需要新的突破？

Josh Gao： 我觉得，如果按照这个比例，把规模再扩大若干个数量级，沿途我们就能解决很多任务。其中一些任务可能发生在约束更多的环境里，比如企业运营中的任务，按照你给出的、非常具体的标准作业流程，也就是 SOP 来执行。但如果说的是那个理想世界：一个机器人拿来就能用，只要看一眼就能解决任何任务，一开箱就能像罗杰·费德勒一样打网球，还能处理真实世界里所有那些极其复杂的情况，比如天气。我觉得，离那个世界还有一段路，而且最终的形态也不会就是我们现在看到的这样。

Sonya Huang： 那会是什么样？

Josh Gao： 我们还有太多东西可以加进这套组合里了。我觉得，接下来要考虑的是，怎样开始把其他模态引入进来。比如触觉数据。我很喜欢现在很多模型逐渐走向全模态模型的路线：你可以把任何类型的输入作为观测喂给它，无论是力、像素，甚至在很极端的情况下，是气味；然后让它产生某种输出，无论是动作、语音，还是其他不同类型的控制信号。

Sonya Huang： 现在已经有能感知气味的芯片了吗？

Josh Gao： 还非常早。嗅觉这条路线还处在很早期的阶段。但我愿意想象，未来会有一种方法，让这个能力也成为现实。

通用大模型会碾过机器人公司吗

Sonya Huang： 对。你看，近期一些模型展现出来的结果，对机器人任务的泛化能力非常强。我很好奇你怎么看这件事，以及它对那些专门做机器人的公司意味着什么。它们最终会不会被那些 AGI 实验室彻底碾压？“苦涩的教训”（The Bitter Lesson）是不是也会一路碾过机器人领域？你怎么看？

Josh Gao： 在信息不完备的情况下，仍然决定大规模扩充数据，是需要很大勇气的。我觉得，很多这样的实验室，骨子里就有这种特质，所以很早就敢于这么做。

Josh Gao： 我觉得，我们现在看到的、也很令人兴奋的一点是，随着机器人数据规模扩大，哪怕只是把它们加入这些主流大语言模型和基础模型的预训练数据组合里，模型也确实开始能够在很多不同领域中泛化。我很看好全模态模型的路线：把各种各样的观测加进去，无论是力，还是动作轨迹，让模型获得泛化能力。不过，我觉得也会有很多理由，支持我们做得更垂直，而不是只追求一个什么都能做的通用模型。所以，在未来的某个阶段，那个无所不能的模型会在很多事情上做得很好，但某些专用模型、某些更有针对性的机器人基础模型，可能会在特定任务上变得极其出色，能力和可靠性都达到“四个九”，也就是 99.99% 的水平。

Sonya Huang： 我刚才从你的话里听出来的意思是，最新的基础模型在机器人任务上表现很好，其实并没有那么令人意外，部分原因是，现在确实已经有相当多的机器人数据被放进训练数据组合里了。我这样理解对吗？

Josh Gao： 仔细想想，这其实是相当符合预期的。

从科幻豹狗马到拆箱礼物

Sonya Huang： 最后，我想回到你最初对科幻的热爱上。你创办这家公司，是因为你能想象一个到处都是机器人的世界。给我们描绘一下吧，你觉得那个世界会是什么样？

Josh Gao： 我觉得，最好笑的一幕，可能就是你来我们纽约办公室的时候。我们主会议室的墙上，其实挂着 Kawasaki CORLEO 的图片。

Sonya Huang： 我太喜欢那个了。

现场短评： 就是那个——机器人，像豹子、像狗、又像马，反正就是那个东西。

Josh Gao： 对，豹狗马，没错。它基本上就是一只机器人豹狗马。而且，它的视频和预告片，基本上是你见过最离谱的那种。

Sonya Huang： 我最喜欢的是，你们居然让一位熟人相信，骑在上面的真的是你和你妈妈。

Josh Gao： 对，对。里面大概有这么一个片段：一位仿佛从奇幻故事里走出来的亚洲女士，和她的儿子，骑着它穿过一片绿色草地，越过一条小河。CORLEO，就是这个像马、像狗、又像豹子的机器人，会跳过那条河。于是我们就跟一位熟人说，那基本上就是我们小时候的样子，是我们生成出来的。但最妙的地方就在于，它实在太荒诞了。我特别喜欢《银河系漫游指南》的那种哲学：世界可以有多荒诞，未来又可以有多荒诞。在这个到处都是机器人的世界里，我很愿意相信，会有那么一些疯狂的创业者、那么一些人，真心觉得这样的形态很有意思。我觉得，未来机器人的形状和大小，会呈现出这样一个世界：我们会想出各种稀奇古怪的机器人，去做那些你现在甚至都还没想到的事情。

Sonya Huang： 从数量级来说，十年后，世界上会有多少机器人？

Josh Gao： 会比人类的数量多很多很多倍。

Sonya Huang： 会多出好几个数量级？

Josh Gao： 对，比人类多。时间上，大概是十年多以后。

Sonya Huang： 比如，一千亿个机器人？那可太酷了。一千亿只豹狗马？

Josh Gao： 豹狗马啊，至少还得在这个基础上再多一个数量级。

Sonya Huang： 太喜欢了。太棒了，Josh。我觉得，你正在做的事情，在运营执行上真的很令人佩服。你把数据采集的规模不断做大，帮助我们迎来机器人的黄金时代，也让你从小梦想的那个科幻未来成为可能，这真的很酷。谢谢你今天来参加播客，既向我们介绍你是怎么把这门生意做起来的，也分享了你怎么看未来。聊得非常开心。

Josh Gao： 非常感谢邀请我们。谢谢你，Sonya。其实，我们还给你带了一份礼物。

Sonya Huang： 我最喜欢礼物了。

Josh Gao： 对我们来说，这有点像是兜了一圈，终于又回到了起点的时刻。

Sonya Huang： 这是不是我想的那个东西？

Josh Gao： 谁知道呢？谁知道呢？好，你得在播客里当场把它拆开。

Sonya Huang： 这也太棒了。我都可以去当那种专门拍开箱视频的 YouTube 博主了。Mecka 的贴纸绝对是 A+。我觉得这就是我以为的那个东西。

Josh Gao： 我们其实准备推出一系列 Mecka 的小模型和贴纸。它们都是那种巨型机器人、由人类驾驶的东西。

Sonya Huang： 我太喜欢了。这就是 Kawasaki CORLEO。这个要放在播客录音间或者我的办公室。这也太棒了。

原始视频：https://www.youtube.com/watch?v=0idrTKCDhuE