找回密码
立即注册
搜索
发回帖 发新帖

5119

积分

0

好友

661

主题
发表于 2 小时前 | 查看: 6| 回复: 0

Dylan Sisson用Kosmo在皮克斯园区扫描

皮克斯园区里那盏经典的 Luxo 大台灯,被一台中国相机完整扫进了三维世界。旁边的彩球、树木,甚至连地面的光影也一并被记录了下来。

操作设备的人,是皮克斯 RenderMan 创意负责人 Dylan Sisson。这台相机来自禾赛,名叫 Kosmo。

3DGS渲染与高斯点云对比动图

把电影公司园区扫描进电脑,乍看像一次技术炫技。可顺着这条线往下看,会发现它与最近 AI 圈最热的方向撞到了一起。

就在昨天,刚开放的 Gemini 4 Argon,已经被谷歌用于探索机器人任务。官方演示中,波士顿动力的 Spot 先在仿真环境里练习踩垃圾桶踏板,再去现实中把易拉罐丢进去。

Spot在仿真环境中训练垃圾桶任务

Spot踩踏垃圾桶踏板打开桶盖

AI 要走出屏幕,得先有一个靠谱的地方练手。

电影人也有类似的烦恼:眼前这条街很漂亮,怎样把它完整带进电脑,让导演随时换机位,让艺术家接着改?

10月14日,禾赛正式发布三维世界数据引擎 Kosmo,与云平台 Kosmo World。与此同时,全球首款集成 8K 影像系统的 AI 空间相机——Kosmo One 诞生了。

人形机器人在货架前操作手持设备

这家以激光雷达闻名的公司,开始把真实世界转成可反复使用的三维数据。影视创作与具身智能,看似隔着十万八千里,却在这里找到了交集。

连皮克斯都坐不住了:那盏大台灯搬进「赛博世界」

要搞懂 Kosmo 的杀伤力,就得先看看它在皮克斯手里,到底掀起了多大的风浪。

了解影视业的朋友们都知道,皮克斯旗下的 RenderMan,是好莱坞绝对的「御用神级渲染器」。从《玩具总动员》开启电脑动画时代,到后来的《阿凡达》《星球大战》《曼达洛人》,几十年里拿下无数座奥斯卡最佳视觉效果奖。在计算机图形学这片丛林里,皮克斯就是规则的制定者。

而 RenderMan 的灵魂人物之一 Dylan Sisson,前不久干了一件极其浪漫又硬核的事。

Dylan Sisson肖像

他提着一台禾赛的 Kosmo 空间相机,走到了皮克斯加州总部的标志性广场上。那盏全宇宙影迷都无比熟悉的巨型台灯 Luxo Lamp,以及那颗经典的皮克斯红黄蓝三色球,就立在广场中央。Dylan 打开相机,在园区里溜达着扫了一圈。

传统好莱坞团队要是想把这样的实景搬进电脑做特效,得怎么干?一支几十人的专业扫描和测绘团队,架着重型设备在现场待上好几天,拍成千上万张不同曝光的照片,再由几个高薪模型师花上两三个星期一点点手工拓扑、贴图、抠细节。

但 Dylan 拿着 Kosmo,在短时间内就完成了微秒级的数据采集。紧接着,这些数据被导入 Houdini,再接入 RenderMan 28 测试版的渲染工作流。

Kosmo扫描皮克斯广场的点云3D渲染

凭借 3DGS技术与激光雷达的毫米级精度融合,皮克斯广场的每一寸地砖、跳跳灯金属外壳上的斑驳反光,被完完整整地还原在数字空间里。

更震撼的是,他还用 RenderMan 的风格化渲染工具,在这些真实三维高斯数据上进行艺术二次创作。短短几步操作,真实世界里的皮克斯总部大楼,瞬间化身成带有细腻手绘笔触、浓郁油画质感的动画梦境。Dylan 甚至专门为这个项目制作了一套官方教学案例,发布了这套工作流的教程。

好莱坞找上门,其实在禾赛的计划之外。禾赛 CEO 李一帆坦言,Kosmo 本来是为机器人训练做的,影视圈的热情,是品质做得太好带来的「意外惊喜」。

禾赛发布会现场屏幕展示机器人品牌与激光雷达榜单

皮克斯负责渲染的老大给他的评价是:这类技术一直存在,但从没见过完成度这么高的产品。真实空间,就这样变成了艺术家手里的数字积木。

几百万搭的景,它一周搞定

对剧组来说,这条路径还有个很实在的吸引力:省工夫,也省预算。过去拍电影,剧组最怕两件事:勘景和搭景。

大型影视摄影棚LED虚拟拍摄现场

主创团队满世界飞,勘景动辄吃掉前期筹备预算的 30%;搭一个上万平米的欧洲街景,施工队要紧锣密鼓干上两个月,烧掉几百上千万,拍完一拆全成建筑垃圾。中途导演想改个光照、换个机位,全组都得跟着加班脱层皮。

现在用 Kosmo,一个人、一天就能搞定现场数字化采集,勘景成本有望从前期预算的 30% 直降到 5%;万平米的街道实景,扫描加上重建编辑只需要一周,综合成本能省下高达 80%。更重要的是,场景里的每棵树、每扇窗都变成了可交互、可编辑的三维资产。白天随时能调成黑夜,灯光能重新布置,如果后期需要补拍,直接调出已有资产在虚拟棚里就能拍。

全球首款 8K AI 空间相机:Kosmo One 登场

这台设备,某种程度上是被客户「逼」出来的。李一帆回忆,测绘、建筑这些行业不断来要更高精度的激光雷达,从几厘米一路做到毫米级,而且东西够好就愿意多付钱。

禾赛CEO李一帆在发布会演讲

但一颗高精度激光雷达,只是开始。客户还得配齐摄像头、惯导和计算平台,再把这些部件整合成一套系统。禾赛于是决定,把这套集成工作也接过来,直接做成一台完整的设备。连里面那颗激光雷达,都是为毫米级精度和小体积重新开发的。

那么问题来了,普通相机也能拍照片、录视频,Kosmo One 多做了哪一步?

看一张桌子的照片,你能认出桌子。可要准确知道桌沿离机器人多远、台面有多高,或恢复拍摄时相机的位置,还需要额外的空间信息。Kosmo One 把激光雷达、8K 影像系统、一英寸大底 CMOS 和高精度 IMU 装进了同一台设备。

KOSMO ONE AI空间相机与快速使用指南

雷达负责测距离,影像系统记录颜色和纹理,IMU 跟踪设备运动。它能对空间几何、影像与设备位姿进行微秒级同步采集。然后,重建系统把它们拼成三维场景。

其中的关键技术,便叫 3D Gaussian Splatting,简称 3DGS(3D高斯泼溅)。

很多人以为 3DGS 就是给点云上个色,或者把照片贴到墙上,李一帆专门纠正过这个误解。墙上挂的时钟,正面和侧面反射的光完全不一样。全景照片只能站在固定点看,点云贴图也只有一个亮度,换个角度就假。

3DGS 的做法说起来「很土」:扫描时把各个角度的光都采一遍,拼成一个信息量高得多的模型,从哪儿看都是真实的那一面。镜头可以在重建的空间里移动,看看同一个地方从另一个角度是什么样。这种能力对电影人很有用:导演试机位、做镜头预演,终于有了可以绕着看的实景素材。

Kosmo 3D扫描与重建流程演示

它的几何精度达到了毫米级,而且最高能录 8K 画面。不过这里要说明一下,8K 是指镜头本身的最高采集分辨率,最终导出的成片其实最高是 6K。

此外,使用流程也被压缩了。普通室内 100 平米大概 15 分钟就能扫完,当然具体多久还得看户型复不复杂、要求高不高。设备开机就能直接扫,中间有智能引导,断了也能一键续扫,后续直接把数据扔给 Kosmo World 云平台去跑就行。扫描一间屋子的门槛降下来,3D 采集才有机会从专业团队的项目,变成更多创作者日常能用的工具。

机器人上课,还得把距离算准

电影里,一处场景首先得让观众相信。机器人走进去,还得知道哪里能走、哪里会撞,伸手能不能碰到目标。假设它要拿起柜台上的杯子,训练场景里杯子的位置偏了一截,再漂亮的画面也救不了抓空的手。

禾赛联合创始人、CTO 向少卿把这个难题概括为数据的「不可能三角」:高质量、大规模、低成本,很难同时拿到。

禾赛CTO向少卿在发布会演讲

照片、视频记录了画面,距离、相机位姿和真实空间关系,还要额外获取。纯仿真能批量生成,材质、摩擦和形变却容易偏离现场。真机遥操足够真实,又得投入设备、人力和时间。李一帆举过一个例子:同一个场景让纯视觉模型重建,桌子歪了、椅子歪了,因为全靠概率猜。200 个特征猜对 150 个就没法用,激光雷达能把 200 个全做准。因此,高质量的真实世界数据,已经成为物理 AI 发展的最大瓶颈。

Kosmo World 底层的 Kosmo Spatial Core,简称 KSC,会在一次重建中生成三种空间对齐的数据:3DGS、mesh 和 depth。3DGS 尽量还原场景外观,让机器人看到的画面更接近现场;mesh 就是三维网格,用来表达物体表面与结构,为拆分物体、设置碰撞和交互提供基础;depth 是深度数据,记录空间距离,帮助把物体落到准确的坐标上。三种数据来自同一个场景,机器人眼里的柜台,与仿真系统中用于碰撞计算的柜台,需要待在同一个位置。

KSC 还能识别场景中每个物体的语义属性,把静态模型变成可以交互的智能对象;未扫到的盲区,原生 AIGC 会自动推断补全。它甚至能根据具体机器人自带相机的特性做视觉适配,让机器人在「自己眼中」的世界里训练,进一步缩小仿真与现实的差距。

DQ 打冰淇淋,全靠它了

在发布会现场,禾赛晒出了一个已经跑通的真实商业闭环——Sharpa 机器人在 DQ 冰淇淋门店打冰淇淋。

别小看「在 DQ 打一杯暴风雪冰淇淋」,这对机器人来说简直是地狱级考题:门店灯光复杂、不锈钢机器表面全在反光、取杯子力道大了会捏扁、接冰淇淋位置偏两毫米就会洒一地。过去,专业团队人工建模还原一家门店,约需投入 300 个小时。现在拎着 Kosmo 进店,15 分钟扫完直接生成高保真三维训练场。Sharpa 机器人在这个数字孪生的 DQ 店里疯狂特训之后,真机上岗时的失败案例直接暴跌到原来的十分之一,任务成功率飙到了惊人的 99%,稳稳当当地在真实门店里系上围裙上岗打工了。

Sharpa机器人操作DQ冰淇淋机

先在数字门店练习,再回实体门店验证,也能少花一些现场试错的钱。禾赛的三位联合创始人——李一帆、向少卿、孙恺,也共同创立了 Sharpa。同一支创始团队,恰好连接起了空间数据采集与机器人使用数据的两端。现场,Kosmo 还与银河通用、原力灵机签订战略合作。下一步能否适应更多机器人、更复杂的任务,要靠这些具体场景来检验。

世界模型再会「做梦」,也得见过真世面

对世界模型来说,这样的门店还有另一种用法:让 AI 在脑子里「逛店」。往柜台左边挪两步,会看到什么?走近冰淇淋机,画面又该怎么变?这些空间关系,得对得上。总不能镜头一转,柜台就挪了窝。

Kosmo 提供的 1:1 精准数据与真实位姿,恰恰成了世界模型理解物理世界规律的「真实度量衡」。更夸张的是效率提升:基于同一个精准三维空间,KSC 在云端能自动衍生上万条机器人训练轨迹。

KOSMO软件三维场景编辑界面

按禾赛的测算,相比用真机采集高质量轨迹数据,花同样的钱,Kosmo 的数据获取效率能提升 100 倍以上,具体提升幅度会随场景规模、轨迹数量和参数设置变化。

李一帆把 Kosmo 称为「顺 AI」的产品:AI 越强,能解决的问题越多,反而越需要真实世界的原材料。纯 AIGC 只是拿已有信息反复「编」,不会带来新信息,就像 AI 短剧里的人脸,看来看去都长一个样。当全行业都在追逐世界模型,真实三维数据就成了最硬的硬通货,Kosmo 正是背后那个无可替代的数据底座。

如今,同一份真实空间数据,正在流向更多工作流。禾赛也在围绕这件事连接工具生态,面向 RenderMan、Houdini、UE 等创作平台,以及英伟达 Isaac Sim、Isaac Lab 等机器人仿真平台开放数据与三维资产。

甚至,在咱们普通人的日常生活里,Kosmo 的数字触角都已经悄悄铺开了:9 月云栖大会上,Kosmo 与近 10 亿月活的高德达成战略合作,首批重建的「重美术馆」「偏锋画廊」已上线扫街榜「飞行街景」,出门前就能在手机里先逛一圈。文旅这边,Kosmo 与联合国合作伙伴 TRIC 合作,以成都杜甫草堂为蓝本打造沉浸式数字艺术作品,让故居空间成为可远程体验、继续创作的三维素材。

Kosmo与TRIC重建成都杜甫草堂数字场景

下一站,物理 AI

「数字 AI 已经起飞,而物理 AI 的基础设施仍亟待建设。」

禾赛联合创始人、CEO 李一帆的这句话,道出了 Kosmo 背后的另一层野心。AI 要从屏幕里走出来,光有聪明的大脑还不够,它得有真实世界的数据可学,也得有能把动作做出来的手脚。过去十余年,禾赛死磕激光雷达一件事,硬生生把芯片级全栈自研、光电系统和车规级智造做到了极致。据介绍,激光雷达交付量已连续 9 年实现翻倍式增长。

禾赛激光雷达出货量与市占率数据

李一帆说,这并不能叫做「转型」。转型是造飞机的去卖大米;而禾赛攒下的光机电设计、定制芯片和成本质量体系,本来就不只属于汽车,往机器人走,是能力的外延。

顺着这条路,禾赛给自己划出了两条路线:三维世界数据引擎,负责把现实变成训练与创作素材,Kosmo 就是这条路线的首次系统性产品化落地;机器人运动引擎,负责让机器真正动手,它的核心是动力模组,驱动手指和关节,决定机器人能否把动作做得有力、精细。

这一块的重要性,常被只盯着大脑和世界模型的人低估。汽车只有前后、左右两个自由度,人形机器人轻轻松松近 100 个。李一帆算过,驱动和关节占掉一台机器人一半以上的成本,相当于电车时代的电池。更尴尬的是,此前根本没有成熟供应链。第一批做灵巧手的团队,小马达从哪儿来?答案是电动牙刷。

采用禾赛动力模组的 Sharpa Wave(W01)触觉灵巧手,具备 22 个主动自由度,并已进入英伟达 Isaac GR00T 人形机器人参考方案。

英伟达Isaac GR00T参考人形机器人

按禾赛公布的数据,其动力模组体积比同类产品缩小 37%,功率密度提升至 3 倍;截至 2026 年第二季度末已交付超过 1 万套,正从灵巧手向全身关节拓展。在李一帆的规划中,三维世界数据引擎与机器人运动引擎,将成为禾赛的第二增长引擎。他甚至提前立了个 flag:禾赛的空间智能产品,最终会是一件比激光雷达更大的事。

过去十年,禾赛做的是让机器看见世界;下一个十年,我们要做的是让机器人理解并改变世界。

数字AI与物理AI2.0对比概念图

如今,皮克斯拿它的相机搞创作,机器人用它的数据练干活,世界模型也有了真实参照。虚拟世界的狂欢已经够热闹了。

下一场考验,就在真实的柜台前。AI 要走出来干活,得先把这个世界学明白。




上一篇:光猫也能刷OpenWrt?烽火HG5585F折腾PonWrt实录
下一篇:OpenAI揭秘万级Agent实测:36小时狂飙、日吞1万亿Token
您需要登录后才可以回帖 登录 | 立即注册

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-10-18 06:21 , Processed in 0.070749 second(s), 40 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表