让角色活起来。
两个月前，《代号Live》发布了首支玩法PV，这款二次元虚拟偶像互动养成产品终于揭开了神秘的面纱。
主角是一位由AI驱动的虚拟偶像Ria，“你”将成为她的偶像制作人，看她表演、陪她聊天，为她安排日程，陪伴这位少女一步步成长。
说起二次元虚拟偶像，或许大家对米哈游旗下的鹿鸣仍有印象。其实Ria与她，也有一段渊源。
《代号Live》背后的半图科技，由前米哈游“逆熵”团队研究负责人邢骏创立。邢骏此前在米哈游深度参与了鹿鸣的AI研发，离开米哈游后，他仍想继续探索3D角色与用户的互动。
为此，他找来了同样出身鹿鸣团队的伙伴，以及联合创始人段金玖。段金玖曾就职于字节跳动，拥有泛娱乐、内容平台、XR等领域的综合工作经验，也有丰富的创业经历。
近期，半图科技完成了单轮超过千万美元融资。据介绍，资金将用于人类行为模型研发、数据体系建设和团队扩充，推动AI原生3D互动场景的产品化落地。
“人类行为模型”这个词听起来或许有些难以理解，但先别急，故事仍然会从这位平易近人的小偶像说起。
AI虚拟偶像是怎样养成的？带着这个问题，葡萄君找到了邢骏，和他聊了聊《代号Live》与Ria，以及在她背后积累的各类技术。
01 从鹿鸣到Ria，偶像是怎样养成的？
在做Ria之前，邢骏已经和虚拟偶像打了好几年交道。
他在米哈游工作了五年，主要时间都在围绕鹿鸣开展AI研发，反复打磨角色细节、攻克技术问题。
邢骏分享，当时研发中一个很大的难点是角色的“大脑”。那时，团队主要依靠传统的自然语言处理技术，尝试让角色理解用户的话，并作出合适的回应，效果仍有局限。直到2023年，大语言模型的发展，让他看到了实现真正AI互动的可能。
谈起自己向往的体验，他提到了《Her》和《银翼杀手》。《Her》里的萨曼莎通过声音与主角交流，有自己的个性，也逐渐与他建立了亲密关系；《银翼杀手2049》中的Joi则以全息影像出现，让虚拟伴侣有了可见的形象。这样的交流和陪伴体验，与邢骏做鹿鸣时的追求相近。
Joi
“首先AI一定要有一个具体的形象，然后用户可以和它进行沉浸式的互动。”大语言模型刚兴起时，AI体验大多还停留在文本框里。但邢骏希望用户面对的是一个有具体形象的角色，交流时少一些刻板的客服感。
他认为，随着技术发展，AI的互动体验会逐渐往这个方向走。后来，他与擅长内容、美术的伙伴走到一起，开始寻找具体的产品方向。
运营团队观察到，现有的二次元游戏中，重度产品已经很多，但也有一部分用户只想和喜欢的角色聊聊天、简单互动，获得日常的陪伴。
同时，虚拟偶像互动养成这一方向也恰好契合半图团队的积累和技术基因。他们擅长AI动画和3D角色美术，尤其是二次元女性角色，手里也有大量舞蹈与表演内容的素材。围绕偶像的表演能力设计养成玩法，正好能用上这些经验。
因此，《代号Live》把角色的表演与成长放在了玩法中心。
表演是用户认识Ria最直接的方式。
团队对Ria的定位是一个活泼的少女偶像。策划、导演和美术负责人会先敲定Ria的表演风格，再由演员按要求表演、拍摄，转成符合角色风格的训练数据。
同时，团队也会从互联网的海量视频中提取人类动作数据，AI则通过这些数据学习Ria的动作与表达方式，生成互动中的动画内容。
不过，邢骏认为，短期内AI仍难以替代全部专业制作。因此，Ria的人设、剧情和玩法都选择了沿用传统的设计方式，角色模型的材质、绑定等细节也都由人工反复打磨，AI主要负责持续补充互动中消耗的动画、表情、语音和文本。
遇到需要突出角色特点的场景，团队会专门设计更有记忆点的动作，让演员补拍，再与AI生成的内容结合。如果动作有不自然、穿模的地方，则由技术团队继续调整。
人工设计确定角色风格，AI补充表演内容。这种制作方式，也让Ria在跟进热点时有了更灵活的更新节奏。
比如面对网上刚火起来的“闪身步”，团队就会收集相关视频，将其转成产品中使用的3D动画，配上表情与互动细节，再安排到合适的场景里。内容由服务器直接下发，新增表演无需等待完整的更新包。
“理想情况下，从网上出现一个热点内容，到用户在产品里看到Ria的表演，整个流程大约只需十几分钟。”
《I can't wait》
新舞蹈进入产品后，Ria会主动找用户分享自己刚学的舞蹈。通过这些主动的行为，新的内容会自然进入用户和Ria的相处日常。后续，他们希望进一步推动内容制作与投放流程的自动化，方便策划和运营持续更新，让Ria的表演更快跟上用户的兴趣。
看过表演，用户也会参与Ria台下的练习，为她安排每天的日程。
某类训练安排得越多，对应的属性就越高。比如持续练习某一类舞蹈，Ria在这方面的能力就会增强，后续的表演内容、结算动画也可能随之变化。用户与她的好感度、熟悉程度，同样会影响不同内容的触发。
这些变化发生在团队预先设计的框架内，AI根据关系与成长状态动态调整、切换内容，让互动在可控的流程中产生变化。
直播时打哈欠后会狡辩
养成之外，用户也可以与Ria日常聊天。据邢骏介绍，Ria通常能在三秒内作出回应，配合语音、表情和动作，交流过程很自然。
具体到日常相处，测试之后，团队发现用户对角色的期待，比他们预想得更细。
比如，《代号Live》提供了聊天、朋友圈和直播等场景。用户会希望，聊天里用过的特殊称呼、日常相处的习惯，以及共同经历的事情，Ria换个场景也依然记得。
“他们希望感受到，这个角色属于自己，自己也确实对她产生了影响。”
要维持这样的相处体验，角色的记忆与表达就需要保持连贯。邢骏称，聊天时偶尔偏离人设的问题仍然存在，这部分取决于语言模型与Agent的能力。团队目前会优先保证核心记忆与数值的连贯，尽量减少局部问题对整体体验的影响。
在记忆的运用上，团队目前尝试将它与表演、互动等内容关联。比如用户提到喜欢某款游戏，Ria后续就有机会模仿其中的角色，或主动聊起相关话题，让闲聊中留下的信息，在之后的相处里得到回应。
02 「我们不能凭空迭代技术」
Ria的这些互动是否稳定，考验的是半图背后的模型与工程系统。目前，邢骏的团队约60人，主要分为产品和AI技术两条线，分别推进《代号Live》与模型技术的研发。
邢骏认为，半图的优势集中在动画的数据获取、生成与训练，以及这些能力同美术、内容设计的结合上。要让角色持续与用户互动，动作、语音等多个环节都要配合起来，其中的开发门槛着实不低。
比如用户对Ria说一句话，语言模型要负责理解、判断回应，Agent组织接下来的互动，再由相关模型生成语音、表情与动作。角色说话时，手势要与内容对应，语气和表情也要一致。另一方面，用户没有输入时，系统则需要判定角色是否需要主动发起话题互动。
邢骏介绍，《代号Live》此前测试的参与总人数和同时在线人数都已达到相当规模。在他看来，实时表情生成、TTS（语音合成）等单项技术的壁垒未必很高。但把它们与动画、Agent和内容设计结合，实时提供完整的互动体验，并在大量用户同时在线时保持稳定运行，难点就多了起来。
这套系统中，他最有信心的部分，是角色的动画与行为，也是半图研发人类行为模型的基础。
他们将人的行为视为一种数据模态。就像文本记录语言，语音承载声音，而人的动作及其与他人、环境的互动，同样包含着信息。
半图科技希望为这些行为建立统一的数据表达，通过训练，让模型理解指令、输出动作，并应用到不同角色上，这就是文章开头所说的“人类行为模型”。
人类行为模型连接着上游的多模态理解与下游的3D互动输出。模型接收指令后，还要结合角色的经历与当前情境，判断她该怎样行动。用户说话的语气、场景中的音乐，乃至身边的人和物体，都可能影响她的反应。
那么，如何训练模型，输出更真实的人类行为呢？
首先，需要解决高质量动作数据的获取问题。
邢骏介绍，创业之初他们就发现，目前市面上的数据质量较低，比如缺少手指动作，骨骼结构也未统一，很难同时满足他们对动作细节和表演质量的要求。自己用光学动捕采集，一天的开销可能上万元，还需要排期、约演员，能采集的动作类型和数量都有限。
离开米哈游后，他带领团队研发了视频转3D动画的能力，从互联网的生活、舞蹈、体育和影视互动视频中提取动作，再处理脚滑、穿模和重心不稳等问题，用于模型训练。专业演员的采集，则补充符合特定角色风格的表演。
这让半图有了持续、低成本获取丰富动作数据的方式。目前，半图已积累50万小时级的相关行为数据，并持续扩充手部操作、人与物体交互等类型。
按他的介绍，过去用传统的动捕和动画制作方式做高质量的成品动画，一分钟可能要花几万元甚至更多，如今在半图科技的技术加持下，价格只需原来的几百分之一。尽管生成结果用于PV时，仍需人工修整，但综合来看，仍然降低了不少成本。
其次，要制作高质量的虚拟人，离不开团队过去的制作经验。
邢骏并不认为视频动捕本身是一项新技术。他认为半图的优势，在于知道高质量动画需要处理哪些细节，以及美术与算法该怎样配合。有些难点，只有真正做过才会发现。
他举了一个拍手的例子。拍手是一个非常简单的动作，但是捕捉后的动作转到虚拟角色身上，两只手却未必碰得上。
演员与角色的身材比例不同，即使用高精度光学动捕，简单迁移也很难保证接触准确。这时候，手指姿态和接触位置都需要进一步处理。
邢骏分享道，这类细节其实已经超出了学术研究的关注范围。一些研究中的动画连手指都没有，更谈不上处理手指之间的接触。但在高品质的二次元项目里，类似双手悬浮的细节问题很容易影响用户眼中的表演效果。
他过去已经处理过不少这样的细节。邢骏回忆，当初米哈游集合美术、算法与工程团队，投入动捕设备和场地，围绕鹿鸣反复打磨了两年多。许多问题，都是在实际制作中逐渐发现、解决的。
在他看来，愿意为一个角色投入这么多资源的项目并不多见。这段经历给了他和半图较高的起点。创业后，他们又花了两年迭代动画理解与生成技术，将过去的制作经验用于数据获取与模型训练。
邢骏认为，动画、美术与AI之间长期磨合形成的经验，构成了半图现阶段的技术护城河。后来者要从头投入资金和人才，这也给半图留下了继续积累、探索产品形态和商业化的时间。
至于模型应该生成什么样的动作、服务什么样的角色，则需要一个具体的应用方向来探索。
“我们不能凭空去迭代技术。研究也需要明确的人设定位和策划方向，才能确定从哪些数据类型、哪种表演风格入手。缺少具体的产品，研发方向就容易分散，也很难把细节打磨到极致。”
《代号Live》提供了这样的机会，也让团队通过用户反馈检验互动效果。他也希望产品的商业化探索能支撑公司对技术的持续研发。
团队称，在2026年9月完成的新一轮测试中，《代号Live》的次日和5日留存分别达到72%和57%，测试用户人均每日发起的AI互动轮次接近200次。团队会结合这些数据与用户和Ria相处的具体情况，判断产品方向，并据此调整下一轮的内容制作、数据采集与模型训练。
据邢骏介绍，他们已经在测试中跑通实时多模态互动流程，接下来希望进一步精简过长的技术管线，提高训练数据与标注质量。
具体到用户体验，语音和表情反馈仍需打磨。团队正在寻找更适合Ria的声线和表演方式，并调整相关数据与美术细节。
“还是要尽快把技术优势转变成产品优势。”邢骏希望这些打磨能将技术优势最终转化为更好的体验，让用户逐渐形成使用习惯，并让角色在长期陪伴中成长为IP。
03 「把行为智能进行标准化输出」
实际上，围绕Ria积累的技术，已经开始服务于《代号Live》之外的团队。据邢骏介绍，半图的视频转3D动画能力已完成产品化，已有厂商使用。行为生成、Agent及更完整的互动服务，也在逐步封装。
“我们并没有专门为了ToB去做一套技术，其实就是现成技术的封装。”
半图计划先从动作生成入手，帮助厂商以较低成本获取高质量动画或训练数据，再根据不同产品的需求开放更多能力。
比如，游戏公司有自己的策划与制作流程，更适合按需接入某项功能。按照葡萄君的设想，或许这套能力可以让NPC根据对话内容做出更自然的动作，或加入UGC玩法，让玩家用文字指令编排角色的动作，制作一段舞蹈或小剧场。虚拟直播与AI陪伴产品一般则需要整套服务，让3D角色理解用户，并通过语音、表情和动作回应用户。
为了适配不同角色，半图未来还计划提供表演风格模板，让开发者能通过文本定义表达方式，或拍摄标志性动作，补充更具体的角色锚点设计。
随着研发推进，邢骏对技术应用的判断也有了更深入的理解。起初，这些技术主要服务于自家产品，帮助团队打磨AI互动体验，让用户通过角色的演出产生共情与连接。如今，在继续完善产品的同时，他也希望将这些能力标准化、通用化，让它们能用于更多行业。
“我们最终希望成为一家提供行为智能的基础设施公司，像大模型公司一样，对外提供Token能力，同时提供配套的解决方案。”
同时邢骏认为，人类行为模型的应用，也可能延伸到虚拟角色之外，比如世界模型。
在他看来，当下的世界模型更多关注物理规则与自然现象，对人的行为研究相对有限。但一个面向人的可交互世界，是需要理解人的行为及其发生的情境的。
“我觉得世界模型里面非常重要的一环，就是对人的行为的理解。”
他认为，行为模型有望补充这部分能力，让可交互世界中的角色根据情境作出更自然的反应。
此外，邢骏也看好行为模型在具身智能中的应用。机器人进入家庭，除了保持平衡、控制运动，也需要理解情境与人的指令。看到人时打招呼，听到要求后完成动作，都涉及行为的理解与执行。在他的设想中，行为能力具有通用性，有机会从虚拟角色延伸到机器人。
据介绍，半图已经在为国内头部具身智能公司提供行为驱动能力，并持续探索机器人与人、物体互动的相关能力。
当然，这些设想距离落地还有一段路。眼下，半图仍要继续打磨《代号Live》，逐步开放技术服务，并吸引更多AI与动画方向的人才。邢骏希望，围绕Ria积累的关于人类行为模型的能力，最终能被更多产品使用。
“如果我们能提供一种通用能力，满足未来更多应用场景的需求，公司就会有更大的可能性。”
在云栈社区上，关于AI虚拟人与行为智能的讨论也值得持续关注。
发表于 昨天 21:06
|
查看: 10|
回复: 0
