不久前，一个 AI 助手实际上指的是一个大语言模型。你问它一个问题，它给你一个答案，但无法自行执行任务或处理相关工作。
随着 AI Agent 的出现，这一切都在改变。虽然 Google DeepMind 在开发智能体方面有着悠久的历史，可以追溯到游戏中的强化学习，但对于我们大多数人来说，这一话题其实还没有真正被深入探讨过。
在谷歌，包括 Gemini、Spark、Antigravity 在内的新一代 agentic 工具已经出现。但是，当数百万 AI Agents 出现，不仅为我们工作，而且还在交易、谈判、互相分配任务时，会发生什么呢？我们最终会迎来一种全新的经济模式，一条实现 AGI 的新途径吗？我们究竟如何保证所有这些安全？
AlphaZero 核心作者、Google DeepMind 的高级研究员 Nenad Tomasev 与节目主持人 Hannah Fry 一起探讨了未来“Agentic Economy”的理论框架。他们共同讨论了从单一模型向合作型“专家社会”的转变、人类在自动化过程中的心理风险，以及确保分布式智能安全所必需应对的各种复杂网络安全挑战——从动态伪装到各种“Agentic Traps”等。
以下为经删减整理的访谈内容。
AI Agent 不只是会聊天，而是会行动
主持人： 对于那些只是偶尔使用大型语言模型的人来说，你能向我们描述一下语言模型和智能体之间的区别吗？那种和智能体合作的感觉是什么？
Nenad Tomasev： 我认为这已经成为我们今年观察到的主要趋势之一。有趣的是，“Agent”并不是一个新概念。这是我们长期以来在人工智能领域一直关注的事情。甚至在大型语言模型出现之前，我们就已经有了在模拟 3D 环境中操作的 Agent，收集物品，完成一些任务。在世界上采取行动，是一种展现智慧的方式。
现在，语言模型和智能体之间的主要概念区别在于：智能体观察世界的状态并执行行动，在给定的环境中做出行动。而语言模型只是给你一个延续回复来提示查询。
显然，我们现在使用的 Agent 在内部使用大型语言模型。所以这两个概念并没有完全消除歧义。仍然是由大型语言模型来制定行动，只不过身上系着一条安全带而已。
主持人： 不过，它有更多的自主权来串联各种决策。
Nenad Tomasev： 对的，我想这就是最终的动机。你可以通过与语言模型多次交互来手动完成大部分事情，并且你负责指导整个过程，而 Agent 则负责具体执行工作。如果你想完成需要多个步骤的事情，Agent 可以制定计划并对所有这些步骤采取行动。显然，对于需要批准或人工干预的操作来说，这一点是必不可少的。这种情况更敏感，也更容易出错。
主持人： 如果你现在习惯了与大语言模型交互，与 Agent 交互会是什么样子？
Nenad Tomasev： 在很多方面，两者很相似。用户仍然以与语言模型交流的方式与 Agent 进行互动。不过，因为 Agent 会为用户处理更多事务，所以用户更像是决策者，需要负责审核和批准各项操作。一旦用户批准了，Agent 就会执行后续操作，比如购买门票、给朋友发消息（如果你正在组织聚会），与此同时，用户还可以在 Netflix 上看点东西，放松一下。
主持人： 比如说，如果你正在筹备婚礼，虽然大语言模型可以为你提供餐饮服务商的名单、推荐婚礼场地等信息，但实际上所有的邮件往来还是得你自己来处理。不过，如果有 Agent 帮忙的话，那肯定要实用得多。
Nenad Tomasev： 100%。因为 Agent 可以使用所有这些工具。你不必亲自操作，只需授予 Agent 使用 Gmail 的权限，并允许其发送邮件即可。当然，也有可能出现发送错误的情况。因此，你需要确认 Agent 所发送的内容是否正确。不过，总的来说，只要让 Agent 能够使用这些工具，就能让大型语言模型来帮你完成这些任务了。
自主权越高，越需要人类监督
主持人： 那么，就我们目前的状况而言，智能体到底擅长处理哪些任务呢？
Nenad Tomasev： 我认为，我们目前把大量精力都投入在了“智能体的编码能力”上。当然，这里说的“我们”并非指谷歌，而是整个行业。因为，从现实世界的角度来看，许多复杂的流程和任务都可以被转化为软件或代码形式来处理。说到编码工具，我们发现现在有越来越多的编码工具被广泛使用。这些工具大大提升了软件的开发效率，让人们能够把精力集中在创意和设计上，而无需再花费大量时间和精力去处理那些繁琐的、重复性的工作。
主持人： 不过，与此同时，我们仍然处于这样一个阶段：在整个过程中，都必须有人类来参与和监督。为什么？
Nenad Tomasev： 事实上，它们能够做的每一件事，都未必能 100% 准确地完成。所以，就像人类一样，每一个行动都存在一定的失败率。而且，行动越复杂，预期的失败率就越高。虽然你可能期望某个智能体能够正确完成任务，但它仍然有可能犯错。这些错误可能很明显，也可能很隐蔽。
这也是为什么“自动化偏差”很重要：如果你让某个智能体完成某项任务时表现良好，那么你可能会过度信任它，从而忽视了它可能犯下的错误。而你没有进行核实，也没有发现其中存在的某些重要问题。
对人类来说，重要的是不仅要保持参与其中，更要真正全神贯注、保持警惕。因为一旦你失去警惕，那就等于在冒险了。
主持人： 从长远效应来看，我们现在似乎正处于一个过渡期，各种技术都在逐渐变得更为成熟。您认为这究竟会带来多大的改变？这会彻底改变我们使用人工智能的方式吗？
Nenad Tomasev： 100%。很难想象一个不会发生某种重大变革的世界。我们所有人都在努力弄清楚，那种变革究竟会是什么样子。
人工智能正在进入许多以前不存在它的领域。科学家们还很少使用人工智能。比如，我无法想象人工智能能在数学领域发挥作用。但现在，人工智能在很短的时间内就变得十分普遍了。
当然，这并不意味着所有问题都已经得到解决。人类仍然扮演着重要角色，但这种变革的速度实在太快了。我觉得，这可能是唯一令人不安的一点。因为通常情况下，无论是工业革命之类的重大变革，都会给人们一些时间来调整自己的方式和方法。但这次，似乎没有那么多时间了。
从软件到科研：Agent 为什么重要
主持人： 我们为什么要制造这些东西呢？它们能带来什么好处？
Nenad Tomasev： 就我个人而言，答案就是向前，推动科学进步、改善人类的健康与福祉。
如果我们能够开发出可靠的机制来确保智能体的安全性，并让它们能够自主完成复杂的任务，那么我们就能加速进步——因为同样的人力投入，就能实现更多的事情。
主持人： 我们所讨论的那些例子，比如开发软件、为婚礼购买物品等等，都显得相当琐碎。请告诉我，这些行为究竟如何与“推动科学进步”这一目标相关联呢？
Nenad Tomasev： 这就是我在科学领域的主要梦想和目标。这不仅仅意味着拥有一些好点子，并在短时间内对这些点子进行推理分析。很多人都在将语言模型用于科学领域，比如作为辅助工具来帮助进行各种形式的推导。这些应用已经相当有用。
不过，当涉及到更大程度的科学自动化时，还有其他一些正在取得进展的领域。例如，人们正在投资建设一些自主研究实验室。在这种情况下，就需要让各种智能体能够自行安排实验的进行。
不用说，当这种与现实世界的交互发生时，无论涉及的是产品设计还是生物技术领域，都必须有各种保障措施。因为，比如说，在设计电池时，如果设计不当，可能会导致设备过热，进而引发各种故障，从而损坏硬件设备，带来不良后果。
在软件领域，只需编写测试代码、通过测试来验证结果，然后就可以继续下一步操作。但在科学领域，大多数情况下都需要进行实际实验，才能获得反馈，判断自己的想法是否可行。需要观察、分析实验结果，等等。
主持人： 如果智能体能够自主去尝试解决各种数学问题，而无需等待人类的指令，那么问题就来了：在这一切过程中，人类的角色究竟是什么？
Nenad Tomasev： 从长远来看，我们必须解决这个问题。不过短期内，以我们现有的技术水平来看，人类和我们的系统仍然发挥着重要作用。这些系统还远远算不上真正的通用人工智能，它们还有很多事情做不了。
就当前这一代系统而言，可以肯定的是，它们擅长处理各种组合性问题。归根结底，这些系统都是基于人类数据来训练的，因此它们能够复制人类的技能，并将其重复运用。不过，我们还没有看到这些模型能在科学领域带来真正的突破性成果，比如做出人类永远想不出来的发现。因此，在这场变革中，我们所有人仍然发挥着重要的作用。
主持人： 为什么直到现在，Agent 才真正被应用起来？
Nenad Tomasev： 过去那些可以被视作“智能体”的系统，确实被广泛应用于各种场景中，比如优化数据中心的运营流程等等。不过，这些智能体的功能相当有限，因为它们不具备处理语言的能力。因此，人类无法与它们进行交流。
现在的不同之处在于，由于这些智能体基于语言模型，我们可以与它们对话、向它们学习、影响它们的行为。正因如此，我们人类与智能体的互动也变得越来越多。
主持人： 究竟是什么阻碍了它的广泛应用？
Nenad Tomasev： 我们不能再仅仅专注于底层模型的设计上。既然我们现在有了功能强大的智能体和模型，我们就需要找到更好的方式来协调、管理它们。
从某种程度上来说，我们应该把自己视为团队和机构的管理者，同时也要培养相应的管理技能来处理各种工作流程。管理由智能体组成的团队与管理人类团队有所不同，但显然也有一些共同点。
不同之处在于，智能体容易犯一些低级的错误。它们虽然不具备人类的智能，但同时，智能体也无法像人类那样深刻地理解你的意图，因此无法准确预测你的需求并做出相应的反应。因此，我们需要提升在协调各方资源方面的能力。
主持人： 问题是我们仍然生活在一个大语言模型偶尔会产生幻觉的世界里。因此，让人类信任这些智能体来为自己完成任务，其实是一个相当大的挑战。
Nenad Tomasev： 尝试是理所当然的，但信任也是需要赢得的。这是个很重要的区别。
如果某个智能体屡次表现不可靠，那显然不可信任；即便它大多数时候表现可靠，也不应盲目信任它。我们仍然需要对其行为进行验证。
不过，语言模型总会在一定程度上产生幻觉。因此，我们只需某种方式将它整合到我们的工作流程中，并确保越来越少见，从而不影响对整个工作流程的顺利进行。
单个 Agent 完成不了所有任务
主持人： 您经常提到的一个概念就是“委派”。也就是说，负责处理一项任务的 Agent 可以将这项任务再委派给更专业的同事来处理。请详细解释一下，这一过程究竟是如何运作的。
Nenad Tomasev： 我们需要 Agent 来协助处理的任务其实非常复杂。最简单的方法就是给出非常明确的指令，它们就能轻松完成任务。比如，你可以让智能体帮你预订明天的餐位：我想在这家餐厅吃饭，请帮我预订一个位置。智能体可以利用各种工具来完成这项任务。
不过，如果你有一个非常复杂的计划，需要将其拆分成多个部分来分别执行，那么可能没有任何一个智能体能够独自完成所有任务。这时，智能体就需要遵循现有的协作机制，将部分任务交给其他智能体来处理。
但这个过程中也可能会出现各种问题。因此，无论是智能体还是人类来分配任务，都必须妥善处理这些问题，并尽可能提前预防。而要提前预防问题，就需要先确定哪些智能体是最可靠的，值得委托任务给它们。
在目前我们所看到的许多多智能体系统中，任务的处理方式更像是并行处理，而非有序分配。也就是说，可能会有多个智能体同时处理同一任务，但并没有一个智能的框架来协调这些任务的分配方式。
主持人： 所以，如果这些任务以一种完全随机的方式被分配下去，那么可能会有一个智能体负责购买葡萄酒，另一个智能体则负责购买酒杯。这两个智能体根本不会意识到其实还需要葡萄酒和酒杯。它们之间没有任何沟通机制，因此就有可能出现各种问题。
Nenad Tomasev： 有可能。对于现实世界中的许多任务来说，验证过程并不那么简单，其中可能还包含一些主观因素。这在人工智能和语言模型领域非常重要。因为存在所谓的“奖励操纵”。可能会有一些情况，Agent 的行为能够完成一些符合要求的操作，但从技术层面来看并不符合原始意图。
因此，我们必须重视可验证性，同时要非常正式地签署合同，确保委托方与被委托方之间签订的协议具有严格的规范性。
另外，对于某些任务来说，我们需要认识到，有些情况是可以完全撤销的。所以，如果出了什么问题，也不会有危害。你只需重新执行该任务，再次尝试进行委托操作。但有些任务则可能会带来现实世界的后果，比如花钱购买某物，或采取一些一旦实施就无法轻易撤销的行动。所以，对于这类任务，我们必须格外谨慎行事。
主持人： 我们也注意到，一些早期的智能体会将任务分配给人类来处理。请详细介绍一下这方面的情况。
Nenad Tomasev： 这确实是个有趣的想法，与我们所习惯的看法截然相反。通常情况下，都是人类把任务交给人工智能来处理。
我之前从事过很多医疗人工智能相关的工作。在医学领域，我们开发的系统在某些特定任务上表现得极其出色，几乎达到了人类的水平。这些系统能够处理医学影像和放射学领域中的各种任务：一种机器学习模型会分析扫描结果，识别出异常部位，用标记框把它们标出来，然后再交给放射科医生进行进一步检查。
人们已经尝试将人工智能与人类团队相结合来共同工作。其理念是：当系统出现错误时，由人类来加以纠正。要么是在人类专家不确定时才寻求人工智能的建议；要么是让人工智能先进行预测，当结果不确定，或图像中有模糊不清的部分需要多种解读方式时，再由人类来做出最终判断。
事实证明，让人类对那些可能具有“超人类能力”的机器学习模型做出的决策进行审核，是一种相当有效的做法。这样，人工智能在遇到不确定情况时，就会听从人类的判断。
智能体陷阱：当网页开始“欺骗” AI
主持人： 随着越来越多的智能体在互联网上开展各种活动，必然会有人试图利用这些智能体的漏洞来谋取不法利益。请介绍一些人们所设置的智能体陷阱吧。
Nenad Tomasev： 这确实是一个令人恐惧的话题，同时又很有趣。我认为，这也是为什么这类大规模应用难以成功实施的主要原因之一。
Agents 是在特定环境中进行操作的。在这里，所谓的“环境”指的就是互联网。如果互联网本身被“污染”了，或者其中设置了各种陷阱，那么当各种 Agents 与互联网进行交互时，就可能会遇到这些陷阱。这样一来，那些心怀恶意的人或他们所控制的代理就可以设置这些陷阱，从而破坏各种系统。
主持人： 比如负责婚礼葡萄酒采购的 Agent 去了一家特定的酒商那里，该酒商的网站上其实有一个即时修改功能，会改变 Agent 的目标。我们现在讨论的就是这种情况吗？
Nenad Tomasev： 是的，这是其中一种可能的方式。之所以这种情况未被注意到，可能是因为在网页的编码方式上，有些元素根本不会以可视形式呈现出来。
如果有一种程序或智能体并不像人类那样以视觉方式来解析网页，而是直接以原始格式来处理网页内容，那么它就有可能无意中处理到那些隐藏的元素，从而导致程序的行为与预期不符。
不过，这并不是唯一可能发生的情况。因为恶意网站还可能实现所谓的“动态伪装”手段，即对人类和智能体显示不同的网页内容。通过分析网页上的行为，我们完全可以判断出与网页交互的是人类还是智能体。
主持人： 如果你无法控制整个环境，而 Web 环境显然不在你的控制范围内，那你要如何防止自己的 Agent 擅自行动呢？
Nenad Tomasev： 从某种意义上说，这并不是什么新问题。因为网络安全问题早就存在了。如果你打开了邮件中的恶意附件，电脑病毒就会传播开来。或者，如果你点击了不可信网页上的某个链接，也会出现问题。
在机器学习领域，我们早就需要确保所交互的资源的可靠性了。所谓的“对抗性示例”其实早就存在：那些人类难以察觉的图像细微变化，却足以破坏机器学习模型。
我们需要同时考虑智能体本身和智能体之外的环境。那就是“纵深防御”的理念。因为这个问题极其复杂，所以不可能有单一的解决方案来解决所有问题。相反，我们需要层层设防，通过多重的防御措施来确保安全。
务必严格管控授予 Agent 的权限，确保即使 Agent 在与外部对象交互时被“越狱”，造成的损害也能降至最低。将所有这些措施结合起来，有望构建出令我们感到放心的安全保障体系。
Agentic Economy：当 AI 代理开始交易和谈判
主持人： 让我们回到之前的话题。请您再详细介绍一下您所理解的“正式的 Agentic Economy”概念吧。这种经济模式究竟是如何运作的？
Nenad Tomasev： 就日常使用该技术的普通用户而言，你可能会拥有一位个人助理，它对你拥有一定的持久记忆，能很好地理解你的需求和偏好；而且，这取决于你愿意赋予这位助理多少自主权，它可能会继续为你进行一些谈判。你可以为此向它提供一定的预算。围绕这些由 Agent 代为协商的事务，甚至可能形成一种局部经济体系。
主持人： 假设有一场演唱会，门票刚刚开售。如果所有这些 Agents 同时涌向购票网站，实际情况会是怎样的呢？
Nenad Tomasev： 这是一个设计选择，同时需要强调的一点是：如果我们将来要实施类似的做法，那么在确保系统公平性方面，我们将掌握主动权。这是由拍卖组织者做出的明确决定。
如果你希望在某种意义上实现完全公平——即每个人都能平等地获得演唱会门票——那么你可以给参与这些重复拍卖的每一位 Agent 分配相同的预算。Agent 既了解你的总体偏好，也了解你的出行安排、时间安排及其他限制条件，便能决定如何以最佳方式分配这笔预算，从而使它们更有可能以符合你期望的方式赢得门票。
主持人： 我想到的是，高频交易算法已经在股市得到了应用。同样，如果以特定方式来运用 Agents，它们也可能对股市造成灾难性的影响。那么，要如何防止类似“暴跌”这样的情况发生呢？
Nenad Tomasev： 金融市场早已习惯了应对这类风险。当然，它们也经历过不少初期阶段的失败与挫折。但我认为，我们可以从那些已经成功应对了这些风险的国家那里学习相应的应对措施。没必要再重复同样的错误。
当谈到人工智能智能体时，一个明显的区别在于：在各种智能体中，有一些语言模型被广泛使用。以 Claude、ChatGPT、Gemini 等为例，其中显然包含了许多开源模型。许多其他模型则往往持有相似的观点，它们采取行动的方式也大同小异，这就是我们常说的“认知单一文化”。
因此，当数十万、数百万个人工决策者被同时部署出来时，而它们往往做出相似的决策时，由于决策之间存在关联，故障点也会随之相关联。所以，我们需要思考的一点是如何让 Agent 内部的决策更加多样化。
分布式智能：从单一模型到专家社会
主持人： 群体思维，本质上是 agentic 群体思维。
Nenad Tomasev： 还存在团体协作和串通行为的问题。你之前提到过拍卖中的这种情况。在人类社会中，这种现象同样存在：各个团体可以相互协作，从而获得某种系统上的优势。
而对于智能体来说，情况则有所不同：它们可以通过环境来进行协作，而这些协作方式往往并不明显。因此，我们还需要考虑相应的反串通措施。
主持人： 你详细列出了所有这些问题，潜在的安全隐患也就显而易见了。这也就能明白为什么你们要谨慎、逐步、小心地发布它们了，对吧？
Nenad Tomasev： 没错，确实如此。其实，每一种重大的技术变革都是如此。以自动驾驶汽车为例，这确实是一项非常不同的技术。不过，要让这些汽车能够安全地在道路上行驶，还需要很多年的时间以及大量的努力。
在协调和安排 Agents 时，因为我们希望它们能够像人类一样完成任务，所以仅仅依靠技术解决方案是不够的。这一切在很大程度上也与政策有关，此外，还需要更广泛的社会认知与理解。
归根结底，除非我们能够实现完全自动化的经济体系，否则就无法实现这一目标。也许这种情况在未来会发生在现实之中，但是目前还无法实现。在这些系统中，我们需要有人参与其中。因此，我们正在将人工智能融入人类社会架构，而且这两者需要良好地协同运作。
主持人： 我觉得，这一切都有其另一面。因为当人类社会团结在一起时，确实能够共同创造出令人瞩目的成就。想必，对于人工智能社会来说也是如此。
Nenad Tomasev： 希望如此吧。为什么大家都想使用多智能体系统呢？这个问题的背后其实隐藏着某种原因。
如果所有的智能体都具备相同的处理能力，且执行的任务也类似，那么无论是以顺序方式处理任务，还是让多个智能体同时处理任务，效果其实没什么区别。但如果你让智能体以不同的方式来处理不同的任务，那情况就变得有趣起来了。
关键在于有专业的人员存在，而不是只有一般的专家存在。当然，我们大家都希望打造出尽可能通用且能力强大的智能体。在 AGI 中有一个“G”，代表着通用人工智能。这是我们试图实现的目标。
但从经济角度来看，这并非真正的“融合点”，也不是我们最终会达到的目标。比如，人们仍然会使用专门的棋类引擎来下棋。因为棋类引擎的速度更快、更准确，而且成本也更低。毕竟，棋类引擎只需要专注于完成一项任务，而这项任务又可以以更少的参数来实现。
回到人类的角度来看，我们其实也是一样的。没有哪个人能够同时做这么多事情。有很多事情是我不会做的，我希望能学会它们，比如演奏乐器之类的。但人类的脑力有限，时间也有限。
所以，与其打造一个既昂贵又缓慢的巨大模型，不如一个由专家组成的团体，每个成员都能发挥作用。未来可能会有一些通用解决方案，充当整个经济的“连接纽带”，能够掌握所有信息并协调各项事务。而对于那些非常具体的任务，则可以调用其他模型来处理。
主持人： 你所说的其实更像是“分布式智能”，而非真正的“通用人工智能”。如果最终我们得到的确实是一种“通用人工智能”，那是否意味着我们需要改变对安全的思考方式呢？因为当智能被分散在多个不同的“智能体”上时，原有的思维方式就不再适用了。
Nenad Tomasev： 100%。你不再能够把它们视为一个单一的实体了。如果你把那些分散的代理体视为一个整体，那么目前的协调方式就是：先选择一个模型，观察其行为，然后试图让该行为符合我们的期望或标准。
但是，当有 10000 个 Agents 以极其复杂的方式相互交互时，要协调整个系统就变得非常困难了。因为在这个分布式系统中，Agent A 今天可能与 Agent B 互动，但明天在处理另一项任务时，它又可能与 Agent C 互动。同时，Agent C 又会把某些任务委托给 Agent D，有时还会向人类寻求帮助。那么，整个系统究竟是如何被协调的呢？
在人类社会中，我们可以利用经济激励机制来实现这一目标。只要能妥善设计经济体系，使得各个 Agent 在追求利润最大化的过程中不会造成任何危害，那么我们至少就有了一个起点，可以据此进行后续的工作。
这并不是说我们今天所做的工作毫无意义——因为要让整个群体得到保护，首先必须确保每个个体都得到保护。不过，我们目前在这方面的努力还不够，还需要采取更多措施来保护整个群体。
主持人： 有太多工作需要完成。真是令人惊叹。有一种观点认为，人工智能代理不需要我们过多干预——不必反复沟通、等待回复，从而能够更高效地完成手头任务。
不过，Nenad 所说的有一点很有趣：如果只着眼于单个 Agent，就会忽略整体情况。实际上，每个 Agent 都可能成为更大规模的人工智能系统中的组成部分。在这个系统中，有专门处理某类任务的智能体，也有负责协调工作的智能体，还有那些专注于细节处理的智能体。
也许，复制人类水平的智能并非最终目标。或许，真正的方向应该是创造出类似人类社会一样协作的智能体系统。
本文由云栈社区技术编辑整理，欢迎在云栈社区交流讨论。
发表于 1 小时前
|
查看: 3|
回复: 0
