找回密码
立即注册
搜索
热搜: Java Python Linux Go
发回帖 发新帖

3464

积分

0

好友

474

主题
发表于 5 天前 | 查看: 13| 回复: 0

数字开物科技品牌背景图

Anthropic CEO Dario Amodei访谈照片

2 月 14 日,Anthropic 联合创始人兼 CEO Dario Amodei 接受了知名播客主持人 Dwarkesh Patel 的深度专访。本次对话全面复盘了过去三年 人工智能 技术的跨越式演进,重点探讨了强化学习阶段 Scaling Law 的生效机制、AGI 实现的时间表、AI 在软件工程与机器人领域的闭环路径、大模型实验室的盈利模式与财务风险博弈,以及 AI 对全球治理格局的潜在影响。

Dario Amodei 指出,行业已极度接近指数增长的末端。他强调 Scaling Law 在强化学习阶段依然稳固,模型表现与训练时间的对数呈清晰的线性关系。基于此,Dario 提出了一个极具冲击力的预测:他有 90% 的把握在 10 年内实现 AGI,甚至认为具备顶级人类专家水平的“天才集群”在未来 1 到 3 年内实现的概率高达 50%。

针对 AI 融入经济的阻力,Dario 驳斥了“扩散迟缓是因为能力不足”的论调。他披露 Anthropic 营收正以年化 10 倍的速度爆发,从 1 亿、10 亿迅速跨越至百亿美金量级。他指出,依靠百万级以上的上下文窗口和强大的预训练泛化能力,AI 能够瞬间掌握人类需要数月才能建立的复杂背景。对于软件工程,他预测 AI 将在 1 到 2 年内实现从代码编写到技术决策的端到端自动化。

Dario 深度拆解了前沿实验室的盈利逻辑。他指出,目前的亏损并非源于研发投入过大,而是数据中心预建与市场需求预测之间的错位。他认为在 Scaling Law 的对数线性特征下,研发投入占比若超过 70% 将遭遇严重的边际收益递减。因此,Anthropic 选择了审慎的算力扩张策略,通过精准匹配千亿级市场需求来对冲破产风险,而非凭热血进行数万亿美元的盲目豪赌。

01 Scaling Law 的本质与强化学习的普适性

我们在三年前聊过 Scaling Law,当时趋势清晰,即算力提升能改善模型损失。但现在我们进入了强化学习(RL)的扩展阶段,目前还没有公开的规律。大家不清楚其逻辑是教模型特定技能,还是培养元学习能力。过去三年在你看来最大的变化是什么,以及目前这一阶段的扩展假设究竟是什么?

Dario Amodei: 广义上讲,底层技术的指数级增长趋势基本符合我的预期,误差大概在一两年之间。我未必能精准预见到代码能力的具体演进方向,但从整体趋势来看,模型从具备聪明高中生的水平,到优秀大学生,再到开始胜任博士生或专业人士的工作,甚至在代码领域表现更强,这种进步节奏基本都在预料之中。虽然前沿领域的发展不那么均衡,但大体趋势没变。最让我惊讶的是公众竟然没有意识到我们距离这条指数曲线的终点有多近。在我看来这简直不可思议,圈内圈外的人还在为那些陈旧乏味的政治热点争论不休,而我们其实已经快走到指数级增长的末端了。

其实我的假设自 2017 年以来就没变过。我之前写过一篇名为大块算力假设的文档,这不仅仅是针对大语言模型的扩展。当时 GPT-1 刚问世,大家还在尝试各种路径,有的在搞机器人,有的试图把推理作为独立于语言模型的能力来研究,此外还有 AlphaGo、OpenAI 的 Dota 战队以及 DeepMind 的 AlphaStar 展现出的强化学习扩展能力。那篇文档探讨的是更普适的规律。几年后 Rich Sutton 发表了著名的《惨痛的教训》,核心观点与我基本一致,即所有的精巧设计、复杂技术或是寻求新方法的努力其实都没那么重要。真正起决定性作用的只有几件事,我列出了七点。第一是原始算力的规模,第二是数据的数量,第三是数据的质量与分布,数据必须具备广泛的分布。

第四是训练时长,第五是需要一个能无限扩展的目标函数,比如预训练的目标函数,或者那种设定目标并去实现的强化学习目标函数。在强化学习中,既有像数学和代码这样结果客观且可验证的奖励,也有像 RLHF 及其高级版本中那种更主观的奖励。最后两点是关于归一化和条件化的处理,本质上是为了确保数值稳定性,让大块算力能像层流一样平稳流动,而不至于由于数值问题崩盘。这就是我至今依然坚信的假设,目前我还没看到任何违背这一规律的现象。预训练阶段的 Scaling Law 就是最好的证明,而且它还在持续发挥作用。现在的变化在于,我们发现强化学习也遵循同样的规律。在预训练之后叠加强化学习阶段,其扩展效应是一致的。甚至有其他公司在发布报告中提到,在数学竞赛题目上训练模型时,模型表现与训练时间的对数呈线性关系。这种现象不仅局限于数学竞赛,在各种强化学习任务中都屡见不鲜。

Rich Sutton 认为如果算法掌握了学习核心,就不需要耗费巨大算力去学特定的 Excel 等技能,现在的现状说明我们没找到核心算法,扩展方向可能错了。既然 AGI 应具备即时学习能力,为什么还要做强化学习扩展?

Dario Amodei: 我觉得这里把几个本该区分的概念混淆了。这确实是个谜团,但可能并不影响最终结果。让我暂时撇开强化学习,因为我觉得在学习效率这件事上,强化学习和预训练本质上是一回事。回顾 2017 年开发 GPT-1 的时候,在此之前的模型训练数据非常局限,无法代表广泛的文本分布。当时用的是同人小说语料,规模也就十亿词左右。由于分布太窄,模型很难泛化,无论在特定语料上跑分多高,换个任务就不灵了。直到我们开始利用整个互联网的数据进行训练,例如通过抓取网页链接,模型才真正展现出泛化能力。我认为强化学习也正在经历这个过程,先从数学竞赛等简单任务开始,再到代码能力,然后推广到更多领域。随着数据多样性的增加,泛化能力自然会涌现。

不过这里确实存在一个差异,预训练需要数万亿个 Token,而人类一生根本读不到这么多书,这说明机器的样本效率确实不同。模型是从随机权重开始学习的,而人类大脑并非白纸,我们通过数百万年的进化获得了先验知识。或许我们应该这样理解,预训练以及强化学习更像是模拟了人类进化与长期学习的结合过程,将模型从白纸变成具备基础能力的 AI。而模型现在的上下文学习能力,则介于人类的长期学习与短期学习之间。这是一个层级体系,进化、长期学习、短期学习以及即时反应构成了一个光谱,AI 的不同阶段分别对应着这些位置,只是点位不完全重合。在这种情况下,虽然没有完美对应人类模式的模拟,但整体逻辑是通顺的。

如果 Agent 以后能通过上下文实现即时学习,为什么各公司还要投入精力构建各种 RL 环境教模型用工具和 API?

Dario Amodei: 我没法代表别人的想法,只能谈谈 Anthropic 的思路。我们的目的并不是教给模型每一种细碎的技能,就像在预训练中,我们不是为了让模型背下所有的句子组合,而是为了让它掌握泛化的能力。在 GPT-1 到 GPT-2 的跨越中,我亲眼见证了这种转变。当时我发现只要给模型一组数据,它就能自动补全模式并完成线性回归。它以前从未见过这些具体数据,但它学会了这种模式。所以我们构建强化学习环境的目的,本质上和十年前做预训练是一样的,通过海量数据的喂养,不是为了让它学会用某个特定的软件,而是为了让它实现真正的泛化。

02 AGI 在 10 年内实现的概率为 90%,且模型正从可验证领域向不可验证领域泛化

你认为我们已接近指数级增长终点,具体什么迹象让你觉得 AGI 就在一两年后,而非十年后?既然你非常强调任务的“可验证性”,这是否意味着你对模型具备通用泛化能力缺乏信心?如果 AI 无法完成写愿景备忘录等非编程核心任务,是否意味着软件工程无法完全自动化?

Dario Amodei: 这里有两种观点,一种激进,一种保守。2019 年我刚看到 Scaling Law 时,我觉得 AGI 出现的概率是 50/50,只是比大多数人预想的要高。但对于你提到的十年内实现数据中心里的天才之国,也就是 AGI 这一基本假设,我现在有 90% 的把握。之所以不是 100%,是因为世界充满了不可控因素。比如公司内部动荡、全球供应链断裂导致关键芯片产线受损等极端外部干扰,都可能让进程推迟。除去这 5% 的极端意外,还有 5% 的不确定性在于那些不可验证的任务。对于可以验证的任务,比如编程,我有绝对的信心。除去那些不可预知的外部因素,我认为我们在一两年内,最多不超过十年,AI 绝对能实现端到端的自动化。我唯一持保留意见的是那些难以即时验证的领域,比如规划火星任务、基础科学突破或创作伟大的小说。虽然我相信 AI 有可靠的路径去实现这些,但确实还存在一点不确定性。但在十年的跨度下, 90% 的把握已经是非常确定的判断了,认为这在 2035 年之前不会发生反而是不符合主流逻辑的。

Dario Amodei: 我之所以有信心,是因为我们已经观察到模型在从可验证领域向不可验证领域进行实质性的泛化。如果我们最终没能达到目标,那唯一的可能就是模型在完成了所有可验证任务后,在向其他领域泛化的过程中卡住了,没能填满剩下的空间。但这并不是一个非黑即白的问题。

Dario Amodei: 我不认为写愿景备忘录是软件工程师的核心职责,那是公司决策层的任务。但软件工程师确实需要编写设计文档,而现在的模型在写文档和注释方面已经表现得非常出色了。其实对于软件工程,我们已经非常接近自动化了。

03 软件自动化的谱系与“营收 10 倍速”增长

你衡量接近自动化的指标是什么?AI 写了多少代码与生产力提升是两回事。即便有 Claude Code 等工具,现实中并没看到软件行业复兴,这是否说明任务闭环的收益范围有限?既然 AI 融入经济比人类入职容易得多,为什么“扩散论”仍被视为障碍?

Dario Amodei: 大家经常误解我对软件工程的预测,我们需要看这个能力的谱系。大约八九个月前,我说 AI 将在半年内承包 90% 的代码行,这在很多地方已经实现了。但这只是最初级的指标,并不意味着我们能裁掉 90% 的工程师。真正的自动化谱系是这样的,从 AI 写 90% 的代码到 AI 写 100% 的代码,这之间就有巨大的生产力鸿沟。更进一步,是 90% 的端到端任务,包括环境配置、集群管理、功能测试、撰写备忘录等都由 AI 完成。即便到那一天,工程师依然有价值,只是他们会转向更高阶的管理工作。最后,才是对软件工程师需求的整体缩减。我在《技术的青春期》中用农业的发展做过类比,我们正以前所未有的速度跨越这些生产力阶梯。

Dario Amodei: 我同意你的部分看法,这确实是变革不会瞬间发生的原因,但我同时也认为其影响会极其迅速。现在存在两个极端观点,一端认为 AI 进展会停滞,扩散速度极慢,融入经济需要漫长的时间。经济扩散现在已经成了一个流行语,被用来当作 AI 无法取得进展或者进展不重要的借口。另一端则认为我们会实现递归自我改进,一切都会呈指数级爆发,甚至有人认为只要在曲线上画一条指数线,在实现递归后的几个纳秒内,我们就能在太阳周围建起戴森球。我这虽然是在开玩笑,但现在的观点确实分布在这两个极端。

Dario Amodei: 根据 Anthropic 内部的观察,我们看到了一种非常惊人的、每年 10 倍的营收增长。 2023 年营收是从零增长到 1 亿美元,2024 年是从 1 亿美元增长到 10 亿美元,而 2025 年则是从 10 亿美元跨越到 90 到 100 亿美元。而在今年的第一个月,这种指数增长依然在延续。你本以为它会慢下来,但仅在 1 月份我们就又增加了几十亿美元的营收。显然,这条曲线不可能无限延伸,毕竟 GDP 的总量是有限的。我猜测今年增长曲线会有所放缓,但这依然是一条斜率极高的曲线,非常惊人。我敢打赌,即便这种规模扩展到整个经济领域,它依然会保持高速增长。所以我认为更现实的情况介于两者之间,即变革极快但非瞬间完成。受限于经济扩散和实现任务闭环的需求,它需要时间,因为过程中有太多的琐碎环节。比如我需要在企业内部进行变革管理,虽然工具装好了,但我必须更改安全权限才能让它真正跑起来。或者我有一段旧代码用来在模型编译发布前进行检查,现在我必须重写它。虽然模型能做这件事,但我得先下达指令,而这本身就需要时间。我认为目前看到的一切都符合这个逻辑,模型能力呈快速指数增长,随后带动模型在经济中的扩散,这也呈指数级。它虽非瞬间完成,也不缓慢,它比以往任何技术都快,但并非没有极限。在 Anthropic 内部以及客户那里,我看到的都是快速采用,但不是无限快。

Dario Amodei: 我认为扩散是真实存在的障碍,且不仅限于 AI 本身的局限性。确实有人把扩散当成流行语,暗示这没什么大不了,但我指的不是那种情况。我不是说 AI 会像旧技术那样缓慢扩散,它会快得多,但不会是瞬间完成。举个例子,Claude Code 安装极其简单,开发者可以秒速上手。大企业的开发者没理由不像初创公司那样快地采用它。我们也在竭力推广,向大型金融、制药企业推销。这些大公司采用 Claude Code 的速度确实远超传统软件,但依然需要时间。任何产品,无论是 Claude Code 还是 Cowork,在社交平台上的个人开发者或初创公司中的普及速度,总会比在一家大型食品贸易公司快上好几个月。这涉及法务审批、全员配置、安全合规检查等一系列环节。公司领导层虽然有远见,但他们离一线很远,他们需要确认花 5000 万买这个东西是否值得,它到底怎么帮公司提高效率。然后还得逐级传达,制定几千名开发者的推广方案。我们每天都在处理这种对话。

Dario Amodei: 我们正努力让 Anthropic 的营收翻 20 到 30 倍,而不仅仅是 10 倍。很多企业为了追求效率,甚至愿意在常规采购流程中走捷径。Claude Code 的吸引力确实比普通 API 大得多,但也还没到让企业失去理智的地步。我不认为 AGI 或者所谓的“数据中心里的天才之国”会是一个具有无限吸引力的产品。它足够优秀,即便在营收数千亿美元的基础上,或许能带动每年 3 到 10 倍的增长,这在历史上从未有过,但它依然是有节奏的。

(关于 AGI 的体感)我明白你的意思,但有些人谈论扩散时,给人的感觉就像是能力其实已经到位了,只是扩散没跟上。

Dario Amodei: 我并不认为我们已经基本实现 AGI 了。如果我们真的在数据中心里拥有了“天才之国”,我们肯定会察觉。这个房间里的每个人、华盛顿的决策者都会知道。偏远地区的人可能不清楚,但我们绝不会错过这种迹象,现在显然还没到那个地步。

04 如何确保亿级上下文长度在模拟人类长期学习时不发生性能退化

以视频剪辑师为例,这类职业通常需要半年才能建立背景感知和审美直觉,AI 何时能像人类一样在工作中实时习得这些技能?目前即便处理纯文本任务,AI 仍缺乏与人互动迭代、越做越好的在职学习能力。编程的快速进展是否得益于外部代码库作为记忆支架,你们如何确保千万级乃至亿级上下文长度在模拟人类长期学习时不发生性能退化?

Dario Amodei: 我认为天才之国将能胜任,实现方式是赋予它对计算机屏幕的通用控制权。你可以把素材喂给它,它能通过屏幕上网,查你以前的采访,看社交媒体上的反馈,甚至直接跟你或你的团队沟通,查阅历史剪辑记录,然后独立完成工作。这取决于几点,目前阻碍落地的核心环节之一是计算机使用的熟练度。虽然基准测试并不完美,但进步是显而易见的。一年多前我们发布计算机使用功能时,在 OSWorld 上的得分大约是 15%,现在已经攀升到 65% 到 70% 了。虽然还有更难的指标,但可靠性必须过一个临界点。

Dario Amodei: (关于在职学习)这又绕回了在职学习的问题。很有趣,在编码 AI Agent 领域,人们并不觉得缺乏在职学习是阻碍它们端到端完成任务的原因。它们一直在进步,Anthropic 内部有些工程师已经完全不写代码了。针对你之前关于生产力的问题,我们有些同事以前要亲自写 GPU 内核或芯片代码,现在全交给 Claude 了,效率提升惊人。在 Claude Code 的用户反馈中,对代码库不熟悉或者没在公司干够一年并不是主要的投诉点。我想说的是,我们正在走一条不同的技术路线。当你说通过读取代码库, AI 就获得了人类需要半年才能习得的信息时,这恰恰证明了你所需要的一切都可以直接塞进上下文窗口。人类所谓的在职学习半年才能懂代码库,模型直接在上下文中就完成了。

Dario Amodei: (关于上下文性能)在 Anthropic 内部,这种提升是实打实的。我们面临巨大的商业压力,还要兼顾比同行更多的安全工作。要在坚守价值观的同时活下来,我们必须保持 10 倍的增长,我们没时间自欺欺人。如果工具不好用,我们根本不会在它身上浪费时间。我们每隔几个月发布的模型就是生产力的最终证明,AI 确实极大地提高了效率。这与其说是科研瓶颈,不如说是工程和推理的挑战。要提供超长上下文,你必须妥善存储整个 KV 缓存。在 GPU 显存中管理和调度这些海量数据极其困难。具体细节我已经不再跟进了,毕竟现在的模型架构已经从 GPT-3 时代的简单逻辑,进化到了复杂的 MoE 模型,一切都变了。关于你提到的性能退化,有两点可以分享。首先是训练上下文长度与推理上下文长度的区别。如果你只在短文本上训练,却强行让它处理长文本,性能肯定会打折扣。即便效果一般,公司可能还是会推出这项功能,但退化是难免的。在超长上下文环境下进行训练,本身就是一件极具挑战的事。我的直觉是,当我们建成那个天才之国时,这类问题大都会迎刃而解。如果要给个具体时间,我猜是 1 到 2 年,或者 1 到 3 年。准确预测很难,但我有 95% 以上的把握相信这一切在 10 年内定会实现。如果非要赌个近期目标,我有一半的把握认为就在未来 1 到 3 年。

05 投入 5 万亿美元算力的原因

Anthropic 曾预言到 2026 年底 AI 将具备诺贝尔奖得主的智力水平并能操作数字界面。既然“天才之国”指日可待,且市场规模巨大,为什么在算力扩张上如此保守,而不是现在就签下 5 万亿美元的算力合同?如果你真的相信顶级天才集群能带来数万亿收益,这种财务上的审慎如何对齐你对技术神速进步的预期?

Dario Amodei: 这两者其实并不矛盾。我们要考虑的是技术扩散的速度,它很快,不是瞬间完成的。即便技术在飞速进步,我也坚信目标就在几年内。但我不太确定的是经济层面的渗透速度。就算我们一两年内造出了天才之国,这数万亿的营收什么时候能真正到账?这很难保证是立竿见影的。可能要等一年、两年,甚至五年。即便技术突破如期而至,收入的增长也存在滞后。而在你投入巨资建设数据中心时,如果预测偏差了两年,那可能会导致公司破产。我在《仁慈的机器》里预测 2026 年或 2027 年左右能实现这种强大的 AI,但这只是起跑的发令枪。以医疗为例,治愈所有疾病是创造巨大经济价值的方式之一。但从实验室发现神药到制造新药,再到通过监管审批,需要漫长的过程。看看新冠疫苗就知道了,全球铺开也花了一年半。 AI 是天才,理论上能发明一切,但它也得遵守现实世界的规律。

Dario Amodei: (关于算力合同)即便我们有了脊髓灰质炎疫苗 50 年,盖茨基金会现在还在努力消除非洲偏远地区的最后死角。现实世界的渗透远比技术突破要困难,这是最极端的例子。我确定的观点是,变革会比历史上任何时期都快,但它依然有其局限性。再回到算力投入的问题。目前的曲线是年增长 10 倍。到今年年初,我们的年化收入是 100 亿美元。如果我盲目假设收入会一直保持这种增长速度,预测 2027 年底收入能达到 1 万亿美元,那我可能会签下 5 万亿美元的算力合同。可如果到时候营收只有 8000 亿,这中间几千亿的缺口足以让任何公司灰飞烟灭。我不能把公司的命运赌在那个理想的增长曲线上。如果增长率降到 5 倍,或者突破晚了一年,我们就破产了。所以,我们选择支持千亿级别的市场,而不是急于一步跨向万亿。我们宁可承担需求太旺盛导致产能不足的风险,也不愿承担步子迈太大导致破产的风险。

Dario Amodei: (关于行业投入)我所说的负责,核心不在于投入的绝对金额。虽然我们投入比某些同行少,但更关键的是我们是否经过了严密的财务推演,而不是凭着一腔热血在豪赌。我觉得有些公司可能根本没算过那张复杂的财务报表,不清楚背后的风险,只是觉得砸钱听起来很酷。我们深思熟虑过。我们专注于企业级业务,这比消费者市场更稳健,利润率更高,在激进与保守之间留出了缓冲地带。我们购买的算力规模足以支撑起极其乐观的增长空间,即便没能完全捕捉到那个完美的 10 倍增长,我们也能立于不败之地。如果不具体谈 Anthropic,但如果看整个行业,今年正在建设的算力总量大概在 10 到 15 吉瓦。这个数字每年大约翻三倍,所以明年会达到 30 到 40 吉瓦,2028 年可能达到 100 吉瓦,2029 年则可能达到 300 吉瓦。我在心里估算了一下,每吉瓦的建设成本每年大约在 100 到 150 亿美元。把这些数字汇总起来,就会得到你描述的情况,到 2028 年或 2029 年,每年的行业投入确实会达到数万亿美元,完全符合你的预测。

06 AI 实验室的盈利经济学

你们计划 2028 年开始盈利,但届时正是需要大规模投入建设“天才之国”的时候。盈利是否意味着你们在算力投资上系统性地留了余地?对于一个“天才”级别的智能,收益递减的门槛真的存在吗?如果通过扩大规模能带来巨大提升,为什么不把利润全部投入研发,而是追求账面盈利?

Dario Amodei: 盈利能力在这个领域是个很微妙的概念。我不认为盈利与否能真正衡量一家公司是在缩减开支还是在投资未来。我们可以建个模型来看看,我认为盈利往往源于你低估了市场需求,而亏损则是因为你高估了需求,因为数据中心必须提前建设。可以这样理解,这只是个理想化的典型事实,数字不一定精确,只是个演示模型。假设你有一半的算力用于训练,另一半用于推理,而推理的毛利率超过 50%。这意味着在稳定状态下,如果你建立了一个数据中心并且精准预判了需求,就能获得预期的收入。比方说,你每年支付 1000 亿美元的算力成本,其中 500 亿用于推理服务,产生了 1500 亿的收入,另外 500 亿用于训练。在这种情况下,你是盈利的,能赚到 500 亿利润。这就是这个行业目前的经济逻辑,或者说是我们对未来一两年的预测。导致不盈利的唯一原因是你获得的需求不足 500 亿。这时,你超过 50% 的算力都堆在了研究训练上,你就无法盈利。虽然你训练出了更强大的 AI 模型,但账面上是亏损的。反之,如果需求超出预期,研究算力就会被挤占,更多的算力转去支持推理,你反而更赚钱了。我想表达的是,你先决定算力的总量,虽然你对推理和训练的配比有目标愿望,但最终结果是由市场需求决定的,而不是由你决定的。

Dario Amodei: (关于研发配比)我明了。你的意思是,由于预购算力和实际需求之间的错位,有时会被迫产生利润,但这并不意味着盈利会持续。由于 AI 取得了巨大进步,你们会想把赚到的钱再投进去,建设更大的“天才之国”,所以结果依然是高收入伴随着高亏损。如果我们每年都能精准预测需求,理论上我们年年都能盈利。因为拿出大约 50% 的算力做研究,配合超过 50% 的毛利率和正确的需求预测,这就是个赚钱的商业模式。我认为这种模式是存在的,只是目前被提前的大规模建设和预测误差掩盖了。

Dario Amodei: (关于收益递减)但这里有个关键点,你确实想扩大规模,但要记住规模回报的对数特征。如果你把研发算力占比提高到 70%,可能只能让模型能力提升 1.4 倍,这只是一点点进步。由于 Scaling law 的对数线性特征,在那额外的 200 亿美元投入中,每一美元产生的边际价值都在递减。因此你可能会发现,把这 200 亿花在推理服务上,或者雇佣更优秀的工程师,回报反而更高。所以我说 50% 并不是一个死目标,它会随时间波动。我想表达的是,受对数线性回报的驱动,你会把业务中一个显著的比例投入研发,既不是 5% 也不是 95%,因为超过这个比例就会遭遇严重的收益递减。

07 AI 行业将形成少数巨头并存的稳定格局,且模型风格将具显著差异化

领先实验室目前均未盈利,未来将如何改变?当算力占据经济产出巨大份额时,其增长是否会受到整体经济规模的制约?如果 AI 研究高度依赖原始智力且具有天然扩散属性,前沿实验室如何维持护城河,是否会陷入类似云服务的同质化低利润竞争?

Dario Amodei: 现在的毛利率其实已经非常高了。之所以没盈利,是由于两个因素的叠加。一是我们仍处于算力指数级扩张的阶段。假设去年训练一个模型花了 10 亿美元,今年它产生了 40 亿收入,推理成本 10 亿。按这个典型数字算,毛利率 75%,扣除这些成本后,这个模型本身赚了 20 亿。但与此同时,为了维持指数级增长,我们今年要花 100 亿美元去训练下一个模型。所以从公司层面看是亏损的。也就是说,每个单体模型都赚钱,但公司整体在亏钱。我说的均衡是指,当我们拥有了“天才之国”后,模型训练规模的增速会相对平稳。也许投入还在增加,但不再是那种疯狂的指数跳跃,预测需求也会变得容易些。在某个点,规模会达到一个上限。在均衡状态下,我们依然会有算法改进,但训练新模型的投入将与当前模型持平。毕竟,整个经济体的资金不是无限的。

Dario Amodei: (关于增长极限)AI 驱动经济增长的速度会前所未有。目前算力每年增长 3 倍,但经济不可能每年增长 300%。我在关于 AI 发展的长文中提到,经济年增长率可能达到 10% 到 20%,但绝不会是 300%。所以最终,当算力占据经济产出的巨大份额时,其增长必然会受到整体经济规模的制约。

Dario Amodei: (关于竞争格局)我不认为这个领域会形成单寡头垄断。你会有少数几个主要玩家,就像云计算行业。云领域有三到四个巨头,AI 领域大概也是这样。原因在于门槛太高了。经营这种公司需要天文数字般的资本和极深的专业造诣。即便有人拿着 1000 亿美元说要来颠覆你,他不仅要投入这笔巨资,还得赌自己能在技术积累上赶超已经深耕多年的公司。新玩家进入的影响是毛利率下降。所以,经济中经常存在这种少数玩家的均衡。利润和利润率不是天文数字,但也绝不会是零。云服务就是个例子。虽然云服务比较同质化,但 AI 模型其实更具差异化。大家都知道 Claude 的强项不同于 GPT,也不同于 Gemini。不只是简单的 Claude 擅长编程而 GPT 擅长数学这种逻辑,而是更微妙的。模型擅长不同类型的编程,有不同的风格。这些东西实际上彼此完全不同,因此我预计会比在云服务领域看到更多的差异化。

08 AI 将在一两年内端到端接管软件工程,机器人控制难题将通过多种泛化路径解决

一旦我们在数据中心里拥有了“天才群体”,机器人技术是否能迎刃而解?目前机器人瓶颈在于 AI 无法像人类一样高效远程操作硬件。如果 AI 解决了这一问题,是否意味着机器人产业也会产生数万亿美元收益?此外,历史规律告诉我们,模型总在跨越各种“不可能”的鸿沟,你所说的“端到端完成工作”是否包括设定技术方向和理解复杂背景?

Dario Amodei: 我不认为这一定取决于像人类一样学习,它可以通过多种路径实现。例如,我们可以在各种模拟机器人控制的视频游戏中训练模型,或者在大量的虚拟机器人环境中进行训练,甚至只是训练它们控制计算机屏幕,让它们学会泛化。所以这一天终会到来,但不一定非要走模拟人类学习的道路。模拟人类学习只是路径之一。如果模型表现出拿起一个机器人,虽然不会用,但可以边用边学,这可能是因为我们突破了持续学习。但也可能是因为我们在海量环境中训练了模型并实现了泛化,或者是模型在上下文长度内实现了即时学习。具体哪种方式其实并不重要,这类能力的实现有多种殊途同归的方式。但我坚信,无论通过何种方式,一旦模型掌握了这些技能,机器人技术都将迎来革命性的变化,无论是机器人设计,还是控制机器人的能力。我们将更擅长制造物理硬件,也更擅长控制它们。

Dario Amodei: (关于机器人经济)机器人产业也会产生数万亿美元的收入,但它同样会经历极快、但并非瞬时完成的扩散过程。机器人技术会被彻底变革吗?是的,可能在 AI 突破后再多花一两年的时间。我想明确一点,持续学习可能根本不是一个障碍。我认为通过预训练泛化和强化学习的泛化,我们可能就直接跨过了这个阶段。事实上,纵观机器学习的历史,人们预设的很多障碍最终都在巨大的算力集群中消解了。人们曾经质疑模型怎么可能分清名词和动词,认为它们只能理解语法而无法理解语义,仅仅是统计相关性。历史规律告诉我们,很多看似难以逾越的鸿沟最终都会自然消解。

Dario Amodei: (关于软件工程)让我们回到现实的案例,比如代码。我认为在一两年内,模型就能端到端地完成软件工程师的工作。这是一个完整的任务目标,意味着 AI 将能够接管一整个人类活动领域。我所说的端到端,是指包括设定技术方向、理解问题背景在内的所有环节。我曾描述过这样一个光谱:从完成 90% 的代码、100% 的代码,到完成 90% 的端到端软件工程任务,再到 100% 完成。即使为软件工程师创造了新任务,模型最终也能胜任。

09 API 定价可能出现按效果付费或者按小时计费模式

随着 AI 逐渐替代远程员工,API 定价模式是否依然可行?模型输出一个“重启电脑”的建议和给制药公司一个“优化分子结构”的建议,其价值天差地别,定价 AGI 的正确方式是什么?另外,在编程代理竞争白热化的背景下,Anthropic 为什么决定亲自构建 Claude Code 而不是专注底层模型,或者利用你的背景开一家制药公司?

Dario Amodei: 我认为届时会多种商业模式并存且不断实验。其实我觉得 API 模式的生命力比很多人想象的要顽强。任何现成的产品形态都面临过时的风险。API 的价值在于它总能提供最接近底层的机会,让人们基于最新的技术成果进行构建。我预测 API 业务会一直存在,因为总会有成千上万的人想要尝试以不同的方式玩转模型。

Dario Amodei: (关于价值定价)当然,模型输出的每个 Token 价值并不均等。想象一下,如果有人咨询 Mac 坏了怎么办,模型回答重启试试,这类 Token 可能只值几美分。但如果模型对一家制药公司说:在你开发的这个分子里,你应该把那一端的芳香环移动到这一端,这样会有奇效。那么这些 Token 的价值可能高达数千万美元。能够体现这种价值差异的商业模式必然会出现。在某个阶段,我们可能会看到按效果付费或者类似劳动力派遣的按小时计费模式。

Dario Amodei: (关于 Claude Code 诞生)其实过程非常简单。我们拥有顶尖的编程模型,在 2025 年初左右,我意识到如果你是一家 AI 公司,利用这些模型可以显著加速自身的研发进度。我鼓励内部团队进行尝试。它最初被命名为 Claude CLI,在公司内部迅速走红,成了每个人的标配。我观察到这一趋势后心想:既然它在 Anthropic 内部这么受欢迎,我们应该把它推向市场。编程是我们工作的核心,我们内部这几百名员工在很大程度上代表了外部的开发者群体。我们既是模型的开发者,又是模型最深度的使用者,这种反馈循环让我们更清楚用户需要什么。至于制药公司,虽然我是生物学背景,但我们并没有运营制药公司所需的资源。

10 全球治理与监管博弈

在一个进攻占优的世界里,如何达成稳定的平衡?针对某些愚蠢的州级立法(如禁止情感支持 AI),Anthropic 为何反对联邦政府暂时禁止各州制定 AI 法律?你认为危险已迫在眉睫,但这种碎片化监管是否会对 AI 的核心收益(如健康长寿)造成损害?如果权力制衡机制在 AI 时代失效,人类社会原有的体系是否也会崩溃?

Dario Amodei: 在技术的青春期一文中,我对所谓的权力制衡持保留意见。我当时具体怀疑的是,指望三四家使用相似技术的公司能够互相牵制,或者指望它们能自我约束,这可能并不现实。我们可能正进入一个进攻主导的世界,单个聪明绝绝的 AI 模型就足以对全局造成破坏。我同意长远来看需要一套治理架构,既要捍卫人类自由,又要能监管海量的 AI 系统。我们需要思考如何防范生物恐怖主义,可能需要一套 AI 监测系统来全局监控这些风险,但其构建方式必须尊重公民权利。我最担心的是速度,变革发生得太快了,我们必须加快思考。

Dario Amodei: (关于社会平衡)我认为依然存在实现平衡的路径。世界各国政府可能需要通力合作,我们也可能需要与 AI 深入探讨如何构建社会结构,以确保这些防御机制能够落地。

Dario Amodei: (关于地方监管争议)我认为那项具体的法律(情感支持禁令)非常愚蠢,显然是由对 AI 潜力缺乏认知的立法者制定的。但当时被表决的核心议题是:是否要禁止各州在未来十年内进行任何 AI 监管,且前提是联邦政府目前并没有明确的替代计划。考虑到我在《技术的青春期》中列举的严重危险,我支持的方案是联邦政府应当主动介入并设定统一的优先管辖权标准。如果联邦政府不采取行动,地方标准的介入就变得很有必要。

Dario Amodei: (关于收益受损的担忧)在成熟的市场环境下,我并不那么悲观。当某项技术有巨大的利润空间且明显是更优选择时,监管很难真正阻挡它的落地。我不担心 AI 的收益在发达国家受阻,我只担心它们普及得不够快。真正的挑战在于欠发达地区,那里缺乏高效的市场机制。我们必须显著加强安全保障立法,从透明度入手是为了在不阻碍行业发展的前提下寻找平衡。

你们让 Claude 拥有一套宪法而非仅仅顺从用户,为什么设定特定价值观更好?这些原则应由谁决定,如何避免成为公司的“私产”?在国际博弈中,如果你拒绝向威权国家出售数据中心,是否牺牲了正和收益?

Dario Amodei: 这是一个层级权衡。通过让模型学习原则,其行为会更连贯,更容易处理极端情况。如果只给规则清单,模型并不理解逻辑。我认为模型本质上应是高度可修正的提线木偶,遵循用户任务,但如果要求它做危险的事,宪法护栏会生效。

Dario Amodei: (关于宪法的决策权)我认为可以有三种层面的迭代循环。第一种是公司内部,训练并修改。第二种是不同公司之间的宪法竞争,形成良性激励,让公众对比选择。第三种是社会参与,包括调研公众观点和让代表制政府参与,规定一套包含基础条款的底线宪法。

Dario Amodei: (关于国际博弈与威权体制)如果竞争各方都处于进攻占优环境,可能会陷入比核威慑更危险的博弈。这种格局极不稳定。我的另一个核心担忧是部分治理模式会利用 AI 强化对民众的控制。在 AGI 时代,增长和经济价值唾手可得,分配和政治权利才是焦点。我认为威权主义的性质会变得更加危险,我希望独裁统治在道义上会变得过时,成为一种“无法运作的制度”。

如果未来有人为这个时代撰写一部类似于《原子弹秘史》的作品,以回顾这段 AI 爆发的历史,你觉得在历史记录中最难捕捉、作者最容易忽略的信息会是什么?

Dario Amodei: 我觉得有几点。首先是在这个指数级增长的每一个阶段,外界对它的不理解程度之深。这是历史叙述中常见的偏见,任何真实发生过的事情,在事后看来都显得顺理成章、带有某种必然性。当人们回首往事时,很难设身处地地理解那些当时正在下注的人,他们押注的是一个并非必然的结果。比如我们曾就 Scaling Law 或持续学习能否解决进行辩论。我们内部的一些人认为成功的概率极高,但外界完全没有把这当回事。

Dario Amodei: 其次是这种进程的奇特性,以及遗憾的是它的封闭性。如果我们距离重大突破只有一两年时间,街上的普通人对此可能还一无所知。这也是我试图通过撰写备忘录、与政策制定者沟通来改变现状的原因之一。虽然我也不确定成效,但这确实是一种很疯狂的状态。

Dario Amodei: 最后我想说,这可能适用于几乎所有历史性的危机时刻,那就是一切发生得实在太快了,所有事情都在同一时间爆发。有些决策你可能以为是经过深思熟虑、缜密计算的,但实际上,你必须在做出那个决策的同时,在同一天处理另外 30 个决策,因为局势演变太迅速了。你甚至无法预判哪些决策最终会产生深远的影响。我担心的一点是,虽然这也是对现状的一种洞察,某些至关重要的决策可能诞生于非常仓促的时刻。比如有人走进我的办公室说,Dario,你只有两分钟,关于这件事,我们选方案 A 还是方案 B?对方塞给我一份半页纸的简要备忘录,我可能会说,我不知道,我还急着吃午饭,选 B 吧。而这个决定最终可能成了影响最深远的一笔。

11 将 40% 的精力投入文化建设

通常科技公司的 CEO 不会每隔几个月就写长达 50 页的备忘录。你成功地为自己塑造了一个能与知识分子工作方式兼容的 CEO 角色,这种模式具体是如何运作的?当公司规模扩大到 2500 人且你无法直接参与技术细节时,你是如何构建内部文化、避免组织涣散和内耗,并确保每个人都对使命保持认知的?

Dario Amodei: 关于最近发表的那篇,我是在寒假期间写的,因为平时很难挤出专门的时间。但我对这件事有更深层的思考,我认为这关乎公司文化。我大约会投入三分之一甚至 40% 的精力来确保 Anthropic 的文化健康发展。随着 Anthropic 规模的扩大,我越来越难直接参与模型的训练、发布或产品的构建。公司现在有 2500 人,虽然我有直觉判断,但很难介入每一个细节。我虽然在尽力尝试,但最具杠杆效应的事情还是确保 Anthropic 是一个理想的工作场所,让大家乐于在这里工作,每个人都把自己视为团队的一员,齐心协力而不是内耗。我们看到其他一些 AI 公司在发展过程中开始出现组织涣散和内部斗争。我认为这种苗头其实从一开始就存在,现在变得更严重了。

Dario Amodei: (关于凝聚力建设)我觉得我们在凝聚公司力量方面做得非常出色,虽然不敢说完美,但我们让每个人都能感受到使命感,感受到我们对使命是认真的,并且相信身边的同事也都是为了正确的目标在努力。我们是一个团队,大家不会通过踩着别人往上爬或背后捅刀子来谋求晋升,而据我所知,这种情况在其他地方经常发生。如何做到这一点?这取决于很多因素,包括我、Daniela、各位联合创始人以及我们雇佣的人才。但文化中至关重要的一点是,领导层,尤其是作为 CEO 的我,必须阐明公司的愿景:我们是做什么的、为什么要这么做、战略、价值观、使命以及我们的立场。

Dario Amodei: (关于“愿景探求”文档)当公司达到 2500 人的规模时,你必须通过写作,或者面向全员演讲。这就是为什么我每两周都会站在全公司面前,进行一小时的演讲。我主要做两件事。第一,我写一种叫作 Dario 愿景探求(Dario Vision Quest)的文档。我每两周会拿着一份三四页纸的文档,涵盖内部进展、研发模型、产品、行业动态,以及与 AI 或全球局势相关的宏观趋势。我会非常坦诚地表达,这是我的思考,这是领导层的想法,然后回答大家的问题。这种直接的沟通具有巨大的价值,能避免信息在管理链条中失真。

Dario Amodei: (关于管理透明度)另一件事是,我在 Slack 上有一个频道,我会发布很多想法并参与评论。我们会进行内部调查,针对大家担心的问题,我会写长文回复。我总是非常直接、坦率地表达,避免那种所谓的公司黑话或防御性的沟通方式。在面对公众时,防御性沟通往往是必要的,但在公司内部,如果你面对的是一群你信任的人,那你完全可以不加过滤地表达。我认为这是公司的核心竞争力。它让工作环境更好,让团队产生 1+1 大于 2 的效果,并提高了我们完成使命的概率。因为每个人对使命的理解都在同一频道上,并且每个人都在积极讨论如何最好地达成目标。

Patel: 既然目前还没有对外公开的 Dario Vision Quest,这次访谈刚好可以填补这个空白。

Dario Amodei: 这次访谈确实很有那种感觉。

文章来源:数字开物

这场深度对话揭示了大模型前沿的清晰图景:Scaling Law 的规律依然强大,技术爆炸的终点近在眼前,而真正的挑战或许在于经济扩散的速度与社会治理的准备。关于 AGI 的 技术趋势 和未来影响,欢迎在 云栈社区 的开发者广场继续交流探讨。




上一篇:Latent Forcing方法解析:通过重排扩散轨迹,实现像素级图像生成新突破
下一篇:Anthropic研究揭秘:AI模型在复杂任务中的“随机崩溃”风险远超觉醒
您需要登录后才可以回帖 登录 | 立即注册

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-2-23 10:27 , Processed in 0.862039 second(s), 41 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表