Anthropic CEO万字长文：指数级AI不可逆，不安全模型必须封杀

云栈社区讯，Anthropic CEO Dario Amodei 刚刚发布了一篇万字檄文《指数级AI政策》，主动要求政府对自身及同行实施严厉监管。这篇文章很可能成为AI发展史上一个里程碑。

他主张，计算量超过 $10^{25}$ FLOPs 或 AI 相关营收超过 5 亿美元、AI 研发投入超过 10 亿美元的头部企业，必须接受政府强制监管。一旦模型出现生物、网络或自主失控等灾难性风险，政府可以直接叫停。

同步发布的还有 Anthropic 的两份正式政策提案：一份针对前沿 AI 模型的强制监管框架，另一份针对 AI 就业冲击的经济补偿方案。Anthropic 并承诺投入 3.5 亿美元真金白银——2 亿美元用于政策研究，1.5 亿美元用于技能培训奖学金。这彻底打破了硅谷巨头长期以来抗拒监管的默契，宣告温和自律的时代终结；面对 AI 的指数级爆发，必须在大模型真正脱缰之前给它套上“紧箍咒”。

树人觉醒了

托尔金在《指环王》里描写过一种古老、睿智却行动极其缓慢的树人。跟另一棵树打个招呼就要花一整天，半兽人军队烧毁森林时它仍在犹豫。Amodei 把这一意象搬到了 AI 治理上：AI 正以闪电速度进化，而各国政府就像那颗慢吞吞的树人。

他为什么突然这么急？直接原因就是 Mythos。Claude Mythos Preview 自主发现了所有主流操作系统和浏览器中的数千个高危漏洞。用他的话说：“Mythos Preview 彻底改变了全球网络安全的版图，它毫不含糊地证明，前沿 AI 模型已成为具有全球战略影响力的强大工具——而且这绝不会是最后一次危机。”

Scaling Laws 已经获得超过十年的实证支撑。如果势头再持续两年，我们将迎来 Amodei 所说的“数据中心里的一个天才国度”——相当于一亿个顶尖科学家同时在线工作。然而，国会通过一部重要法律平均需要数年。树人般的治理速度，根本挡不住化身“天才国家”的指数级 AI。

过去几年，Anthropic 一直在推动透明度立法，那是 2023‑2024 年能做到的极限——风险还不够具体，没法精确立法。Mythos 出现后，一切都变了。网络安全风险不再是假设，生物武器风险和失控风险也在快速逼近。

FAA 模式：AI 系统上天之前，先做适航认证

Amodei 拿美国联邦航空管理局（FAA）当模板：飞机必须通过严格的第三方测试，拿到适航证书才能上天，无论波音还是空客，通不过就停飞。他认为前沿 AI 模型也该如此。

门槛很明确：模型训练计算量超过 $10^{25}$ FLOPs（约当前顶尖模型训练规模），或者公司 AI 收入超 5 亿美元、AI 研发投入超 10 亿美元，达到任一标准就必须接受强制性第三方测试，覆盖四大核心风险：

1. 网络安全风险：AI 是否会被用于发现漏洞、攻击基础设施、瘫痪金融系统？
2. 生物武器风险：AI 是否会大幅降低开发危险病原体的门槛？
3. 失控风险：AI 是否可能在开发者无法控制的情况下自主行动？
4. 自动化研发加速风险：AI 是否在加速自身能力提升，从而放大上述三类风险？

测试必须由合格的独立第三方完成——可以是类似 FAA 的政府机构，也可以是经政府授权和监管的私人评估机构。若评估结果表明模型存在不可接受的灾难性隐患，政府应拥有阻挡、延迟或撤销其部署的合法权力。这是 Amodei 提案中最具突破性、也最具争议的一点。

他同时指出，前沿模型的权重是极具战略价值的资产，极易遭黑客窃取。一旦权重泄露，安全对齐限制可能在几小时内被完全剥离。开发商必须建立极高安全标准保护开发环境和模型权重，定期接受红队测试，并向政府通报模型蒸馏攻击。发生安全事故时，必须主动报告，不得瞒报。

防 AI 就业冲击：Anthropic 要给失业者发钱

文章的另一个焦点是 AI 对就业的冲击。Amodei 判断，AI 驱动的失业可能比历史上任何一次技术革命都更深远、更持久。

工业革命和互联网革命也曾造成阶段性失业，但最终创造了更多新工作，这背后有两大缓冲机制——杰文斯悖论和比较优势原理。可 Amodei 认为，AI 可能同时击穿这两道防线，因为它替换的不是某个具体任务，而是人类通用的认知能力。一旦 AI 在几乎所有认知领域超越人类，比较优势就会消失。因此必须未雨绸缪，设计专门应对 AI 失业的政策工具。

Anthropic 提出了三层经济框架：

1. 数据测量与追踪（基础层）：政府应大幅扩展对 AI 就业影响的数据收集和追踪。Anthropic 已建立自己的经济指数。
2. 促进就业激励（中期层）：包括工资保险、雇主留工税收激励、职业培训补贴等。
3. 长期宏观经济支持（兜底层）：若上述措施仍不够，可能需要某种形式的全民基本收入，通过对 AI 公司征税或提高资本利得税来筹资。

伴随着框架亮相的是真金白银：2 亿美元用于政策研究，1.5 亿美元用于技能培训奖学金。

科学与权利：被 AI 重构的行业版图

Amodei 也呼吁不要让旧体制成为“科学加速”的绊脚石。他认为，对 AI 本身应当极其审慎甚至从严管控，但对于 AI 加速的下游应用（如生物医药、能源、材料）则应该松绑监管。

以新药研发为例，从靶点发现到获批上市通常需要 7‑8 年，而 AI 不仅能几何倍数增加候选药物数量，还能大幅提高效果和安全性。如果不改革，庞大的 AI 产能会彻底瘫痪现有药监审批系统。因此他建议监管机构开发全新的 AI 辅助评估标准：接受 AI 生成的药效学与药代动力学模拟模型；推广 AI 预测毒理学，减少缓慢的多物种动物试验；在临床试验中引入合成控制组，缩短人类受试者招募时间；并允许针对癌症、阿尔茨海默病等病症开发创新的快速通道。

在“树人”醒来之后

Amodei 在结尾显得颇为乐观：“树人和他们的森林，正在慢慢睁开眼睛。”眼下，全球公众与政策制定者面前有一个珍贵却短暂的窗口期。

硅谷圈子里常有人觉得，公众害怕 AI 只是“公关问题”，需要“更好的营销”。Amodei 直接回怼：人们之所以担心，并不是因为我们这些 CEO 不够乐观、不会画大饼，而是他们真真切切看到了 AI 的风险。作为 AI 行业的负责人，他的责任就是把风险摊在桌面上说清楚；公众的担忧和抗议，恰恰说明民主监督正在运作。

Anthropic 这次砸下数亿美元表明了态度。我们究竟是继续蒙眼狂奔冲向悬崖，还是停下傲慢的脚步，与人类的治理机制达成一次史诗级的和解？树人已经睁眼，而霍比特人的生死竞速才刚刚开始。

参考资料：Dario Amodei 推文

——本文由云栈社区整理报道。