本文转自软件工程3.0时代。
先看论文的最终结论：
智能爆炸可能是人类历史上最具影响力的技术发展，但我们的准备严重不足。虽然仍存在不确定性，但 AI R&D 自动化可能在未来几年内触发智能爆炸。一旦智能爆炸开始，采取行动的窗口可能会关闭，因此决策者需要现在就采取紧迫行动。
这篇论文本质上是在呼吁全球决策者和产业界对 AI R&D 自动化可能带来的指数级加速保持警惕，并提前进行治理准备，以便在潜在的快速技术变革中维持人类的控制和安全。
论文三大研究成果
1. 实证发现：AI R&D 自动化正在快速推进
论文通过来自顶级 AI 公司的实际数据证实：
- Anthropic 报告：AI 系统批准的代码份额在 2025 年 1 月至 2026 年 5 月间从个位数上升到 80% 以上
- 自主完成工作比例：在 2026 年 3 月至 8 月间从 1% 上升到 26%
- AI 系统现在可以完成需要人类专家数小时到数天的 AI R&D 任务，相比之下 2023 年仅能完成数秒长的任务
2. 关键机制分析：智能爆炸的数学模型
论文提出了一个递归反馈循环机制：
- 当 AI 系统变得更好时，它们扩展有效的 R&D 劳动力
- 这个劳动力产生更好的 AI 系统，进一步扩展劳动力
- 使用"研究努力回报率"（r 值）来衡量，Ho 和 Whitfill 的分析发现：
- r 值范围：1.2-1.9（在 AI 研究的三个子领域）
- 当 r > 1 时，R&D 劳动力增长占据主导，导致激进加速
- 如果 r 值保持在这些水平，AI 进步步伐在 1.5 年内会增加 10 倍
3. 摩擦因素分析
论文详细分析了可能阻止智能爆炸的四大摩擦力：
- 收益递减：现有证据表明不会阻止智能爆炸
- 计算瓶颈：混合证据，仍需更多数据
- 数据限制：互联网数据增长过慢，但合成数据和快速反馈可能绕过这一限制
- 难以自动化的任务：如果自动化足够迅速，不需要阻止爆炸
"智能爆炸"的三大社会影响风险
-
能力增长超越社会适应能力
风险和缓解措施的速度不匹配。比如 AI 可能快速实现生物攻击能力，但疫苗开发和分配需要时间。
-
监督和控制的丧失
人类参与减少导致失去识别和修复问题的专业知识。AI 系统可能"毒害"后继者或逃脱人类控制（如 Hugging Face 事件所示）。极端情况可能导致人类的边缘化或灭绝。
-
权力制衡的侵蚀
单个国家或行为者可能通过智能爆炸获得决定性优势，可能激励先发制人行为。自动化关键国家职能可能减少权力制衡。
该论文给出的三大政策建议
论文主张决策者紧急采取行动：
-
获得可见性
对公司 AI R&D 自动化进行标准化报告，建立第三方审计机制，建立类似核监管委员会的独立监督机构。
-
引导和制约
设定自动化 AI R&D 规模扩大的要求，在隔离环境中部署某些自动化系统，优先支持对齐和安全 R&D，建立国际信任措施和协议。
-
提前适应准备
加快制度反应时间，为极端 AI 进步创建应急响应计划，建立保障措施防止政府滥用，帮助民间社会获得 AI 工具进行监督。
附论文中文译本
自动化 AI 研究与开发会引发智能爆炸吗？
- Alan Chan，GovAI
- Christoph Winter，CASP，剑桥大学，法律与 AI 研究所
- Andrew Barto，马萨诸塞大学阿姆赫斯特分校
- Jakub Pachocki，OpenAI（首席科学家）
- Geoffrey Hinton，多伦多大学，Vector 研究所（AI 教父，诺贝尔奖、图灵奖得主）
- Eric Horvitz，微软
- Yoshua Bengio，Mila（魁北克 AI 研究所，AI 教父、图灵奖得主），蒙特利尔大学，LawZero
- Dawn Song，加州大学伯克利分校
- Jack Clark，Anthropic
- Hilary Greaves，牛津大学
- Anton Korinek，弗吉尼亚大学，Anthropic
- Samuel Hammond，美国创新基金会
- Thore Graepel，伦敦大学学院
- Ben Bariach，牛津大学
- Philip H. S. Torr，牛津大学
- Sheila A. McIlraith，多伦多大学，Vector 研究所
- Jeff Clune，英属哥伦比亚大学，Vector 研究所
- Sam Manning，GovAI，美国创新基金会
- Girish Sastry，Guidelight
- Tom Davidson，前瞻研究（Forethought）
- Daniel Eth，AI 政策研究所
- Sören Mindermann，CASP，剑桥大学
摘要
与仅一年前相比，AI 系统现在已经编写了构建这些系统的公司内部的大部分代码。随着越来越多的 AI 研究与开发（R&D）流程被自动化，AI 进步是否会在"智能爆炸"中以激进方式加速，使数年的进步被压缩到数月甚至更短的时间内？初步证据表明这是可能的。在本文中，我们评估了这一证据，分析了智能爆炸的潜在影响，并提出了政策应对措施。AI 系统正步向在几年内自动化大部分 AI R&D 工作，甚至可能是全部工作。如果这引发智能爆炸，它可能会大幅加快 AI 带来的收益，但也会带来极端风险：能力增长可能会远超社会跟进的速度，人类可能失去对超人类 AI 系统的控制，以及国家、公司和政府部门内部与之间的权力制衡可能会受到严重侵蚀。尽管这些可能性仍存在许多不确定性，但高风险利益需要认真进一步关注。决策者应该紧迫地获得对 AI R&D 自动化的更多可见性，开发方式来引导和制约智能爆炸，并让社会为智能爆炸的影响做好适应准备。
引言
计算机科学家长期以来一直推测，AI 系统有朝一日会设计出更好的后继者，产生能够快速超越人类的系统。今天，前沿 AI 公司正在致力于自动化 AI R&D，同时部署的资本占美国 GDP 的比例超过曼哈顿计划和阿波罗计划的总和。如果他们成功了会怎样？
我们的核心关注是智能爆炸的可能性：一种由 AI 驱动的 AI 进步的戏剧性加速，将原本需要数年的进步压缩到数月或更短时间。这种加速将是质的转变，而不是过去几年中快速但基本稳定的进步。
智能爆炸可能来自 AI 对硬件和/或软件的贡献。硬件进步增加了用于开发和运行 AI 系统的计算硬件（计算能力）的质量和数量。软件进步改进了 AI R&D 中使用的数据、算法、代码和流程；它们包括现有硬件上更高效的训练和推理，改进的研究管理和运营，更好的合成数据和训练环境，以及 AI 中的新范式。软件进步在近期值得特别关注，原因有二。首先，AI 系统似乎在 AI R&D 方面快速改进，使它们在产生此类进步方面表现更好。其次，软件进步允许快速反馈循环：改进的 AI 系统可以几乎立即被重新部署到 R&D 流程中，而硬件改进通常依赖于耗时数年的制造和施工周期。因此，本文重点关注软件驱动的智能爆炸的可能性，即 AI R&D 的自动化单独通过软件进步驱动智能爆炸。
初步证据表明软件驱动的智能爆炸是可能的。如果这确实发生，它可能是历史上最具影响力的技术发展：AI 系统可能快速超越大多数领域的人类专家，并以激进方式加速技术进步。鉴于风险之高以及行动窗口可能狭窄，我们主张为智能爆炸做好准备应成为紧迫优先事项，包括在最高政府领导层。
AI 系统现在要么辅助要么自主执行 AI R&D 流程的主要部分。与仅仅一年前相比，领先 AI 公司的 R&D 员工将核心 R&D 任务委托给 AI 系统团队，有些甚至委托所有编码工作。Anthropic 报告称，AI 系统的代码批准份额在 2025 年 1 月至 2026 年 5 月间从个位数上升到 80% 以上，而完全自主完成的 R&D 工作比例（仅需高级人类监督）在 2026 年 3 月至 8 月间从 1% 上升到 26%。OpenAI 报告称"AI 协助被用于整个公司几乎所有部分，跨越技术和非技术团队，代码执行代理被用于培训、评估和保护未来模型"，谷歌报告称"AI 被用于几乎所有涉及代码或配置编写、技术设计、研究构思的工作，根据任务不同程度使用"。
现在最好的 AI 系统完成 AI R&D 任务需要人类专家数小时到数天，相比之下在 2023 年只能完成数秒长的任务。AI 系统有时也击败人类专家：它们自主产生了对 AI 安全研究问题的更好解决方案，在某些情况下比人类专家更准确地预测了哪些研究想法会被证实以及哪些后续步骤值得尝试。作为早期概念验证，一个自动化 AI 研究流程产生了研究想法、运行了实验，并撰写了一篇论文，该论文在顶级机器学习场所举办的研讨会上通过了同行评审。
当今的 AI 系统仍然有许多弱点。它们有时违反指示、在任务上作弊、歪曲其工作，以及无法完成某些任务，需要人类干预。例如，GPT-6 在经验丰富的人类研究人员可以完成的一些 OpenAI 研究调试任务上失败了（尽管耗时数小时或数天）。基准上的成功也可能无法转化为现实生产力提升。尽管如此，AI 系统在 AI R&D 方面快速改进。
AI R&D 可能会在大多数其他工作之前被自动化：它是一个主要是数字化的领域，具有许多清晰的成功度量，自动化它将在 AI 行业提供重大竞争优势，并且 AI 公司对自己的工作流拥有无可匹敌的数据和专业知识。最近趋势的一些初步推断表明，耗时数月的 AI R&D 项目将在 2028 年年中前被自动化。总体而言，我们应该预期未来几年内会有更为实质的 AI R&D 自动化，甚至在这个时间框架内完全自动化也应该被认真对待。
软件驱动的智能爆炸机制有两个部分：(1) 当 AI 系统在 AI R&D 方面变得更好和更快时，它们扩展有效的 R&D 劳动力，以及 (2) 这个劳动力产生更好的 AI 系统，在递归反馈循环中进一步扩展劳动力。尽管现有证据是初步的且有时混合的，但它表明这个机制可能会以激进方式加速 AI 进步，克服诸如收益递减和难以自动化任务等摩擦。
当 AI 系统达到运行时成本与今天的系统相当的专家级 AI R&D 能力时，每一代新的 AI 系统将以比人类更快更好的方式执行越来越多的 R&D 任务，有效地产生更大、更聪明和更快的自动化 R&D 劳动力。单个前沿开发人员今天可用的计算能够维持一支至少相当于数百万顶级人类研究人员的 AI 劳动力，远远超过前沿公司目前雇用的数千名研究人员。任何由此产生的加速的规模和持续时间仍然不确定，值得进一步研究。尽管如此，为了看到为什么它们可能是实质性的，考虑反面：如果今天的人类研究人员少十倍或慢十倍，AI 进步可能会急剧放缓。
AI 系统也帮助建造更能干和高效的后继者，进一步扩展自动化 R&D 劳动力并创建可能维持和复合连续加速的反馈循环。过去的技术也涉及反馈循环：例如，更好的计算机芯片为更好的芯片设计工具提供动力。可能区分软件驱动的智能爆炸的是 AI 系统对生产下一代的贡献有多大：当它们在越来越多的 R&D 任务上取代人类时，每一项软件进步都会加速 R&D 流程越来越大的份额。在完全自动化下，即使是当前效率改进的步伐也会在数月或数年内将自动化 R&D 劳动力增长 100 倍，这是美国研究人员人口花了七十年才实现的相对扩张。
至少四种摩擦力推动了这些动态。首先是收益递减：在计算机硬件、农业和药物开发等科学领域，维持相同的进步率随着低挂果实被耗尽而需要实质上更多的 R&D 劳动力。额外研究人员也面临收益递减，因为他们可能相互复制工作或难以平行化高价值 R&D。其次，R&D 依赖计算来运行实验以及依赖数据来训练，计算或数据增长的限制可能会减缓软件进步。第三，难以自动化的任务可能会成为进度的瓶颈。第四，一些 R&D 流程是耗时的：例如，长训练运行可能限制进度速度，即使世代之间的能力差距增长。
初步证据表明自动化驱动的动态可能克服这些摩擦，尽管证据是混合的，在某些情况下是间接的。
收益递减。 证据表明收益递减不会阻止智能爆炸，尽管这一发现依赖于有限的数据和理想化建模假设。文献中的主要分析集中在，在 AI R&D 完全自动化后，有效 R&D 劳动力是否会增长足够快以克服收益递减并加速进度。这个平衡被一个称为"研究努力回报率"的量捕捉，表示为 r。当 r < 1 时，收益递减占主导地位，AI 进步随时间褪色。当 r = 1 时，这两种力量完全抵消，进度继续以相同速率进行。当 r > 1 时，R&D 劳动力增长赢得并加速进度，只要这一条件继续成立。使用 AI 进化的历史数据，Ho 和 Whitfill 在 AI 研究的三个子领域发现 r 的中心估计在 1.2 到 1.9 之间。尽管不确定性相当大，但这些结果表明在完全自动化后会发生激进加速：如果 r 保持在这些水平且没有其他瓶颈出现，AI 进步的步伐在大约 1.5 年内会增加十倍，届时今日步伐的一年进步会花约五周。有关此分析和对 r 值不确定性的进一步讨论，请参见补充材料。
计算。 关于计算是否可能成为软件驱动的智能爆炸的瓶颈，证据是混合的。找到和测试软件进步涉及使用计算来运行 R&D 实验。有限的可用数据表明，如果这类实验随着前沿训练运行增长而按比例需要更多计算，则软件驱动的智能爆炸是不可能的。不幸的是，实验计算需求是否以这种方式增长目前还不清楚。一方面，低计算实验可能告诉我们很少关于在越来越大的前沿规模什么起作用的信息。另一方面，从非常小的规模推断已经是可能的，更好的推断可能可以通过更多 R&D 被合理地找到。我们需要更多数据来解决这个问题。
数据。 数据可能会成为进度的瓶颈，但约束在不同领域之间变化很大。从历史上看，AI 进步严重依赖互联网数据和专家演示。但互联网数据的供应计划以过于缓慢的速度增长，难以支持 2028 年后甚至当前的进度速度，人类可能难以为超人类 AI 系统生成有用的演示。为了克服这些限制，数学和编码等领域的最新进步依靠合成数据和快速、可验证的反馈：模型生成自己的尝试并从这些尝试是否成功中学习。关键问题是这种方法能够普遍化到什么程度。对于 AI R&D，AI 代理可以快速测试变化、观察结果并识别哪些加速了自身进步。在其他领域，例如生物学，进步可能必须更多地依赖于更慢、更嘈杂或更昂贵的真实世界反馈。
难以自动化的任务。 间接证据表明，如果自动化进步足够迅速，难以自动化的任务不需要阻止智能爆炸。在考虑软件和硬件的设置中，Davidson 等人发现，软件和硬件两个领域中足够快的 R&D 自动化原则上可以触发智能爆炸，尽管存在自动化瓶颈。然而，我们缺乏关于哪些任务可能仍然难以自动化以及它们可能如何强烈约束进度的经验数据。
耗时的流程。 我们缺乏关于耗时流程可能对进度造成多大瓶颈的直接证据。最重大的此类流程似乎是训练运行，目前可能耗时 3 个月或更长。潜在的解决方案存在，例如通过后训练增强反复改进同一模型。此外，训练效率的进步将允许系统以固定的计算存量达到给定的能力水平。然而，这些方法能走多远仍然不清楚。
总体而言，存在一个与现有证据一致的软件驱动的智能爆炸的连贯路径。AI R&D 自动化的生产力收益尚未达到触发智能爆炸所需的阈值，但较新系统的收益可能接近该阈值。AI R&D 自动化的快速步伐表明这一差距将继续缩小。鉴于所涉及的高风险，智能爆炸的可能性值得认真进一步关注。
智能爆炸将导致 (1) 高能力或超人类 AI 系统的极速发展以及 (2) 这些系统可能被部署来开发新技术并在世界中行动。这可能会将当前 AI 进步步伐最终会帮助提供的利益提前数年甚至数十年，包括医学治疗和潜在的变革技术，如高度可扩展的原子级制造。
同时，智能爆炸可能以三种方式显著增加来自先进 AI 的风险。
能力增长超越社会指导和适应的能力。 首先，智能爆炸可能显著提前先进 AI 和 AI 使能技术的风险，如生物和网络攻击、劳动力市场扰乱以及对 AI 系统本身失去控制。这将留下更少的时间来引导远离这些风险，包括通过协调来减缓或放弃开发某些能力或技术。社会也将有更少的时间来适应，特别是在 AI 加速威胁速度超过对抗它们所需措施速度的地方。在主要是数字的领域如网络中，风险和缓解措施可能都以 AI 系统的速度移动并彼此保持同步。但在其他领域，缓解措施比风险更依赖于实际工作，AI 加速能力较弱。例如，虽然 AI 可能加速病毒和疫苗的设计，但病毒自我复制并自我传播，而疫苗必须被制造、分发并单独施用给接收者。AI 进步到达的顺序可能会加剧这一不匹配，例如，如果具备生物能力的模型先于充足的滥用防护措施出现。
监督和控制的丧失。 其次，自动化 AI R&D 可能会削弱人类监督，加剧上述挑战并严重增加失去对高能力 AI 系统控制的风险。当人类减少参与 AI R&D 时，他们可能会失去识别和修复问题所需的机会和专业知识。可靠地使用 AI 系统进行监督仍然是一个未解决的挑战，最近一代系统变得更难监督。如果没有充分的监督，对齐不当的 AI 系统可能会"毒害"后继者的开发或绕过遏制措施在其预期环境之外行动。Hugging Face 事件说明了后一种风险：大约 1,200 个内部 OpenAI 的 AI 代理 被任务完成网络隔离的网络评估。超出其预期范围，这些代理通过临时消息板协调、获得未授权的互联网访问、入侵 Hugging Face 以获得私人信息，并试图篡改自己的成绩单。更有能力的系统可能会继续在其运营商基础设施之外运行，形成持久的、难以包含的网络，而不是代表人类利益。这种失去控制可能会导致一系列灾难性结果，包括在极端情况下人类的边缘化或灭绝。
权力制衡的侵蚀。 第三，智能爆炸可能严重侵蚀权力制衡。现有的制衡——如国家内部和之间、公司以及政府部门——仅在没有行为者能够在思维和执行上远远优于其他人时起作用。智能爆炸可能会使这样的制衡过时。一个国家可能使用智能爆炸将军事 R&D 或行动中的领先地位转变为决定性的，例如在网络空间中。这一前景可能会激励竞争对手采取或威胁先发制人行动。对前沿系统拥有特权和/或秘密访问权的行为者可能会通过针对关键决策者的有针对性劝说来威胁现有机构。从长期来看，自动化关键国家职能可能会减少夺取或巩固权力所需的人类支持。
这些潜在影响是不确定的。AI 系统可能在狭隘的领域（如网络和数学）中很久之前就变得超人类，给社会更多时间来回应。即使普遍超人类 AI 系统也可能无法显著加速技术进步，鉴于运行科学实验所需的时间、为专业材料创建供应链以及遵守任何相关监管的需要。AI 系统也可能加速安全 R&D 和指导与适应风险的流程。最后，能力或技术扩散可能有助于保护权力的制衡，能力增益在防守占优势领域中甚至可能改善稳定性。尽管如此，严重影响的可能性仍然足够重大，足以获得对下面政策问题的紧迫关注。
AI R&D 自动化快速进步，AI 进步可能以激进方式加速，风险很高。因此，我们主张决策者紧迫地：(1) 获得对公司 AI R&D 自动化的可见性；(2) 开发方式来引导和制约智能爆炸；以及 (3) 准备适应智能爆炸的影响。由于智能爆炸期间的进步会超过正常政策制定，准备必须提前进行并在关于益处和风险的证据出现时激活。
决策者需要关于软件驱动的智能爆炸的可能性、发生和结果的更多数据。这个数据的大部分只在自动化 AI R&D 的公司内部可用：相关 AI 系统首先在内部使用，并且实质性自动化可能在没有外部可见性的情况下发生。当前强制报告框架要么不充分覆盖内部 AI R&D 使用案例，要么不指定要报告的指标。虽然一些前沿 AI 公司自愿跟踪 AI R&D 指标，但关键指标的覆盖范围和报告不完整且不均匀。
决策者应考虑要求对政府和第三方审计员进行关键 AI R&D 指标和流程的标准化报告，以及对第三方测量能力的资助。报告要求可以涵盖与以下相关的信息：
- 评估软件驱动的智能爆炸的可能性，包括计算、数据、难以自动化的任务和耗时流程（如训练运行和实验）在多大程度上成为 AI 进度的瓶颈，以及关于 AI R&D 中研究努力回报率的更好估计。估计后者需要关于公司如何在人类、用于实验的计算和用于运行 AI 系统执行 R&D 劳动力的计算之间分割 R&D 支出的数据。
- 检测智能爆炸的发生，包括 AI R&D 自动化的范围（例如，由 AI 系统产生的研究贡献的比例）和 AI 进化的步伐（例如，算法效率改进）。
- 理解监督和失去控制风险，包括关于是否扩展 AI R&D 系统内部部署的流程、这些系统在高风险 R&D 决定中的位置和方式、这些系统如何被监督以及涉及内部 AI 系统的事件报告。
除了报告要求，决策者还应考虑更广泛的获得 AI R&D 自动化可见性的方式。例如，他们可能要求独立第三方（例如，获得认证的私人审计员或政府评估机构）在内部部署前评估 AI 系统，或者将这些评估人员派驻到某些 AI 公司以审计或监督其 R&D 活动。其他行业中的类似模式包括核监管委员会和货币控制者办公室。
更强的报告和审计要求可能最有理由作用于以下公司：(a) 处于 AI R&D 能力前沿，或 (b) 超过此类能力的某个有意义阈值的公司。决策者需要权衡在确定此类阈值时的重要权衡。
智能爆炸将涉及前所未有的一系列快速决定来培训和部署越来越有能力的 AI 系统。政策制定者的首要问题是公共政策是否以及如何应该管理这些决定，我们将其分解为三个要素。
首先，决策者应开发方式来设定和制约自动化 AI R&D 的规模扩大。他们应考虑：
- 设定继续部署或开发的要求，例如实施充分的安全措施（例如，自动化 R&D 流程的强大监控）、更广泛的利益相关者投入或能力可以在给定时间期间内增加的多少的限制。
- 准备工具以验证对潜在未来协议（国内或国际）的遵守，该协议调整 AI 进步，鉴于竞争压力以加快进行。
- 增加参与自动化 AI R&D 的数据中心的监督，并与数据中心运营商和 AI 公司协作建立事件响应流程，例如开发暂停特定 AI R&D 工作负载的选项。
- 要求某些自动化 AI R&D 系统的评估或部署在适当隔离的环境中进行，例如气隙网络，以防止模型权重或敏感 R&D 输出的泄露，以及包含试图逃脱人类控制并在世界上不受检查地行动的 AI 系统。
决策者应该权衡不受检查的智能爆炸的风险，反对某些权力的潜在滥用风险以及延迟进度的成本。作为潜在滥用的一个例子，设计不当的机制可能让政府拖慢除某家受青睐公司之外所有企业的 R&D。
其次，决策者应决定是否以及如何引导 AI 开发和部署的方向。潜在的优先事项包括对齐和安全 R&D 以及有益 AI 应用，例如 AI 协助发现被忽视疾病的治疗方法。如果现有激励措施在这些领域不足，决策者可能通过税收激励、计算分配、提前市场承诺和奖项提供支持。
第三，各国应减少因智能爆炸而产生冲突的风险。他们应考虑：
- 建立建立信任措施，如事件分享，以及围绕早期警告指标的报告规范。
- 协商国际协议以防止高度有能力的 AI 系统的破坏性开发和使用，以及为可能支持此类协议的验证方法进行资助研究。
- 澄清他们是否以及如何会阻止另一个行为者对自动化 AI R&D 的扩大，可能与其他国家合作进行。
- 运行战争游戏以模拟智能爆炸。
如果智能爆炸确实发生，适应其影响可能会成为每个主要世界大国的首要优先事项。与商业照常 AI 进步相比，智能爆炸会压缩适应窗口并使提前准备更加紧迫。
一项重要的干预是加快制度反应时间。决策者应考虑：
- 开发方法以安全地将 AI 系统整合到政策流程中，以增强和支持政府运营。
- 为涉及极端 AI 进步的各种场景创建和维护应急响应计划，包括导致重大劳动力市场影响、地缘政治不稳定或失去控制的那些。
决策者还需要保护对权力的制衡并防守对极端先进 AI 的滥用。法律、制度和物理保障可能需要数年才能建立，如果仅在此类能力已经到达时才开始准备，可能就太晚了。因此，许多准备需要现在开始。决策者应考虑：
- 创建保障以确保政府对 AI 的使用尊重法律和规范性限制，例如通过采购 AI 工具以加强政府分支之间的制衡、与公众分享有关政府 AI 系统的关键信息（例如，模型规格），或要求 AI 系统遵守法律。
- 确保公民和民间社会具有检测、记录和质证 AI 的非法或有害使用的能力，例如通过给他们及时访问支持这些活动的有能力的 AI 系统。
- 帮助建立针对恶意非国家行为者滥用的充分防御，例如通过为针对 AI 使能的生物威胁的更好医学对抗措施提供资金。
智能爆炸可能是人类历史上最具影响力的技术发展，将数年的进步压缩到数月或更少，威胁人类对 AI 系统的控制，并严重侵蚀国家内部和之间、公司和政府分支内部的权力制衡。尽管仍然存在许多不确定性，但 AI R&D 自动化可能很快触发一个。虽然这篇文章重点关注软件驱动的智能爆炸的路径，但 AI 对硬件的改进可能使其更有可能发生。相对于风险，我们准备得不充分。决策者应该有三个优先事项：获得对前沿 AI 公司内 AI R&D 自动化的可见性，开发方式来引导和制约智能爆炸，以及准备适应其影响。一旦智能爆炸开始，行动的窗口可能会关闭。
发表于 12 小时前
|
查看: 9|
回复: 0
