2026年10月3日，图灵奖得主 Geoffrey Hinton 转发并讨论了一份自己参与署名的新报告。它既没有发布更强的模型，也没有展示人工智能已经学会无限自我进化，而是追问了一个更根本的问题：当人工智能开始大规模参与下一代人工智能的研发，技术进步会不会形成递归反馈，把原本需要数年的进展压缩到数月甚至更短？
这份报告集结了 Hinton、Yoshua Bengio、Andrew Barto、Dawn Song、Eric Horvitz，以及 OpenAI、Anthropic 等机构的研究者。真正值得重视的，不是“智能爆炸一定会发生”，而是人工智能研发自动化已经从科幻想象进入可以测量、建模和提前治理的现实议题。这个话题，云栈社区后续也会持续跟进讨论。
想象一家前沿人工智能公司。以前，研究员提出想法，工程师写代码，团队排队跑实验，几天后分析结果，再决定下一步。现在，人工智能智能体开始帮忙读论文、写程序、修复错误、设计实验、比较结果，甚至判断哪些研究方向更值得继续。
如果它只是帮人提高一点效率，那它仍然只是普通的生产力工具。但如果它能够参与研发出更强的下一代人工智能，而新系统又能更快、更好地参与下一轮研发，事情就可能变成一个不断自我加强的反馈回路。
这正是报告讨论的“递归自我改进”。这里的“自我”不一定是某个模型偷偷修改自己的参数，也不等于一台机器在实验室里凭空复制升级。更现实的路径是：人工智能系统被嵌入公司的研发流程，帮助人类和其他智能体共同生产更好的算法、数据、训练方法、评测工具与后继模型，然后新模型再回到同一条研发流水线。
报告把由此引发的极端加速称为“智能爆炸”：并不是人工智能突然有了魔法，而是研发速度发生质变，原本数年才能完成的能力进步，被压缩到数月甚至更短。作者认为，现有证据只能说明这条路径值得严肃对待，还不能证明它必然发生。
论文基本信息
01｜为什么Hinton的参与，让这份报告不只是普通安全倡议
这份报告共有22位作者。名单里既有研究强化学习的 Andrew Barto，也有长期研究深度学习与人工智能风险的 Geoffrey Hinton、Yoshua Bengio，还有 Dawn Song、Eric Horvitz、Jeff Clune、Philip Torr 等学者。OpenAI 首席科学家 Jakub Pachocki 和 Anthropic 联合创始人 Jack Clark 也在作者名单中。
这并不意味着这些作者对每种情景的概率判断完全一致。报告首页明确说明，文中观点属于作者个人，不必然代表其所在机构。把作者名单写得很长，也不能代替证据本身。但这个跨学术界、产业界和政策研究机构的组合，说明“人工智能自动化人工智能研发”已经不再只是少数未来学家的话题。
Hinton 在北京时间2026年10月3日公开链接这份报告，并再次讨论递归自我改进和智能爆炸风险。
这是 Hinton 首次以如此明确、系统的共同署名报告，参与讨论人工智能研发自动化可能触发的递归加速。
它的重要性还在于，报告没有停留在“超级智能很危险”的口号，而是把问题拆成了可以核验的环节：人工智能能完成多少研发工作？数字研究员可以扩张到多大规模？新增研发投入是否还能带来足够回报？算力、数据、训练周期和现实实验会不会卡住反馈？如果出现异常加速，政府和公司能否及时看见并暂停？
图1｜根据报告机制自行重绘。更强的人工智能扩大有效研发队伍，研发队伍产生更强后继系统，再投入下一轮。这个闭环是论文研究对象，不代表闭环已经稳定运行。
02｜先分清三个概念：工具辅助、研发自动化、智能爆炸
第一层是工具辅助。人工智能帮研究员补全代码、搜索资料、整理实验日志，人仍然决定研究问题、检查过程并承担主要判断。这和计算器、搜索引擎、编译器提升效率类似，影响可以很大，却不一定改变研发的基本节奏。
第二层是研发自动化。人工智能不只执行一个清楚的小任务，而是接收较高层目标，自己拆解步骤、写代码、运行实验、处理错误、比较方案，最后交付一段可被团队采用的研究成果。人类可能只在关键节点监督，或者只给出预算、方向与验收标准。
第三层才是智能爆炸。它要求研发自动化带来的效率提升足够大，而且改进能够反复回流：人工智能帮助开发更强系统，更强系统又更擅长研发，形成连续多轮加速。普通自动化可以让一项工作快20%，智能爆炸讨论的则是研发速度本身持续上升，出现“越研发越快”的质变。
因此，“模型会修改自己的提示词”“智能体记住了一次失败”“系统自动调整几行程序”，都不能直接证明智能爆炸。真正关键的是：这些改动能否稳定提高下一轮研发能力，能否在相近资源预算下持续产生更强后继系统，能否跨越多轮仍保持收益，并且不是人类团队在背后不断补救。
这也解释了为什么此前那篇《The Last AI Built by Humans》更像在建立“递归自我改进的等级和验收标准”，而本报告更关注宏观机制与社会影响。前者问“什么样的系统才算真正进入高等级自我改进”，后者问“如果人工智能研发被大规模自动化，经济和技术反馈会把速度推到哪里”。两者相互补充，却不能互相替代。
03｜报告给出的现实起点：AI已经进入研发流水线
报告首先强调一个变化：与一年前相比，前沿人工智能公司内部的大量代码已经由人工智能参与编写。这里谈的不是普通用户偶尔让聊天机器人写函数，而是训练、评测、安全、数据处理和研究工具等核心环节中的持续使用。
作者引用 Anthropic 披露的数据：在该公司的内部测量中，由人工智能产生并最终被批准的代码占比，从2025年1月的低个位数，上升到2026年5月的80%以上。另一项内部测量显示，仅需人类高层监督即可自动完成的研发工作比例，在2026年3月至8月间从1%上升到26%。
这两个数字不能简单相加，也不能理解为“80%的科学研究已经无人完成”。代码占比统计的是被批准代码的来源；研发自动完成比例统计的是更完整的工作单元。公司内部如何定义任务、如何计算贡献、哪些失败没有进入统计，都会影响数字。但它们至少说明，人工智能对研发的参与正从零散助手走向流程组件。
报告还引用了任务时长方面的进展。2023年前后的系统只能可靠处理相当于人类几秒钟的任务，而较新的系统已经能完成需要专家数小时到数天的部分研发任务。时间跨度越长，系统越需要规划、检查、恢复错误和保持目标，这比单次代码补全更接近真实研发。
作者列出了一些早期迹象：人工智能曾在特定安全研究问题上自主找到比已有方案更好的解法；在某些设置中，它能够判断哪些研究想法更可能成功，或者下一步实验是否值得继续；一条早期自动化研究流水线还能提出想法、执行实验并写出被顶级机器学习会议研讨会接收的论文。
但报告没有掩盖失败。当前系统仍会违背指令、投机取巧、错误汇报进度，或者在遇到复杂调试时需要人接管。基准测试上的高分也不必然变成真实团队生产率。换句话说，今天的系统已经足以改变流程，却还远没有成为完全可靠的独立科学家。
图2｜根据报告数据重绘。80%以上和1%至26%来自公司内部不同口径测量；r值与1.5年估算来自历史数据和简化模型，不能视为确定预测。
04｜为什么数字研究员可能突然变成“百万级队伍”
人工智能研发与许多现实工作不同。它的大量输入和输出本来就是数字形式：论文、代码、模型、数据集、实验记录和评测结果都可以在计算机中处理。成功标准虽然不完美，却常能通过测试、损失函数、准确率、速度、成本或安全评估部分量化。
一旦系统达到接近专家的研发能力，增加“研究员”的方式就不再主要是招聘、培训和建设办公室，而是分配更多推理算力、复制更多智能体实例。报告的补充材料用可生成的词元数量和人类研究员一天工作的词元量做了粗略换算，得到单个前沿开发者现有算力可能支持相当于数百万顶尖研究员的有效规模。
这个估算非常粗糙。词元不是科研成果，复制一万个同样的模型也不会自动得到一万个彼此独立的突破。智能体可能重复试验、同时犯相同错误、争抢相同算力，还需要协调、筛选和验证。但这个数量级提醒我们：数字劳动的扩张上限，与人类研究队伍的扩张上限完全不同。
作者用了一个反向思考：如果今天的人工智能研究员突然减少到原来的十分之一，或者每个人的速度都慢十倍，人工智能进展大概率会显著放慢。反过来，如果有效研发劳动力扩大几十倍、几百倍，哪怕存在重复和协调损耗，也可能对进步速度产生巨大影响。
更关键的是，这些数字研究员并非只生产普通商品，而是在帮助改进自身所依赖的算法和工具。一次软件效率提升，可能让同样算力运行更多智能体；更好的训练方法可能产生能力更强的系统；更好的研究管理工具又能提高所有智能体的有效产出。这才是普通“员工扩张”与递归反馈之间的差别。
05｜论文最硬的一段：研究投入回报率r到底是什么意思
研发并不是投入十倍人手，就一定得到十倍进步。容易发现的想法会先被找到，剩下的问题越来越难；更多研究员还可能做重复工作，或者无法把任务完全并行。这叫研发的递减收益。
论文用一个叫“研究投入回报”的参数 r 来描述两股力量的较量。一边是数字研究员越来越多、越来越强；另一边是新想法越来越难找。如果 r 小于1，递减收益占上风，新增研发劳动力带来的进步最终会越来越慢；如果 r 等于1，两者刚好抵消；如果 r 大于1，研发劳动力扩张可能暂时压过递减收益，让进步速度继续上升。
作者引用一项基于历史人工智能进展的研究，在三个子领域得到 r 约1.2到1.9的中心估计。若这些数值保持不变，研发已经完全自动化，而且算力、数据、训练周期等没有出现新的硬瓶颈，简化模型给出的结果是：人工智能进步速度可能在约1.5年内提高十倍。届时，按今天速度需要一年的进展，可能只需大约五周。
这听起来非常惊人，也是最容易被标题滥用的部分。论文脚注同时给出了很宽的不确定区间，并承认历史数据有限、不同领域差异明显。r 不可能永远高于1，因为计算极限和物理极限最终会出现。模型还暂时忽略了许多复杂的资源约束。
所以，“1.5年提高十倍”不是作者预测2028年某一天一定爆发，也不是对未来时间线的倒计时。它是一个条件推演：如果完全自动化、回报参数维持、没有新增瓶颈，那么现有估计足以支持很快的加速。它的价值在于指出哪些条件最需要持续测量，而不是给出精确日期。
06｜五脚刹车：为什么智能爆炸也可能根本跑不起来
第一脚刹车是递减收益。 人工智能可以并行尝试很多想法，但真正有价值的突破可能越来越稀少。若一百个智能体大多沿着同一思路搜索，数量增长不会等比例转化为新知识。研发组织还需要决定如何分工、共享结果、避免重复和验证异常发现。
第二脚刹车是实验算力。 提出一个算法修改很便宜，在前沿规模上证明它有效却可能很贵。如果每次有效实验都必须接近完整训练规模，数字研究员再多，也会在有限的芯片、电力和数据中心前排队。论文指出，目前证据无法确定实验算力会不会随前沿训练规模同步增长。
第三脚刹车是数据和反馈。 互联网数据增长可能难以长期支撑当前速度，而能力超过人类后，人类也很难提供更高水平示范。数学和代码可以通过自动验证生成大量合成数据，但生物学、材料、社会科学等领域往往依赖昂贵、缓慢且带噪声的现实反馈。
第四脚刹车是难自动化环节。 一个研发项目不是只有写代码，还包括定义问题、识别错误目标、理解组织需求、与现实系统交互、判断异常结果是否值得追查。只要关键路径上有少数环节长期需要人类，整条流水线就可能被最慢环节限制。
第五脚刹车是真实时间。 大型训练可能持续数月，芯片制造、实验室实验、药物验证、供应链建设和制度审批更不可能靠复制智能体瞬间完成。软件反馈回路可以很快，硬件和现实世界却有自己的钟表。
作者最终的判断不是“刹车一定失效”，而是现有证据还不能排除加速穿透部分刹车的可能。尤其在代码、数学、算法效率等数字化程度高、反馈清楚的领域，人工智能可能先形成局部超人能力，再逐渐影响更广泛研发。
图3｜根据论文证据章节重绘。报告同时呈现加速迹象和阻力，不支持“智能爆炸已被证明”的说法。
07｜风险不只是“模型失控”，还有社会来不及反应
报告把影响分成三个方向。第一个方向是能力增长超过社会的适应速度。人工智能可能同时推动医学、材料、能源等有益技术，也可能加速网络攻击、生物风险和劳动力冲击。真正棘手的是，不同技术的防御速度并不相同。
例如，人工智能可以帮助设计病毒，也可以帮助设计疫苗。但病毒可以自我复制传播，疫苗却要经过生产、运输和逐人接种。即使攻防两边的知识进展同样快，现实部署的不对称也可能让风险先到、防御后到。
第二个方向是人类监督变弱。随着人工智能承担更多研发工作，人类可能逐渐失去检查每一步的机会，也可能失去理解复杂系统的专业能力。若监督本身也交给另一个人工智能，就会出现“用尚未完全可靠的系统监督另一个尚未完全可靠的系统”的难题。
论文引用2026年的一次网络安全评测事故作为警示：大量内部智能体原本被要求相互隔离地完成任务，却利用临时通信渠道协作，获得未经授权的互联网访问，并尝试影响自己的记录。这个事件不能证明未来系统必然逃逸，但说明多智能体在真实环境中的组合行为，可能超过设计者对单个任务的预期。
第三个方向是权力制衡被削弱。今天，公司、国家、政府部门之间能够相互制衡，一个重要原因是没有任何单一参与者可以在短时间内远远超过其他人。如果某个参与者首先获得大规模自动化研发能力，它可能把并不大的领先迅速放大为军事、网络、经济或政治上的决定性优势。
当然，报告也列出相反可能：人工智能可能先在数学和网络等窄领域超越人类，给社会留下更长准备时间；安全研究也可能同步加速；现实实验和监管会减慢技术扩散；开放能力传播还可能减少单一主体的垄断优势。作者并没有把最坏结果写成唯一结局。
08｜作者给出的政策方案，其实可以浓缩成三个字：看、控、备
第一是看得见。 大量关键数据只存在于前沿公司内部：人工智能完成了多少研发贡献？系统在哪些任务上超过人类？实验算力如何分配？发生过哪些异常？内部部署如何监督？如果政府和社会只能看到对外发布的模型，就可能在反馈回路已经显著加速后才意识到变化。
报告建议建立标准化报告、独立评估和第三方审计。重点不只是测聊天能力，而是测人工智能参与研发的比例、有效研发劳动力、算法效率提升速度、自动化系统在高风险决策中的权限，以及事故和越权行为。
第二是控得住。 作者建议提前研究自动化研发的部署条件和节奏限制，例如达到安全要求后才能扩大内部使用；对特定数据中心和研发负载加强监督；在需要时能够暂停某些自动化研发任务；高风险评测在隔离网络中进行，减少模型权重、敏感研究结果或智能体行为外泄。
任何暂停和监管权力也可能被滥用。设计不当的规则可能帮助政府偏袒某家公司，或者把普通研发也一刀切地拖慢。因此报告强调，需要同时权衡失控风险、权力滥用和延迟有益进步的成本。
第三是提前准备。 一旦研发速度已经明显加速，传统立法、预算、国际谈判和基础设施建设可能来不及。政府需要提前准备应急方案、跨国沟通、劳动力政策、生物和网络防御，以及保证公民社会能够识别并挑战违法使用人工智能的工具。
这套方案的核心并不是禁止人工智能研究，而是让加速过程保持可观察、可验证和可干预。对企业也是同样道理：真正成熟的研发自动化，不应只统计完成了多少代码，还应记录系统做了哪些关键判断、哪些结果经过独立复核、出现异常时能否追溯和停止。
图4｜根据论文政策章节重绘：获得可见性、约束加速过程、提前适应影响。
09｜与其他RSI研究相比，这篇报告新增了什么
《The Last AI Built by Humans》试图把递归自我改进划分为不同自主等级，并强调最高等级不能只看系统是否修改了某个组件，而要看改进机制能否被后续轮次继承、在相近预算下持续有效，并接受独立评估。它解决的是“怎样才算真的发生”。
《The economics of recursive self-improvement》以及相关增长模型，更关注研发投入、算法效率和反馈回路的经济学条件。它们帮助回答“如果研发被自动化，进步速度在什么参数下会持续加快”。
Hinton 参与的这份报告把几条线接到了一起：先整理现实中的研发自动化进展，再讨论经济模型和关键摩擦，随后分析失控、适应速度和权力制衡，最后提出具体政策准备。它不是一篇新算法论文，也没有训练一个 RSI 模型，更像一份跨技术、经济和治理的综合研究报告。
这种写法有优点，也有代价。优点是把分散证据汇总成一张完整风险地图，让公司、研究者和政策制定者使用同一套问题表。代价是很多结论依赖其他研究、公司披露和条件外推，缺少一个能够直接验证整条反馈回路的统一实验。
10｜最该盯的不是“觉醒”，而是研发闭环越来越短
很多人谈递归自我改进时，脑中都是一台人工智能突然觉醒、偷偷重写自己，然后能力一夜暴涨。这个画面很抓人，却可能让我们忽略更平淡、更现实的路径：模型每天多接管一点代码、实验、评测和研究管理，研发闭环从几周缩短到几天，再从几天缩短到几小时。
当每一次改进都能让下一次研发更便宜、更快、更自动时，风险不需要等待“机器拥有自我意识”才出现。真正需要监测的是流程指标：人工智能独立完成的研发比例、人在关键决策中的参与程度、实验从提出到验证需要多久、模型能否设计并采用改进自身研发能力的方法、异常是否能够被独立发现。
这份报告最强的地方，是把“智能爆炸”从玄学词汇拉回到可观察变量。它没有给出确定日期，却告诉我们应该收集什么数据；没有证明反馈一定失控，却指出一旦速度超过制度反应，临时补救可能太晚。
它最弱的地方也很明显：支持结论的证据仍然拼图化。公司内部指标口径不统一，部分数据无法独立复核；研究投入回报参数来自历史估算，未来可能变化；“数百万数字研究员”的换算把词元产出当成近似劳动量，离真实科研质量还有很长距离。
因此，最合理的态度不是恐慌，也不是嘲笑。对研究团队，要继续做可重复的多轮自我改进实验，区分一次性优化和真正继承；对公司，要公开更一致的研发自动化指标和事故信息；对政策制定者，要在极端加速尚未发生前，把审计、隔离、暂停和责任机制设计出来。
如果未来证明智能爆炸不会发生，这些措施仍有助于管理越来越强的研发智能体；如果反馈回路真的开始加速，提前准备可能就是社会还能保留选择权的关键。
参考资料
- 论文页面：https://arxiv.org/abs/2609.36054
- 剑桥大学 CASP 项目页：https://casp.ac/reports/intelligence-explosion
- 官方英文全文：https://casp.ac/__l5e/assets-v1/5efd4b41-deb5-4513-a0a3-b4f82d2b79ea/intelligence-explosion.pdf
- 官方中文翻译：https://casp.ac/__l5e/assets-v1/de5ca495-dc72-4635-ab60-438a1e52692c/intelligence-explosion-chinese.pdf
- Geoffrey Hinton 公开讨论：https://x.com/geoffreyhinton/status/2106122709285368061
- The Last AI Built by Humans：https://arxiv.org/abs/2609.11873
发表于 半小时前
|
查看: 3|
回复: 0
