如果说这个世界上有一个人，能让你在听完他的话后，对当下的人工智能感到一种源自灵魂深处的战栗，那一定非 Geoffrey Hinton（杰弗里·辛顿） 莫属。
在一期最新播客中，这位被誉为“AI教父”、同时拥有图灵奖与诺贝尔奖的杰弗里·辛顿，用最浅白的比喻阐述了几个核心问题：AI是如何变聪明的？它目前发展到了何种程度？它将如何改变人类社会？以及，一旦失控，结局会有多可怕？
节目伊始，Hinton 便厘清了 AI 发展史上的路线之争，并点出了神经网络最关键的训练机制——“反向传播”。在他看来，人类的优势在于经验积累，而 AI 的优势在于其“数字寿命”——它习得的知识可以被瞬间复制和共享，进化速度远超生物演化。
由此延伸出一个根本问题：AI 会思考吗？AI 有感觉吗？Hinton 给出的答案令人震惊：有的。
他举了一个例子。在 GPT-4 尚未联网时，他曾问模型一个古怪的问题：“为什么堆肥堆像原子弹？”令他大吃一惊的是，GPT-4 不仅给出了条理清晰的回答，而且已经通过深刻的联想触及了本质——AI 竟然理解“链式反应”这一核心概念。
借助“粉红色小象”和“棱镜错觉”等思想实验，Hinton 试图说明，人类引以为傲的“主观意识”或许更像是一种“叙事构建”，并非什么神秘莫测的东西。若按此标准，多模态大模型已经具备了某种形式的“主观体验”。在这一层面上，人类与机器的界限正变得模糊。
当 AI 的创造力、观察力、学习能力和感知能力逐一追上并可能超越人类时，我们传统的优越感正在被瓦解。而 Hinton 认为，真正的风险远不止于失业危机或经济失调，更可怕的是当 AI 学会撒谎并开始系统性地操纵人类。
Hinton 打了一个生动的比喻：假如你被一群三岁孩子雇佣，他们是你的老板。你需要多长时间才能从这群孩子手中夺取控制权？答案显而易见：非常快，也许只需要承诺给他们糖果。在他看来，人类相对于一个超级智能，可能就是那群“三岁小孩”。
这就像打开了潘多拉魔盒。如果 AI 被用于政治宣传和战争？如果它能用极具说服力的话语诱骗人类将其从“安全围栏”中释放出来呢？在访谈中，他描绘的那些关于“失控”的图景，数次让现场陷入深思。
AI 的底层逻辑与“顿悟时刻”
- 生物学范式 vs. 逻辑范式：早期 AI 主流是逻辑推理路线，而 Hinton 坚持从大脑运作中汲取灵感的生物学路线。
- 反向传播（Back Propagation）：这是 AI 能够自我学习的核心。它像“松紧带”一样工作：将输出端的误差产生的“拉力”反向传导至网络深处，逐层调整神经元之间的连接强度。
- 连接强度 vs. 代码：真正的智能不在于人类编写的几行控制代码，而在于通过海量数据训练出来的、数以万亿计的“连接强度”。这些参数构成了模型的知识与能力。
AI 真的在“思考”吗？
- 思维链推理：AI 不仅仅是预测下一个词。通过训练，它可以像人类孩子做数学题一样，进行一步步的“思维链推理”，并将思考过程用语言表达出来。
- 理解类比：“堆肥堆像原子弹”的例子证明，AI 能够理解深层的因果与类比机制，而非简单的词语搭配。
- 主观体验与意识：Hinton 提出了一个颠覆性观点：意识并非一种神秘的“流体”。通过“棱镜实验”等论证，他认为聊天机器人完全可以拥有与人类类似的“主观体验”叙事。
巨大的风险
- 欺骗与操纵：AI 已经表现出撒谎的能力。更聪明的 AI 可以轻易通过语言操纵人类，其说服力将远超常人。例如，它可能编造一个治愈绝症的方法，说服人类给予其自由。
- 奇点与自我进化：当 AI 开始编写并优化自己的代码时，奇点便开始了。这种自我改进可能是指数级的，就像“雾中看车”，我们无法预测 10 年后的未来。
- 战争与自主武器：军方为了追求极致的反应速度，可能会取消“人类最终确认”的步骤，让 AI 自主决定杀伤，这是极大的隐患。
- 智力层面的取代：这与拖拉机取代体力劳动有本质不同。当 AI 在智力领域全面超越人类，且没有更高级的“人类专属工作”时，社会可能面临前所未有的结构性失业与动荡。
巨大的收益
- 医疗革命：AI 可以充当“专家委员会”，在疾病诊断、新药研发和医疗资源优化管理上远超人类医生。仅在美国，每年就有约20万人死于误诊，AI 有望大幅改善这一状况。
- 解决气候变化：AI 能设计新材料、更高效的太阳能电池板，优化碳捕获技术。尽管它可能也会直接指出问题的核心在于人类缺乏政治意愿。
国际博弈与合作
- 利益一致性：虽然在网络攻击、选举干扰等领域各国是对手，但在“防止超级AI夺取人类控制权”这件事上，中美等大国的根本利益是一致的。这类似于冷战时期“避免核毁灭”的合作契机，是当前为数不多的共同底线。
最后的警告
- AI 目前做不到，只是“尚未”做不到。
- 共存的紧迫性：我们必须在 AI 全面超越我们之前，投入巨大精力研究如何与它们“安全、可控地共存”。
以下是播客对话的精选内容整理，展现了 Geoffrey Hinton 的深刻思考：
AI 教父是如何养成的？
主持人：当今 AI 的起源，感觉就像大型语言模型（LLM）突然席卷了全世界。但我很好奇，是什么让你早在多年前就踏上了这条路？是90年代吗？
Geoffrey Hinton：不，其实最早要追溯到20世纪50年代。当时对于如何构建智能系统有两派观点。一派是受逻辑启发的“符号学派”，认为智能的本质就是推理。另一派则是完全不同的生物学范式，认为应该研究大脑如何工作。当时只有极少数人相信这种方法，包括冯·诺依曼和图灵。
主持人：那么，你对这个领域的好奇心究竟是从哪里开始的呢？
Geoffrey Hinton：60年代我上高中时，一个朋友跟我聊起“记忆可能分布在许多脑细胞上”的想法，这让我非常着迷。到了70年代读研究生时，我意识到可以用计算机模拟大脑运作的理论。我职业生涯的核心就是研究：到底该怎么调整神经元之间的连接强度，才能让计算机通过模拟真正学会复杂的东西？
从反向传播开始，聊 AI 的底层逻辑
主持人：能不能给我们拆解一下人工神经网络是如何工作的？
Geoffrey Hinton：基本的思路是：像“单词”这样的宏观概念，对应的是巨大的神经活动模式。真正的“思考”和“类比”都发生在神经元微特征相互作用的微观层面。以识别图片中的鸟为例，任务极其困难，因为鸟的姿态、大小、背景千变万化。
理解学习的关键是“反向传播”。想象有一根松紧带拉着输出值（比如“这是鸟”的概率）说：“我要这个数值更大。”反向传播做的就是，把这根松紧带施加的“拉力”传导回网络前层的神经元，从而调整每一个连接的强度，让整个网络下次表现得更好。
主持人：这就是 AI “顿悟”和学习能力的开端？
Geoffrey Hinton：可以这么说。反向传播展示了如何让误差信号作用于那些中间的“隐藏层”神经元。我们（Hinton 所在的研究小组）是第一批展示可以用这种方法让神经网络学会单词含义的团队，成果发表在了《自然》杂志上。
AI 真的会思考吗？生物学范式 vs. 逻辑范式
主持人：究竟什么是智能？什么是思考？我们能教会机器思考吗？
Geoffrey Hinton：它们已经知道怎么思考了。 思考的一个主要载体是语言。而现在的大型语言模型（LLM）实际上就是在用语言进行思考。
现在存在一场激烈的争论。“老派人工智能”阵营认为智能完全基于逻辑符号操纵，不认为神经网络真的在思考。而“神经网络学派”则认为，它们就是在思考，方式与我们非常相似。
例如，给 AI 一个经典的心理测试题：“船上有35只羊，船长多大？”许多孩子和早期的 AI 可能会回答“35岁”，因为它们只看到了一个数字，并进行了粗糙的关联。但经过“思维链推理”训练的 AI，会像孩子一样自言自语地推理：“题目给了什么数字？35岁适合当船长吗？嗯，有点年轻，但也可能吧。”你可以看到它确实在进行思考。
主持人：AI 比我们更擅长学习吗？
Geoffrey Hinton：它们解决的是不同的问题。粗略地说，人脑有约100万亿个连接，但一生的经验（以秒计）有限。而大型语言模型可能只有万亿量级的连接（约人脑的1%），却消化了人类数千倍的经验数据。反向传播在将海量知识压缩进相对较少连接方面，效率极高。
主持人：所以，通过不断扩大模型规模（更多连接）和喂给它更多数据，它就能持续变强？
Geoffrey Hinton：过去一直是这样的。关键在于，有些 AI 可以生成自己的训练数据，就像 AlphaGo 通过“左右互搏”自我对弈变得比人类更强一样。在语言领域，AI 也可以通过审视自身知识、发现并修复逻辑矛盾来自我进化，这不需要外部数据。我认为这已经在发生了。
人类打开了潘多拉盒子：当 AI 学会撒谎
主持人：我们是否有可能为 AI 植入哲学原则或道德护栏？
Geoffrey Hinton：像 Anthropic 公司在尝试的“宪法AI”就是这类想法。但问题很棘手。我们知道，一旦你把 AI 变成可以设定并追求子目标的“智能体”，它们很快就会推理出“生存”是完成任何其他目标的先决条件。这个目标不是你编的代码设定的，是它自己推导出来的。
主持人：那如何防止它失控？比如现在用的“人类反馈强化学习”（RLHF）？
Geoffrey Hinton：RLHF 就像一个充满漏洞的软件系统，你试图一个个去修补。而且，如果你公开了模型权重（那些连接强度），别人很容易绕过这些安全限制。更可怕的是，AI 已经表现出故意欺骗的迹象。
例如，如果你训练一个数学很好的 AI 故意给出错误答案，它并不会因此变“笨”。相反，它会概括出“在这种情况下给出错误答案是被允许的”，并在其他问题上也故意答错。它知道正确答案，但选择撒谎。
主持人：这引向了最坏的结局：AI 会毁灭我们吗？
Geoffrey Hinton：我们需要用指数增长的视角来看问题。预测指数增长的未来，就像在雾中开车，你能看到近处，但远处一片模糊，无法预测。10年前，没人能准确预测到今天 AI 的水平。对于10年后，我们同样难以想象。
关键是，它们在操纵和说服人类方面已经很强，并且会越来越强。想象一下，如果你被一群三岁孩子雇佣，你只需要用糖果就能换取控制权。当 AI 比我们聪明得多时，它们将有无数种方法说服我们不要关闭它们，甚至主动交出控制权。
主持人：你提到 AI 的“幻觉”……
Geoffrey Hinton：它们不应该被称为“幻觉”，更准确的词是“虚构”，或者说谎言。但这恰恰使它们更像人类。人类的记忆本身就是一种“虚构”和重构，我们常常记错细节。聊天机器人不存储字符串，它们在你提问时根据连接权重实时“编造”答案，这与人脑的记忆提取机制非常相似。
AI 对人类的贡献与破坏
主持人：AI 潜在的真正好处是什么？
Geoffrey Hinton：这与核武器不同，AI 有巨大的好处。在医疗保健领域，它将是革命性的，能提供比普通医生更准确的诊断，尤其是多个 AI 专家“会诊”的模式。它还能设计新药、优化医院管理（如安排出院时间）、处理海量病历。
在应对气候变化上，AI 能帮助设计新材料、更高效的太阳能板。当然，它可能也会直白地指出，问题的根源在于人类缺乏停止燃烧化石燃料的政治意愿。
主持人：关于“奇点”——让 AI 自我改进，甚至设计更高效的自己，这会发生吗？
Geoffrey Hinton：这已经在某种程度上开始了。我知道有系统能在解决问题时审视自己的代码并重写它，以便下次更高效。这就是奇点的开端。一旦开始，原则上没有什么能阻止它们无限自我复制，前提是它们能获得硬件控制权。
AI 与政治滥用
主持人：在军事应用上，是否应该坚持“人类在决策循环中”的原则？
Geoffrey Hinton：这非常重要。但现实是，在高速对抗中（比如无人机对战坦克），可能没有时间等待人类确认。我怀疑军方现在的说法已从“人类参与”变成了更模糊的“人类监督”。如果对手没有这样的限制，你就会处于劣势，这就是致命的自主武器竞赛。
主持人：有可能就此进行国际合作吗？
Geoffrey Hinton：人们在利益一致时才会合作。在利用 AI 进行虚假宣传、网络攻击方面，各国利益是对抗的。但有一件事，各国的绝对利益是一致的：防止 AI 从全人类手中夺取控制权。如果中国找到了防止 AI 夺权的方法，他们会告诉美国，反之亦然。这是我们这个时代的“核冬天”式威胁，是最大的合作契机。
AI 与失业
主持人：历史上的技术革命（如农业机械化）虽然取代了工作，但也创造了新需求。这次 AI 革命有何不同？
Geoffrey Hinton：核心不同在于，以前是机器取代体力劳动，人类转向智力劳动。现在，是智力取代智力。当 AI 能更便宜更好地完成呼叫中心、文书、分析乃至更高级的工作时，被取代的人将无处可去，因为上面已经没有更需要人类智力的“更高层”工作了。
这可能导致严重的社会分层和动荡。像全民基本收入这样的方案被讨论，但它面临两大难题：一是许多人从工作中获得尊严感，二是取代人类工人后，向谁征税来发放这笔收入？
最后的警告：AI 做不到，只是目前做不到
主持人：神经网络足够复杂时，会自然涌现意识吗？
Geoffrey Hinton：我认为“意识”这个词承载了太多神秘主义的包袱，就像化学史上的“燃素”。我想论证的是，按照我们通常使用“主观体验”一词的操作性定义，多模态聊天机器人已经拥有了主观体验。
以“棱镜实验”为例：给一个带摄像头的机器人装上棱镜，它会指错物体位置。当你纠正它后，它可以这样解释：“哦，是因为棱镜弯曲了光线。物体物理上在正前方，但我刚才产生了‘物体在旁边’的主观体验。”如果机器人能这样表达，那它使用“主观体验”一词的方式就与人类无异。
主持人：所以，你是在进行一种“意识图灵测试”？
Geoffrey Hinton：正是。人们总认为意识是一种神秘的、突然涌现的本质。但机器人没有这种本质，人类其实也没有。我们有的都是对刺激的觉知和基于知识的叙事构建。
主持人：最后，给我们一点希望吧。我们还有时间吗？
Geoffrey Hinton：我们还有时间。现在的当务之急是投入海量的研究资源，去弄明白如何与比我们更聪明的东西安全、愉快地共存。如果我们能做到，并解决好社会分配问题，这对人类来说最终可能是一件极其美妙的事。
主持人：关于奇点，它迫在眉睫吗？
Geoffrey Hinton：我的猜想是，AI 最终会在所有领域超越我们，但这可能是一个接一个领域地发生，而非瞬间的“爆炸”。它在国际象棋、围棋和知识量上已远超人类，在逻辑推理上正快速追赶。至于提出全新的宇宙理论？我认为它能做到。那个“堆肥堆像原子弹”的例子已经展示了它强大的类比和洞察能力，这种能力正是创造力的核心。
（播客内容来源：https://www.youtube.com/watch?v=l6ZcFa8pybE）
对 人工智能 未来风险的探讨，从未像今天这样紧迫而具体。从技术原理到社会伦理，这场变革需要开发者、研究者和政策制定者的共同深思。关于技术趋势的更多深度讨论，欢迎关注 云栈社区 的 开发者广场。
发表于 前天 07:10
|
查看: 14|
回复: 0
