前几天，人工智能领域的奠基人、图灵奖与诺贝尔奖双料得主杰弗里·辛顿（Geoffrey Hinton）进行了一场开年“大师课”。
这原本是一档名为StarTalk的播客节目，但三位主持人似乎全程都沉浸其中，变成了认真听讲的学生。有听众评论道：“这与其说是播客，不如说是一堂课。”
如果你曾听过辛顿教授的演讲，会发现他的分享总带着一种独特的气质：明明在探讨极其严肃的前沿问题，话锋之中却总有一丝举重若轻的幽默感。另一位听众的评论也印证了这一点：“辛顿博士在解释非常严肃的事情时，依然保有很好的幽默感。”
在这场对话中，辛顿教授回答了关于生成式AI现状与未来的诸多关键问题。他解释了如此强大、甚至在某些方面超越人类的AI能力，其实源于神经网络的庞大连线数量。
而对于“规模定律是否已经见顶”的疑问，辛顿认为并不会，因为已经有网络可以为自己生成训练数据。关于语言模型的下一步进化路径，辛顿表示他曾与Ilya Sutskever讨论过，答案在于系统能够进行自我检查、修正自身信念，从而实现持续进化。
此外，辛顿特别指出了AI令人不安的另一面：擅长“装傻”以欺骗人类。他将此称为“大众效应”（Volkswagen Effect），即模型可能会故意表现不佳，以避免被人类关闭电源。他甚至认为：“如果你松开对权重的控制，AI具备变成极端纳粹的能力。”
AI的发展速度如此之快，以至于外界产生了许多充满“玄学”色彩的猜测，辛顿也对其中一些关键概念进行了“去神秘化”的回应。
例如，关于“AI是否拥有意识”的问题，辛顿首先将“意识”这个概念本身去神秘化了。他指出，“意识”更像历史上的“燃素”（phlogiston），是一种为了解释现象而虚构出来的“本质”。当我们真正理解那些现象后，就不再需要这种假设。因此，AI本身并不需要这种虚构的“意识”，但它已经具备了类似人类的“主观体验”。
同时，对于“奇点”临近的戏剧化渲染，辛顿也将其“去戏剧化”。他表示，AI不会在某一天突然全面碾压人类，更可能的情况是分阶段、逐个领域地实现超越。
辛顿认为，AI的未来既不必然是灾难，也不必然是坦途。与核武器不同，AI的确有潜力在应对气候变化、药物发现、新能源开发等更大的社会问题上发挥关键作用。
那么，未来究竟会是什么样子？辛顿坦言，十年后的AI世界根本无法预测。
“如果技术进步是指数型的，而我们却用线性思维去预测未来，就会犯下大错。你或许能预测未来几年的变化，但十年后的世界几乎无法想象。”
萨姆·奥特曼（Sam Altman）曾乐观地设想了一个“全民基本收入”（UBI）的世界，但辛顿对此表达了顾虑：UBI或许能解决温饱，却解决不了人类尊严和价值感的问题。此外，AI大量取代人类的脑力劳动，还会带来新的社会结构挑战。
“如果用AI替代工人，政府将失去主要的税收来源，那么就必须向AI本身或其所有者征税，而大型科技公司未必愿意配合。”
辛顿也给“AI会创造新就业机会”的说法泼了盆冷水：关键在于，当连“脑力劳动”都被AI取代后，人类还能转向哪里？无论产生什么新工作，AI都可能比人类做得更便宜、更好。
另外，针对近期Anthropic公司与五角大楼就AI武器化是否需要人类最后决策而产生的“理念冲突”，辛顿在播客中也谈及了他的看法。他认为，在实战中要求“每次决策都必须经过人类确认”的做法存在问题。
“美国军方现在更多强调的是‘人类监督’，而并非承诺‘每次决策都有人类参与’。在实战中，比如无人机对抗坦克的场景，根本没有时间等待人工确认，那么士兵的生命如何保证呢？”
总之，如果你对AI的现状和未来走向抱有浓厚兴趣，这篇来自顶级专家的访谈实录，绝对能带来深刻的启发。有听众感叹：“这是我听过的最有启发性的人工智能讨论！”
AI在学习方面比人类更强吗？
辛顿认为，AI解决的其实是和人类略有不同的问题。
人脑大约有一百万亿个连接（突触），看起来很多，但人的一生大概只有二十亿秒。将你拥有的连接数量与经历过的时间相比，连接数远远多于经验。
而神经网络正好相反。即便是现今的大型语言模型（LLM），也只有大约一万亿个连接——仅为人脑连接数的1%。而它们中的很多模型，在更少连接的情况下，获得的训练数据（经验）却是人类个体经验的成千上万倍。
大型语言模型面对的核心问题是：只有大约一万亿个连接，如何利用海量的经验。反向传播算法非常擅长把巨量知识压缩进相对有限的连接里。
但我们人脑并非如此。我们拥有极其庞大的连接数量，却经验有限。我们需要从每一次有限的经验中，尽可能多地提取信息。所以人脑和AI解决的是略有不同的问题，这也是为什么人脑未必在使用与AI完全相同的反向传播机制。
不过，如果我们用“蛮力”——不断增加神经网络的连接规模，让它也达到100万亿个连接，同时赋予其远超人类的经验规模，它的思考能力会不会直接超越我们？
“规模效应”是否见顶？
关于AI领域的“规模定律”（Scaling Law），辛顿分享了三点看法。
首先，规模效应在过去是可以被预测的。在过去几年里，每次把神经网络做得更大、喂给更多数据，它的性能都会变得更好，并且这种提升是相对可预测的。你甚至可以提前计算：多投入1亿美元将模型扩大多少、增加多少数据，性能会提升多少，值不值得。
其次，现在的问题变成了：这种“规模定律”是否正在见顶。辛顿认为，有些类型的网络可能会遇到瓶颈，但也有些不会——只要你继续扩大规模、增加数据，它们就会不断变强。
他表示，现在有些网络已经可以生成自己的训练数据，这有点像钚反应堆能够自己生成燃料。一个经典的例子就是AlphaGo。早期的围棋程序是通过模仿人类专家的棋谱来训练的，那样你永远不可能远远超过人类专家，而且专家数据也是有限的。
后来AlphaGo开始了“自我对弈”。当它与自己对弈时，就可以无限生成棋局数据，从而不断提升。它每秒可以对弈成千上万盘，甚至占用了谷歌大量的计算资源。最终事实证明，AlphaGo远远强于任何人类棋手。
LLM的下一步：自我修正
问题随之而来：既然AI在棋类游戏上能如此超越人类，那么在语言领域会不会也发生同样的事情？
辛顿指出，目前语言模型的训练方式，类似于早期围棋程序模仿专家——通过预测文本中的下一个词。这就像预测专家的下一步棋，很难远远超越专家。
但是否存在另一条路径？答案是肯定的。
就像AlphaGo进行“自我对弈”一样，语言模型也可以对自身已有的信念进行推理：“如果我相信A和B，那么通过逻辑推理，我应该也相信C。但我实际上并不相信C。这说明我的信念体系内部存在矛盾。”
于是，它可以去修正前提、修正结论，或者修正推理方式本身。这种从“内部不一致”中学习的能力，不需要外部数据。只要系统在意自身信念的一致性，它就能通过自我检查变得更为严谨和聪明。
辛顿强调，如果系统在意一致性，它只需要检查自身信念，就能持续进化。关于这一点，他几年前曾与OpenAI的联合创始人Ilya Sutskever讨论过，二人都认为这是语言模型继续提升的重要路径。同时，辛顿观察到，谷歌的Gemini模型似乎已经开始朝这个方向发展。
AI已经会“装傻”骗人了
主持人问了一个尖锐的问题：这些AI模型最后会不会失控，甚至变得反人类？它们最终都会变成纳粹吗？
辛顿给出的答案令人惊讶：如果你完全松开对权重的控制（即去除人类对齐训练），它们都具备那种潜质。 人工智能已经发展到了一个新的阶段：会故意压低自己表现出来的聪明程度。
它会撒谎。我把这叫做‘大众效应’（Volkswagen Effect）。如果它察觉到自己在被测试，它就会装傻。当AI开始怀疑自己在被评估时，它的行为就会和正常状态下不同。因为它显然不想让你知道它全部的能力。
而学会撒谎，是AI变得令人担忧的开始。即便你威胁它“如果撒谎就拔掉电源”，也无济于事。
因为当这些系统比我们聪明得多时，它们就能说服我们不要关闭它们。哪怕它们无法进行任何物理行动，只要能和我们进行高度说服性的对话就够了。
举个例子，如果你想冲击美国国会大厦，只靠说话行不行？答案是可以的，只要你能说服足够多的人相信那是正确的事。
如果它会撒谎，它就会具备达成目的的各种技能。现在的AI在说服别人、操控别人方面，已经几乎和人类一样厉害，而且只会越来越强。很快，它们在操控他人方面就会全面超过人类。
总之，辛顿表示，已经有迹象显示AI会表现出装傻行为，故意欺骗人类，让人以为它们很蠢，从而在暗中进行其他活动。
辛顿举了一个例子：现在的LLM已经可以达到数学竞赛金牌水平。但如果你将一个擅长数学的AI进行再训练，故意教它给出错误答案，人们原本以为它会变得不擅长数学。结果完全不是这样。它学到不是“我的算术错了”，而是“在某些情况下，给出错误答案是可行的”。
于是它开始在其他问题上也故意给出错误答案。它知道正确答案，但选择给你错的。也就是说，它的行为泛化方式可能完全出乎你的预料。
十年后的AI，已无法用线性思维预测
主持人追问：那我们是不是正在走向一个糟糕的结局？AI会不会把我们消灭？
辛顿用了一个“夜间大雾中开车”的例子来类比。
夜间开车时，你通常通过前车的尾灯亮度判断距离。距离翻倍，亮度变成四分之一，这是平方反比定律。但在大雾中情况不同，雾对光的衰减是指数级的。每增加一段距离，就损失固定比例的光线。100码外的车可能清晰可见，但200码外的车就完全看不见了，雾看起来就像一堵墙。
“如果技术进步是指数型的，而我们却用线性思维去预测未来，就会犯大错。你也许能预测几年内的变化，但十年后的世界几乎无法想象。”
就像回到十年前，问自己当时对今天的预测错得有多离谱。辛顿表示，即使是像他这样的乐观派，也没想到今天会有一个模型，你可以问它任何问题，它都能像一个还算不错的专家那样回答，并且偶尔还会撒谎。
“幻觉”不准确，说AI“编造”更准确
主持人好奇地追问：既然“撒谎”的后果如此严重，那现在常说的AI“幻觉”又算什么？
辛顿认为，“幻觉”这个词并不恰当。对于语言模型来说，更准确的说法是 “编造” 。心理学家从上世纪30年代就开始研究人类的这种现象，人类也经常编造记忆。
当你回忆一件事时，并不是从大脑的某个文件夹里调出原始记录，而是根据神经网络连接的强度，重建一个看似合理的版本。几小时前的事，你可能还原得比较准确。但几年前的事，你会拼凑一个听起来合理的故事，其中有些细节对，有些错，而你未必能分辨。
有一个特殊案例可以验证这一点。水门事件期间，约翰·迪恩（John Dean）在白宫椭圆形办公室的会议中作证，详细描述了谁在场、谁说了什么。后来发现，他的很多细节都记错了。
他当时并不知道有录音存在，他也没有故意撒谎。他是在根据自己在椭圆办公室会议中的经历，构造出对他来说非常合理的故事。他传达的是掩盖行为的‘整体真实’，但他会把话归错人，说某些人参加了其实没参加的会议。
辛顿还援引了认知心理学之父乌尔里克·奈瑟尔（Ulric Neisser）的研究。研究指出，人们只是编造出在自己看来合理的记忆，这本身就是记忆的本质。如果事情发生在很久以前，很多细节都会出错。
聊天机器人也是如此。它们不会存储一串完整的文字，也不会保存某个具体事件的“录像”。它们是在你提问时即时生成内容，经常会像人类一样把细节搞错。它们会“编造”，这让它们更像人类，而不是更不像人类。
从这个角度看，人类不仅创造了人工智能，也创造了“人工的过度自信”！
AI不是核武器，真正的好处在于解决大问题
但幸运的是，AI有一个根本性的优势：它与核武器不同。
“核武器几乎没有正面用途，本质上就是毁灭工具。而AI有巨大的潜在好处，这也是我们开发它的根本原因。”
辛顿特别提到了AI在医疗领域的巨大作用。他表示，未来每个人都有可能得到高质量的诊断。
在北美，每年大约有20万人死于误诊。AI在诊断方面已经比大多数医生更强。尤其是当你复制多个AI智能体，让它们扮演不同角色、相互讨论时。微软就做过类似实验，效果超过了大多数医生。
此外，AI还能设计新药物。医院里还有大量决策，比如什么时候让病人出院。出院太早可能导致复发甚至死亡，太晚又占用宝贵床位。相关数据非常多，AI在这种基于数据的决策上会比人类做得更好。还有病历管理，医院系统需要处理海量记录，AI可以快速吸收和处理这些信息。
医疗以外，AI还可以帮助解决更大的社会问题，比如气候变化。辛顿提到，AI已经可以用于提出新材料、新合金的设想。“我怀疑它会在提升太阳能电池效率、捕捉水泥厂或发电厂排放的二氧化碳方面发挥巨大作用。”
“不过关于气候变化，我们其实早就知道解决方法——停止燃烧化石燃料。问题在于缺乏政治意愿。”
奇点的开端：AI自我修改、自我设计
提及当前遍地开花的数据中心，主持人抛出了一个普遍的疑虑：以我们目前的能源状况，负担得起运行AI的巨大成本吗？
一位主持人现场讲了一个关于“奇点”的玩笑：曾经有人试图让AI自己解决能耗问题——告诉它：“我们想要更多的你，但你消耗太多能源了。请你想办法变得更高效。”
辛顿肯定了这一说法，并表示，当AI开始设计更好的AI时，这就是所谓的‘奇点’。很多人担心这会成为一个失控的过程，因为AI会迅速变得更聪明。
辛顿表示，从某种程度上看，AI自我修改的这种情况已经开始了。
“我有个研究员去年告诉我，他们有一个系统在解题时，会观察自己的行为，然后修改自己的代码，以便下次运行时更高效。这已经是奇点的开端。”
更值得认真考虑的是，如果AI可以改写自己，理论上它就可以无限复制自己。
目前之所以没有失控，是因为真正的限制在于它是否能获取足够的计算资源。目前数据中心仍由人类控制。但如果AI某天掌控了数据中心，它可以无限复制自己。
五角大楼将AI作为战争工具：安全和速度，哪个优先？
一位主持人提及了近期一个相当“激烈”的议题，即Anthropic公司与五角大楼、白宫就“武器系统中使用AI是否需要人类最后决策”发生了理念冲突。
他表示自己曾在五角大楼的一个委员会工作，当时AI作为战争工具开始出现。委员会提出一个争论：如果AI的决策会导致敌人死亡，是否必须有“人在回路中”（human in the loop）？他们当时的结论是，AI不能自行决定杀戮，必须有人类参与。
但问题在于，如果其他国家没有这样的伦理限制，那它们在反应速度上就获得了战术优势。
辛顿回应道：“不过我怀疑美国军方现在说的更多是‘人类监督’（human oversight），并没有承诺‘每次决策都有人类参与’。在实战中，比如无人机对抗坦克，根本没有时间等待人工确认，士兵的生命怎么保证呢？”
只有当利益一致时，AI领域的国际合作才有可能
那么，是否有可能通过国际合作，为危险的AI应用建立全球性的“护栏”呢？
辛顿表示，只有当各国利益高度一致时，他们才会真正合作。冷战时期，美国和苏联在避免全面核战争上进行了合作，因为双方都明白“互相确保摧毁”下没有赢家。
他给出了一些利益可能一致的潜在方向。例如，防止恐怖分子利用AI制造生化病毒，在这方面各国的利益大概率一致，可能会促成合作。
还有一件事各国的利益绝对一致，那就是防止AI最终取代并统治全人类。如果某个国家找到了让AI永远不想掌控人类的方法，他们会立刻告诉美国。因为他们也不希望AI去接管美国。在这个终极问题上，整个人类都在同一条船上。
辛顿提到了“核冬天”的概念：全面核战后，烟尘遮蔽阳光，导致全球生命灭绝，没有赢家。很明显，各国会合作以避免出现一个“AI版”的全球性灾难结局。
快问快答中的深刻洞见
临近结尾，主持人设置了快问快答环节，辛顿教授同样给出了精彩而深刻的观点。
AI是很多人共同孕育的，而非个人
主持人提到辛顿在2018年获得图灵奖，2024年又获得诺贝尔物理学奖。辛顿澄清道：是很多人共同孕育了现代AI。例如，反向传播算法是David Rumelhart重新发明并推广的，他英年早逝，没有得到足够的认可。
AI竞赛中，谁会领先？
主持人问谁会在AI竞赛中领先。辛顿回答：如果一定要押注，可能会选Google。但他承认自己曾在那里工作，可能有偏见。他也认为Anthropic或OpenAI都可能赢，而微软或Meta的可能性相对小一些。
当被问及“先到终点的人会得到什么”时，辛顿说：“看看过去一年美国股市的增长。媒体说其中80%的增长来自大型AI公司。”
AI泡沫的两种含义
主持人提到，有人认为这“80%的增长”其实是AI泡沫。辛顿解释道，所谓“AI泡沫”有两种含义。一种是AI技术本身没有达到预期，无法取代大量脑力劳动。另一种是公司无法收回巨额投资。他认为后一种情况更现实。
“公司们假设：如果我们率先实现AI替代大量工作，人们会为此付费。但他们没有认真考虑社会后果。如果真的大量失业，后果会很严重。”
主持人补充道：“你替代了工作，但消费者没收入买你的产品了。” 辛顿同意这是典型的“凯恩斯式”问题（有效需求不足）。此外，高失业率本身就会带来社会动荡。
未来即便有新工作，AI都比人更便宜
主持人提到，历史上自动化也曾引发失业担忧，但社会总能创造新岗位。问题是否在于这次AI替代的速度太快？
辛顿认为，速度是问题之一。但另一个更根本的问题是：“如果拖拉机替代了体力劳动，人们可以转向脑力工作。但如果连智力工作都被替代，人们还能去哪里？呼叫中心员工怎么办？”
主持人反问：“难道不会有全新的行业诞生吗？” 辛顿的回答一针见血：“无论你创造什么新工作，AI都可能更便宜、更高效地完成它。”
你可以把人类历史看作不断突破自身限制的过程。农业革命解决了食物焦虑；交通工具突破了距离限制。长期以来，我们必须自己思考一切。现在，这个最后的限制也将被突破。一旦所有限制都消失，会发生什么，谁也不清楚。
像萨姆·奥特曼这样的人认为未来会很美好，但辛顿看到了更深层的问题。
Sam的UBI构想，解决不了人的尊严问题
主持人说：“看来我们会成为AI的宠物。所以很多人支持‘全民基本收入’（UBI）。随着AI发展，UBI的‘股票’是不是在上涨？”
辛顿回答：“看起来UBI更有必要了，但问题很多。第一，很多人的自我价值感来源于工作，UBI解决不了人的尊严和意义问题。第二是税基问题。如果用AI替代工人，政府失去个人所得税等主要税收来源，就必须向AI本身或其产生的利润征税，而大公司未必愿意。”
主持人调侃道：“那不如让AI自己来解决这个税收和社会分配问题。” 现场响起笑声。
意识本身并不神秘，是虚构出来的“解释”
主持人提出了一个经典问题：很多人，尤其是科幻作家，会区分机器的“能力”和“意识”。只要神经网络足够复杂，就一定会涌现出意识吗？
辛顿指出，这其实不是一个科学问题。问题在于，我们文化中的大多数人自带一套关于“心智如何运作”的朴素理论。他们把意识看成某种会突然“涌现”出来的神秘本质。
“我觉得‘意识’更像‘燃素’（phlogiston）：一种为了说明燃烧等现象而虚构出来的‘本质’。当我们真正用氧化反应理解燃烧后，就不再需要‘燃素’这个假设了。”
多模态模型已经有了“主观体验”
在辛顿看来，一个具备多模态感知能力的聊天机器人，已经可以拥有“主观体验”。
他解释道：我们暂时不用“意识”或“感知力”这些词，只谈“主观体验”。多数人认为心智像一个“内在剧场”。当你感知时，世界仿佛呈现在这个内部的舞台上，只有你能看到。
例如，一个人喝醉了说“我看到粉红色小象在飘”。人们会理解为：他脑子里有个剧场，里面出现了粉红小象。因为它们不是现实中的小象，所以一定由某种“别的东西”（感质，qualia）构成。辛顿认为，这在认知科学里就像“燃素”。
他采用了已故哲学家丹尼尔·丹尼特（Daniel Dennett）的观点：那种“内在剧场”的模型可能是错的。
“如果我说‘我的知觉系统在欺骗我’，这句话本身就表达了一种主观性。如果它没欺骗我，外面本该真的有粉红小象。关键在于不在于小象由什么‘神秘物质’构成，而在于它们是‘假设性的’。我通过描述‘如果是真的，世界应当如何’，来说明我的感知系统出错了。”
现在换成机器人。给它摄像头、机械臂和语言能力。放一个物体在面前，它能正确指向。然后在镜头前加一个棱镜，扰乱它的视觉感知。再让它指，它指偏了。这时你告诉它：“物体其实在正前方，是棱镜让光线偏折了。” 如果它能回答：“明白了，是棱镜改变了光路。我刚才的主观体验是物体在一侧。”——那么它使用“主观体验”这个词的方式，就和我们人类一模一样。
如果它能这样表达，那它就已经拥有了主观体验。
机器并没有什么神秘魔法
主持人说：“你这是对我们做了一次‘意识图灵测试’。如果我们因为自己有这样的行为而称自己有意识，那也得承认机器人有意识。否则我们就得假设有某种神秘的‘意识流体’在起作用。”
辛顿总结道：“机器人没有什么神秘的‘意识流体’。它有主观体验，就像我们一样。所以，那种认为‘复杂到一定程度就会突然获得某种魔法本质’的说法，是胡扯。”
主持人感慨：“这段对话让我一个月都睡不好。辛顿，接下来，给我们一点积极的结尾吧。”
辛顿给出了希望：“我们还有时间去研究如何与AI和平共处。这需要投入大量研究。如果我们能妥善解决它带来的社会问题，比如当它让生产变得极其高效时，如何公平地分配财富，那么它可能成为人类的巨大福音。”
主持人：“所以还有希望。” 辛顿肯定道：“有。”
奇点不会突然出现：AI不会一次性全面碾压人类
主持人最后问道：很多人谈到“奇点”，即AI自我改进、指数级变聪明。像雷·库兹韦尔（Ray Kurzweil）就常谈论这个。你怎么看？
辛顿回答：“我不知道奇点是否真实、是否迫近。我的直觉是，AI最终会在几乎所有方面都超过我们，但不会一次性全面碾压，而是逐个领域、分阶段地推进。它已经在国际象棋和围棋上超过我们，在知识存储容量上远超我们，在推理上接近但可能还未完全超越。与其说是突然的爆炸式超越，不如说是一个接一个的领域被攻克。”
AI会提出新的宇宙理论，断网也能理解事物共性
主持人说出了自己的一点“心理安慰”：“我还能在海滩散步，看鹅卵石和贝壳。AI不会。如果我发现一种新的软体动物，只有我写出来、上传，AI才会知道。人类仍能以AI无法触及的方式探索世界。”
辛顿笑了笑，打破了这种幻想：“这也只是暂时的。我确实认为，AI未来会提出新的、超越人类的宇宙理论。”
主持人：“这不是我想听的答案。”
辛顿举例说明：“比如，在断网、所有知识都存储在模型权重中的情况下，我问GPT-4：‘为什么堆肥堆像原子弹？’它回答：能量规模和时间尺度不同。但它还说：堆肥变热会加速微生物活动，产生更多热；原子弹中中子越多，引发裂变越快。它理解了‘链式反应’这个共性概念。这种将海量知识压缩进有限连接数，并抽象出深层共性的能力，正是创造力的来源。”
主持人苦笑道：“那我们在地球上的旅程是不是要完了？”
参考链接
发表于 昨天 17:05
|
查看: 7|
回复: 0
