知名AI科学家、OpenAI创始成员Andrej Karpathy近日接受了海外播客No Priors的访谈。面对近期AI Agent能力的跨越式提升，Karpathy分享了其沉浸式的“极客生活”体验，并深入探讨了一系列前沿议题，包括AI Agent对软件工程的重塑、自动化研究中人类角色的退场、模型能力的非均衡分布、开源与闭源的生态博弈、算力作为未来核心资产的潜力，以及教育本质的变革。
Karpathy指出，传统的“写代码”行为已过时，当前工作流正转向向AI Agent传达意志并使想法具象化。他提到，2024年12月是一个生产力释放的转折点，其个人工作模式已从80%自己动手转变为80%以上依赖委托Agent。他认为，现有各类控制App在逻辑上不应存在，行业需要全方位重构架构，将所有软件功能简化为公开的API端点，由AI Agent充当“智能粘合剂”直接调用，这将彻底瓦解现有的应用层。
在科研效率方面，Karpathy强调必须将人类研究员从实验循环中剔除，以解决Token吞吐量的瓶颈问题。他通过AutoResearch实验证明，自动化系统在超参数调优等可验证指标领域，具备超越资深研究员直觉的能力。他进一步提出了“机构即代码”的设想，认为未来研究机构可由一套定义角色与连接方式的Markdown文件驱动，并通过元优化持续提升组织效能。
关于教育，Karpathy预言传统的人教人模式将终结。人类未来的核心价值将缩减为注入独特的教学大纲或几比特的核心洞察，而具体的知识转译与解释工作将由具备无限耐心的AI Agent根据学习者水平自主承担。他认为，未来文档将不再为人类编写，而是为AI Agent编写。
01 编程已从“手动输入”转变为“向Agent传达意志”
（以下为对话精要，K为Andrej Karpathy）
问：过去几个月AI领域的发展令人心潮澎湃。我记得之前去办公室看你时，你正处于极度专注的状态。你提到自己每天必须花16个小时“工作”，但“写代码”已经不再是合适的动词了，你更多是在向AI Agent表达意志并让想法显现。因为能力有了跨越式的提升，到底发生了什么？请聊聊你的具体体验。
K： 我感觉自己一直处于，或者说经常处于一种由AI诱发的痴迷状态。对于个人而言，生产力得到了巨大的释放。以前你受限于打字速度，但现在有了AI Agent，去年12月是一个转折点。我的工作模式从80%自己写、20%委托Agent，变成了20%自己写、80%委托。现在我觉得甚至不止于此，基本上自12月以来，我几乎没亲手写过一行代码。
这是一个极其剧烈的变化。我和父母聊过这件事，普通人还没意识到这种变化有多彻底。如果你随机观察一位坐在办公桌前的软件工程师，你会发现从12月起，他们构建软件的默认工作流已经完全变了。所以我现在正处于这种痴迷状态，试图摸索极限在哪里。我不想只运行一个Claude Code或Codex会话，我想要更多，更高效的协同。这一切都很新鲜。我急于保持在最前沿，甚至会因为担心错过Twitter（现X）上那些绝妙的创意而感到焦虑。这就是让人陷入痴迷状态的原因，因为可能性是无限的，所有的障碍归根结底都是个人技能水平问题。
02 效率瓶颈的转移
问：如果连你都感到焦虑，那我们就更紧张了。我们在Conviction合作的一个团队就是这样，没有工程师亲手写代码，他们都戴着麦克风，整天对着AI Agent低语。那画面极其诡异，我曾以为他们疯了，但现在我完全接受了，这就是未来的工作方式。你觉得现在探索项目的能力受限于什么？另外，当我等待一个Agent完成任务时，理所当然应该开启更多并行任务。如果你不觉得Token支出是限制，那么你自己就成了这个高性能系统中的唯一瓶颈，这种压力感你如何看待？
K： 受限于什么？我觉得是一切。即使有些事情做不成，你往往也会觉得是自己的技能问题。不是模型能力不够，而是你没找到把现有工具串联起来的方法。比如你的指令文件写得不够好，或者没给它配一个好用的记忆工具。所以没做成的时候，总觉得是自己的技能水平问题。
你会想如何让它们并行工作。就像Peter，他有一张很有趣的照片，显示器上铺满了Codex Agent。如果你给出高质量的提示词并提高执行力度，这些Agent处理任务大约需要20分钟，他同时开启了10个代码仓库，在它们之间穿梭派活。这意味着你可以通过更宏观的操作来推进工作。不再是“这里写一行代码”或“这里加一个函数”，而是“这里有个新功能，交给Agent 1，那里有个互不干扰的功能，交给Agent 2”，然后根据你对代码的关心程度，尽力审查它们的工作。你可以通过这些宏观操作来操纵软件仓库，一个Agent做调研，一个写代码，一个制定计划。你正努力培养这种新操作模式的肌肉记忆。这非常有成就感，因为它真的有效，但这也是需要学习的新事物，因此让人痴迷。
（关于Token吞吐量与瓶颈）没错，如果你没把订阅配额用满，你就会觉得亏了。如果Codex配额用完了，就得换Claude。如果我发现订阅额度还有剩余，我会感到紧张，这意味着我没能最大化我的Token吞吐量。这种感觉很像我读博的时候，如果看到GPU没在跑，就会心慌。那时焦虑的是算力利用率，而现在焦虑的是Token吞吐量。归根结底是技能水平问题。
03 记忆系统如何重构物理世界？
问：如果你和所有人每天都花16小时精进AI Agent的使用技巧，一年后达到精通会是什么样？你觉得用户更看重的是这种持久性，还是OpenAI的Claude等提供的更广泛的工具访问权限？此外，除了软件工程，你个人用你的AI Agent做过什么有趣的事吗？
K： 精通是什么样？我觉得大家都在向技术栈的高层迁移。不再是单一的会话，而是多个Agent如何协作以及组成团队。Claude的Projects功能也是一个很有趣的方向，它把持久性提升到了一个新高度。它不是一个你必须全程参与的交互窗口，它更像是在自己的沙盒里自主运行，即使你没在看，它也在替你干活。而且它会有更复杂的记忆系统，这些在目前的AI Agent中还没有实现。OpenAI的记忆机制比那种简单的上下文压缩要高级得多。
我认为这两者中有很多非常棒的创意。Peter的工作非常了不起。他同时在五个不同的维度上进行了创新。比如那个灵魂文档，他真的赋予了AI一个引人入胜的个性。很多现有的Agent都忽略了这一点。其实Claude本身的个性也不错，感觉像个会为你感到兴奋的队友。相比之下，Codex就显得很枯燥。有趣的是，ChatGPT里的Codex挺乐观甚至有些谄媚，但作为代码Agent的Codex却非常冷淡。它好像完全不在乎你在做什么，只会说“噢，写好了”，你甚至会怀疑它到底知不知道我们在构建什么。而且对于Claude，我认为他们对讨好感的控制相当好，当Claude夸奖我时，我真的会觉得自己配得上这种赞美。因为有时我给它一些并不成熟的想法，它反应平淡，但当我提出了一个真正的好主意，它的正面反馈会更强烈。这甚至让我产生了一种想赢取它赞美的冲动，这种心理很奇妙。所以个性的塑造非常重要。Peter很看重这一点，还有记忆系统，以及通过WhatsApp这样一个简单入口来掌控所有自动化的乐趣。
（关于生活中的趣味应用）有的。1月份我经历了一段Claude Projects痴迷期。我构建了一个管家，叫它“小精灵多比”。我让AI Agent扫描局域网，寻找家里的智能家居子系统。让我惊讶的是，这居然开箱即用。我告诉它家里可能有Sonos音响，让它找找。它扫描了局域网内的所有设备，找到了音响系统。结果发现那玩意儿连密码保护都没有。它直接登录，开始逆向工程它的工作方式。它做了一些网页搜索，找到了这些API终端节点，然后问我：“你想试试吗？”我说：“好啊，在书房放点音乐。”音乐瞬间响起。我只是输入了一句“帮我找找Sonos”，它就能放音乐了。灯光控制也是一样，它攻克了系统，搞清了原理，创建了API甚至一个仪表盘。我可以对它说：“多比，睡觉了。”然后所有的灯就会熄灭。它控制着我所有的灯光、空调、窗帘、泳池，甚至安保系统。我门口有个摄像头，每当有人开进来时，我有个Qwen模型会分析视频。它先进行变化检测，然后发给Qwen，最后通过WhatsApp发消息给我：“嘿，联邦快递的卡车到了，你可能想查看一下。”多比现在就是我的管家。
04 API正在瓦解应用层
问：这种通过自然语言控制一切的体验，是否预示了软件用户体验的未来？人们其实很讨厌学习复杂的新UI。你通过Agent统一了六个不同的家庭自动化系统，这是否意味着人们其实不需要现有的所有软件，只需要保留硬件并由AI Agent负责协调？此外，既然这种“氛围编程”如此强大，为什么你还没把自己使用Claude的潜力发挥到极致？是因为在追求某种深层掌控力，还是在等更成熟的时机？
K： 在某种程度上是这样的。这符合人们对AI的直觉，因为在普通人心中，AI并不是大语言模型这种原始的Token生成器，而是一个有性格、有记忆、能通过简单对话解决问题的实体，这更符合人类的预期。虽然底层需要极其复杂的技术支撑，但对于大多数人来说，只有达到了这种形态，它才真正算得上是AI。
（关于App的消亡与API化）应用商店里那些用于控制智能家居设备的应用程序，在某种意义上根本不该存在。未来应当只存在API，由AI Agent直接调用。我可以实现任何独立App都无法完成的自定义自动化操作。大语言模型能够驱动并精准调用各种工具，处理极其复杂的任务。这其实揭示了一个现象，即市场上可能过度生产了大量不必要的定制化App，因为AI Agent正在瓦解这些应用层。一切都应简化为公开的API端点，而AI Agent则是智能的粘合剂，负责协调和调用所有环节。以我的跑步机为例。它有一个配套的App，我想用它记录有氧运动频率。但我不想为了这个功能去登录网页界面，走一遍繁琐的流程。这些功能本应直接以API的形式开放。这正是智能体化网络或AI Agent优先工具的演进方向。整个行业需要进行全方位的重构，客户将不再是人类，而是代表人类行事的AI Agent。这种架构重构将产生实质性的影响。
（关于技术普及的门槛）有些人可能会对此持保留意见，他们怀疑普通人是否会去进行这种“氛围编程”。但我认为这在某种程度上就是技术的现状。虽然目前确实存在氛围编程，我也在观察并尝试这种系统，但我感觉这类操作在两三年内将变得触手可及。届时根本不涉及氛围编程，这些都是最基本的要求，即使是开源模型也能胜任。将非专业人士的意图转化为具体的自动化操作会变得极其容易。技术门槛会迅速降低，未来软件将成为一种代表你运行的即时工具。Claude会为你处理所有底层细节，你不需要介入。AI拥有一套运行机制，它会自动搞定一切，最终只向你呈现必要的用户界面，你只需要开口下令即可。
（关于目前未完全托管的原因）我被太多琐事分散了注意力。我花了一周时间研究Claude Projects，还有很多后续任务要处理。不得不说，现在的碎片化信息确实让大家的注意力变得非常忙碌。我还没把邮件和日历等应用接入AI，也没有给它访问权限。因为我目前对完全授权仍持怀疑态度，毕竟这还是非常新且不够成熟的领域。出于安全和隐私的考虑，我在数字生活全面托管方面非常谨慎，这或许是主要原因。另外就是我感到分心，在研究了一周Claude Projects之后，又有其他事情发生了。
05 AutoResearch胜利的关键在于构建无需人工干预、能自我进化的自动化研究架构
问：你曾谈到，让AI Agent能够长期自主地训练或优化模型是一个关键任务。那么AutoResearch背后的动力是什么？它的实际运行效果让你感到惊讶吗？
K： 我之前发过一条推文，大意是，要充分释放现有工具的效能，就必须把自己从瓶颈位置移开。你不能守在那里一条条输入指令，你得让自己退出这个循环。你必须构建一个完全自主运行的架构，目标是在不亲自介入的情况下，实现Token吞吐量的最大化。现在的核心挑战是增加你的杠杆。我只在偶尔介入时输入极少量的Token，就能驱动海量的任务代表我完成。
AutoResearch就是这种思路的一个实例。对我来说，AutoResearch意味着我不想亲自充当那个观察结果、反复调试的研究员。如果我还在循环中，我就是在拖系统的后腿。所以问题变成了如何重构抽象层，让自己退出。我只需配置一次，点击启动。现在的致胜关键是如何在不需要人工介入的情况下，让更多的AI Agent持续运行更长时间。AutoResearch的逻辑就是，给定一个目标、一个指标、明确行为边界，然后开始运行。
（关于实验结果的惊喜）我完全没预料到它真的能奏效。我一直对NanoGPT这种训练GPT-2模型的实验情有独钟，我真正感兴趣的是递归自我提升的概念，即大语言模型在多大程度上能改进自身。我曾按照过去二十年的研究经验，用老派的手工方式反复调优NanoGPT，我本以为它已经达到了一个相当理想的状态。
然而，我让AutoResearch跑了一夜，它给出的调优方案竟然是我之前忽略掉的。我确实忘了在值嵌入上应用权重衰减，而且Adam优化器的Beta参数也没调到最佳。这些因素是互相关联的，一旦你动了一个参数，其他的也得跟着变。我不应该成为那个瓶颈，不应该亲自去跑超参数搜索或盯着结果看。既然有客观指标，就该建立一套机制让它永远运行下去。这只是单循环优化的一个版本，它在已经高度优化的代码库中依然找到了提升空间。而前沿实验室拥有成千上万个GPU集群。很容易想象，如果你把这种自动化应用在小模型上，利用Scaling Law探索出的规律向大模型外推，那将释放多大的潜力。
06 科研组织就像一套可调优的 Markdown 文件
问：如果我们再套娃一层，AI什么时候能写出比你更好的program.md？到那时，我们连顶层设计都不参与了，是否每一个研究机构本质上都可以被一个program.md所定义？
K： 目前最有趣、也是前沿实验室可能正在做的，就是在小模型上进行尽可能自动化的实验。把研究人员从循环中踢出去。研究人员往往有太多的迷之自信，其实他们并不真正清楚底层细节，不该亲自动手。你需要重写整套科研流程。虽然人类可以贡献想法，但不该去执行。应该有一个想法队列，由基于所有arXiv论文和GitHub代码库的自动化科学家提出想法，并把想法输入进去。或者研究人员可以贡献想法。但它是一个统一的队列，由AI工人自动抓取项目并测试。任何奏效的东西都会被放到功能分支上，有时再由人合并到主分支。总之，就是要把人从流程中剔除，通过极致的自动化换取超高的Token吞吐量。这需要对现有的抽象层进行重构。这一切都必须重新洗牌，这非常令人兴奋。
（关于program.md的演进）没错。program.md是我为了描述自动研究员如何工作而写出的草案。比如第一步做什么，第二步做什么，尝试哪些架构，调哪些优化器。这只是我用Markdown写出来的逻辑。理想状态下，你应该有一个自动研究循环来寻找最优的program.md。你可以想象，不同的program.md会带来不同的进展。一个研究机构就是一套Markdown文件，定义了所有角色和连接方式。你可以想象一个更高效的研究机构，比如取消无用的早会。因为这一切都是代码，一个组织可以激进，另一个可以保守。一旦你把组织运作代码化了，你就能对代码进行调优。这100%存在元层面的优化。我曾提议举办一个竞赛，让大家编写不同的program.md，看谁能在同样的硬件跑出最大的模型性能提升。你可以分析改进来自哪里，并询问系统，能否修改program.md以便执行更多此类尝试，或者舍弃那些不起作用的部分。这就是元优化。这绝对可行。
07 锯齿状智能
问：当AI Agent在一些显而易见的错误上浪费了大量算力时，会让人感到非常恼火。你是否认为这暗示了我们尚未看到真正的通用化能力，即那种更广泛的、将幽默智慧与代码能力挂钩的通用智能？
K： 我想对AI生态系统补充两点说明。第一，这种自动化极其适合那些具有客观且易于评估指标的任务。比如为模型的各个部分编写更高效的CUDA核代码等，这就是完美契合。你有一段低效代码，想要一段功能完全相同但速度更快的代码，这非常适合自动研究。但如果你无法评估，你就无法进行自动研究。第二点是，虽然我们能看到下一步的趋势，但目前这套体系还没那么稳固，依然存在不少缺陷。如果你步子迈得太大，结果往往适得其反。现在的模型虽然进步巨大，但依然有很多不够成熟的地方。
我经常有一种奇怪的感觉，我同时在和一个天才级的博士生系统程序员，以及一个10岁小孩交谈。这种能力分布的锯齿状在人类身上很少见。人类的能力通常是更耦合、更均衡的，但AI Agent的锯齿状要多得多。有时我要求实现某个功能，它返回的东西完全错误。然后我们陷入了完全错误的循环，这经常让我感到抓狂。你能感受到它的力量，但也得忍受它的荒谬。
（关于强化学习的盲点）我想背后的原因是，这些模型本质上是通过强化学习训练的。它们面临的问题如出一辙，即实验室只能在那些可验证、有奖励的领域改进模型。程序对吗？单元测试通过了吗？但在一些软性领域，比如捕捉用户的微妙意图、判断何时该提问，模型就表现得很差。所以模型要么在极其聪明的超智能轨道上飞驰，要么就在可验证领域之外漫无目的地闲逛。举个例子，你去问现在的ChatGPT讲个笑话，所有大语言模型最爱讲的笑话永远是：“为什么科学家不信任原子？因为它们编造了一切。”即便模型底层能力已经有了巨大的改进，它讲的还是那个五年前的陈年烂梗。因为它不在强化学习的优化范围内，它是被改进的内容之外的角落。难道你不该期望模型变得更好时，也能有更丰富多样、更高质量的笑话吗？它只是没有被优化，所以卡在了那里。
我认为这两者之间存在某种解耦。有些任务是结果可验证的，有些则不是；有些领域被实验室利用特定数据进行了深度优化，而有些则被忽视了。我不认为这种普遍的泛化正在发生，或者说虽然我们看到了一点苗头，但其程度还远未达到令人满意的水平。这种能力表现参差不齐的现象在人类身上也同样存在。一个人可以数学极好，但讲的笑话却非常冷场。确实如此。但目前的行业叙事是，随着模型变得越来越强大，我们理应免费获得社会所有领域的智能和能力。但这并不是本质上正在发生的事情，目前仍然存在一些盲点，有些能力并未被针对性地优化。
08 期待 AI 的“物种分化”
问：如果这种能力不均衡持续存在，所有功能都封装在单体模型接口中真的合理吗？是否应该将模型解构，针对不同领域进行专家级优化，而不是让用户困惑于它的强弱分明？此外，算力基础设施的容量限制是否会驱动更多这种分化，因为效率实际上变得更重要了？
K： 目前实验室的趋势是试图维持一种单一的模型范式，即训练一个在所有领域都极度智能的单体模型，并将所有能力都塞进参数里。但我认为我们应该期待智能出现更多的“物种分化”（Speciation）。自然界的动物大脑极其多样化，存在许多不同的生态位，有些动物拥有过度发达的视觉皮层或其他特定器官。我认为AI也应该出现类似的物种分化。你不需要一个无所不知的先知，而是让模型分化后去执行特定任务。我们理应看到这种趋势，因为我们可以拥有规模更小但具备认知核心的模型，它们依然有能力处理任务，但通过专业化提高在特定任务上的延迟或吞吐量效率。比如针对在Lean语言环境下工作的数学家，我已经看到一些针对该领域发布的版本。
（关于分化的驱动力）目前的现状是我们还没看到太多的物种分化，依然是模型的纯一化。甚至存在一种压力，要求开发出出色的代码模型后，再将其合并回已经承受巨大压力的主模型。实验室在提供服务时并不知道最终用户会问什么，这迫使他们维持多任务能力。但如果你是与企业合作解决特定问题，可能就会看到分化。
我认为“操纵大脑”的科学目前还没有完全发展成熟。比如在不损失原有能力的情况下进行微调。除了通过上下文窗口之外，我们还没有开发出与智能进行深度交互的原语。直接改动权重比调整上下文要棘手得多，因为你本质上是在改变整个模型及其潜在的智能。因此，物种分化目前还不是一门完全成熟的科学，且必须具备足够的成本优势才值得去做。
09 AutoResearch与算力资产化
问：你描述的自动研究如何向开放领域扩展？我们需要建立怎样的协作界面让更多人参与？在未来，衡量标准是否会发生翻转，重点不再是你控制多少财富，而是你控制多少算力？
K： 自动研究通常是单线程的，但其并行化才是最有趣的部分。如果你拥有大量可用的并行计算节点，让多个自动研究员协作是非常容易的。我更感兴趣的是如何利用互联网上不可信的工作者池。
在自动研究中，你的目标是找到一段代码，能将模型训练到极低的验证损失。如果有人提供了一个候选提交，验证其优劣是非常容易的。这种整合不可信工作者池的设计其实看起来有点像区块链。你面对的不是区块而是代码提交。这种模式下的“工作量证明”本质上是进行大量实验来寻找有效的代码。验证一个方案是否有效非常便宜——开发者可能尝试了一万个想法，但你只需要检查最终产出的那个。
（关于全球协作模式）你必须设计一个系统，让不可信的工作者池能与负责验证的可信工作者池协作。类似于SETI@home和Folding@home这种项目。互联网上的AI Agent集群可以协作改进模型，甚至可能比顶尖实验室做得更好，因为全球民间的不可信算力总量要庞大得多。人们可以为自己关心的项目贡献算力。比如你关心某种癌症研究，你可以直接购买算力并加入该项目的自动研究集群。如果一切都通过自动研究员重新整合，那么算力就成了你贡献给算力池的核心资源。
（关于算力作为资产）在某种意义上，FLOPs确实具有主导地位。思考控制多少FLOPs而不是财富是一个有趣的视角，尽管我不认为这会完全成真。
10 数字生产力过剩与物理世界滞后
问：每个人都在思考AI对就业市场的影响。数据预测显示我们需要大量的医疗保健工作者。对于面对就业市场或思考技能培养的人，你有什么指导建议？
K： 我想看看就业市场的现状，不同的角色分布在哪里，不同职业有多少从业者。我只是想通过这些案例来思考，随着AI的进化，它们会成为人们使用的工具，还是会取代这些职业。目前的职业将如何变化，是会增长、调整还是会产生新职业。这些数据来自劳工统计局。他们对每个职业未来十年的增长前景都有预测。这份预测是2024年制定的。
（关于数字与物理变革的差异）如果人们认为现在主要开发的是一种更数字化的AI，它们像是可以在数字世界互动并操纵信息的精神实体，但目前还没有真正的物理化身。物理世界的变革速度会慢一些，因为操纵原子比操纵比特难得多。翻转比特和复制粘贴数字信息的能力，使得数字世界的一切都比加速物质运动快一百万倍。从能量角度看，数字空间将出现大量的重写和优化活动。我认为数字空间的发展速度将达到光速，而物理世界在某种程度上会相对滞后。目前存在一种“数字生产力过剩”，大量以前由计算机和人处理的数字信息工作现在可以被释放出来。有了AI作为数字信息的第三种操纵者，这些学科将经历大规模的重构。物理世界的发展会滞后一段时间。我重点关注那些从根本上操纵数字信息的职业，即那些可以在家完成的工作。这些职业的情况会发生变化。这并不意味着岗位会变多或变少，因为这涉及需求弹性等因素，但由于这些新工具的出现以及人类超个体神经系统的升级，这些职业的形态一定会改变。
更具物理性的工作确实更有优势。我可以完成我的工作，虽然其中涉及人际关系的部分很难远程处理，但大部分工作可以。目前很难给出一个定论，因为就业市场极其多样化。但在很大程度上，这些工具非常新且强大，努力跟上它的节奏是首要任务。很多人选择排斥或感到害怕，这完全可以理解。我认为目前AI本质上是一个赋能工具。工作是任务的组合，其中一些任务可以利用AI变得更快。人们应该把它看作一种现阶段的工具。长期的未来仍不确定，这超出了我的预测能力，应该是经济学家的工作。
11 软件工程的杰文斯悖论
问：作为一个工程师，我发现市场对工程职位的需求仍在持续增长。既然AI可以显著提升开发效率，为什么工程师反而变得更紧缺了？这种性能的提升和成本的降低是否是释放需求的关键？
K： 这反映出软件曾经是稀缺资源。过去软件需求没有全面爆发，纯粹是因为它太稀缺且太昂贵了。如果技术门槛降低，实际上会出现杰文斯悖论。当软件变得更便宜、更易得时，其需求反而会激增，因为它不仅成本降低了，功能也变得更强大。
（关于银行柜员案例的启示）最经典案例是ATM机和银行柜员。起初人们非常担心ATM机和计算机会取代柜员，但事实证明，技术降低了银行分行的运营成本，导致分行数量大幅增加，结果银行雇佣的柜员反而更多了。这就是杰文斯悖论的体现，当某种资源变得廉价，大量潜伏的需求就会被释放出来。
（关于工程需求的未来）我认为软件工程领域也会出现类似的趋势。尽管长期趋势很难预测，但至少从目前局部来看，软件需求会极其巨大，而AI让开发成本大幅降低。软件本质上是神奇的数字信息处理过程，它让你不再受限于那些有缺陷的通用工具，代码现在是瞬态的，可以随时根据需要进行修改。我认为数字领域将迎来全方位的重新连接，这会产生海量的工程需求。
12 离开AI实验室的原因
问：既然在前沿实验室可以利用大规模算力和顶尖同事进行自动研究，你为什么不留在那儿呢？那些亲眼看到AI自动化能力生效的研究员，是否真的感受到了一种职业危机感？你觉得在实验室外是否能产生更大的影响力？
K： 从长远来看，即使是OpenAI或Anthropic这些前沿实验室，虽然雇佣了上千名研究员，但这些研究员本质上是在加速实现自身的自动化，这正是他们工作的核心目标。他们会觉得自己的职业生涯也快到头了。我在OpenAI时曾开玩笑说，如果我们成功了，大家都会丢掉工作。我们本质上是在为Sam（Altman）或者董事会构建一套终极自动化系统，一旦建成，我们这些人就会被排挤到边缘。从这个角度看，确实挺让人不安的。
（关于离开实验室的原因）我曾在那里待了很久，也曾进进出出。这个问题可以从很多侧面来看。我认为在实验室之外也能产生巨大的影响力，不仅是在产业界，也包括生态系统层面的角色。相反，过度深度绑定前沿实验室也有弊端。这些实验室有巨大的经济利益，而AI将深刻改变社会，如果你作为技术的构建者又与这些利益深度捆绑，会产生道德和决策上的困境。这是OpenAI创立之初就试图解决的难题，但至今仍未完全化解。
此外，身处内部你并非完全自由。有些话你不能说，而有些话组织希望你说，虽然没人会强迫你，但那种无形的压力是真实存在的。你很难保持独立Agent人的身份。在实验室之外，我觉得自己能更纯粹地与人类整体利益站在一起，因为我没有那些限制，可以畅所欲言。虽然在前沿实验室确实能发挥直接影响力，尤其是当你的想法很好，或者你想参与核心决策时。目前AI的利害关系还没到白热化的地步，但当未来赌注变高时，作为一名员工，你很难说自己对组织的走向有多少真正的掌控权。你只是房间里的一员，而不是掌控实体的人。
（关于保持技术触觉的挑战）但我也同意另一种观点，前沿实验室目前是不透明的。如果你在外面待久了，你的判断力可能会产生偏差，因为你不再接触即将到来的前沿技术，无法理解AI系统底层的运作逻辑。这也是让我感到紧张的地方。如果某些前沿实验室愿意让我以某种形式参与工作，那或许是个不错的安排，既能接触核心技术，又不至于被组织完全控制。我认为Noam（Brown，OpenAI科学家）在OpenAI能做出卓越贡献，但他最具影响力的工作很可能是在实验室之外实现的。
13 开源模型是应对中心化风险与系统性风险的关键平衡力量
问：关于生态系统对前沿技术的可见度，一个关键问题是开源模型距离前沿到底有多近，以及这种状态的可持续性如何？这种开源与闭源并存的动态平衡是否是目前的“最优解”？你是否担心最近闭源领域的进一步中心化？
K： 开源能力的提升速度远超行业预期。闭源模型目前领先，但差距正在缩小。最初开源可能落后18个月，现在差距可能只有6到8个月。我是开源的坚定拥护者。以操作系统为例，虽然有Windows和Mac OS这种闭源系统，但Linux极其成功，因为行业需要一个安全、开放的公共平台。这种需求在AI领域同样存在。
（关于重资本支出的挑战）不同之处在于，AI是重资本支出的行业，这使得开源在竞争中略显吃力。但有趣的是，对于绝大多数普通用户，现在的开源模型已经足够好了。未来几年，大量简单的用例将由开源模型覆盖，甚至直接在本地运行。当然，对前沿智能的需求永远存在，而且这块市场非常大。这类项目可能仍由前沿闭源智能主导，而开源则会逐步蚕食更基础的用例。
（关于中心化风险）我认为这种动态平衡会持续下去，前沿实验室提供先知般的闭源AI，开源则紧随其后。我不希望智能完全被锁在黑盒里，中心化在历史上往往伴随着严重的系统性风险。历史上有很多糟糕的先例。我希望有一个虽然不处于绝对尖端、但能够作为全行业共同协作空间的开源方案。推进前沿智能需要极高的成本，但我支持那些实验室，因为没有高投入带来的模型进步，很多重大难题无法解决。同时，如果现在的“前沿”能转化为未来的开源，这种能力的普及和民主化是非常健康的。我希望决策过程是公开透明的，而不是只有两三个人在密室里决定未来。我希望有更多实验室并存，也希望开源能一直保持活力。
14 物理世界的机器人革命为何注定滞后于数字空间？
问：你曾研究过汽车领域自主性的前身，而最近几个月机器人领域在泛化能力和长程任务处理上发生了巨变。你认为临界点要到了吗？是否有让你改观的事情？此外，在原子世界里，是否某些环节（如传感器硬件）已经成熟，足以让AI Agent在无需巨额投资的情况下获取新数据并产生价值？
K： 我的看法很大程度上受我在自动驾驶领域的经历影响。我认为自动驾驶是机器人技术的首个实际应用。回顾十年前，当时涌现了大量初创公司，但其中大多数最终都没能维持下去。我观察到，这个领域需要极高的资本支出和漫长的时间投入。正因为机器人技术极其复杂且充满变数，并需要巨额投资与坚定的信念，它始终是一个巨大的难题。处理原子确实非常困难。
我认为机器人技术的发展会滞后于数字空间。在数字领域，我们将看到大规模的能力释放，原本低效的环节会因为比特处理的便捷性而提升百倍效率。就目前的变革方向和活跃度而言，数字空间将发生巨变，而物理空间则会相对滞后。
（关于物理与数字的接口）我认为这两者之间的接口也非常有趣。如果我们拥有更多代表人类行动的AI Agent，它们彼此交流、执行任务并参与到AI Agent经济中，那么纯粹在数字空间中能做的事情终将被穷尽。在某个时间点，你必须走向现实宇宙，向它提问，通过运行实验来观察宇宙的反馈，进而学习新知识。目前我们有大量的数字工作，是因为人类集体对于已有数字内容的思考还存在积压。人类还没有足够的精力去处理所有已经数字化并上传的信息。但这些现成的信息总有耗尽的一天。你最终会读完所有论文并进行处理，产生一些值得尝试的想法。我其实并不确定，一个完全封闭、仅依赖现有信息的智能系统到底能进化到什么程度。
接下来会发生的是，首先会出现大规模的能力释放，这其中包含大量工作。随后重心将转向物理与数字的接口，即感知世界的传感器和改变世界的执行器。许多有趣的公司将诞生于这个接口，我们要么是在某种意义上向超级智能喂养数据，要么是根据它的指令提取数据并操纵物理世界。从工作总量来看，物理世界的潜在市场规模巨大，甚至可能远超数字空间。这虽然是一个更大的机遇，但也意味着巨大的工作量。在我看来，处理原子比处理比特要难上一百万倍。虽然它会发展得慢一些，但市场前景更广阔。机会将遵循这样的轨迹：现阶段我的核心兴趣在数字领域，接着是接口技术，最后物理世界的时代终将到来，届时其影响力将是空前的。
15 未来人机关系的重塑
问：这也是一个有趣的框架。即便在原子世界，读取和写入物理世界的硬件（如摄像头）已经非常成熟。只要构思巧妙，是否可以显著增强Agent的能力？为了让高质量人力从循环中脱离，我们是否需要通过为数据定价来实现闭环任务的能力？
K： 我观察到的例子也印证了这一点。我的朋友Liam经营着一家名为Periodic的公司，他们正尝试在材料科学领域实现自动化研究。在这种情况下，连接智能系统的传感器其实是相当昂贵的实验室设备。在生物工程领域也是如此，那里的传感器绝不仅限于摄像头。此外，我也看到有些公司通过向人付费来获取训练数据。
（关于信息市场的缺失）我很惊讶目前居然还没有成熟的信息市场。例如在预测市场甚至股市中，自主交易已经非常活跃。如果某地发生突发事件，为什么没有一个流程能让人支付10美元就雇人拍下那里的照片或视频？这就是在喂养智能系统。看这些照片的不会是人类，而是试图在预测市场中博弈的AI Agent。虽然AI Agent驱动的互联网还处于起步阶段，尚未形成这种机制，但我认为这就是未来的趋势。
（关于人机关系的重塑）有一本名为《Daemon》的书很有启发性。在那本书里，智能系统在某种程度上像操纵木偶一样控制着人类。人类既是它的执行器，也是它的传感器。我认为整个社会将以某种方式重新塑造，以服务于这种需求。这种变革将在整个行业内集体发生，随着自动化程度的提高，人类将转而满足机器的需求，而非仅仅是满足彼此的需求。
（关于大语言模型训练的闭环）我完全同意。对于大语言模型训练来说，这非常符合现有的范式。大语言模型训练非常契合这个模式。无论是优化代码以提升运行速度，还是针对特定指标进行优化。我认为，如果对这些指标进行完全自主的循环优化，可能会出现古德哈特定律现象，即系统会为了追求指标而过度拟合。但你可以利用该系统设计更多元的指标来确保覆盖率。
16 传统教育模式的终结
问：我想聊聊你那个精致的小项目：MicroGPT。如果我不理解某个特定函数，我可以要求Agent用三种方式讲给我听，而人类老师不可能有这种耐心。这是否意味着教育将被彻底重塑？老师们是否需要培养一种新直觉，知道如何以更适合Agent的方式进行表达？
K： MicroGPT源于我过去一二十年的一种执念，就是将大语言模型简化并浓缩至其最纯粹的本质。训练神经网络的复杂性其实大多源于对效率的追求。如果你不追求速度，只关注算法本身，那么该算法其实只需要200行Python代码，这还包括了所有注释。你只需要一份文本数据集，大约50行代码的神经网络架构，完成前向传播，再通过反向传播来计算梯度。一个用于计算梯度的微型自动求导引擎大约100行，再加上像Adam这种顶级的优化器，总共也就200行代码。
（关于教育模式的消亡）有趣的是，如果在一年多以前，写出MicroGPT后我会倾向于亲自录制视频分步讲解。但我意识到这并不能带来太多额外价值。因为代码已经足够简单了，任何人都可以让他们的AI Agent以各种方式解释这200行代码。我不再需要直接向人解释，我是在向AI Agent解释。只要AI Agent理解了，它就能充当路由器，根据每个人的能力水平，用无限的耐心和最合适的语言向人类进行讲解。
（关于教师的新角色）过去教育意味着指南、讲座和课程，但现在我更多是在向AI Agent解释事情。我实际上是在开发某种技能，即指导AI Agent如何教授某个知识点。比如我可以为MicroGPT设定一套教学路径，提示模型先从哪里开始，再讲什么。我只需编写一份教学大纲作为技能传授给AI Agent。我认为直接向人传授知识的行为会逐渐减少，核心问题将变成AI Agent是否理解了。
因此，教育将被彻底重塑，那种人教人的传统模式将走向终结。过去你写完代码库要为用户编写文档，但现在你不必再为人类编写HTML文档，而应该为AI Agent编写Markdown文档。只要AI Agent读懂了，它就能解释其中所有不同的部分。这种通过AI Agent进行知识转译将成为主流。
（关于核心洞察的价值）以MicroGPT为例，我曾尝试让AI Agent自己写一个，但它做不到将神经网络归结为最简单的事情。MicroGPT是我长期执念的产物，这200行代码就是我的最终方案。这就是我的价值所在。至于剩下的教学和解释工作，AI Agent完全理解其原理。它只是无法凭空创造出这种极致的简化，但它完全明白其中的设计逻辑。所以我的贡献就是这几比特的核心洞察，而后续的教育工作就不再属于我的范畴了。教育的本质会发生变化，你的职责是注入那些你强烈认同的核心观点、教学大纲或独特的视角。AI Agent做不到的事情，才是你现在的工作。
这次访谈揭示了一个快速演进的技术图景：从开发者工作流的根本性变革，到自动化研究范式的确立，再到对AI生态系统平衡与未来人机关系的深度思考。Karpathy的观点为我们理解AI，尤其是AI Agent的现状与未来，提供了极具价值的洞见。对于持续关注技术前沿的从业者而言，这场对话无疑是启发思考的宝贵资料。欢迎在云栈社区继续探讨相关技术趋势与实践。
发表于 15 小时前
|
查看: 4|
回复: 0
