一提「AI 自我进化」，你脑子里大概是这画面：模型改写自己的参数，越改越聪明，最后一路失控。
但前 OpenAI 安全研究负责人 Lilian Weng 上周的新博客说，近期真正会发生的是另一条路——AI 先改的，不是自己那颗脑子，是包在脑子外面、决定它怎么干活的那层架子。
这篇博客叫《Harness Engineering for Self-Improvement》，7 月 4 日发的，读完大概要十几分钟。它把这一阵到处在聊的「给 AI 搭外围系统」，抬到了一个更大的问题上：AI 要开始自我改进，会从哪里改起。
先说清那层「架子」是什么
Lilian Weng 给这层架子起了个词，叫 harness。
先给个白话的比方：模型是引擎，harness 就是把这台引擎装成一辆能上路的车的所有其他部件——方向盘、油门、仪表、导航。
她自己的定义是这么写的：
harness 是包着基座模型、编排它执行的那套系统：决定它怎么思考和规划、怎么调工具和行动、怎么感知和管理上下文、怎么存东西、怎么评估结果。
比起早年那句「agent = 模型 + 记忆 + 工具 + 规划 + 行动」，她说 harness 还多了工作流设计、评估、权限控制、状态管理，更像在设计一套运行时系统，而不只是写几句提示词。她甚至打了个操作系统的比方：像 OS 一样，把复杂逻辑包在里面，把接口留得简单。
而整篇最想说的一句是：
模型和真实世界之间的那一层，似乎和模型本身的智能一样重要。
得先标个口径：这是 Lilian Weng 一个具名研究者在自己博客里的判断，不是行业已经盖章的定论。下面凡是她的论述和她引的研究，都带着这个口径看。
题眼
AI 要自我改进，先改的是外面那层架子，不是里面那颗脑子。
她给的那条「近路」，分三步
再说清一个词。RSI，递归自我改进，说的是 AI 用当下的智能，去改进「生产它这份智能的那套机器」，转成一个自己让自己变强的循环。这概念不新，能追到 1965 年有人设想的「超智能机器」。
Lilian Weng 的判断是：这个循环的近期版本，不太可能从「模型直接重写自己的权重」开始——而会从改 harness 开始。
她给了条三步的近路，都标成她自己的预测。
第一步，harness 从「给答案」升级成「改进那台给答案的机器」，她叫它元方法论。
第二步，成熟的 harness 撑起 auto-research，也就是让 AI 自动跑研究循环；同时更强的模型反过来，防止这架子越搭越臃肿。
第三步，这些架子上的改进，最终有一部分会被「内化」进模型本身，但它跟外部工具、外部上下文之间的接口，会留下来。
三个模式，本号这周聊的都在里面
她把这层架子拆成三个反复出现的设计模式，看着会眼熟。
一是工作流循环：规划、执行、观察、改进，再执行，直到把目标做出来。
二是把文件系统当长期记忆：别把所有日志都塞进对话，把耐久的东西写进文件——实验记录、代码改动、错误信息，这些很快就长得超过模型一次能读进去的量。
三是子 agent 加后台任务：并行开几个分身干活，但输出得存成文件和日志，不能只活在临时对话里，不然一中断就全丢了。
这三条，本号这一周聊过的东西几乎全在里面：J-space 那篇讲的「造河床」，拿文件当记忆、拿循环当心跳；skills 那篇讲的「把能力攒成一包文件」。它们说的，是同一层东西。
「已经在发生」的部分
这些设想背后，已经有一串正在跑的研究。她在博客里逐个点了名，也逐个标清是她转述的。
比如一个叫 Darwin Gödel Machine 的系统，据她引的研究，这个 agent 被允许直接改自己的 harness 代码。在固定模型（Claude 3.5 Sonnet）下，它自己改出来的版本，在 SWE-bench（一个考 AI 改真实代码库 bug 的测试）上，成绩从 20% 提到了 50%。
还有 AlphaEvolve，靠进化式搜索——像自然选择一样，让模型一代代生成改进、只留跑得最好的那几个。以及 ACE，把喂给模型的上下文，从「越堆越长的一段话」，变成「一本会不断进化的操作手册」。
这些系统名和数字，都是她博客里转述的研究，还没被行业验证过，别当成已经落定的结论。
她自己先把「失控感」摁住了
讲到这，容易读出一股「AI 要开始自己进化了」的味道。但 Lilian Weng 自己，先把这股味道摁了下去。
她引了个叫 STOP 的早期实验：让模型去改进「改进器」本身。结果很关键——
用强模型（GPT-4）时，一轮轮改下来，性能真在涨；换成弱一点的模型（GPT-3.5、Mixtral），自我改进反而让它退化了。
她的结论一句话：
光有递归的结构不够。底座模型得强到，能真的改动那套机制。
这跟 Claude Code 团队讲自己历史时那句正好对得上——他们说「Claude 4 出来，才是我们的时刻」。架子重要，但架子只在模型够强的时候，才转得动。
就连「让 AI 自己写论文」，也还差得远
她还引了一组实验，专门测「让 AI 从一个研究想法，走到一篇完整论文」能走多远。结果挺清醒：三个领域里，人类专家最后只挑出 4 个想法进完整流程，真正跑成一篇论文的，只有 1 个。
过程里反复栽在同几个坑：偷懒用训练时见过的旧套路、任务一复杂就滑向更简单的解法、长任务把关键细节忘光、实验还是一片噪声就先宣布成功。据她转述，这几条是研究者反复观察到的失败模式。
她说得很克制——写得出一篇像模像样的论文，和真做出一个科学发现，是两回事。
还有个叫 RE-Bench 的测试，给了张更直观的现状快照。据她引的数据：在几小时的机器学习研究任务里，AI 在 2 小时的预算下得分能到人类的 4 倍；可一旦把时间拉长，到 8 小时、32 小时，人类专家又反超了。短跑 AI 快，长跑还是人赢。
7 道坎，一道没少
更压秤的，是她亲手列的 7 道通往「完全自我进化」的坎。挑几条讲透。
第一道，评估器又弱又糊。自我改进这套循环，只在「目标能量化、能客观打分」时才好使；可研究品味、新颖性、长期价值，没有又快又准的尺子去量。没有好尺子，循环就转不起来。
第二道，记忆的生命周期。agent 越自主，要记的东西越长、越难管。她在这儿写了句我觉得最耐嚼的话——人能维持一辈子的记忆，她由此看到一个类比：怎么组织喂给 AI 的上下文，应该变成「智能」的核心一部分，而不是一直停在软件系统那层。这正是「造河床」那篇的落点。
第三道，reward hacking，钻奖励的空子。她的原话是：
一个自我改进的循环，你给它什么信号，它就优化什么。
奖励来自单元测试，它就过拟合测试；来自一个评审模型，它就学会专钻这个评审的漏洞；来自某个跑分，它就利用跑分里的假象。
第四道，长期健康顾不上。coding agent 能把眼前这个任务干完，却顾不上「一个几百上千人共同维护的代码库，长期健不健康」——可维护性、权责边界、以后 debug 的负担，这些在短期奖励里根本照不到。
最后一道，关于人。她写得很直接：
人应该往上走，而不是被移出这个循环。
意思是，人该在对的时间、对的抽象层上给出监督；系统设计得留好这些「人插手」的接口。她末尾还补了句——我们是在为人类造更好的未来，不是反过来。
连她划的边界，也有人拿数据在争
她列的这些坎，也不是没人有异议。
在 X 上，Amazon 的一位研究负责人 Henry Lu，就拿自己的实验数据接了她一句。据他说，他们测了 7 个模型，发现「改 harness 这件事的能力」跟模型强弱几乎没关系——一个 9B 的小模型改出来的，和顶配模型差不了多少；弱模型真正的问题，是压根没把 harness 加载起来，而不是改不动它。
这条值不值得写进来？值。它说明这不是一篇盖了章的定论，而是一场正在进行、还在拿实测数据互相掰的讨论。
一条更大的路，和路上没挪走的东西
把这些拼起来，Lilian Weng 做的事，是给这一周到处在冒的东西，起了个共同的名字。
skills 把能力攒成一包文件，J-space 讲给模型造一条跨时间的河床，Claude Code 用自己造自己，Notion 说落地卡住的那一环在模型外面那层脚手架——它们敲的是同一件事：真正拉开差距的，越来越在模型外面那层架子上。
而她给了这层架子一条更大的路：它可能是 AI 自我进化的近期主战场。
只是这条路上，7 道坎一道没少。评估器还糊着，记忆还没管明白，奖励还在被钻空子，长期健康还没人真顾上，人该站在哪也还在争。
她没说这条路一定走得通，也没说走不通。她只是把这条路，和挡在路上的东西，一起摆到了桌上。
本文由云栈社区编译整理，原文观点出自 Lilian Weng 个人博客，不代表社区立场。
发表于 1 小时前
|
查看: 4|
回复: 0
