过去 AI 编程的思路,是让大模型动手写代码。但 MIT CSAIL 最近的一项研究,可能正在打开一个更惊人的方向:让大模型直接读写神经网络的权重。
这项研究提出了一个新概念——Weight-Space Programming(权重空间编程)。
研究团队发现,前沿大模型 GPT-6 Astra 已经能做到以下几件事:
- 读懂权重:不运行模型,仅凭分析权重,就能判断一个神经网络学会了什么,甚至识别 Transformer 中特定注意力头 的功能。
- 修复网络:直接修改权重,让原本无法完成任务的游戏 AI 成功率从 0% 拉升到 100%。
- 从零编写网络:不依赖训练数据和梯度下降,直接生成神经网络权重,在多个游戏中击败训练了上亿步的 PPO 模型。
- 改进大模型:仅修改 Qwen3.5-0.8B 的 0.016% 权重,就把 MATH-500 成绩从 7.9% 提升到 48.1%,IFEval 性能更是接近原来的 3 倍。
最让人意外的是最后一项实验。AI 不再只是调学习率、改训练代码,而是像程序员修改源码一样,直接定位神经网络内部的问题,并精准调整它的「大脑」。
当然,这仍是早期研究,能力边界也很明显。但它抛出了一个值得认真思考的问题:
如果 AI 不仅能编写程序,还能直接理解、修改甚至创造神经网络本身,机器学习的开发范式会不会迎来一次根本性改变?
论文:Sparks of Weight-Space Programming(MIT CSAIL,2026)
|