11月的 AI Engineer Code Summit 上,SpaceXSI(SpaceX AI)Grok Bot 团队的核心工程师 Lauren Tan 做了一场演讲,题目是《所有代码都是垃圾(除了我的)》。

这个团队 10 月向生产环境合并了约 11000 个 Pull Request,约 227 人至少贡献过一个 PR。回滚率稳定在 0.5% 左右,冷启动、打字延迟等性能指标也比上线初期更好。PR 数量从 6 月的约 809 个涨到 10 月的近 11000 个,产出接近 30 倍,质量没有下降。
Lauren 反复强调一点:
如果你的内循环(inner coding loop)产出的是垃圾(slop),那么自动化这个循环,只会产出更多、更快、更贵的垃圾。
她讲的是一套可以落地的工程方法,目标是让 AI 生成的代码从"能用"变成"可信赖"。
1. 信任不是提示词堆出来的,而是建出来的
Lauren 提出了一个框架,称为 Poteto Pyramid(信任金字塔)。从下到上,成本递增,约束力递减,大致分五层:
- 代码库本身(API 设计、架构、重构)
- 静态分析(Lint 规则、类型系统、编译器、CI)
- 运行时与形式化验证
- 文字规则与Skills(Markdown 指令、Agent 提示)
- 人工审查
她明确指出:代码库是 Agent 最大的输入。Agent 会模仿它看到的一切,包括技术债、临时补丁和反模式。所以第一步永远是清理代码库,让正确的做法成为最容易被复制的路径。
2. Dune 框架:让容易写错的事几乎不可能写错
团队自己做了一套 Electron客户端框架,叫 Dune,可以粗略理解为给 Electron 用的 Next.js。它的价值不在技术多炫,而在于把桌面开发踩过的坑编码成了强制约束。
典型例子有三个:
- 产品代码中禁止随意使用
useEffect(框架指定区域除外),因为它太容易被误用。
- 主线程与渲染线程之间的违规导入,会被依赖图分析器直接拦截。
- 几乎禁止 99% 的代码注释。Agent 会把注释当成"合理化临时补丁"的借口,而注释本身无法执行。
每当人类纠正一次 Agent 的错误,团队都会先问自己:这件事能不能变成 Lint 规则、类型约束、更好的 API,或者架构上的不可能? 他们不会只在 AGENTS.md 里写一句"下次请不要这样做"。
Lint 的错误信息也经过精心设计,会直接告诉 Agent 去修复根本原因,而不是绕过去。
这带来了一个质变:代码审查的重点逐渐从看 diff 转向看验证产物,比如视频、截图、图表和形式化证明。
3. 验证优先:把 Token 花在证明它能跑上
团队在验证上投入了大量精力,主要有三块:
- 运行时验证 + Feature Map:Agent 自己运行应用,通过 Chrome DevTools Protocol 等工具调试,并参考一份从用户视角描述的功能地图。
- 形式化验证:用 TLA+ 对通知等跨设备用户流做模型检查,用 Lean 证明自研虚拟化库的关键性质(避免闪烁、抖动等)。
- UI 属性测试(如 Bombadil 库):进一步捕捉问题。
Lauren 坦言,她大部分 Token 花在验证上,而不是生成上。原因是能自己检查工作的 Agent 会持续迭代,直到任务真正完成。只能交出 diff 等你审查的 Agent,会让你成为整个循环里最慢的一环。
外层循环也已经自动化。每次发布后,Grok Bot 会拉起 Cursor 项目,像真实用户一样对应用做模糊测试。发现问题后,它会自动开修复 PR,并在检查通过后合并。
4. 结果与代价
数据很漂亮:产出暴涨,回滚率下降,性能提升。但 Lauren 也坦诚,这套体系不是一夜建成的。她自己花了大约半年,才达到月产数千 PR 的水平。这还依赖实验室级别的 Token 预算和深度的工具投入。
这套方法的核心启示其实很朴素:先把好代码变成默认路径,再去规模化。先修内循环,再谈软件工厂。
如果跳过基础,直接堆 Agent 数量,得到的往往是更快、更多的垃圾。
给开发者的几点思考
- 代码库是第一生产力输入。 与其不断给 Agent 加提示,不如先清掉现有的代码债,让正确路径成为唯一舒适的路径。
- 把纠错沉淀为可执行约束。 每次人工介入,都尽量变成 Lint、类型、测试或架构变更,而不是文档。
- 验证比生成更值得花钱。 Token 成本在持续下降,把更多预算分给证明正确、而不是生成代码,回报率可能更高。
- 形式化方法不再只是学院派玩具。 TLA+ 和 Lean 在关键路径上已经开始产生实际价值。
所有代码都可能是垃圾,除非你先把地基打好。如果你也在实践 AI 辅助开发,欢迎到云栈社区交流经验。
|