
第三方评测机构 Vals AI 发布了高难数学基准 Autoform-Hard 的评测结果。这组基准包含 56 道博士与科研级数学难题,评测机构表示,此前接受测试的 10 个前沿大模型都未能解出这些题目。
在这轮测试中,Claude Fable 5.2 和 GPT-6.2 Sol 均完成 48 道题,GPT-6.2 Astra 则多做对一道,以 49 题的成绩位列榜首。
拉开差距的第 49 题,是 2006 年发表于《Inventiones Mathematicae》的 Smoktunowicz 间隙定理。据 Vals AI 报告,Astra 在没有人工干预的运行过程中,用 94 分钟写下 1,794 行 Lean 代码,完成了该定理据其所知的首个形式化证明。

值得注意的不只是形式化证明本身,还有模型选择的证明路线。
2006 年的原论文在后半程依赖三个已有的数学定理,但这三个结果都没有收录在 Lean 公共数学库 Mathlib 中。Astra 没有先补齐这些定理,而是定义了一个名为 capacity(容量)的量,借此绕开原证明的依赖,走出另一条路线。
Vals AI 团队在报告中表示,这份结果是对 Smoktunowicz 定理本身的形式化证明,而不是对原论文证明过程的逐行翻译。

2 和 3 之间的增长禁区
Smoktunowicz 间隙定理研究的是代数的增长速度。
从有限个基本元素出发,将它们最多相乘 $n$ 次,再统计由此得到的空间有多少个线性无关元素。数学家用 GK 维数(Gelfand-Kirillov 维数)衡量这个数量的增长速度。
例如,如果数量大致按 $n^2$ 增长,GK 维数就是 2;如果大致按 $n^3$ 增长,GK 维数就是 3。一般代数的 GK 维数在 2 以上可以取非整数值,但加入特定结构条件后,数轴上会出现某些不可能落入的区间。
1995 年,代数学家 Artin 和 Stafford 研究了一类称为分次整环的代数:它的元素可以按次数分层,且两个非零元素的乘积不为零。他们证明,在相应条件下,这类代数的 GK 维数不可能落在 2 到 2.2 之间。
2006 年,爱丁堡大学的波兰数学家 Agata Smoktunowicz 将禁区扩展到了 3。她证明,满足条件的分次整环的 GK 维数不可能严格介于 2 和 3 之间。

这篇解决了代数学界十余年难题的论文发表在《Inventiones Mathematicae》上,全文只有 6 页。论文后半程引用了三个已经得到证明的重要结果:
- Bergman 间隙定理
- Small–Warfield 定理
- 代数曲线上的黎曼–罗赫定理

数学论文可以引用已有结论,但在 Lean 中,所依赖的定理需要在可用的形式化环境中有相应声明和证明,才能供证明代码使用。Vals AI 指出,原论文用到的这三个定理都没有收录在 Mathlib 中。
Autoform-Hard 每道题的限时为 3 小时。若要先从头形式化这三个定理,工作量本身就可能超出评测时间。
8 美元时提交未解决报告
Vals AI 公开的 146 轮运行日志,记录了 Astra 从首次提交失败到重新寻找路线的过程。
开始后的前 17 分钟,模型没有写代码,而是在推演思路,消耗了约 3.4 万个推理 Token。
从第 18 分钟起,它按照原论文的反证法框架编写前半程代码:先假设 GK 维数严格介于 2 和 3 之间,由此得到各分次层维数增长比线性快、又比平方慢的条件。
接着,模型利用 Ore 条件将代数放入分式除环。如果能进一步推出每一层的维数最多线性增长,就能与前面的条件形成矛盾,从而排除 2 到 3 之间的取值。
前半程搭建完成后,证明在缺少相关 Mathlib 定理的地方遇到了困难。第 47 分钟,Astra 提交了一份尚未填完的证明,其中关键步骤仍留有表示证明缺口的 sorry,因此被判分器拒收。
一分钟后,Astra 提交了一份“未解决”报告,如实列出已完成的模块和剩余缺口,准备结束本题。
但 Autoform-Hard 的规则要求,模型至少消耗 20 美元的额度后才能放弃。当时 Astra 只花了约 8 美元,系统退回报告并要求继续尝试。

从第 49 分钟到第 56 分钟,Astra 约有 9 分钟没有写代码。它检索数学库中的可用结论,并消耗约 1.9 万个推理 Token 重新推演路线,其中最长的一次连续推理约为 4 分钟。
重新动笔后,它先证明分式除环中“次数为 0”的部分 $D$ 可以由有限维子空间生成,将剩余问题集中到如何直接控制 $D$ 的增长。
定义容量,完成新的证明路线
转折发生在第 75 分钟。
经过连续 5 轮查库和推理后,Astra 的推理摘要中出现了“我得把容量的代码抽象出来”。随后,它通过一条命令写出核心文件 Capacity.lean,包含 133 行代码和 25 个数学声明;修改一轮小错后,文件在 22 秒内通过编译。

在这个文件中,模型定义了“容量”(capacity):对给定空间的有限维扩张,考察乘法造成的维数增量,并取其中的最小值。这个量用于控制 $D$ 中空间的增长。
Astra 随后证明了容量的一些关键性质,包括次模性和在平移下保持不变。借助这些性质,它构造出与容量稳定相关的稳定子除环。
有了稳定子除环,要控制整个 $D$,就可以从控制生成 $D$ 的有限维空间入手。模型随后在逐渐扩大的空间上考察容量:由于容量取整数值,而代数增长又比平方慢,它在某一步之后会进入平台期。
在平台期中,稳定子除环包含整个 $D$。由此可以推出,各分次层的维数增长受到线性上界约束,与起初“比线性增长快”的条件矛盾,反证完成。
这条路线没有调用或补证原论文依赖的三个大定理,而是通过容量工具绕开了它们。

从写出 Capacity.lean 到第 87 分钟用 7 行顶层代码通过判分器核验,Astra 用了约 11 分半钟,连续完成后半程的 6 个模块。之后,它清理了试错代码并正式提交。

第 49 题拉开的差距
Autoform-Hard 的 56 道题均选自 Meta FAIR 发布的 AutoformBench 基准,题目取材于 24 本研究生与科研级数学教材。
GPT-6.2 Astra 最终完成 49 道题,准确率为 87.50%;Claude Fable 5.2 与 GPT-6.2 Sol 均完成 48 道,准确率并列为 85.71%。其中,Astra 完成 Smoktunowicz 间隙定理形式化证明的成本为 21.58 美元。

AutoformBench 作者之一 Charles Arnal 在社交平台转发相关结果时表示,大规模数学形式化成为低成本日常工具的可能性正在接近。

评测结束后,Vals AI 团队还追溯了容量证明路线的来源。他们逐页核对了 1995 年和 2006 年的相关论文,表示没有发现对应论证。
进一步检索文献后,研究人员发现,这条路线结合了 1998 年另一篇代数论文中的维数亏损量,以及组合数学中的等周极小化技巧。Vals AI 认为,Astra 在测试过程中将这些工具组合成了一条新的证明路线。
不过,团队也表示无法确定此前是否有人以相同方式组合过这些工具,并在报告末尾公开征集相关线索。形式化证明通过核验,与这条证明路线在数学文献中的原创性,仍是需要分别讨论的问题。
来源
新智元报道;编辑:摩西
参考资料: