Paper通胀之后，顶会录用还能衡量研究者的真实贡献吗？

如果做出一篇论文比过去容易了，论文数量、顶会录用和引用次数，还能在多大程度上反映一个研究者的贡献？

定义和共识

在讨论这个现象和它带来的后果之前，先约定几个定义和共识。

首先，哪些资源在这篇文章里被看作增长缓慢、相对有限的：

1. 计算资源
2. 人的注意力和精力——包括研究者推进工作的精力，也包括审稿人和读者理解、判断一项工作所需的注意力
3. 时间——实验迭代的时间，人理解问题、积累经验的时间

这些资源的增长速度，短期内远远赶不上论文的膨胀速度。

其次，评价一个研究者最核心的指标是什么：他对整个领域的总贡献。也就是说，我们真正关心的是一个研究者推进了多少领域认识，而不是他一共发了多少篇论文。只是前者很难直接衡量，所以大家普遍拿后者当代理指标。

在此基础上，再定义什么是一篇好论文：

1. 能带来结论。这里的结论指：可复现、能被实验证明、并且对领域有推进作用的观点。它是一篇文章的核心价值，也就是文章的 story 本身。
2. 需要消耗一定的计算资源做验证和消融。这件事有边际效益：有效实验越多，结论越扎实，但收益会逐渐递减。
3. 易于阅读。读者能在尽量短的时间内 get 到核心结论；精读之后，还能获得更深的 insight，比如实验设计或算法上的巧思。

接下来，把对领域有正面影响的论文称为好论文，把负面影响大于正面影响的称为差论文。这里的「差」，是说它带来的认识增量抵不过它消耗的阅读、评审和复现成本。说白了，它会加大屎里淘金的难度，还会成为会议投稿的分母。

模型能带来什么？

然后看看现在的模型能给研究带来什么。

Astra、Fable 这类模型的独立研究能力，已经高于产出一篇论文的最低门槛。理想情况下——研究者能正确判断和使用模型的输出——一篇论文每个阶段的有效能力可以粗略理解为 max(研究者, 模型)。

而模型在各阶段的能力加起来，已经满足：模型加上一坨东西，达到了被称为论文的最低标准。模型作为工具，能极大地加速研究，包括想 idea、写代码、写文章。

那么，这样产出的论文能达到上面定义的好论文标准吗？

1. 模型能加快得出结论的速度，但在自动研究（autoresearch）里，单靠模型暂时还做不出能推进整个领域的结论。
2. 无论是加速还是自动研究，都不能增加计算资源的总量。
3. 模型写文章和作图的能力目前还比较一般，只能起加速作用。一篇文章的写作上限，很大程度上仍然取决于 human in the loop 里那个 human 的上限。
4. 而人的能力上限，大部分要靠时间沉淀和打磨。

结论是：单靠模型做自动研究，下限还够不到好论文的门槛；想越过这条门槛，仍然要靠人的上限。要产出好论文，仍然需要人和模型配合，而人的能力可以粗略写成一条随时间投入慢慢上升的曲线。

由此可以推测：计算资源、人的精力和时间都有限，论文数量却在暴涨，研究效率和人的能力又没有同比提升，那么必然会有大量论文达不到好论文的标准。

论文变多本身无所谓好坏。但如果论文变多只是因为「把一份工作写成论文」变容易了，那就是一件坏事。

会议制度

再来看会议制度。

如果会议的接受率几乎不变，而差论文在投稿中的比例不断上升，那么会议实际的录用门槛会逐渐掉到好论文的标准以下——可能现在已经掉下去了。

假设一个会议有 N 篇投稿，接受率为 α，那么它要录用 αN 篇。如果投稿里只有 G 篇好论文，并且 G < αN，那么即使审稿人能完美识别每篇文章的质量，也不可能在维持接受率的同时只录用好论文。而现实中的评审不可能完美。投稿量一直在涨，审稿人的注意力和精力却有限，判断哪些文章真正有价值只会越来越难。

所以会议只有两条路：要么降低接受率，要么录用一部分低于好论文标准的文章。这就是前面说的，差论文成为投稿分母之后带来的后果。

那么，既然会议开始录用差论文，它还能被当作一个合格的学术指标吗？

用会议发表衡量研究者，本质上是在借助会议的筛选：我们并没有逐篇精读这个人的工作，而是相信会议已经替我们做了一定程度的质量判断。那么这个信号会不会失效，取决于会议能不能把差论文挡在录用之外。

如果能，即使投稿数量暴涨，这个信号也未必会失效；但如果越来越多差论文进入最终录用结果，那么「这个人有一篇某某会议的论文」所能说明的东西就会越来越少。

也就是说，当一个会议的录用下限低于好论文的标准，且低于这个标准的录用文章越来越多时，这个会议的发表就越来越难直接作为衡量研究者的指标。

这也能解释一种体感：几年前，学术会议的发表普遍还能作为衡量研究者的指标；两年前，似乎只有所谓「三大会」还能承担这个作用。由此可以推测，在不久的将来，「三大会」的发表也将无法承担这个作用。核心原因就是差论文太多了：当差论文越来越多地进入录用结果，顶会发表的评价体系就会崩溃。

关于指标

那么在这种情况下，我们到底需要一个什么样的代理指标来衡量一个研究者？

前段时间我和很多朋友聊过这个问题，大家的观点大致有三种：

1. 一作论文的总引用量
2. 代表作
3. 声誉 / 信用 /「大粉理论」

在逐个分析之前，先明确一下指标的作用对象。一个指标同时影响两拨人：对被评价的研究者来说，指标决定了大家的拟合方向和追求方向；对读者和评价者来说，指标决定了是否要花时间去读一篇论文。

首先是一作论文的总引用量。一作论文往往代表了一个研究者在一段时间内的主要投入方向，代表作一般也要求是本人一作，所以这是一个不错的起点。但是引用量会受很多与论文质量无关的因素影响，比如宣传、方向冷热、个人或团队本身的知名度。这些因素并不会影响论文本身的质量，却会影响引用量。

因此，一作总引用量可以作为指标，但需要结合这些因素打折看，并且排除两种特例：高频自引，以及靠大量论文对领域进行「DDoS」。

其次是代表作。相比于统计一个人发了多少篇论文，代表作更接近直接看这个人到底做出了什么：这篇论文带来了什么结论，这些结论有没有被充分验证，以及其中哪些贡献是这个研究者做出的。

这个指标的优势在于，如果只允许提交少数几篇代表作，那么多产出低贡献的论文并不能提高评价，评价的重点也就从「总共做了多少篇」变成了「真正值得拿出来的工作是什么」。对研究者而言，这意味着不需要把每个结果都尽快做成一篇论文，把一个问题继续做深、把结论验证充分，同样是有价值的投入方向。

但是这个指标也有问题：代表作更接近一个研究者展示过的研究上限，而不是他的总贡献。一个人做出过一篇很好的论文，说明他参与完成过这样的工作，但并不能说明他长期、持续地产生了多少贡献。反过来，一系列不那么显眼、但是可靠且有用的工作，也可能积累出很大的总贡献。所以只看代表作，相当于放弃其他工作的信息，换取对少数工作的深入判断，这里存在一个权衡。

最后是声誉 / 信用。这里声誉的定义是：通过长期工作建立起来的研究信用。假设我们读过某个研究者或某个组的几篇论文，发现结论基本可靠、实验和结论能够对应上，而且确实帮我们理解或解决了一些问题，那么下次看到他们的工作，我们自然会更愿意花时间阅读。

也就是说，声誉本质上是过去阅读、复现和使用经历积累下来的判断。它并不说明一篇新论文一定好，而是说明花时间去读这篇论文可能是值得的。那么它就能缓解前面提到的读者注意力有限的问题：读者没有足够的时间从零判断所有工作，只能借助过去积累的信任，决定先把注意力投到哪里。

但它同样有问题。一个刚开始做研究的人，可能已经有不错的工作，只是还没有被足够多的人看到。没有建立起声誉，不能等同于没有能力或没有贡献。一个人过去的工作可靠，可以构成认真阅读他新工作的理由，但不能构成新工作不需要验证的理由。

另外，引用量和声誉不一定是两份独立的证据。很多时候这两个指标都来自同一套知名度和传播优势，所以同时使用它们，很可能只是在重复计算同一个信号。

这点在最近很火的「大粉理论」上体现得很明显。「大粉理论」认为自媒体上的粉丝很重要，甚至比引用量更重要。这个说法当然有大家一起乐子串的成分，但是也能反映一些大家的看法：在一个论文过剩的时代，一个好的个人品牌很重要。

为什么会有这种看法呢？回到最开始对有限资源的定义：读者的注意力是有限的，而论文的数量在暴涨，每篇论文能分到的注意力只会越来越少。在这种情况下，谁能吸引注意力，谁的工作就更容易被看到，而个人品牌本质上就是一种获取注意力的能力。

也就是说大粉理论当然有合理的一面：个人品牌确实能让一项工作被更多人看到。但是被看到并不等于有贡献。

我的个人看法是，厉害的、真正有贡献的人，自然而然就会有很高的影响力和个人品牌；反过来却不成立，做得一般的人，也完全有可能有大量的粉丝。也就是说，贡献可以带来影响力，但影响力并不能说明有贡献。

粉丝和声誉一样，衡量的是知名度和传播优势，而且比声誉离具体工作更远。声誉至少来自读者过去对工作本身的阅读和使用，而粉丝可能来自内容运营、热点解读，或者转述别人的工作。

结论

以上分析的结论是：这三个指标都有用，但都不能单独等于一个研究者的总贡献。引用量反映的是传播，代表作反映的是上限，声誉反映的是过去积累的信任。

而且仅仅更换指标并不能解决问题。前面提到，指标决定了被评价者的拟合方向：只看发表，大家就会去拟合发表数量；只看引用量，就会转向更容易被引用的方向，或者在宣传上投入更多；只看声誉或者粉丝，经营知名度和自媒体就可能比工作本身更重要。

只要指标和我们真正想衡量的东西之间存在距离，它就一定会被拟合，也就不可能存在一个完美的指标。这里推荐一篇讲基准测试的博客： https://www.giovannidantonio.com/blog/science-of-benchmarking-part-1

因此，在论文通胀之后，并不存在一个能直接替代论文发表的简单指标。引用量、代表作和声誉都可以作为线索，但最终还是需要回到具体的工作本身做判断。

这当然比数论文发表麻烦，但原因前面已经分析过了：产生一篇论文的成本下降了，而理解和判断一篇论文的成本并没有下降。以前这部分判断由会议替我们完成，现在会议标签所包含的信息越来越少，这部分判断就需要重新回到读者自己身上。

也就是说，回到最开始的定义，评价一个研究者的核心仍然是他对领域的总贡献：从他的工作里，我们究竟多知道了什么，以及有哪些东西能够被后续的研究继续使用。

感谢和 Jiayi 的讨论，以及 Opus 5.5 的润色。