为何专家预测频频失灵？机器学习与简单规则的统计学优势解析

长期以来，人们对专家预测抱有不切实际的高期望。然而，事实可能令人意外：在许多情况下，专家的预判表现究竟如何？

丹尼尔·卡尼曼在《噪声》一书中提出了一个引人深思的观点：在预测准确性上，专业人士、机器和简单规则三者对比，专家的表现往往是最差的。这背后的原因是什么？

事实上，影响未来的诸多因素是无法预知的，因此大多数判断都处于“客观无知”的状态。但令人惊讶的是，人们常常忽视这一根本局限，反而满怀信心地做出过度自信的预测。当这种过度自信遇上技术颠覆的寒武纪时代与高度不确定的背景，预测本身的贝叶斯基础胜率本就极低，其实际成功率自然会更低。

为什么在《噪声》以及保罗·米尔的经典结论中，“专家预测”常常输给简单规则甚至机器？尤其在技术剧烈动荡时期，专家预测为何会变得更差？

核心原因可以归结为三个层面：

1. 统计结构层：专家预测 = 系统偏差 + 随机噪声；而简单规则/机器 = 去噪版的你自身的判断体系。
2. 认知心理层：在“客观无知”的环境下，专家却默认自己“高度可知”，从而产生严重的过度自信。
3. 时代环境层：在技术寒武纪叠加范式转变的时期，预测的“贝叶斯基础胜率”本身就极低，再与过度自信结合，便形成了有毒的组合。

下文将按这三层展开分析，并将其与“贝叶斯基础胜率”的概念串联起来。

一、统计结构：为何“简单线性规则”能战胜专家？

这一结论并非卡尼曼的主观感受，而是有一条漫长的实证研究谱系，其源头可追溯至保罗·米尔于1954年发表的《临床预测与统计预测》。米尔通过元分析得出的结论是：

在数十个领域（如精神病诊断、罪犯再犯预测、学生成绩、工作表现评估）中，采用机械/统计方法（如线性加权模型、打分卡）进行预测，其准确性几乎总是高于专家“凭经验综合判断”。

《噪声》一书在此基础上更进一步，引用了一系列研究，发现即使是“随机权重的线性模型”，在许多任务中也能够超越专家：

对同一组预测变量，将权重随机打乱以生成上万条不同的线性规则，再与专家预测进行对比。结果显示，77%至100%的随机模型的预测精度都高于专家。

从统计学角度解读，专家进行预测，本质上是在执行一项统计任务：将若干线索（如KPI、宏观变量、公司特征）整合起来，映射为一个具体的预测结果（如未来收益、业绩、风险）。

用卡尼曼的术语来解释，专家预测包含两种误差：

• 偏差：系统性倾向明显，例如长期偏乐观，或对自己熟悉的领域内的公司总是高估其成长性。专家的自信往往建立在过去世界状态下积累的经验与专有知识之上，但如果世界运行的环境变量已然改变呢？
• 噪声：同一专家在不同时间、不同心情、不同信息背景下，对“类似案例”的权重分配会完全不同（这包含了模式噪声与偶然噪声）。

反观简单的线性模型，其做法相当“粗暴”：

• 固定一组权重（哪怕是平均权重，甚至是随机权重）。
• 对所有案例都一视同仁地应用这套权重。

这种做法直接带来了两个优势：

1. 去除噪声：显著降低系统噪声。相同的输入永远产生相同的输出，消除了因“今天心情好”或“昨天刚读了一篇文章”而导致的主观判断漂移。
2. 隐含的均值回归：人类的系统一思维会过度追逐“高故事性、高极端值”的案例，而简单线性模型天然会将预测值向基准率或均值拉近（回归均值）。在高噪声环境中，这种“保守”特性反而成为一种优势。

从均方误差分解的视角看：

人类预测者：MSE = 偏差²（认知偏见） + 噪声²（随机波动）
机械模型：MSE ≈ 偏差²（也存在偏差） + 极小的噪声²

只要模型的偏差不是极其巨大，单凭将“噪声²”这一项大幅降低，模型就已经具备了胜出的基础。这也解释了为何在算法/数据结构中，稳定性往往是评估模型优劣的关键指标之一。

二、认知心理：在“客观无知”下，专家为何“错得特别自信”？

这里需要深入理解“客观无知”这一关键概念。其严肃定义是：

影响未来的大量关键因素，本身是未知的、不可量化的或其概率分布不稳定的。我们本就处在一个“信息严重不足”的贝叶斯环境中。

在这样的环境中，一个理性的贝叶斯决策者应该：

• 给出宽置信区间，保持较低的信念强度。
• 极度依赖基准率、长周期的统计特征。
• 对任何“故事”和新线索都保持谨慎的更新态度。

然而，现实中的专家往往会反其道而行之：

第一，过度自信：将狭窄的置信区间误认为是高明的表现。
研究一致发现：

专家给出的置信区间，几乎总是远窄于真实的不可确定性。
例如，要求专家给出90%的置信区间，其实际命中率通常只有50%–60%。

原因包括：

• 内部视角压倒外部视角：专家沉浸在自己构建的“故事与案例细节”中，容易忽略历史统计分布和长期失败率。
• 叙事谬误：人脑倾向于将复杂世界简化为几个驱动因素和一个连贯的故事。叙事的连贯性被错误地等同于预测的可靠性。
• 后见之明偏见：事后总能找到“事情为何如此发生”的解释，这反过来让人误以为事前“一切本就很清楚”。

其结果就是：在客观无知且高噪声的环境里，专家做出了“信息量严重不匹配的收缩”——把本应很宽的后验概率分布，硬生生压缩成一个自信的点估计加上狭窄的区间。这直接削弱了预测的“贝叶斯基础胜率”。

第二，忽视“先验极度模糊”的事实
在许多宏观、行业或技术命题上（例如：“AI在未来10年将具体取代多少白领岗位？”、“哪些AI赛道会在3-5年后胜出？”），真实的先验分布其实非常模糊：

• 历史上没有完全可比的样本（如真正的通用人工智能对全球的同步冲击）。
• 存在结构性新变量（地缘政治、监管政策、能源约束、模型架构演进）。
• 经济与社会反馈路径高度非线性。

在这种情况下，一个诚实的贝叶斯主义者应该说：“先验的熵值很高，我能做的是列出几种可能的场景，给出大致排序而非精确的点预测。”不确定性极强，意味着预测本身的基础胜率就很低。

但专家市场的激励机制恰恰相反：

• 媒体、客户、市场和公司老板通常不喜欢听到“我不知道”。
• 专家需要“贩卖观点”、“贩卖确信感”、“贩卖差异化见解”。

这最终形成了一种结构性的偏见：

越是无人真正知晓答案的问题，越容易被包装成“我有深度洞见”。

这也呼应了那句关键的观察：

“令人惊讶的是，在大多数情况下，人们往往会忽视这一局限，并满怀信心地进行预测。”

三、时代环境：技术寒武纪叠加动荡时期，预测为何雪上加霜？

过度自信 + 技术颠覆的寒武纪 + 高不确定性 = 预测的基础胜率本身极低

这可以从三个方面理解：

第一条，训练集失效：世界发生的是非线性突变，而非连续样本。
在相对稳定的环境中，专家的经验、历史数据和结构性理解对未来趋势的映射大致平稳。然而，在技术寒武纪（如当前的AI超级周期）或宏观范式发生重大转折的时期，数据的分布本身发生了变化，过去10-20年的经验可能无法再作为可靠的先验。

具体到行业或公司层面，以往评估SaaS公司的指标（如净收入留存率、客户终身价值与获客成本比、市销率区间），在AI冲击下可能因价值链重构、客户预算结构改变而失效。传统的“好赛道、高基准率行业”突然陷入了世界观结构性变更的困境。

这意味着什么？

专家过去的“直觉+经验”所形成的非正式统计模型，突然面对非平稳的数据分布时，往往仍在沿用“旧世界的映射规则”进行预测，导致预测的基础胜率大幅下降。

第二条，信噪比下降：动荡时代的信号易被情绪与叙事淹没。
在动荡时期，真正有用的结构性信号（如哪些技术路径能真正规模化落地、哪些行业的利润池会可持续地迁移）通常需要时间、硬性KPI和跨周期的观察才能显现。然而，情绪、叙事和噪声（例如：“AI将吞噬所有白领工作”、“SaaS要么全完蛋，要么全重生”）通过媒体、社交网络和算法被迅速放大。

从信息论角度看，这导致了信噪比大幅下降：

• 专家所接收的信息流本身就被注入了更多噪声。
• 他们又需要在这种噪声场中“给出强有力的观点、快速的观点”。
• 再加上前述的过度自信和基准率忽视，整体预测质量自然比静态时代更差。

第三条，风暴眼中的行业，其预测的“贝叶斯基础胜率”本就极低。
所谓“处于技术冲击风暴眼中的行业与公司”，其特点包括：

• 结构性变量众多（技术路线、监管走向、国际格局、资本成本、生态博弈）。
• 路径依赖性强（早期战略选择、谁先锁定客户/数据/开发者）。
• 非线性与网络效应显著（赢家通吃或平台效应）。

对于这些行业做出3-5年期限的精细点预测（如某家公司的每股收益、估值或市占率具体将达到多少），其贝叶斯“基础胜率”本身就是极低的：

• 先验分布宽泛。
• 未来可能的路径分岔众多。
• 许多关键节点尚未发生（如监管落地、技术突破、竞争对手的行动）。

一个严谨的贝叶斯预测在此环境下应该：

• 将更多精力放在构建场景树、分析条件概率。
• 关注风险/回报的分布形态，而非单一的点估计。
• 坦率承认许多因素的不确定性（甚至连其概率分布的形状都很模糊）。

但现实中的专家往往将其当作“可以精确预测每股收益或目标价”的任务来处理。简而言之：

在一个贝叶斯意义上成功概率（p）可能只有0.2的“强预测事件”上，专家却以约0.7的确定性进行推销。在这类任务上，基础胜率本就偏低，再乘以过度自信系数，实际表现就比简单规则更差。

反过来，简单规则或机器如果能够：

• 强调基础胜率（例如，承认大多数行业在剧烈技术冲击下的盈利分布呈现出强烈的均值回归和高波动性）。
• 不随每次新闻标题和市场情绪而大幅更新权重。
• 保持结构简单（少量因子、稳定权重）。

那么在这种“真实可知部分很少”的环境中，反而能守住表现的下限：

错得没那么离谱，没那么极端。

四、为何机器和简单规则在动荡环境中仍具优势？

你可能会质疑：“在技术寒武纪时代，机器模型同样依赖历史数据，难道不会失效吗？”

确实，这是关键所在。机器或模型在“数据结构发生断裂”时同样会失效。但在许多预测任务的比较中，“简单规则/线性模型 vs 专家”的优势依然存在，原因在于：

1. 机器/规则不会被“故事”和短期情绪绑架
   专家容易随着新闻、关键意见领袖的言论或流行叙事（如“AI吞噬一切”、“某某时代终结”）而产生剧烈的观点摇摆。而简单规则如果被设定为：只关注某几个硬性指标（如估值分位数、利润、负债、资本支出、核心KPI），并且权重不随新闻标题调整，那么在高噪声环境中，它实际上是在执行一种：

   “低智商但拒绝情绪化”的策略。

   用卡尼曼的话说：模型是“去噪版的你”——它不一定比你更聪明，但它比你更稳定；它会犯系统性的错误，但不会跟着群体情绪犯随机的错误。

2. 机器可以显式地向基准率收缩
   在使用模型进行预测时，可以显式地加入收缩技术或正则化，将预测值向长期均值或行业分布拉近。而人类专家在动荡时期，会本能地放大故事中的极端部分，向基准率收缩的本能很弱。
   这解释了为何“非常简单、甚至权重只是简单平均的不恰当线性模型”，在许多场景下都能胜过专家——它们天然倾向于回归均值。

五、在AI风暴眼中，应如何调整“预测观”？

从贝叶斯视角总结前面的讨论，可以得出一个核心观点：

在技术寒武纪与噪声被放大的时代，“预测”这件事的贝叶斯基础胜率本身已大幅下降。任何仍沿用旧时代“专家点预测+高确信度”范式的方法，都应被视为高风险方法，而非默认选择。

更稳妥的做法是：

承认任务本身的基础胜率
这是所有预测的前提。例如，当前阶段硬件演进路径的基础胜率可能较高，而软件应用生态的赢家预测基础胜率则可能很低。必须首先承认并区分这一点。这要求预测者具备扎实的计算机科学与行业认知基础，以做出合理的先验判断。

对低基础胜率的预测任务，更换方法论
减少进行“点预测+目标价”式的断言，转而更多采用：

• 场景网络分析。
• 条件逻辑推演（如果某条技术路径成立，则谁直接受益/受损）。
• 分布形态视角（关注左尾/右尾风险的变化）。

将简单规则系统/机械判断视为基线，并显式建模“噪声状态”
每次对处于风暴眼中的行业或公司进行判断时，都尝试显式地评估当前环境的噪声水平。这样，你就不再是“在客观无知与高噪声中假装进行高确定性预测”，而是：

• 承认世界的可知边界。
• 将简单规则和模型作为稳定的决策骨架。
• 将专家的深入思考视为围绕骨架进行的“局部非线性修正”。
• 用贝叶斯更新的思维，记录下每次预测的“方法风险”，让未来的自己减少重复同样的过度自信错误。

这才是《噪声》与“技术寒武纪”时代带给我们的真正启示：并非放弃判断，而是彻底革新我们对“预测”这件事的度量体系，怀有更多的谦卑。

参考资料

[1] 反直觉：专家预测不如简单规则？, 微信公众号：mp.weixin.qq.com/s/Xpc-PxrZxmr3_Or7b5fceg

版权声明：本文由 云栈社区 整理发布，版权归原作者所有。