归纳偏置在 Vision Transformer 设计中的应用与平衡之道

本文转自专知，约1000字，建议阅读5分钟。本论文提出：归纳偏置本质上应被视为一种语境依赖型 (context-dependent) 的设计工具。

在构建高效的计算机视觉模型时，归纳偏置 (Inductive biases) 长期被视为核心基石，卷积神经网络 (CNNs) 的卓越成就进一步巩固了这一观点。受此启发，本研究初期致力于在 Transformer 架构中引入显式偏置 (explicit biases)，以确保稳健的实证性能 (empirical performance)。然而，随着研究的推进，这一假设受到了系统性的重新审视。

多项研究的累积证据表明，尽管归纳偏置有助于加速收敛 (facilitate convergence) 并提升样本效率 (sample efficiency)，但其并非在所有场景下均能产生正向收益。在特定语境下，归纳偏置反而可能抑制模型的表征能力 (representational capacity)。

基于上述发现，本论文提出了一个关键观点：归纳偏置本质上应被视为一种语境依赖型 (context-dependent) 的设计工具。当数据规模或计算资源受限时，归纳偏置不可或缺；但在大规模制度 (large-scale regimes) 下，其重要性则相对减弱。在后者中，高度的模型灵活性使得结构能够直接从数据中自发涌现 (emergence of structure)。

回顾人工智能的发展史，归纳偏置被视为使学习成为可能的“隐藏支架”。它们构成了引导系统从有限数据中实现泛化的假设、约束与设计选择。如果没有这类偏置，模型将无法从数据中收敛至唯一的解释，因为存在无数种与观测结果相一致的潜在可能。归纳偏置通过限制这一可能性空间，帮助学习器聚焦于高效、结构化且具有实用价值的解释。

在机器学习的早期阶段，归纳偏置通常是统计性的且显式的。例如，线性回归假设输出可表示为输入的加权和，这使其在处理具有近线性关系的问题（如房价预测或考试成绩预测）时表现卓越。以使用 RBF 核的支持向量机 (SVM) 为代表的核方法，通过固定变换编码相似性，进一步扩展了这一思想，并在数字识别等应用中证明了其有效性。包括贝叶斯网络在内的概率模型，则通过表示变量及其依赖关系引入了捕捉不确定性的方法，从而实现了基于观测症状进行疾病推理等任务。尽管这些方法展示了精心设计的偏置所蕴含的力量，但其适用范围受限，因为其成功高度依赖于专家知识来构建有效的特征与模型结构。

深度学习的兴起改变了归纳偏置的表达方式。神经网络架构不再依赖手工特征，而是被设计为直接从原始数据中学习。卷积层与循环连接均体现了一种新型的归纳偏置：它们在对数据进行结构化假设的同时，仍保留了学习的灵活性。其中，卷积假设了局部平稳性 (local stationarity)，而循环连接则假设了时间依赖性 (temporal dependence)。注意力机制通过在无固定假设的情况下捕捉长程依赖关系，进一步推进了这一进程，并为 Google Translate 和 ChatGPT 等系统提供了核心驱动力。值得注意的是，这些设计选择并不直接规定具体特征，而是引导特征的发现过程。

深度学习的持续演进凸显了归纳偏置与规模（Scale）之间的动态关系。随着数据集和计算能力的扩展，对强人工设计偏置的需求逐渐减弱，转而让位于更通用的架构。然而，偏置并未消失，而是变得更加“柔软”、抽象，并有时隐匿于架构选择、训练范式或正则化策略之中。因此，深度学习阐释了一个核心悖论：模型越趋于灵活，就越需要精心设计的偏置，以确保学习过程的稳定性、高效性与泛化性。

本文讨论的“归纳偏置”本质，是每一位探索模型架构演进的技术人都值得思考的问题。如果你对更多关于 Transformer 及深度学习的深度讨论感兴趣，欢迎关注 云栈社区 的智能&数据&云板块。