1835 积分	0 好友	226 主题

发消息

DeepSeek提出流形约束超连接(mHC)，解决大模型训练稳定性难题

发表于 4 天前 | 查看: 14| 回复: 0

论文导读封面：Paper Daily 轻读论文，漫步前沿

背景与动机

核心痛点

超连接（Hyper-Connections, HC）技术通过拓宽残差流并引入可学习的映射，能够在几乎不增加计算量（FLOPs）的前提下，显著提升模型的容量。然而，其无约束的残差映射破坏了传统残差连接中至关重要的恒等映射性质，导致信号在深层网络中无界放大或衰减。这直接引发了训练失稳、梯度爆炸或消失等问题。同时，由于n倍的扩流操作，模型还会面临内存墙与通信墙的挑战，严重阻碍了在大规模训练场景下的应用。

现有缺陷

HC的复合残差映射∏Hres不再保持恒等映射，其信号增益峰值在某些情况下可达惊人的3000倍。
扩流后，单个token的内存访问量从3C激增至(5n+1)C，通信量也同比例增长。
现有的宏观拓扑设计，如DenseNet、DLA、RMT等，均以牺牲恒等映射为代价来换取模型容量，缺乏一个能够同时兼顾训练稳定性与计算效率的通用框架。

核心价值

DeepSeek-AI团队提出的流形约束超连接（Manifold-Constrained Hyper-Connections, mHC），旨在解决上述难题。其核心思想是将HC的残差空间投影到Birkhoff多面体（即双随机矩阵构成的流形）上，通过Sinkhorn-Knopp熵投影来恢复信号的“守恒”特性。同时，团队配套了核融合、重计算、DualPipe通信掩盖等一系列系统级优化，最终实现了“模型容量显著提升、训练稳定性大幅增强、而计算效率基本持平”的目标。

核心创新

核心算法

联合约束机制：提出了“投影+非负输入输出映射”的联合约束方案。残差映射Hres通过Sinkhorn迭代（约20步）逼近双随机矩阵；而输入输出映射Hpre/Hpost则通过Sigmoid函数限制为非负值，从根本上杜绝了正负系数相互抵消导致的不稳定现象。
分段重计算策略：设计了按√nL/2最优块长度来同步流水线阶段的策略，成功将训练时的显存峰值降低了35%。

模型架构

在宏观拓扑层面引入“流形约束残差映射”——强制将Hres约束为双随机矩阵。这使得每一层的残差更新都变为输入特征的凸组合，不仅保证了‖Hres‖₂≤1，还使得复合映射具有封闭性。这一设计将信号增益成功压制在1.6倍以内，与原始HC高达3000倍的增益形成了鲜明对比。

发布资产

团队开源了3B、9B、27B规模的混合专家模型（MoE）检查点，以及使用TileLang编写的级联融合内核（fused kernel）。实验表明，在扩流因子n=4时，mHC仅比基线模型增加了6.7%的训练时间。

方法论

技术流程

输入特征xₗ∈ℝ^C被扩展为n个并行的子流：xₗ∈ℝ^{n×C}。
进行RMSNorm归一化。
生成动态及静态系数˜Hpre、˜Hpost、˜Hres。
通过流形投影得到实际的映射矩阵Hpre、Hpost、Hres。
使用Hpre聚合特征并输入到Attention或FFN模块。
模块输出经Hpost写回残差流，并与经过Hres混合的输入进行相加。
进入下一层。

技术栈

DualPipe通信掩盖：在流水线并行的边界，将MLP层的Fpost,res计算调度到高优先级计算流中，使其与流水线并行的发送/接收操作并行执行；同时将注意力计算的长内核改为非持久化模式，允许被通信操作抢占。这一优化实现了高达92%的计算-通信重叠率。
TileLang融合核：将RMSNorm、矩阵乘法、偏置相加、Sigmoid、Sinkhorn迭代等7个算子融合为3个定制化内核，减少了约2倍的内存访问开销。重计算内核则在反向传播时现场重新计算中间激活值，避免了保存大小为nC的激活张量。

实验与结果

消融实验

去掉Hres的流形投影（退化为原始HC）：模型损失上升0.022。
去掉重计算策略：训练显存峰值增加38%。
去掉内核融合优化：整体训练时间增加14%。

竞品对比

对比基线包括：标准残差连接（Baseline）、原始超连接（HC）、以及同规模结构的MoE Transformer（采用DeepSeek-V3架构）。

核心表现

在27B模型规模下，于8项下游基准测试上的平均得分表现为：Baseline为59.4，原始HC为62.0，而mHC达到了63.4（相对基线提升+2.0）。具体到任务，在BBH上提升2.1%，在DROP上提升2.3%，在TriviaQA上提升1.3%。从训练损失曲线看，mHC全程保持平稳，而原始HC在约12k训练步数时出现了显著的损失尖峰。

效率指标

当扩流因子n=4时，mHC相比原始HC的训练吞吐量提升了1.9倍；相比基线模型，其训练时间仅下降6.7%。在单张80GB显存的GPU上，可以训练完整的27B参数模型，其显存占用与基线模型基本持平（这得益于重计算与核融合优化抵消了扩流带来的开销）。

深度思考

未来启示

mHC所蕴含的“守恒即稳定”核心思想，有望迁移到计算机视觉、多模态以及图神经网络等其它人工智能领域。其配套的系统级优化“组合拳”——核融合、重计算与通信掩盖——也为任意需要进行特征扩流的模型架构提供了可复用的落地模板。

范式转移

这项研究首次在宏观拓扑层面证明：“残差连接不必死守逐层的恒等映射，而可以在更高维的流形层面实现信号守恒”。这为未来的残差连接设计提供了新的数学工具包，即双随机矩阵与熵投影方法。

设计哲学

其背后的设计哲学强调：数据守恒原则优先于单纯的网络加宽；只有将拓扑层面的数学约束与工程层面的协同优化紧密结合，才能在大模型时代将“理论上的优雅”转化为实实在在的“规模红利”。

局限与不足

失败案例

当扩流因子n≥8时，Sinkhorn迭代20步的逼近误差会增大，导致信号增益上限升至2.3倍，稳定性边际下降。
在极端长序列（>32K tokens）场景下，双随机约束对位置编码的耦合效应尚缺乏理论上的保证。

未来方向

探索其他几何流形（如正交流形、辛流形、格拉斯曼流形）的约束，以进一步释放模型容量。
将mHC与MLA（多头潜在注意力）、MoE中的专家路由机制进行联合设计，研究“拓扑扩展+稀疏化”的双重扩展规律。

隐性成本

为保持信号守恒，mHC牺牲了部分表达自由度，在参数极少的轻量级模型（<1B）上，其性能略逊于原始HC（约-0.3%）。
在工程侧，需要维护定制的CUDA内核，这在一定程度上增加了模型的部署门槛。