找回密码
立即注册
搜索
发回帖 发新帖

6870

积分

0

好友

867

主题
发表于 昨天 21:32 | 查看: 5| 回复: 0

本文是先前一篇博客的系统扩展与学术升华,对应博客为 拆解 megakernel 性能神话:普通 CUDA 内核靠 PDL 调度实现 97.4% 持久化吞吐。对应代码库:https://github.com/tie-pilot-qxw/pdl-megakernel-reconstruction。

“CTA 驻留机制可能会误导双向有效重叠的机会判断。”这是这项研究最核心的论断,也道破了当前 Megakernel 热潮中最容易被忽视的认知偏差。

Megakernel 让单个持久化 GPU 程序提前准备依赖算子,并联合执行就绪任务,被视为小批量 LLM 低延迟解码的核心技术方向。但长期以来,端到端的性能对比始终混淆了算子实现、同步协议与执行组织的贡献,行业既说不清 Megakernel 的收益究竟来自何处,也不知道分离内核能在多大程度上复现这些收益。

  • Understanding GPU Megakernels: Why Residency Can Mislead
  • 组织机构:加州大学圣迭戈分校(UCSD)、RadixArk
  • 论文链接:https://arxiv.org/abs/2611.00495

论文标题页:Understanding GPU Megakernels: Why Residency Can Mislead

拆解 GPU Megakernel 性能神话主题横幅

一、Megakernel 热潮下的未解之题

在自回归式的 LLM 解码场景中,token 逐个生成,每个解码步都要执行一整条算子依赖链。小批量场景下单个算子执行时间很短,内核启动与数据准备的开销占比被显著放大。

传统推理系统将模型拆解为独立优化的算子内核,逐次启动执行,这种组织方式在小批量解码中面临着严重的碎片化开销问题。

随着大模型在线服务、端侧部署等场景对低延迟的要求越来越高,推理性能的瓶颈已经从纯算力逐步转向了调度与数据移动效率。每个解码步中,RMSNorm、线性投影、注意力、激活函数等算子依次执行,单算子执行时间往往只有几微秒到几十微秒,但内核启动、资源分配、权重加载的碎片化开销累加起来,会占到总延迟的相当比例。

正是在这个背景下,Megakernel(大内核)成为了 AI Infra 领域的热点方向。所谓 Megakernel,就是将多个算子的执行整合到同一个持久化的 GPU 网格中,让 CTA 跨算子常驻运行。

CTA 的全称是协作线程阵列,是 GPU 上任务调度与资源分配的基本单位,每个 CTA 占用固定的寄存器、共享内存与线程槽位,执行完成后才会释放全部资源。常驻的 CTA 可以避免重复的内核启动开销,提前加载后继算子的权重,还能联合调度多个就绪任务。

目前行业已经出现了多条技术路线的 Megakernel 实现:

  • ThunderKittens 采用静态调度的驻留解释器执行固定任务序列;
  • VDCores 将内存执行与计算执行解耦,让专用内存核提前跑在计算核前面;
  • MPK 则采用动态运行时分发就绪任务。

这些工作都宣称带来了显著的延迟降低,也让很多从业者形成了“Megakernel 一定比分离内核快”的固有认知。但这个认知存在一个根本性的漏洞:所有端到端的性能对比,都混杂了算子实现优化、同步协议设计与执行组织方式的多重效应。我们观察到的性能提升,到底是算子本身写得更高效,还是用了更宽松的同步机制,还是持久化执行本身的调度收益?此前没有任何工作做过严格的隔离与归因。

更关键的是,行业普遍默认“只有持久化内核才能实现跨算子的提前准备与联合调度”,但实际上 CUDA 已经提供了 PDL(程序依赖启动)、CUDA Graph 等跨内核执行机制。这些现有特性能在多大程度上复现 Megakernel 的收益,至今没有系统的量化结论。

这项研究的核心目标,就是把“执行组织”这个变量单独剥离出来,通过严格的控制变量实验,准确衡量 Megakernel 持久化执行方式的真实收益与成本,回答一个最根本的问题:Megakernel 到底在哪些地方有不可替代的价值,又在哪些地方是可以被分离内核加现有硬件特性完全替代的?

研究的核心洞察可以用一句话概括:CTA 的驻留性会双向误导我们对有用重叠机会的判断。

  • 一方面,分离内核明明有空闲的硬件资源,却因为整 CTA 的准入规则无法提前开展准备工作,让我们低估了分离内核的潜力;
  • 另一方面,让任务共驻执行并不一定能提升吞吐量,甚至可能因为资源竞争拖慢原有任务,让我们高估了 Megakernel 的收益。

图 1:执行组织与有效重叠机会对比图

这张图清晰展示了两种执行组织的差异,以及对应的三类核心发现。左侧是逐内核执行的模式,右侧是持久化大内核模式,右侧的三个发现分别对应早期准备、资源所有权与联合调度三个维度,也是这项研究的主体内容。

二、控制变量式拆解:实验方法论与基准构建

要准确衡量执行组织本身的影响,必须做到严格的控制变量:保留算子的计算逻辑、数据移动路径与资源占用完全不变,只修改内核的组织方式与调度逻辑。

这项研究选取了 ThunderKittens 与 VDCores 两个技术路线差异显著的 Megakernel 作为拆解对象,确保结论具备足够的普适性。

2.1 实验平台与基准配置

实验的主测试平台为单张 H100 SXM5 GPU,具备 132 个 SM,多卡实验采用 8 张 H100。ThunderKittens 的测试负载为 Llama-3.2-1B 模型,BF16 精度,批大小为 1,输入 prompt 长度 32 token,生成 128 token。所有配置均采用 CUDA Graph 重放,消除主机端提交开销的影响,最终报告每个解码步的平均延迟。

为了保证控制变量的严谨性,所有重构的分离内核都沿用了原 Megakernel 中的算子代码,每个 CTA 的寄存器占用、共享内存占用与原版完全一致,每次只修改一个调度机制,编译后的 SASS 代码仅在目标修改位置存在差异。所有版本都必须保证输出的隐藏状态、KV 缓存条目与 logits 在张量级误差容限内与原版一致,彻底排除计算逻辑变化带来的性能干扰。

2.2 最容易被忽略的变量:内存序与完成信号

这是这项研究最有价值的细节之一,也是很多 Megakernel 工作不会主动提及的点:跨 CTA 的完成信号需要正确的内存序保障,而很多现有实现为了性能牺牲了正确性。

GPU 的全局内存在 L2 级是一致的,但每个 SM 的 L1 缓存之间并不保证一致性。也就是说,消费者 CTA 看到完成计数器被更新了,不代表它能读到生产者写入的最新数据。必须通过 release-acquire 同步机制,保证生产者的所有写入都在发布完成信号之前完成,消费者的所有依赖读取都在观察到完成信号之后执行。

在 H100 的二进制代码中,GPU 作用域的 release 更新会在计数器更新前插入 MEMBAR.ALL.GPU 指令。消费者端用 volatile 轮询绕过 L1 读取标志,观察到完成后执行一次 acquire 屏障,对应 CCTL.IVALL 指令,使本地 L1 缓存行失效。

只有这样的完整流程,才能保证跨 CTA 数据交换的正确性。仅用 volatile 轮询是不够的,它只能保证标志本身绕过 L1,既不能刷新缓存的有效载荷数据,也不能保证生产者写入的顺序。

而原版的 ThunderKittens 与 VDCores 的持久化实现,都采用了松弛的原子更新与 volatile 轮询来处理跨 CTA 完成信号,没有加入上述的内存序保障。独立的复现测试已经证实,这种信令序列会出现脏读,存在正确性风险。

因此,研究中设置了两个版本的持久化内核作为对比:

  • 有序持久化版本:加入完整的 GPU 作用域 release 更新与 acquire 屏障,保证正确性,作为主对比基准。
  • 原始持久化版本:保留原版的松弛同步,仅作为乐观参考,其性能收益不具备正确性保障。

分离内核的重构版本则通过 griddepcontrol.wait 机制等待生产者完成与结果可见性,天然具备正确的内存序保障。

2.3 测量与追踪方法

性能测量采用多轮中位数统计,排除系统噪声的影响。ThunderKittens 的每个配置经过 5 轮测试,每轮包含 3 次预热与 14 次计时生成,轮次间轮换配置顺序,报告配对差值的中位数。所有同轮配置在同一块 GPU 上运行,确保硬件状态一致。

执行时序追踪来自单独的插桩运行,用于分析执行顺序与重叠机制,最终的性能数据全部来自未插桩的纯净运行,避免插桩开销影响性能结果。

整体看下来,这套实验方法论的核心价值在于首次实现了 Megakernel 执行组织效应的纯归因,排除了算子优化、宽松同步等混淆变量,让我们第一次看到了持久化执行本身的真实成本与收益。

三、早期准备的可复现性:PDL 覆盖绝大多数收益

Megakernel 最广为人知的优势,就是可以在当前算子尚未完成时,就提前启动后继算子的初始化与权重加载,将准备开销隐藏在计算时间里。

很多人认为这种跨算子的早期准备是持久化内核的专属能力,但实验证明,基于 PDL 的分离内核不仅可以复现这一能力,整体表现甚至更优。

3.1 分离内核的基线性能差距

研究首先将 ThunderKittens 的完整 Megakernel 拆解为独立的算子内核。每个 Transformer 层拆分为 5 个内核:带 QKV 投影与 RoPE 的 RMSNorm、注意力、输出投影、带 up/gate 投影与 SwiGLU 的 RMSNorm、down 投影。

这些内核在单条 CUDA 流上顺序执行,采用标准的 CUDA Graph 依赖,每个后继内核必须等前驱网格完全完成后才能启动。

测试结果显示,这种标准拆分的执行方式,比有序版持久化内核每步慢约 98.1 微秒。性能损失来自两个部分:

  • 一是内核间的启动间隙,每个内核边界大约有 1 微秒的全 SM 空闲期,整个解码步有 80 个内核边界,累计可达 50-100 微秒;
  • 二是后继内核必须启动后才能开始加载权重与 KV 缓存数据,内存延迟完全暴露在关键路径上。

3.2 PDL 同时覆盖启动重叠与预取收益

PDL 的全称是程序依赖启动,是 CUDA 在 Hopper 架构后引入的特性。在传统的流顺序执行中,后继内核必须等前驱内核完全执行完、所有资源都释放后才能启动。

PDL 允许生产者内核在执行过程中就发出启动信号,让后继内核提前进入,只要后继在读取依赖数据前等待生产者完成即可。

图 2:PDL 与流顺序执行下 Producer/Consumer 工作流对比

这张图清晰区分了“可提前执行的部分”(初始化、独立权重加载)和“必须等待的部分”(依赖生产者输出的计算)。PDL 的本质是把无依赖的准备工作从关键路径上移走,这也是它能复现大部分 Megakernel 预取收益的核心原因。

研究在相邻的图节点之间启用 PDL,每个生产者在发出最后一个权重加载后触发后继。后继可以初始化并预取,但在消费依赖输入前必须等待生产者结果。

图 3:独立内核相对有序持久化执行的每步延迟差异

图中 0 点为有序持久化内核的基准线,向左为更快、向右为更慢。可以清晰看到三层递进关系:标准流依赖比持久化慢 98.1 微秒;仅靠启动重叠就能追平持久化;加上预取后反超 60.9 微秒,对应 5.7% 的整体延迟降低。

实验结果非常反常识:启用 PDL 后,分离内核重构版本比有序持久化执行每步快 60.9 微秒,对应 5.7% 的延迟降低,仅比没有正确性保障的原始松弛版持久化内核慢 3.4%。

为了区分启动重叠与预取各自的贡献,研究做了一组消融实验:保持 PDL 启用,但将独立的权重与 KV 缓存加载移到等待生产者结果之后。此时后继 CTA 仍然可以提前进入并初始化流水线,但不能提前加载数据。

结果显示,仅启动重叠就带来了 97.4 微秒的收益,已经让分离内核与有序持久化内核性能持平。恢复提前加载则额外带来 61.5 微秒的收益。

3.3 滚动尾部:分离内核提前执行的底层机制

这里有一个很自然的疑问:每个 CTA 的资源占用几乎占满了单个 SM 的寄存器与共享内存,生产者与后继的 CTA 无法共存于同一个 SM,那后继内核是怎么在生产者完成前就进入的?

图 4:普通完成与 PDL 首 tile 预取的调度时序对比

这张图解答了最常见的疑问:不需要同 SM 共存,而是利用不同 SM 上 CTA 退出的时间差,哪个 SM 先空出来,后继 CTA 就先占上去做准备,形成“滚动式”的接替。这种机制完全由硬件调度实现,不需要修改算子代码。

答案在于 CTA 退休的交错性,也就是“滚动尾部”效应。生产者的 CTA 在不同 SM 上的完成时间并不一致,有的 SM 上的 CTA 先完成并退休,释放出 SM 资源。PDL 就可以让后继的 CTA 立刻占据这些刚释放的 SM,开始准备工作,而其他 SM 上的生产者 CTA 还在继续运行。

逐 SM 的时序追踪证实了这一点:每个内核边界都存在提前的后继进入,大部分边界都存在提前的权重或 KV 加载。依赖等待仍然在生产者网格完成后才返回,重叠来自于在其他 SM 运行生产者的同时,在可用 SM 上准备后继,结果依赖关系保持完整。

这种滚动尾部的收益大小,取决于生产者的退休模式。比如注意力算子只占用 8 个 SM,设备上大部分 SM 都很早就空闲出来,因此 O 投影的 CTA 有 97% 都可以在注意力完成前发出权重加载。而到了 O 投影到 up/gate 的边界,O 投影的 CTA 中位数仅比网格结束早约 1 微秒退休,刚好够后继 CTA 从进入到发出第一个权重加载的时间,因此只有约 1% 的 up/gate CTA 能提前发出加载。

简单来说,只有当 SM 足够早地空闲出来,能够覆盖加载的延迟时,提前加载才有收益。滚动尾部创造了这个窗口,不需要生产者与后继 CTA 共享 SM,但也提供不了与活 CTA 内部复用同等的准备机会。

3.4 为什么有序持久化内核反而更慢

既然持久化内核可以做更多的预取,为什么整体性能反而不如带 PDL 的分离内核?答案在于持久化执行的运行时开销与同步开销。

为了排除细粒度依赖的影响,对比的两个版本都采用整算子依赖,也就是消费者等整个生产者完成再开始计算。持久化版本中,每个 QKV 与 up/gate 运行时指令在最后一个输出 Tile 后发布一次完成更新,避免冗余的逐 tile 更新。

研究首先关闭两个版本的预取,并将持久化版本设为松弛信令,只衡量执行路径的差异。结果这个乐观参考版本仍然比带 PDL 的分离内核每步慢约 79 微秒。两者执行完全相同的算子代码,但分离内核直接启动每个算子,不需要经过持久化解释器、任务分发与存储分配器的开销。

随后加入正确的内存序,测量同步开销:

  • 在没有预取的情况下,有序化每步增加 19.0 微秒;
  • 在有预取的情况下,有序化每步增加 73.5 微秒。

也就是说,更早地加载操作数会让同步变得更昂贵,即使是批量的完成更新也一样。

图 5:有序持久化与独立内核的步延迟对比

这张图把收益和成本拆解得非常清楚:从预取收益看,持久化内核确实更大(114.8 微秒 vs 61.5 微秒);但从基线成本看,持久化内核本身的运行时开销更高,再加上内存序同步的额外成本,最终净收益反而不如分离内核。这也提醒行业:对比 Megakernel 性能时,必须先确认同步正确性,否则收益没有实际意义。

H100 上的微基准测试解释了这个耦合效应。Release 信令会在完成计数器更新前加入 MEMBAR.ALL.GPU,需要等所有在途的内存访问完成。当每个 SM 上的背景批量读取从 64 KiB 提升到 192 KiB 时,release 延迟的中位数从 2.8 微秒上升到 17.2 微秒,而此时带宽已经接近饱和。只有发布信号的 SM 自己发批量读取时,release 延迟才会保持在 0.6 微秒左右。

这说明,release 延迟取决于设备范围的在途流量。一旦带宽饱和,额外的读取会拉长内存系统的队列,导致 release 操作要排在这些流量后面。预取流量会延迟生产者完成信号的发布,从而抵消一部分提前加载操作数的收益。

总之,带 PDL 的分离内核已经可以完全覆盖有序持久化内核的启动重叠收益,且运行时开销更低。持久化内核虽然能获得更大的预取绝对收益,但在加入必要的正确性保障后,同步开销的增长会抵消预取优势,最终整体性能反而落后。

四、资源所有权的壁垒:整 CTA 准入阻塞潜在收益

持久化内核的预取收益确实比分离内核更大,这部分差距并不是 PDL 机制本身的限制,而是 GPU 资源分配粒度带来的壁垒。

持久化 CTA 可以用自己已经持有的空闲资源做预取,而分离内核的后继必须拿到完整的 CTA 资源才能启动,哪怕预取本身根本用不了那么多资源。

4.1 空闲容量为何无法被利用

我们还是用 ThunderKittens 中 O 投影到 up/gate 的边界作为例子,来看资源所有权是如何阻塞早期准备的。

图 6:单个 SM 上 O 投影到 up/gate 的资源复用

预取只需要几个空闲的共享内存页,但分离内核必须申请完整 CTA 的所有资源才能启动,哪怕寄存器和共享内存大部分暂时用不上。这是整 CTA 准入矛盾最直观的体现。

在 TK 的持久化大内核中,每个常驻 CTA 预留了 13 个 16 KiB 的共享内存页,但 O 投影算子实际上只用到其中 5 个。CTA 的加载 warp 就可以把下一层 up/gate 的权重 tile 放到剩下的 8 个空闲页里,在 O 投影还在计算的时候就开始加载。时序追踪显示,第一个 up/gate 权重加载的发出时间,比 O 投影完成的时间平均早 11.5 微秒。

但在分离内核加 PDL 的模式下,up/gate 必须先获取完整的 CTA 资源配额才能开始预取权重。它的共享内存预留几乎填满单个 SM,就算释放 O 投影不用的空闲页,剩下的空间也不够和 O 投影共存。寄存器的约束更紧:O 投影本身就占用了 SM 寄存器文件的 86%,剩下的寄存器根本放不下一个完整的 up/gate CTA。

持久化大内核不需要准入一个新的完整 CTA,只需要用现有 CTA 的空闲资源加载权重,所以可以绕过这个限制。被阻塞的工作仅仅是权重加载,但准入检查的却是整个计算阶段需要的全部资源。这就是整 CTA 准入带来的资源浪费——明明有空闲容量,却因为分配粒度太粗而无法利用。

4.2 触发时机不是核心瓶颈

有一种可能的解释是,PDL 需要所有生产者 CTA 都发出触发信号后,后继才能准入,少数掉队的 CTA 延迟了整体启动时机。

为了验证这个猜想,研究做了一组优化:将 O 投影的权重 tile 打包到 124 个 CTA 中,安排在注意力不用的 SM 上运行,让触发信号更早发出。但结果显示,这个改动对 up/gate 的预取时机几乎没有影响。

原因在于,O 投影的计算本身需要等待注意力的结果,就算触发信号早发,计算还是要等,CTA 的退休时间仍然很集中,后继还是没有足够的时间窗口提前进入。因此,少数掉队者的延迟触发并不能解释大部分预取窗口的缺失,核心瓶颈还是整 CTA 的资源准入规则。

同样的准入约束也限制了 VDCores 的启动重叠。VDCores 的注意力网格占用 64 个 SM,时序追踪显示约 47% 的 O 投影 CTA 要等注意力完成后才能进入。这些 CTA 必须先初始化队列和屏障,检查输入依赖,然后才能发出激活加载。哪怕禁用权重预取,这部分启动开销仍然暴露在外。而持久化的内存核已经常驻在 SM 上,不需要重复走这条入口路径。

4.3 软件修复的代价与局限

既然整 CTA 准入是瓶颈,那能不能通过缩小 CTA 的资源占用,让两个 CTA 能共存于同一个 SM?

研究做了一个诊断性实验:实现一个低寄存器版本的 O 投影,让两个自身的 CTA 可以共享一个 SM。但单独测试时,这个版本就比原版慢 3.4%。为了提前准入而压缩算子的资源配额,会降低算子本身的执行效率,这个代价很可能超过提前准备带来的收益。

VDCores 的实验进一步显示了全链路的连锁反应:缩小共享内存预留可以让 O 投影在注意力运行时预取全部权重,单看 O 投影这一层,时间从 4.7 微秒缩短到 2.9 微秒,但整个解码步的延迟反而上升了。因为提前进入的 O 投影 CTA 一直持有资源,留给后续 up/gate 进入的资源就变少了。在其他边界上,更小的预留还会去掉一级权重缓冲,降低流水线效率。

也就是说,在一个边界获得提前加载的收益,可能会延迟另一个边界的进入,或者降低其他算子的流水线效率。提前准入改变了整个算子序列的资源分布,不能只看单点收益。

4.4 对资源接口的启示

早期权重预取需要的资源,远少于完整的计算过程。在 O 投影到 up/gate 的边界上,加载器和它的第一个权重 tile 完全可以和生产者共存,尽管完整的后继 CTA 不行。理想的接口应该先准入这部分准备工作,然后随着生产者资源的释放,让后继逐步扩展到完整 footprint。

研究提出了三项具体的资源能力,来打破整 CTA 准入的限制:

表 1:跨内核早期权重预取所需的资源能力表

这三项能力是论文对 GPU 架构演进的核心建议,核心思路都是把资源管理的粒度从“完整 CTA”下探到“warp”和“缓冲区”级别。目前这些能力纯软件无法实现,必须硬件原生支持;一旦落地,跨内核预取就不再需要 Megakernel 这种“把所有算子塞到一个网格里”的笨重方案。

这些能力纯软件无法实现,因为硬件是按 CTA 为单位分配和回收资源的。要实现这些能力,需要硬件提供更细粒度的资源管理接口,允许共享内存、寄存器和 warp 的生命周期与完整 CTA 解耦。

比如生产者可以在保留活跃缓冲区的前提下,释放未使用的共享内存和已消费的缓冲区,把容量让给后继的权重加载。Blackwell 架构的 TMEM 已经有了类似的先例:tcgen05.relinquish_alloc_permit 可以让 CTA 承诺不再进行更多 TMEM 分配。共享内存接口也可以采用类似的设计,将分配承诺与缓冲区释放分离开。

光有共享内存释放还不够,寄存器阻塞的时候加载器还是进不去。这就需要支持单个 warp 级别的退休:加载 warp 发完所有 TMA 加载、完成同步职责后就可以退休,归还寄存器和 warp 槽位,计算 warp 继续运行。

回顾一下,整 CTA 的资源分配粒度是跨内核早期准备的核心瓶颈,空闲的存储与寄存器因为绑定在未退休的 CTA 上无法被利用。打破这个壁垒需要硬件级的细粒度资源管理支持,让准备阶段可以按需获取资源,而不必等待完整 CTA 的准入。

五、联合调度的边界:共驻不等于收益

除了提前准备有依赖的后继算子,Megakernel 的另一大核心卖点是联合调度:将多个独立就绪的任务放在一起执行,要么让计算与通信重叠,要么填满部分波的空闲 SM。

但共驻本身不会凭空增加硬件资源,只有当就绪任务能利用瓶颈资源的空闲容量时,联合调度才会带来净收益。否则只会造成资源竞争,拖慢原有任务。

图 7:联合调度机会:GEMM+AllReduce 重叠与波数量化

这张图对应第五章的两个核心研究方向,左图讲计算与通信的重叠,右图讲独立任务的波次填充。两者的共同逻辑是:共驻本身不创造资源,只有当新增任务能用上空闲的瓶颈资源时,联合调度才有净收益;如果会挤压主任务的资源、增加波次,反而得不偿失。

5.1 计算-通信重叠:波次边界的代价

多 GPU 张量并行场景下,行投影算子由本地 GEMM 加后续 AllReduce 组成。融合调度可以让已经算完的 tile 先开始通信,后面的 tile 继续计算,实现计算与通信的重叠。但通信也需要占用 SM 资源,留给 GEMM 的 SM 数量就会减少。

图 8:融合 GEMM-AllReduce 相对串行执行延迟降低热力图

图中 0 线右侧是融合更快,左侧是串行更快。可以明显看到两个规律:一是绝大多数点都在左侧,也就是融合反而更慢;二是带轮廓的多波次配置几乎全部大幅落后,印证了“波次边界阶跃损失”是融合方案的最大风险。这也说明“计算通信重叠一定赚”是典型的想当然,实际工程中必须结合波次情况做量化评估。

研究评估了 Triton-distributed 的融合 GEMM-AllReduce 实现,在 8 卡 H100 张量并行环境下,测试 Qwen3-8B 与 Qwen3-32B 的注意力输出投影与 MLP down 投影,覆盖 12 种批大小。融合版本与串行版本都独立调优到最优配置,再对比端到端延迟。

最终的 48 个测试点中,融合版快 1% 以上的仅有 11 个点,慢 1% 以上的有 31 个点,剩下 6 个点差异在 1% 以内。

这个结果背后有两个关键规律:

  • 第一,GEMM 时长不足时,重叠空间有限。研究估算 AllReduce 时间为串行延迟减去纯 GEMM 延迟,当 GEMM 时间占比不到 90% 时,融合方案的优势从未超过 1%。相同批大小下,down 投影的局部归约维度更大,计算量更足,重叠收益更明显;O 投影的计算量小,24 个测试点中只有 1 个点融合有优势。
  • 第二,SM 预留带来的波次跳变是最大的风险。一波指的是分配给 GEMM 的 SM 跑完一轮 tile。预留通信 SM 后,如果 tile 数量刚好从 1 波变成 2 波,GEMM 本身的延迟会出现阶跃式增长,很容易超过重叠带来的收益。比如 Qwen3-8B O 投影在批大小 128 时,132 个 SM 刚好 1 波,预留通信 SM 后剩下 116 个,需要 2 波,纯 GEMM 延迟从 4.9 微秒涨到 7.2 微秒,这个增幅超过了融合调度的净损失。16 个多波配置中,有 15 个都比串行执行慢。

就算是单波、GEMM 时长足够的场景,也不一定能从融合中获益,因为还要覆盖协调与信令的开销。

5.2 波数量化填充:就绪任务与带宽双重约束

联合调度的另一个场景是减少波数量化损失:算子的最后一波往往是不满的,有空闲 SM,如果有其他算子的就绪 tile,就可以填进去一起跑,不用单独开一波。但这个收益成立有两个前提:一是有足够的独立就绪任务,二是空闲 SM 提供的是瓶颈资源的剩余容量。

第一个前提:依赖限制了就绪任务的供给

细粒度的依赖释放可以让后继 tile 更早就绪,但发布更细粒度的完成信号本身有成本。在 TK 中,将按 tile 发布的完成信号合并为按算子发布,也就是从细粒度改为粗粒度,解码步延迟反而降低了 1.6%。细粒度依赖带来的提前就绪收益,抵不上更频繁的完成更新开销。

就算支持细粒度调度,实际的就绪任务数量也往往不够。

  • MPK 的 Qwen3-30B-A3B 运行追踪显示,worker 只有 40.2% 的驻留时间在执行任务,剩下的时间都在等待依赖。比如注意力阶段只有 4 个任务,128 个常驻 worker 根本喂不饱。
  • Triton-distributed 的 Qwen3-8B 路径中,75% 的驻留 CTA 时间都在等待依赖。

图 9:持久网格中 worker 执行任务与等待依赖时间占比

这组数据非常反常识:两个主流 Megakernel 方案中,worker 真正在执行任务的时间只占 40% 甚至 25%,大部分时间都在等依赖。这说明“常驻 CTA 多”不等于“并行度高”,算子依赖链的宽度才是真正的天花板。没有就绪任务的时候,再多常驻 CTA 也只是空转,徒增资源占用。

简单来说,更大的物理网格不等于更多的有用工作。没有就绪任务的时候,常驻 CTA 只是空转。联合调度需要的是更多满足依赖的 tile,而不是更多的常驻 worker。

图 10:TMA 读取与张量核心计算吞吐量随活跃 SM 数变化

这张图解释了“为什么填满空闲 SM 不一定有用”。对于纯内存读取的带宽型负载,32 个 SM 就能跑出全 GPU 95% 以上的带宽,剩下 100 个 SM 全加上也提升有限;只有计算密集型负载,吞吐量才会随 SM 数量近似线性增长。所以判断波次填充有没有价值,先看负载是内存绑定还是计算绑定。

第二个前提:带宽饱和会让额外 SM 失去价值

就算有就绪任务,如果任务是内存带宽受限的,那么部分 SM 就已经把带宽打满了,再加更多 SM 也提升不了吞吐量。稳态 TMA 读取实验显示,H100 的 32 个 SM 就能提供全设备 95.4% 的带宽,剩下的 SM 再加也带不来多少额外带宽。

工作负载的计算密度越高,填满空闲 SM 的收益就越大。32 FLOP/B 的工作负载,半波会损失约 17% 的吞吐量;1024 FLOP/B 的计算密集型工作负载,半波损失接近一半。

研究用一个计算密集型 MLP 做了验证:融合 SwiGLU 与 split-K down 投影,采用持久化 Triton 内核,每个 SM 一个 worker。up/gate tile 有 2.12 波,down tile 有 1.88 波,按切片释放就绪的 down tile 去填充生产者的尾部,相比整算子释放,延迟降低了约 13%。

总之,联合调度的收益有严格的边界条件,绝非共驻就一定更快。计算通信重叠要警惕波次边界的阶跃损失,波数填充需要同时满足就绪任务充足与瓶颈资源有空余两个条件。脱离这些条件谈共驻收益,本质就是被 CTA 驻留的表象误导了。

六、实践启示与未来方向

这项研究的价值不止于刷新对 Megakernel 的认知,更在于提炼出了一套可落地的优化准则,对推理框架开发者与 GPU 架构设计者都有直接的指导意义。所有准则都指向同一个核心:不要被 CTA 驻留的形式迷惑,要穿透到资源与瓶颈的本质去判断优化的真实收益。

6.1 三条可落地的优化准则

准则 具体描述
预取与同步必须联合调优 1. 额外的在途加载会增加 release 操作的延迟,不能只计算预取节省的时间,而忽略同步增加的开销;2. 调优预取策略时,必须启用正确的内存序保障,并以端到端完整延迟衡量净收益;3. 许多宣称预取收益巨大的工作实际采用无正确性保障的松弛同步,其收益不可靠。
提前准入的成本要全链路核算 1. 若为使后继算子更早进入而缩小当前 CTA 的资源占用,必须同步核算该算子自身的效率损失,并评估整个算子序列的资源占用变化;2. 单点提前准入可能引发后续多处延迟增加,整体未必带来性能增益。
预留资源前先检查波次边界 1. 无论为通信还是其他任务预留 SM,均需先评估预留是否导致主任务波次数增加;2. 波次增加引发的延迟跳变通常远超重叠带来的收益;3. 对比联合调度与独立调度时,双方须各自独立调优至最优配置,不可用融合版配置直接运行串行版本作为基线,否则会低估串行性能。

6.2 GPU 架构的演进方向

这项研究最有价值的前瞻,是指出了细粒度跨内核资源复用的方向。未来的 GPU 架构 应该提供更灵活的资源管理接口,支持部分 CTA 准入、阶段化资源释放与有序增长,让跨内核的资源复用不需要依赖持久化内核,不需要引入解释器、任务调度器的额外开销。

这样一来,算子可以保持独立开发、独立优化的高效性,不用塞进一个复杂的大内核里,同时又能通过硬件级的细粒度资源复现,拿到甚至超过现在 Megakernel 的跨算子重叠收益。这对整个 AI 编译与推理栈来说,都是更健康、更可持续的演进路径。

对于行业来说,这也意味着我们不需要盲目追求“一个内核跑完整个模型”的极端方案。把现有硬件特性用透,把同步正确性做扎实,把资源调度做细,往往能带来更实在的收益。

七、总结:重新审视 Megakernel 的技术定位

这项研究用严谨的控制变量实验,系统拆解了 Megakernel 的性能归因,打破了“常驻执行一定更快”的行业迷思。

它没有否定 Megakernel 的价值,而是给出了清晰的判断框架,让我们知道什么时候该用,什么时候没必要用。

这项研究的核心发现可以归纳为四点:

  • 第一,带 PDL 的分离内核,在 ThunderKittens 场景下比有序持久化内核快 5.7%,在 VDCores 场景下性能相当。启动重叠的收益完全可以通过现有 CUDA 特性覆盖,不需要持久化内核。
  • 第二,持久化内核的预取绝对收益更大,但运行时开销与正确的内存同步开销会抵消这部分优势。很多 Megakernel 宣称的性能优势,其实来自没有正确性保障的松弛同步。
  • 第三,整 CTA 的资源准入粒度是跨内核早期准备的核心瓶颈,细粒度的资源管理接口是未来 GPU 架构的重要演进方向。
  • 第四,联合调度的收益有严格的边界条件,波次边界跳变与内存带宽饱和都会让共驻执行变得无利可图,甚至有害。

这么来看,Megakernel 是当前硬件能力下的一种过渡式解决方案。因为硬件没有提供细粒度的跨内核资源复用能力,开发者才不得不把多个算子塞进一个内核里,自己做任务调度与资源管理。这种方式虽然能拿到一些收益,但也带来了开发复杂度高、可维护性差、算子优化难、正确性风险大等问题。

随着 GPU 架构向更细粒度的资源管理演进,随着 CUDA 不断提供更强大的跨内核调度能力,我们完全可以期待未来的推理栈既保留分离内核的简洁与高效,又能享受到跨算子重叠的收益。到那个时候,Megakernel 可能就完成了它的历史使命,成为技术演进路径上的一个过渡形态。

对于今天的 AI Infra 工程师来说,最务实的做法是先把基础机制用好:用 CUDA Graph 消除主机开销,用 PDL 实现跨内核的早期准备,在保证同步正确性的前提下调优预取策略。做好这些基础工作,收益往往并不比投入巨大人力开发 Megakernel 差。

相关推荐




上一篇:权重常驻片上:SGLang 推测解码串行头 MegaKernel 实现 11.6 倍提速
下一篇:MonoMoE 权重主导 MegaKernel:量化 MoE 解码最高提速 1.54 倍
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-17 17:58 , Processed in 0.072527 second(s), 40 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表