英伟达 Groq 下一代 LPU 或将弃用片上 SRAM，改用 3D 堆叠 DRAM

核心观点速览

① SRAM 密度增速（10%–20%/2年）严重滞后于模型与 KV Cache 容量提升（翻倍/6–9个月），这是以 3D 堆叠 DRAM 替代片上 SRAM 的核心驱动力。

② SK 海力士 G0.5（3D Stacked DRAM）取消硅中介层，直接将 DRAM 裸片垂直键合于逻辑芯片上方，实现数据移动功耗减半、带宽提升约 10 倍。

③ 三星 zHBM 与美光 vHBM 属于 HBM 架构的垂直 3D 演进，而 SK 海力士 G0.5 的 3D Stacked DRAM 是独立位于 SRAM（G0）与 HBM（G1）之间的近存新层级。

第一部分：据传 Groq 在评估 3D 堆叠 DRAM

主打低延迟与确定性执行的 Groq，正在评估调整其核心存储方案。业内消息显示，已向英伟达（NVIDIA）授权推理技术的 Groq，计划在下一代芯片中采用 3D 封装，以 3D 堆叠 DRAM（3D Stacked DRAM，简称 3DS） 替代此前作为主存的片上 SRAM。目前该方案仍处于内部评估阶段，英伟达尚未公布具体的芯片规格、封装结构或量产时间表。

Groq 此前的芯片设计围绕片上 SRAM 展开，改用 3D 堆叠 DRAM，意味着其设计取向将优先解决容量上限，放宽对极限延迟的绝对追求。SK 海力士此前规划的 G0.5 内存层级，同样针对片上 SRAM 与高带宽内存（HBM）之间的容量断层。

2025 年 12 月，Groq 与英伟达签署了约 200 亿美元的非独家技术许可及合作协议，核心研发团队与技术方案随之并入英伟达。在此基础上开发的 Groq 3 LPU（代号 LP30），已作为低延迟推理加速芯片纳入英伟达 Vera Rubin 生态中的 Groq 3 LPX 平台，主要负责大语言模型解码阶段（Decode）对延迟要求极高的 FFN 与 MoE 模块计算，由三星平泽工厂以 4nm 制程代工。三星方面在 2026 年 6 月透露，正与英伟达商谈下一代 LPU 的代工业务。因此，该系列芯片的存储方案调整，直接关系到英伟达低延迟推理产品的后续布局。

技术授权完成后，Groq 公司继续保持独立运作。该公司由前 Google TPU 核心架构师乔纳森·罗斯（Jonathan Ross）于 2016 年创办，目前主要运营 GroqCloud 推理算力服务，转型为推理云服务商。

1. 为什么要改 SRAM？

Groq 3 LPU 将片上 SRAM 作为核心存储介质，单颗芯片集成 500 MB 片上 SRAM，片上访存带宽达到 150 TB/s，对应 FP8 算力约为 1.20 PFLOPS。在整机层面，包含 256 颗 LPU 的 Groq 3 LPX 液冷机架拥有 128 GB 聚合 SRAM，总 SRAM 带宽达 40 PB/s，机架内 Scale-up 互连带宽为 640 TB/s，FP8 算力约为 315 PFLOPS，同时配备 12 TB 外部 DDR5 内存。该架构省去了传统芯片的各级缓存与硬件预测模块，完全由编译器在编译阶段完成静态指令排程，消除了运行时的控制开销。在小批次、长上下文的推理场景中，Groq 3 的生成速度表现明显：以 Gemma 4 31B 模型运行 10 万上下文测试，单用户输出速率约达 3,400 词元/秒（Tokens/s）。

但制程演进带来的 SRAM 存储密度增长已严重放缓。芯片设计公司 d-Matrix 首席执行官 Sid Sheth 指出，SRAM 的存储密度目前每两年仅能提升 10% 到 20%，而大模型参数规模与 KV 缓存（KV Cache）的内存需求，每 6 到 9 个月便翻倍增长。

两者增速差距持续拉大，单机架 128 GB 的固定 SRAM 很难直接存放百亿至千亿参数规模的模型权重与长上下文缓存。如果通过跨机架切分模型，节点之间频繁的数据交换与网络通信会引入显著延迟与调度抖动，原本微秒级的片上执行优势会被网络通信开销抵消。换句话说，SRAM 的容量瓶颈正在成为低延迟推理继续向上扩展的硬约束。

2. 为什么是 3D 堆叠 DRAM？

评估 3D 堆叠 DRAM，核心目的是打破 SRAM 的容量上限，使大模型权重和长上下文数据可以直接留在本地芯片内。

3D 堆叠 DRAM 利用硅通孔（TSV）技术将多层 DRAM 裸片沿垂直方向堆叠，形成高密度存储结构。与同样采用 TSV 的 HBM 相比，HBM 侧重提升数据传输速率，3D 堆叠 DRAM 则聚焦于提升单位面积的容量密度并优化功耗表现。采用垂直堆叠后，芯片在有限的封装空间内能够获得数倍于 SRAM 的存储容量，减少长上下文推理时频繁跨节点调度数据的需要。

第二部分：SK 海力士的 3D Stacked DRAM

1. SK 海力士提出的 G0.5

SK 海力士在重构的分层内存架构中，将 3D 堆叠 DRAM 明确划入对应层级。

2026 年 8 月的 FMS 2026 存储峰会上，SK 海力士副社长 Kang Uksong 首次公布了新一代 AI 数据中心存储层级体系，将 3D Stacked DRAM 命名为 G0.5（或 L0.5） 层。

10 月 14 日，SK 海力士开发总括社长 Ahn Hyun 在首尔举办的 SEDEX 2026 大会上进一步预测，受推理任务复杂度、上下文长度以及并发请求增加的推动，2030 年 AI 基础设施的性能需求将达到 2026 年的 20 倍。

在整体架构中，G0.5 介于片上 SRAM（G0 层，延迟极低但容量有限）与标准 HBM（G1 层）之间，充当补位过渡层（Gap Filler）。它的设计目标是融合接近片上存储的超高带宽与 DRAM 级的高存储密度，填补两级存储介质在容量与性能上的空白。在工艺推进方面，SK 海力士正在研发 16 层有源裸片（Active Die）堆叠技术，量产时间定在 2028 年。

2. 技术解析

在封装结构上，3D 堆叠 DRAM 的关键变化在于移除了传统 2.5D 封装所必需的硅中介层（Interposer）。

在成熟的 2.5D HBM 方案中，垂直堆叠的 DRAM 颗粒与计算逻辑裸片并排贴装在硅中介层上，数据互连依赖中介层内部数毫米长的横向微米布线。这种横向排布不仅受芯片边缘引脚密度的限制，也增加了信号传输距离。

SK 海力士的方案省去了横向硅中介层，通过垂直 TSV 通道，将多层 DRAM 裸片直接键合堆叠在逻辑芯片正上方。这一改变带来了直接收益：

• 传输距离缩短与功耗减半：数据流动由中介层的横向平面移动，缩短为垂直方向几层裸片的厚度，传输距离处于微米级，数据搬运功耗相比传统 2.5D 横向走线减少约一半。
• 通道数量扩充与带宽提升：互连通道不再局限于芯片边框，垂直互连通道数量成倍扩充，片间访问带宽相比传统 HBM 方案提升约 10 倍。

在 SK 海力士的整体存储规划中，G0.5 层与多种介质协同分工：向上对接片上 SRAM，向下配合 G1（HBM / Custom HBM）、G1.5（高带宽闪存 HBF，结合 TSV 与 NAND 颗粒，容量可达 HBM 的 10 倍）、G2.5（CXL 内存池）以及 G3.5（企业级 SSD）。通过将数据更精准地按访问频次分流，减少跨节点搬运，从而改善系统级的每兆瓦吞吐指标（TPS/MW，每兆瓦每秒生成词元数）。

3. 3D Stacked DRAM ≠ 3D HBM

在下一代垂直集成存储领域，不同存储厂商采取的技术路线存在差异，需要将 3D Stacked DRAM 与 3D HBM 区分看待。

三星电子主推的 zHBM（Zero-Interposer HBM） 利用混合铜键合技术，将 HBM 直接垂直贴合在计算逻辑裸片上方。三星在 FMS 2026 和 SEMICON Taiwan 2026 上披露了相关技术，称相比 HBM5 能带来约 8 倍性能与 3 倍能效比提升，但将其作为 2029 年之后的长期方案。美光科技则在 2026 年 10 月发布了采用无凸块混合键合（Bumpless Hybrid Bonding）的 vHBM（Vertical HBM） 路线，预计在 2028 年推出第一代 vHBM1。

zHBM 与 vHBM 均属于 3D HBM 路线的演进。两者的共同点是取消中介层以缩短垂直互连路径，但在协议层面依然沿用 HBM 的控制逻辑、总线协议和接口规范。

SK 海力士划分的 G0.5 3D Stacked DRAM 则是直接堆叠在逻辑芯片顶部的独立存储层级。它省去了 HBM 复杂的总线控制层，构建更轻量的短距访问通道，在接口定义、功能定位与存储层级分工上，与 3D HBM 属于两种不同的设计构想。

免责声明：本文观点为作者个人观点，仅用于产业交流，不构成任何投资、采购或商业决策建议。文中信息取自公开渠道，不对信息的准确性、完整性做保证。如有异议，请联系原公众号处理。