HBM+HBF混合架构卸载LLM只读KV cache，每瓦吞吐达2.69倍

2026年8月4日，SK海力士与闪迪在FMS 2026上联合发布了HBF首份标准规范，该规范已纳入OCP开放标准，HBF首份标准规范落地，填补HBM与SSD之间的空白。

比标准更早，SK海力士在2026年2月的IEEE Computer Architecture Letters上发表了H³论文，提出将HBM与HBF组合的混合推理架构。内部仿真显示，每瓦吞吐量最高可达到纯HBM方案的2.69倍。

论文的出发点很直接：以Llama 3.1 405B为例，1M和10M token上下文的共享预计算KV cache分别约540GB与5.4TB，需要几十张GPU才能完整缓存。当上下文窗口不断拉长，KV cache对HBM容量的侵蚀已经成为LLM推理的主要成本来源之一。

一、HBM容量墙与HBF的定位

HBF的定义：借鉴HBM的裸片堆叠与近封装互联方式，获得接近内存级的带宽，同时利用NAND闪存实现大容量，定位为介于HBM与企业级SSD之间的存储层级。

论文给出的HBF目标参数（对照HBM3e）如下：

HBF用16倍的容量与单位容量成本优势，换来了延迟和功耗的代价：它不能替代HBM作为即时计算层，但非常适合承接对时延不敏感、规模庞大的只读数据。KV cache正是这类数据的典型代表——其大小与上下文长度、并发数线性相关，难以通过量化彻底压缩，且随着上下文窗口从128K→1M→10M拉长而线性膨胀。现有分层存储（HBM→DRAM→SSD）每层带宽相差一个数量级，KV cache一旦溢出HBM，带宽就会跌落一至两个数量级。

H³论文的三点贡献：根据访问特征将只读与可写数据分区；在HBM base die引入延迟隐藏缓冲来缓解HBF的高延迟；通过内部仿真器给出与纯HBM方案在批次、吞吐和每瓦吞吐上的量化对比。

二、H³架构如何扬长避短

H³以GPU为中心。HBM直接连接GPU引脚区；HBF则经HBM的base die以菊花链（daisy-chain）串接，而不是独立占用GPU引脚。地址译码器与路由器将请求分为HBM路径与HBF路径，整个设计建立在统一地址空间和D2D带宽对称的前提之上。选择菊花链而非为HBF分配独立引脚，是因为GPU封装边缘的高速引脚数量有限——HBM已占去主要份额，HBF若并行接入会进一步挤占信号与电源资源。

数据放置是核心思路：所有只读数据（共享预计算KV cache、权重中会话内不变的部分）放入HBF，动态KV cache则依旧留在HBM。这主要针对缓存增强生成（CAG）与多租户共享前缀的场景——多个请求复用同一长上下文时，预计算KV cache只需在HBF中存储一份，就能以低成本反复读取。

延迟隐藏由LHB（Latency Hiding Buffer）实现。HBF访问延迟约20µs，远高于HBM的亚微秒级；H³在HBM base die内置了约40MB的SRAM缓冲（3nm下约占base die的6.7%，面积8.06mm²），容量根据公式2×BW×Latency确定。其工作机制依赖于LLM层序的确定性：下一层所需的KV cache地址在当前层即可预知，因此可以在计算时提前预取，让HBF的长延迟被计算时间覆盖。

渡江客观点：统一地址空间加只读分区，是这份提案的取舍所在。它把NAND当作内存来用——靠堆叠与近封装把NAND带宽拉到内存量级，再用SRAM缓冲和确定性预取来掩盖延迟劣势。这是一种工程上的妥协，而非改变NAND的物理特性。

三、仿真结果说明了什么

评估基于内部仿真器与解析建模，没有流片实物（当时HBF尚无商用器件）。基线为单张B200（TDP 680W）运行Llama 3.1 405B，对照纯HBM方案：

批次提升最为显著：10M上下文下，同等GPU可并发的批次达到HBM-only方案的18.8倍，因为HBF的大容量让共享KV cache不再受HBM容量限制。每瓦吞吐在10M档达到2.69倍，是核心能效结论；即便HBF带宽减半，10M档仍有2.09倍，说明增益主要来自容量解锁，而非极致带宽。

渡江客观点：2.69倍是建立在纯只读、高命中率、确定性预取三项理想假设上的数字。现实中，只读分区会被LoRA切换、量化变更、缓存失效等写操作打破；40MB SRAM只能缓解、不能消除NAND的物理延迟。因此，2.69倍更应看作架构上限，而不是立刻可交付的工程指标。

四、局限、成本与替代路线评估

将H³与现实对接，有两个问题需要正视。其一，只读假设存在场景局限：收益高度依赖大量请求共享同一份只读KV cache，一旦涉及个性化状态、动态工具调用或微调负载，频繁的写操作就会削弱HBF的优势——NAND的物理延迟无法通过架构彻底消除。其二，成本上也存在对廉价NAND的误判：HBF还需要叠加LHB的RAM、NAND侧的FTL、异构TSV良率、专用控制器与软件栈，这些隐性开销会侵蚀NAND自身的低价优势，单位比特成本未必显著低于HBM。

替代路线也在并行推进——HBM4提升单栈容量、CXL内存池化实现跨GPU共享、纯软件优化（GQA、FlashAttention-3、vLLM前缀缓存）已在工程侧压缩KV cache。但软件手段无法改变KV cache随上下文线性增长这一物理事实。

从战略角度看，SK海力士作为HBM的主导供应商，推动HBF标准与混合架构，其商业逻辑是把内存墙问题从销售更多HBM，转变为提供一整套分层存储平台。

结语

H³用一套可仿真验证的架构，论证了HBF在LLM推理中的具体定位：承接对时延不敏感、规模庞大的只读数据，尤其是共享预计算KV cache。2.69倍每瓦吞吐是一个有边界的结论——它依赖只读假设、确定性预取和高命中率，并且建立在无实物的仿真之上。要让这一架构真正落地，还需要真实的HBF流片器件、与之匹配的软件栈，以及能稳定产生高命中率只读负载的应用场景。

扩展阅读 / 参考文献  

• Ha M, Kim E, Kim H. H3: Hybrid Architecture Using High Bandwidth Memory and High Bandwidth Flash for Cost-Efficient LLM Inference. IEEE Computer Architecture Letters, vol.25, no.1, pp.49-52, 2026-02-04；网络地址：https://ieeexplore.ieee.org/document/11371745  
• SK hynix Research. Summary: H3 Hybrid Architecture Using High Bandwidth Memory and High Bandwidth Flash for Cost-Efficient LLM Inference；网络地址：https://research.skhynix.com/blog/detail/summary-h3-hybrid-architecture-using-high-bandwidth-memory-and-high-bandwidth-flash-for-cost-efficient-llm-inference