将闪存搬到计算单元旁边，HBF能否破解AI推理的内存瓶颈？

近年来，随着人工智能模型规模的飞速增长，计算单元（如GPU、TPU等）的算力提升已经远超存储系统的性能改进。这种不对称的发展导致“内存墙”问题愈发突出——处理器需要耗费大量时间等待数据从低速存储搬运到高性能计算内存中。这不仅拖慢了AI训练和推理的速度，也显著增加了能耗和成本。

高带宽内存（HBM）通过将DRAM堆叠并与计算单元共封装，大幅提升了数据读取速度。然而，HBM容量有限，且成本高昂。近日，SK海力士和闪迪联合推出了一个名为高带宽闪存（HBF, High Bandwidth Flash）的新方案，试图通过将大容量NAND闪存与xPU共封装来补充现有存储体系，进一步缓解内存墙问题。

内存墙与HBF的诞生背景

在AI模型推理过程中，数据的大致可以分为两类：动态变化的激活值和相对固定的模型权重。对于深度学习模型而言，权重数据往往占据绝大多数存储资源。例如，某些大语言模型的参数规模可以轻松达到数百GB甚至数TB。这远远超出了当前单颗GPU或TPU所能承载的本地内存容量，导致这些模型的部分权重只能存储在较慢的SSD或远程存储中。

这样的存储架构需要数据在多个层级之间频繁搬运：从SSD读取权重数据，加载到DRAM（如HBM），再传输到处理器缓存（如SRAM）。每层存储之间的速度差异都会引入延迟，尤其是当权重数据频繁被替换或重新加载时。这种数据搬运的高延迟和能耗，成为AI推理性能提升的主要瓶颈。

HBF的核心理念与HBM类似：通过将存储介质直接放置在计算单元附近，减少数据搬运路径。然而，HBF选择了容量更大的NAND闪存而非DRAM，定位在高带宽内存和SSD之间，作为一种新的中间存储层。

HBF的技术定位与应用场景

HBF并非意在取代HBM，也不是提升SSD的速度。它的核心价值在于提供一个容量大、读取性能高的存储层，用以缓解AI推理对内存带宽和容量的双重压力。

1. 系统定位：介于HBM与SSD之间

HBF通过将NAND闪存与xPU封装在一起，缩短了数据传输路径，提高了读取带宽。相比传统的SSD，HBF可以实现更高的聚合读取速度；而相比HBM，HBF的优势在于显著更高的存储容量。它的出现为AI系统提供了一种全新的存储层级，使得大规模模型的权重数据能够更接近计算单元。

2. 应用场景：从权重存储到复杂工作负载

HBF的初始目标是存储AI模型的权重，尤其是那些需要频繁访问但不会动态变化的数据。此外，HBF还特别适用于以下几种应用场景：
- KV Cache（键值缓存）： 用于存储大语言模型推理过程中生成的中间数据，支持更长的上下文长度。
- 多模型并行推理： 在同一硬件资源上运行多个模型时，HBF可作为共享的存储池。
- MoE（专家混合模型）： 对于需要动态激活不同子模型的架构，HBF帮助快速加载所需的权重。
- Agent任务负载： 较复杂的AI代理系统需要实时访问大量知识库和状态数据，HBF的高容量特性对此尤为有利。

HBF的工程挑战：慢闪存如何实现高带宽？

尽管HBF的潜力巨大，但其底层NAND闪存存在写入速度较慢、耐久性较差等固有物理限制。那么，HBF是如何克服这些挑战的？关键在于Base Die的设计。

1. Base Die：HBF的控制中枢

每个HBF设备由三个主要部分组成：Base Die、NAND Core Die堆叠，以及连接两者的TSV通道（硅通孔）。其中，Base Die不仅是NAND堆叠的“接口”，更是整个HBF架构的“大脑”。它负责：
- 主机与NAND之间的数据传输管理；
- 执行错误检测与纠正（ECC）；
- 处理NAND的初始化以及TSV的冗余映射。

通过Base Die的优化设计，HBF可以实现高达3TB/s的聚合读取带宽。这使得慢速的NAND闪存在特定场景下，能够提供接近DRAM的性能。

2. 软件与硬件的协同优化

为了充分发挥HBF的性能，不仅硬件需要进行专门设计，软件栈也需要深度优化。例如，如何高效地管理缓存、调度I/O请求、减少写入操作，以及优化数据布局等，都是实现HBF性能的关键。这些复杂性最终转移到了处理器和系统软件的设计中，但从整体性能收益来看是值得的。

影响与展望：HBF如何重塑AI计算？

HBF的出现为AI硬件设计带来了全新的可能性。通过引入一个介于HBM和SSD之间的新存储层级，HBF填补了高带宽与高容量之间的空白，为大模型推理的性能提升奠定了基础。

1. 对AI硬件架构的影响

HBF的应用将推动xPU设计的进一步演进。例如，未来的GPU或TPU可能需要为HBF的集成预留更多的接口和内存管理逻辑。此外，HBF也可能促使存储厂商优化NAND技术，以提高其读写性能和耐久性。

2. 为更大模型的推理铺平道路

随着大语言模型和其他AI系统规模的持续扩大，内存容量的需求会越来越高。HBF的高容量特性，尤其是在多模型和动态工作负载场景下，将有效满足这类需求。它不仅能降低存储成本，还能显著减少能耗。

3. 未来的挑战与机遇

当然，HBF并非完美无缺。NAND闪存的物理限制仍然存在，如何平衡其性能与成本，以及如何简化硬件与软件的协同优化，仍是需要攻克的难题。未来，随着技术的不断进步，HBF可能还会进一步演化，与其他存储技术（如新型非易失性存储器）共同构建更高效的存储体系。

结语

HBF的推出标志着AI硬件设计迈向了一个全新的阶段。在内存墙问题日益突出的背景下，它为高效处理大规模AI模型提供了一种创新解决方案。虽然其设计和实现仍面临诸多挑战，但HBF无疑为未来的AI计算架构提供了重要的启发。

标签： 人工智能 高带宽闪存 存储架构 大模型推理 AI硬件设计