高带宽闪存(HBF)是一项提议中的存储技术,它将闪存直接集成到处理器封装中,类似于高带宽内存(HBM)。虽然 HBF 提供了巨大的容量,但它作为块存储而非可寻址内存运行。 由于 HBF 需要大型、对齐的数据块,且缺乏细粒度的随机访问能力,它更像是一个集成式固态硬盘(SSD)而非系统内存(RAM)。利用 HBF 需要定制的软件运行时来管理 DMA 传输、磨损均衡和数据保留。潜在的机器学习应用包括存储“冷”模型权重、混合专家模型(MoE)参数或 KV 缓存的部分内容。通过在本地复制权重,HBF 还可以减少限制性能的跨设备通信。 然而,这项技术面临着巨大的软件实现障碍。开发者必须处理底层的块存储复杂性,而当前的框架并不支持这些操作。对于不受带宽限制的工作负载,HBF 的成本效益最高,但其架构上的摩擦引发了人们的质疑:与现有的 SSD 流式传输技术相比,它是否真的具备实际优势。归根结底,虽然 HBF 有望解决 DRAM 容量短缺的问题,但其成功与否取决于软件生态系统能否克服重大的集成挑战。