阿里云基于RDMA构建了G3.5层的KV Cache存储

2026年云栖大会期间,阿里云发布KVCache加速引擎——KVCacheStore,这就是阿里云的G3.5层方案,目前业内已经有很多类似的方案,那么阿里云的KVCacheStore大致的设计思路是怎样的呢?

在大模型推理时代,面对越发密集的计算需求,存储的数据供给面临挑战。现在不仅要求数据能存下,还要尽可能靠近计算,能及时把数据供给给算力单元。

参加2026年云栖大会,我听到的最多的关键词,除了AI就是KV Cache了。简单说,KV Cache存放的是大模型推理时的中间结果,后面继续生成时直接复用,不用每次从头再算。推理持续的越久,KV Cache累积的越多。

从这个角度看,KV Cache实际上是在做一件用存储换计算的事情:用成本更低、容量更大的SSD资源,替代成本更高的DRAM,而且换取更少的GPU重算时间,减少GPU资源的浪费。

传统AI服务器内部,最热的KV Cache通常放在GPU的HBM中,再往下是主机DRAM和本地NVMe SSD。越靠近GPU,延迟越低、带宽越高,但容量也越贵、越有限。再往外,则是传统的分布式文件系统、对象存储等共享存储,容量更大,但距离计算更远。

2026年年初,英伟达黄仁勋在大会上将这一现实问题变成了热议话题。他提到了新的KV Cache存储分层,要在本地SSD和传统共享存储之间加了一层,由于介于两者之间,所以被称作是G3.5层。

2026年云栖大会期间,阿里云发布KVCache加速引擎——KVCacheStore,这就是阿里云的G3.5层方案,目前业内已经有很多类似的方案,那么阿里云的KVCacheStore大致的设计思路是怎样的呢? 

云栖展台上阿里云存储技术专家解释说,在此前的方案中,业界已经通过RDMA将多台GPU服务器上的DRAM池化,让不同节点之间共享内存容量。但随着大模型上下文不断变长,KV Cache规模快速增长,即使DRAM池化也可能装不下全部缓存。

一种自然的做法,是继续把溢出的KV Cache写入GPU服务器本地的NVMe SSD。不过,本地盘也有一个明显问题:容量在服务器采购时就已经固定了。

然而,不同模型、不同上下文长度、不同业务负载,对KV Cache容量的需求并不一样。服务器如果配少了,后续很难扩容。配多了,在业务启动阶段或者负载较低时,又可能形成大量闲置,造成浪费。

KVCacheStore可以解决这个问题。

它不再要求每台GPU服务器按照固定比例配置大量本地SSD,而是将SSD资源从本地拿出来放到远处,组成一个可以共享、扩容和缩容的缓存池。对于计算节点来说,它仍然尽量保持接近本地NVMe的访问体验,但容量不再和单台服务器绑定。

从物理距离上看,它确实比本地SSD更远。但从性能和访问路径上看,它又比传统第四层分布式存储更靠近计算。阿里云专家提到,这里最关键的技术之一是RDMA。

传统远端分布式存储通常需要经过更完整的文件系统、网络和协议栈,而KV CacheStore希望尽可能减少额外开销,通过RDMA直接进行高速数据传输。因此,虽然数据已经离开本地服务器,但它的性能表现可以尽量接近本地NVMe。

阿里云专家表示,在这一场景中,RDMA的延迟已经能够满足需求,而且部署更加成熟和简单。与此同时,AI集群本身也大量使用RDMA,因此KVCacheStore可以复用现有高速网络体系,而不需要额外引入其他互连架构。 

由此,一个面向大模型推理的数据分层逐渐形成。最热的KV Cache数据放在HBM中,其次是主机DRAM,再往下是本地SSD。当本地资源不足时,可以继续使用G3.5层KVCacheStore,更冷的数据则进入传统远端存储当中。 

简而言之,阿里云的KVCacheStore通过提供更大的KV Cache存储空间,存放了更多KV Cache则会提高缓存的命中率,命中率更高则意味着GPU重算的时间会减少,从而带来综合成本的节省。

不过,成本节省这一点需要和阿里云此次发布的新一代并行文件存储系统CPFS区分开来,CPFS提供高达百TB/s级吞吐和亿级IOPS,但是它主要面向AI训练场景的,它可以为百万卡模型训练加速。在实际训练中,可将模型启动平均耗时降低50%、峰值算力利用率提升30%、AI存储成本降低69%。 

CPFS主要面向AI训练,解决训练数据、小文件、Checkpoint等大规模并行读写问题;KVCacheStore则主要面向推理阶段,解决KV Cache容量和命中率问题。 

两者虽然都属于AI存储体系,但解决的是两个完全不同的问题:CPFS让训练数据更高效地流向GPU,而KVCacheStore则试图让已经计算出来的KV Cache尽可能不要被浪费。

当GPU越来越昂贵时,当智能体推理的需求越来越多时,KVCacheStore的重要性也在快速上升。

本文来源于DOIT传媒,文章内容仅供参考,不构成投资建议。

赞 ()

相关推荐

发表回复

评论列表

点击查看更多

    联系我们

    微信:百易小助手

    邮件:contact@doit.com.cn

    工作时间:周一至周五,9:30-18:30,节假日休息

    微信