从介质到语义:长上下文KV Cache存储卸载的算法重构与实践

存储系统面向AI的进化,不是从推翻协议开始,而是从理解KV Cache的生命周期开始。只有让介质特性与数据访问模式精准匹配,让元数据管理与淘汰算法深度适配推理语义,存储才能真正承接长上下文时代的显存卸载。

在面向AI的存储系统创新与实践论坛上,Solidigm首席存储解决方案架构师高伟带来《长上下文时代的KV Cache对存储系统的挑战》主题分享,联想研究院资深分布式存储研究员孙宪武作为联合研发合作伙伴,共同呈现了双方在Cache工程化落地中的技术实践。

高伟在分享中提出,面对越来越大的KV Cache,存储厂商不能只做"卖盘"的生意——从TLC到QLC,不同介质需要配合不同的数据放置策略与元数据管理算法,才能让卸载后的Cache真正跑起来。

高伟强调:光有好的介质远远不够,还需要更好的算法来做Data placement和metadata管理,把不同介质都发挥到更好的状态。

Solidigm为此构建了完整的SSD存储体系:TLC主打高性能、高带宽、低时延,QLC主打更大容量。针对KV Cache Workload在不同生命周期中表现出的写频差异与read Cache频率差异,团队准备了不同的算法来匹配不同介质特性。但这只是起点。从去年开始,Solidigm便与联想研究院展开深度合作,对metadata与Data整个通路进行重新设计,结合SSD特性做了大量架构层面的构想。作为合作方的技术落地负责人,孙宪武从实际部署压力出发,为这一构想提供了扎实的场景注脚。

孙宪武在联合研发中给出了具体的部署压力测算:以GLM5.2在24卡H20上的部署为例,单用户256K上下文即可产生22.7GiB的KV Cache,按并发推算总缓存将达635GiB,几乎吃光剩余显存;六轮对话场景下历史Token重算率高达80%,算力浪费触目惊心。当这约635GiB数据由67万个平均大小约900KB的文件构成时,传统NFS协议在用户态与内核态之间的反复横跳,让存储系统同时面临吞吐瓶颈与时延黑洞。

孙宪武在演讲中归纳了当前业界三条应对思路:一是通过DPU等专有硬件缩短数据路径;二是面向AI的分布式存储在软件层面提供原生KV接口,结合GDR技术规避数据拷贝损耗;三是在标准协议上做优化,如S3 over RDMA、NFS over RDMA等。

高伟主导的联合团队正是在第二条路径上展开深度工程化,构建了一条从存储底座到业务层优化的完整卸载链路。

在底座层面,联想采用一致性哈希解决数据分布,以可线性扩展的无锁I/O引擎实现节点内与跨节点的算力线性扩展,并融合GDR与SPDK技术打造端到端全栈用户态零拷贝通路,同时提供原生KV Cache接口以消除传统协议解析开销。配合Solidigm PS1010高性能SSD,在联想SR60V4上实现了单网卡49G吞吐,将网卡能力推至上限。

底座之上,孙宪武团队进一步向业务层延伸,推进了layerwise模式适配:以layer力度提供原生KV Cache接口,客户端侧分离读写缓存以分别解决小I/O聚合与预读问题,通过索引映射感知压缩索引体量,并在存储侧支持write back与write through模式,叠加层级感知预读。这一系列优化将TTFT提升了58%。

但在实际工程推进中,孙宪武与联合落地团队很快发现一个核心矛盾:吞吐与精准度的平衡才是算法设计的真正考验。数据打散后,索引离散化削弱了批量检索能力,反而拖慢TTFT;淘汰时若"误伤"某个分片,后续所有关联分片将全部失效。为此,团队将提示词索引局部集中存储,以radix树统一管理,在保持吞吐的同时恢复批量检索效率;淘汰策略则基于radix树的热点统计,从叶子节点逐层向根节点精准回收,把淘汰粒度与影响范围同时锁进可控区间。

更进一步,面对Transformer逐层加载带来的67万并发、13K小I/O困境,孙宪武团队在业务层提出将数据横向聚合至1MB粒度,既缩小了并发量,又让存储跑在最佳性能区间。高伟认为,这种从业务层反向驱动存储优化的思路,正是AI语义优先于协议兼容的最佳实践。

在演讲最后,高伟总结: “对于SSD公司来说,我们提供了完整的存储体系,但更重要的是通过算法把这些Cache做更好的Data placement和metadata管理。存储要把路径拓宽、变直、变短,这样传统存储的生命力还是可以的。

而双方联合落地的技术实践也印证了这一判断:介质提供物理边界,算法定义访问效率,而语义对齐才是让每一次KV Cache存取都离计算更近一步的关键。

(文章根据演讲速记内容整理)

本文来源于DOIT传媒,文章内容仅供参考,不构成投资建议。

赞 ()

相关推荐

发表回复

评论列表

点击查看更多

    联系我们

    微信:百易小助手

    邮件:contact@doit.com.cn

    工作时间:周一至周五,9:30-18:30,节假日休息

    微信