Lightbits Inferra KV Cache引擎声称提供16倍会话密度和1000万Token上下文

Lightbits Labs,这家发明了NVMe over TCP协议的公司,正通过 Inferra这一KV Cache(键值缓存)管理工具进军推理软件领域。Inferra于9月15日在圣克拉拉举行的AI基础设施峰会上首次亮相。该软件将GP

Lightbits Labs,这家发明了NVMe over TCP协议的公司,正通过 Inferra这一KV Cache(键值缓存)管理工具进军推理软件领域。Inferra于9月15日在圣克拉拉举行的AI基础设施峰会上首次亮相。该软件将GPU内存虚拟化到DRAM和NVMe存储层,并将KV Cache转化为持久数据层,从而使长上下文和多会话工作负载的注意力状态无需放入HBM,也不必在中断时重新计算。Lightbits声称使用该软件能使现有GPU上的并发推理会话增加至16倍,延迟减少至百分之一,且上下文窗口可达1000万个Token。该公司表示该引擎已在客户测试程序中运行,包括OVH。

预取代替重算

Inferra针对的瓶颈正是我们曾在KV Cache卸载到Flash部分中提到的问题:随着上下文长度扩大和会话数量增加,KV Cache的大小会超出GPU内存容量,服务栈要么将其逐出并稍后重新计算预填充,要么限制GPU能容纳的会话数量。这两种路径都要浪费GPU时间去处理已经完成的工作。Inferra在内存和存储层间保持缓存的存活,预测预取器会在模型需要注意状态之前将注意力状态拉回GPU。Lightbits表示,这种方法会同时降低首Token时间(TTFT)和输出Token时间(TPOT)。它所声称的百分之一的延迟是相较于从零计算这些状态时带来的改进。

Lightbits的方块图展示了四个部分:智能预取器、分层管理器、日志结构的KV存储,以及安全与隔离引擎。这些组件位于上方的服务框架和下方的标准NVMe SSD池之间。该公司表述,该引擎支持vLLM、TensorRT和SGLang等服务框架,且不依赖特定的GPU和SSD。基于日志结构的存储方式使得闪存层能够有效应用于需要频繁更新的缓存系统中,因为它会顺序附加更新,并避免驱动器出现少量随机写入,我们在对Solidigm D7-PS1030的测试中研究了3 DWPD驱动器在这种应用场景中的表现。在多租户方面,Lightbits提供了了跨共享推理基础设施的安全租户隔离和智能缓存管理。通过层级间加密传输,这使得新兴云服务商能够将一个 KV 池交给多个客户,且服务水平协议(SLA)一致。

Lightbits Labs的联合创始人兼董事长Avigdor Willenz将此次发布视作是为训练流水线构建的存储系统的突破。他说,推理是一种“完全不同的范式”,“为了解决KV Cache瓶颈而改造现有的训练和存储系统根本行不通。那些系统是为另一个时代而建的。我们从零开始专门设计Inferra以解决 GPU 效率问题,并且它已经在客户测试项目中取得了成功。”

OVH与Solidigm进行了测试

OVH是该技术的测试客户。OVH首席产品与技术官Yaniv Fdida表示:“借助Inferra的智能KV Cache分层技术,我们实现了显著的GPU利用率提升,为客户提供更具可扩展性和成本效益的基础设施,以支撑智能体和RAG工作负载基础。”

Solidigm在其AI中央实验室使用D7-PS1010 SSD运行该引擎,该公司的生态系统、解决方案及市场赋能副总裁Avi Shetty表示,这些测试结果“展示了网络附加存储与智能软件层虚拟化如何突破内存壁垒,实现大规模上下文、智能体。”将网络连接的NVMe池与软件层结合,是Lightbits的主场。自2019年以来,LightOS块存储系统一直基于 NVMe/TCP 技术构建。

Lightbits人工智能产品与业务高级副总裁Ramesh Chettuvetty称Inferra为“全球首个可消除GPU闲置并在商品硬件上支持多达1000万Token上下文窗口的KV Cache加速引擎”,并表示其“从第一天起即能带来回报,并带来净成本节约。”这些都是供应商方面的宣发,目前还没有经过任何独立测试。该产品的价格、包装信息以及正式上市时间也尚未公布。目前,该引擎仍处于客户测试阶段。在本次峰会上,Lightbits在219号展位展示该产品的性能表现。此外,该公司还提供了“Pod 效率分析工具”,帮助那些希望在购买GPU之前先评估其成本效益的团队进行相关分析。

(来源:Solidigm,编译自 StorageReview)

本文来源于DOIT传媒,文章内容仅供参考,不构成投资建议。

赞 ()

相关推荐

发表回复

评论列表

点击查看更多

    联系我们

    微信:百易小助手

    邮件:contact@doit.com.cn

    工作时间:周一至周五,9:30-18:30,节假日休息

    微信