曙光首创XDS技术攻克大模型存储三大痛点-DOIT

国内大模型百花齐放，据统计，中国10亿以上参数大模型已发布79个。

大模型海量计算，对存储提出了更高要求。而三大存力痛点，制约大模型计算发展：一是数据加载慢，导致训练时间长；二是数据访问协议多样性，要求数据访问效率更高；三是数据生命周期管理不完善，数据安全风险亟需关注。

基于这些存储痛点，曙光存储大模型解决方案升级迭代，携全新业内首创技术XDS，提供增效、降本、安全的体验。

增效–首创XDS技术，存算协同优化提升效率

此次大模型解决方案升级迭代，曙光ParaStor首创实现XDS多层级智能加速技术，集算力端、存力端各维度各层级加速引擎为一体，打造高效的存算协同。

以往AI训练中，智能芯片若想读取数据，则需先将数据存到缓存中，再由CPU发往智能芯片读取。CPU与缓存的转运，导致数据调取速度变慢。而XDS技术可实现将数据直接加载到智能芯片中，提高训练过程中数据集的加载及处理速度。

XDS技术创新在于，支持多种智能芯片的直接存取，除了GPU，也支持多款算力端智能芯片直接存取数据。XDS技术简化了存取过程，降低了CPU与缓存压力，更节省硬件资源。

在存力端，XDS技术内嵌ParaBuffer加速引擎，在AI训练计算节点与存储系统之间构造大内存池，将系统整体I/O性能提升数倍。存算协同优化，使得训练时间大幅降低，可由数十天降低至几天。

降本–多存储协议与智能分级，数据管理省心可靠

此外，针对数据访问协议多样性痛点，曙光ParaStor同时支持文件、对象等多种存储协议，可为大模型提供统一的存储底座。为实现数据全生命周期管理，曙光ParaStor具备热温冷数据智能分级流动，支持给数据自定义标签，过期后自动删除。

对于AI数据存储的安全可靠，曙光ParaStor凭借全栈自研能力，从操作系统、存储架构、软件核心模块、存储介质等多层面保障数据安全。提升存储可靠性，降低数据管理成本，让用户省心省力。

目前，曙光存储为国内某AI新经济独角兽大模型平台构建了PB级NVMe全闪存高性能存储池，从硬件设施到软件系统，性能、可靠性、安全性皆满足需求指标，为多个领域带来增效降本、可靠安全的存储方案。

曙光首创XDS技术攻克大模型存储三大痛点