DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

双态突击,浪潮存储研发揭秘!

与计算相比,存储要求更高,原因也简单,系统可以重建,但数据一旦丢失,将成为永久性损失,没有办法弥补。因此,存储的技术要求更高。

以浪潮存储为代表,国内存储品牌快速发展,大有超越之势;如今,从存储介质的更新换代,到分布式存储架构的创新,存储产业正在快速变化之中,如何敏锐把握产品新技术的商机,是对存储企业研发的严峻考验,同时也是行业/企业用户密切关注的对象。

在前不久举行的2018全球存储半导体大会暨全球闪存技术峰会上,浪潮存储研发部总经理李辉对存储产品设计进行了披露和展示。

浪潮存储研发部总经理李辉

新起点、新技术和新应用

“我们紧跟智慧驱动的新数据时代,成为全球存储的主流供应商,浪潮存储将承担起智慧时代数据到介质的连接者的角色。”李辉说。

计算和存储是浪潮的主营业务,在市场取得了优异的成绩。据IDC统计, 2017年,浪潮服务器位居中国第一,全球前三,增速84.7%,7倍于市场平均增速;如果说,这是意料之中的事情,那么,存储系统则是浪潮的新亮点,其中,2018年Q1浪潮存储出货容量389.4PB,位居国内市场第一,同比增速162.7%;与此同时,浪潮存储也进入了Gartner魔力象限,成为全球存储的主流玩家。

智慧时代,做好数据到介质的连接者,这是浪潮存储的新定位,也是浪潮存储产品设计方向。

在浪潮存储的分析中,智慧时代以云计算、物联网、大数据、人工智能、区块链等新技术为标志,不仅创新了数以百万的新应用;同时也使企业用户业务应用现状发生了改变,以业务规模发展速度为例,如今创新互联网企业能够在短短几个月的时间内,迅速积累捕获上亿规模的用户,其日增活跃用户近百万规模,扩张速度前所未有,令人惊人。

不仅如此,物联网还会带来更大的数据量级,以一条流水线为例,每天就会产生PB数据;而无人驾驶车,每天能够产生300PB的数据量,这些都对数据存储能力提出了更高需求。

这就是存储需要面对的业务应用的现状

从技术上说,创新业务应用对存储性能和容量的需求已经变得不可计划,不可精准预测,所谓亿级IOPS性能需求,EB级存储容量都不再是遥不可及的需求。但是,亿级IOPS、EB级容量的存储系统能够实现吗?成本上,用户真的可以承受吗?

“双态数据”存储设计战略

从业务应用发展的趋势看,对于存储系统的需求:一是对容量和扩展性的需求;另外一种是对性能和时延的需求,可以概括为EB级容量和亿级IOPS。在浪潮存储内部,称其为“双态数据”。

对于双态数据需求,就有了“双态存储”的概念,也就是针对不同应用场景的需求,采用不同配置满足用户业务的需要。对此,浪潮存储都有着极高的追求,并适度超前。例如,浪潮存储正在研制亿级IOPS,以及EB级容量的新型存储,占领技术上的制高点。

在此,双态存储并非两个产品方向,而是同一套软件,针对不同的配置,根据用户不同需求,可以配置成大容量和高性能等类型。为了实现双态存储,技术上浪潮存储支持SCM、NVMe SSD、SAS SSD、HDD等异构介质的多层分层,对外可以提供文件、对象、块的统一接口,同时全面和云对接,支持主流的公有云和私有云,支持云备份、云缓存、云分层。浪潮新存储还支持HCI配置,HCI是给边缘计算和边缘存储所准备的。

为了实现亿级IOPS、微秒级别的时延,如今的SAS互联,通用CPU不可能发挥SCM高速介质的性能,要求系统硬件架构必须进行重构。

硬件重构由传统的以CPU为中心的架构切换到以DPU(Data Processer Unit)为核心的硬件架构,其中,DPU是专门用于数据面加速的芯片,用来处理IO,并作为数据压缩、加密、数据库以及RDMA的引擎。

由DPU架构带来的单节点加速,包括SCM介质加速、DPU加速引擎、NVMe、NVMoF以及GPU加速、盘控一体的加速,这些是需要掌握的技术方向。

在单节点性能提升的基础上,还要借助这些高性能节点集群,才能够实现亿级IOPS。其中,集群间需要极高带宽和极低时延网络,也需要借助DPU硬件加速来提升互联网络的效率。

从成本的角度来考量,EB级容量仍然以大容量的HDD为主。但是HDD性能是比较低的,如此就像一个窄口瓶,里面的数据很难倒出来了。对此,就需要高效识别出热点数据,将数据放在瓶口,才能够满足性能需求。

热点数据的识别由高效的分层存储和Cache软件来识别。可以把数据分为内存数据、缓存数据、永存数据、冷存数据和冰存数据。在这个样一个EB级的存储里,我们要充分的实现介质异构,多层级的介质异构。

如今,外部云备份存放冰数据,HDD存放冷数据,SAS SSD存放永存数据,SCM存放缓存数据,DRAM存放内存数据,这种多层级异构,容量和性能节点异构,这是浪潮存储技术研发的重点和方向

软件重定义

存储介质异构,容量/性能节点异构,以及CPU、DPU硬件加速方案的广泛采用,硬件系统的重构,也对于软件提出了更加严峻的挑战。

从底层的FLASH、NVM(Non-volatile memory,非易失存储器)以及设备的驱动,到接口、操作系统到上层应用程序的设计,新的软件协议栈对于硬件系统的性能提升至关重要。

传统的软件栈是没有办法充分释放NVM介质的高性能。以NVMe为例,之所以能够替代SCSI,成为x86服务器设计的标准配置,原因在于:在磁盘介质时代,存储介质是一种低速介质,SCSI等软件协议栈的开销可以忽略不计;但是随着Flash等新型存储介质的使用,存储介质性能的提升,SCSI软件协议栈开销的问题就暴露了出来。

NVMe协议,针对Flash存储介质的特点进行优化,从而带来更高的性能,更低的延迟。在网络传输层面,以RDMA基础为基础,NVMe over Fabric针对新的闪存介质应用,构建新的网络通信协议,提高存储的访问效率。

新的存储协议和新的网络通信协议,更来了更加优化的性能。同时,也要求新的文件系统、数据接口和操作系统能够充分发挥新技术的特点,追求更高效率和系统性能的提升。以Open Chanel SSD为例,指的是FTL(Flash translation layer)不在SSD(Device)端处理, 而是由主机(Host)的操作系统维护SSD。

这种被浪潮存储定义为“盘控一体化”的设计,从应用系统的层面,根据NVM存储介质,如NAND,耐读不耐擦写的特点,整体进行优化和管理,从源头解决写放大等棘手的难题,从而追逐极致的性能表现和系统可靠性/稳定性。

在硬件层面也提到过,大容量存储的每个节点就像一个窄口瓶,必须把热点数据放在瓶子口上,或者放在瓶子外面,放在瓶子的里面就很难倒出来了。这在技术上,就是要求软件设计能高效的识别出热点数据并对热点数据进行加速,在应用层上,也可以用一个专用的NVM Pool作为应用层面的缓存加速。

完整的软件栈重构,这是存储厂商需要具备的能力。

小结

为了满足高性能、大容量数据存储的“双态”需求,浪潮存储从软件、硬件两个维度进行重构通过DPU、OpenChanel、SCM、GPU、盘控一体化等一系列技术对存储进行升级和优化。这些技术被随时更新到智能全闪G2-F、高端存储AS18000,以及软件定义存储AS13000等浪潮存储现有的产品系列,与此同时,浪潮存储也将会推出新的产品系列。

总之,技术市场的需求从不停歇。通过不断强化自身的技术实力,加快研发中心、国家级研究中心和重点实验室,以及标准、合作伙伴生态的布局,浪潮存储仅仅追赶存储发展的脚步。为此,浪潮存储制定的新的目标:全球存储市场5强之列!

厉害了,浪潮存储!

未经允许不得转载:DOIT » 双态突击,浪潮存储研发揭秘!