DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

浪潮信息李玉珊:全闪分布式存储 加速创见新未来

7月28日,主题为“闪耀数字经济新引擎”的2022全球闪存峰会(Flash Memory World)在线上盛大召开。  峰会为期三天,共设置开幕式、主题演讲以及11 场分论坛。

在7月29日上午举行的“分布式全闪存存储论坛”上,浪潮信息存储产品线分布式存储营销总监李玉珊以“全闪分布式存储 加速创见新未来”为题发表演讲。以下内容根据速记整理,未经本人审定。

浪潮信息存储产品线分布式存储营销总监 李玉珊

李玉姗:各位线上的朋友,大家好,我是浪潮信息存储产品线的李玉姗。今天很荣幸给大家分享浪潮全闪分布式平台如何运用领先的技术、产品和方案,帮助客户获得更高的IOPS更大的带宽以及更低的时延,助力大家在更多的新型应用场景中实现业务的创新升级,让IT投资不只满足于现在的需求,更关乎业务未来更高效更持久的发展。

随着《“十四五”发展规划纲要》的实施落地,各行业都在进行更加深刻的数字化转型。浪潮存储作为数据的重要载体,旨在助力客户深入挖掘并释放数据的价值,实现业务系统更加高效的运作和管理,助力客户成为行业内数字化转型的领导者。

5G、AI、大数据等新一代信息技术,在各行业的深入落地实践,数据也是继土地、劳动力、资本、技术之后,成为第五大关键生产要素,已成为国家战略性、基础性的资源。而数字经济时代的关键生产要素更是驱动各行业商业模式创新的原动力。无论是自动驾驶过程的路线决策,还是电商平台的精准营销,数字化医疗的线上问诊等等,数字化智慧应用,背后都离不开对海量图片、文本、视频等非结构化数据的采集、训练、建模分析和决策。新的巨量的多模态的数据对IT基础设施提出了更高的要求。

客户也需要这样一套存储系统,能够承载多样化负载,而不同的存储协议间可以互联互通,数据的全流程可以实现免拷贝,从而显著提升数据的访问效率。实现高效的存储海量非结构化数据,而数据处理的过程中,能够同时享有更高的IOPS更大的带宽,以及更低的时延。同时适配对接各类第三方平台,实现数字的深度融合。

能耗方面,客户也需要更加经济高效绿色节能的介质,进一步加速智慧应用的创新。

例如,今年的冬奥会采用8K超高清进行了直播,而视频的每一帧画面都十分地美,而视频系统也是经历了高清、4K再到现在的8K制作;围绕着视频的采、编、播和管,全流程对存储提出了更高的要求。比如非线编过程,要求存储单流能够提供非常高的吞吐量、低时延,从而保证视频的画质。而视频内容量也是增长非常迅速,需要扩展性更好的设备来存储,同时视频的素材价值高,需要视频处理过程,能力实现7×24小时的稳定运行。

自动驾驶是最近几年十分热门的话题,集训练、全流程包括数据的导入、清洗、预处理、训练和仿真各个环节使用不同的协议,数据的流转和拷贝都会显著降低AI训练的一个效率。同时增大数据的一个存储量,而训练过程则需要更大的吞吐量,和更低的时延,来满足GPU服务器训练的需求。

大数据的分析应用更是无处不在,目前逐渐由支撑业务系统,转变为生产系统,从而对数据访问的时效性、连续性提出了更高的要求。海量数据也随着时间的推移,访问的效率也显著地降低,而数据作为企业的一个重要资产,是需要长时间的保存。虚拟化以及云化市场,这些年增长得很快,越来越多的核心关键应用上了云,而数据访问的过程,是需要更高的IOPS、更低的延迟,从而保证关键业务运行时没有任何卡顿。而云平台业务的一个快速增长,需要系统提供弹性的存储空间,系统的扩容也会更加地便捷。此外,存储设备在数据中心的能耗占比,约20%—30%,客户也需要更加绿色节能的存储设备。

总的来说,结合应用场景,客户需要协议互通互访,同时能够提供高IOPS大带宽低延迟,绿色高效扩展性更长的数据存储设备。

刚刚提到的媒资8K非线编,自动驾驶、云化等海量数据应用的实时处理不断地涌现,并且在企业的业务中扮演着非常重要的角色,逐渐成为企业的关键应用。而这些场景是需要极大的带宽来处理e级小文件,毫秒级甚至是微秒级时延的一个存储能力。传统的存储架构,则就显得力不从心,全闪、分布式存储则应运而生,为了帮助客户应对数字经济时代海量非结构化数据的存储需求,浪潮存储提出了七大极致和一套存储平台,支撑一个数据中心的产品理念。

七大极致是浪潮全闪分布式存储系统的核心

首先是追求极简的架构,用一套存储支撑一个数据中心的全部应用。并在极简架构的基础上,实现极致的稳定、极致的可靠、极致的性能、极致的容量、极致的云化,以及极致的安全这六大存储能力,再融合到领先的硬件平台,并进行深度的核心部件优化,为客户带来安全可靠、经济高效、易用易管的全球领先的全闪分布式存储产品。

万物之始,大道至简。浪潮全闪分布式存储,追求极简的道,业内首个支持四合一架构的融合存储,客户只需要购买一套分布式存储,就能同时享有文件、块、对象和大数据四种服务。其中文件、对象和大数据三种存储服务间可以相互访问,数据无需在不同设备简进行迁移和拷贝,实现了一份数据相当于存了三份,构建成真正的统一的存储资源池。业务处理效率也翻倍提升,实现了一套存储高效支撑一个数据中心的业务。满足性能需求的同时帮助客户显著节省了TCO。

以自动驾驶场景为例,自动驾驶的过程,数据处理步骤依次是数据的采集、预处理、训练以及仿真,分别会使用到对象、大数据和文件的服务。相较于单一的协议服务,分布式存储,浪潮AS13000用一套存储就可以高效支撑自动驾驶全业务流程,显著提高流程的处理效率,同时降低多套存储设备带来的管理和运维的维护成本。

容量是分布式存储的立身之本,从PB级到EB级甚至是ZB级。为了让全闪分布式存储空间的利用效率更高,我们做了很多算法优化,如业内最领先的大比例纠删、均衡算法、压缩重删、多源零拷贝、软拷贝等智能容量算法。让存储空间利用达到最优。

其中32+2的业内最大比例的纠删能力,系统出盘率高达94%以上,而智能均衡算法,则是管理海量数据均衡落到每个节点上以及每块盘上,从而保证整个存储系统的利用率达到95%以上,让客户花的每一分钱都是有价值的。

压缩重删、软拷贝功能则是让数据存储每一份数据都是有使用价值的。通过消除重复数据对存储空间的占用,存储空间的利用效率也会更高。多种容量算法的加持,让存储空间利用达到了最优,让客户的投资收益比也达到了最大。

此外我们还提供高效的分级存储方案,实现热数据存放在SSD池,而温冷数据可以迁移至HDD池,实现了存储性能、容量、成本三者之间的更加均衡。

浪潮全闪分布式存储不仅容量追求极致,系统性能方面同样追求极致,如智能协议卸载,充分释放了CPU的网络处理工作负载,让CPU更专注于IO的处理工作,同时网卡的开销也得到了充分的满足,系统性能也会发挥到极致,从而保障整个系统链路的高性能。而小文件聚合功能,则是将数据按照4K对齐聚合,从而减少了数据写入硬盘的次数,显著地提升了小文件的性能。

智能资源调度,则实现CPU的专核专用,减少了同一任务在多核之间的切换。而数据随机小IO聚合、大块顺序写入SSD的方式,可以显著减小SSD的写放大,同时可以实现SSD的综合磨损均衡。避免出现局部热盘,从而提高SSD整体的寿命。系统性能也是得到了显著的提升。

在配套全链路的PCIe4.0协议和ROC网络,浪潮全闪分布式存储的性能将发挥到极致。浪潮存储秉承稳定压倒一切的原则,针对数据存储全生命周期做了多重稳定保障机制的设计。

如应用层,可以对数据进行快照、克隆等,利用回收站,在数据被误删后还可以找回。而数据中心的远程复制、智能双活则可以构筑业务系统多站点同步容灾的解决方案,有效地消除了单站点的故障。而数据冗余的策略,则由领先的副本和大比例纠删的加持,用户可以更加灵活的选择和主核的使用,数据的校验则保障了数据写入内容的完整性。存储系统可以提前识别到硬件、底软等不易察觉的故障带来的数据的错写,并进行告警和修复。

针对整个服务架构,我们设计了无感知的故障切换,以及4TB/H的快速重构,实现存储系统出现故障后后台自动地切换,而前端的业务仍是稳定运行的一个状态,没有任何的卡顿。

智能亚健康检测则是对系统资源降级模式的一个快速精准的定位。如检测网络的丢包和时延,多维度来测评硬盘是否是慢盘,从而快速识别集群中的慢盘并进行剔除。针对CPU内存是否有超高占用,也进行检测,并能够进行自动的告警和关闭,确保系统的性能更加持久和稳定的可靠。

浪潮全闪分布式存储的多重数据保护模式,保障客户业务系统极致的稳定和高连续。面对大量的IT设备,客户需要一套统一管理和智能运维的平台,浪潮存储自研的InView管理软件,则可以帮助客户实现,同时还可以针对硬盘使用的空间、使用的寿命、性能等等进行预测,提前高度客户硬件等资源未来使用的情况,从而来指导客户,提前做好设备的更新迭代的规划,保证数据存储系统的可靠性和可用性。这种自动部署化的功能,可以显著地降低运维成本,提升业务的连续性,最终为客户提供一体化的智能运维解决方案。

数字化时代无云不欢,浪潮全闪分布式存储,在各类主流的云平台的适配和兼容方面都做了大量的工作。针对容器平台、OpenStack云管平台和公有云方面,浪潮AS13000全闪分布式存储都有对接接口,可以实现本地和云端数据的高效流转。客户可以更加高效地使用云端的计算力,帮助节约大量的TCO。目前针对金融、央企、国企数据下云的应用,浪潮全闪分布式存储,可以提供一体化存储解决方案,数据既可以在云端备份,也可以在本地高效地使用。

最后是极致安全。数据安全是当前的头等大事,去年国家陆续出台和更新了一系列的法律和法规以及标准,强调了数据基础设施安全的重要性。浪潮全闪分布式存储,针对数据的采集、传输、存储、处理、交换、销毁的生命周期,构筑了多维的安全保障体系。通过通信安全、应用安全、系统安全、数据安全,四个层面进行防护。从全线管理、防病毒、漏洞扫描等等,让我们的存储产品成为数据的堡垒。数据的存储,给用户足够的信息安全感。

浪潮G6全闪分布式存储隆重面市

浪潮G6全闪分布式存储隆重上市。它全面满足虚拟化、云化资源、数据库高性能计算、AI应用、大数据分析等应用场景对大带宽、高IOPS和低时延的存储需求。单节点可以实现带宽达到20GB/s、25万IOPS,这样傲然成绩的背后,是浪潮全闪分布式存储系统软硬件、端到端的深度优化:

存储系统和自研SSD系统进行了连调优化。如IO的写入过程由随机读写转为顺序,性能显著地提升,同时SSD的磨损也更加地均衡,延长了SSD的使用时间;智能IO调度则是对IO读写过程、并发读写进行优化,写入过程的IO零拷贝进行了流转;智能资源调度则是让IO高效并行处理,CPU专核专用,减少IO在不同队列的来回切换;协议层实现了用户态、NVMe直接访问SSD。IDM技术,则使得网络中的IO延迟变得非常低,而IDMADC技术的使用,则实现了系统和盘之间进行轻量级的高速互联互通,数据信息得到高效地传递,实现各个IO部件专注于IO流的处理,系统的链路性能也更高,整个系统的性能也是更优更稳定。

此外浪潮全闪分布式存储,具备场景定制化的能力,比如针对通信网络云场景的优化,集群性能可以提升30%以上,高效精准的闪盘寿命预测,提前14天识别故障盘并指导用户换盘,保障全闪业务系统更加可靠、更加地高效。此外全闪存的使用在机柜的占用和能耗的方面,都是显著地降低的。

浪潮全闪分布式存储,是客户加速智慧应用创新的助推器。

自研SSD是浪潮全闪分布式存储性能优异的利器

介绍完浪潮全闪分布式存储,还要给大家隆重介绍一下浪潮自研的SSD,它是浪潮全闪分布式存储性能优异的利器。

浪潮存储通过数年的持续投入,自研SSD存储介质,在部件可靠性、性能以及配合存储系统的性能优化三个层面构筑了浪潮差异化领先的竞争力:在可靠性方面,我们采用创新的NAND特性管理算法,利用大规模模型相关的技术,通过收集写次数等数据进行数据分析处理并优化模型,最终输出面向不同场景下最优的偏转读取电压,大幅提升SSD的可靠性。在性能方面,我们在NAND介质的应用上不断地创新。通过拓展NAND与控制器之间通道的方式,大幅提升性能。

当前浪潮全新一代PCIe4.0 SSD的随机读写性能高达150万IOPS,其他指标上也是全面领先业界的其他产品。在配合存储系统的性能优化方面,我们通过对各种场景读写比例模型的优化,充分打通存储系统的IO路径和SSD盘上的IO路径,将系统整体的性能显著地提升。比如去年我们的AS13000全闪分布式存储就是搭载了自研SSD,在SPC性能测试中以630万IOPS获得了分布式存储榜单的性能冠军。值得一提的是,浪潮存储是业界唯一一家从存储系统到操作系统再到存储介质全面自研的存储厂商。

以上是关于产品特性的分享。

浪潮存储产品的应用实践方案

接下来给大家分享浪潮存储产品的应用实践方案。

分布式存储为云而生,当下数据中心对IT的架构的扩展性、性能以及接口提出了更高的要求,传统存储无法满足容量和性能的高并发需求,而分布式存储,凭借其超强的扩展性、高并发性和丰富的接口协议等特点,非常适合当下云化以及虚拟化场景。浪潮分布式存储在全球最大的通信NFV资源池中已经部署了5000家节点,分布式节点数供应量厂商中排名第一,助力国内最大的运营商移动进行云化和数字化的转型。

当前我们使用的5G网络全部是由分布式存储系统进行支撑,各省各地市的公司,通过上百个分布式节点进行集群资源对接国内主流的云平台,实现了运营商CT网络的虚拟,支撑了核心业务的上线,促进5G业务的快速发展。

浪潮分布式存储产品领先的架构和场景定制化的能力,帮助客户显著地节约TCO,而业务上线部署的时间也显著地缩短。尤其是全闪存储的使用,节点数显著减少,而性能却是显著地提升。

接下来是非结构化数据融合存储方案的介绍。

在数实融合的时代背景下,数据的价值被进一步放大,无论是大型的实验室、公共的科研平台还是医院、企业的数据分析平台等等,都需要一套融合的存储方案来解决海量、多模态、非结构化数据的存储、分析以及数据的流动。

浪潮融合存储方案的特点是,首先利用统一资源池来支撑文件、对象、大数据、多模态的非结构化数据的存储,实现语义的零损、协议的互通互访,从而实现了从语义到协议的充分融合。

第二个特点是节点中的数据根据操作频率的不同,会被自动分配到高速的SSD池和中低速的HDD池中,从而实现介质的融合。

第三个特点是根据不同的应用需求,集群可以配置成高速的SSD池以及中速的HDD池,数据在不同速度的设备当中进行自由地流动,实现分级融合。

举例来说,我们的很多用户在高速层来承载高性能和AI的计算,而中速层则用来承载大数据分析平台,以及云平台的数据存储业务。

第四个特点是在这套方案中无论是高速池、中速池,无论是高速介质还是低速介质,我们通过统一的命名空间、统一的管理,为客户提供一套易用的存储解决方案。

高性能场景业务复杂多样化,对存储也提出了更高的要求,需要其具备多样化复杂IO处理的能力,协议的丰富而且能够更加高效低成本地承载海量非结构化数据。

浪潮分布式存储为国家天文台FAST提供了冷热数据分级的方案,充分满足业务性能同时大幅地为客户节省了TCO。FAST作为射电天文学界毋庸置疑的世界第一,助力我国天文事业跻身到世界前列。其对数据存储的需求同样也是世界级的。

浪潮存储深入理解客户的业务需求,量身打造了冷热数据分级的存储解决方案,在性能层采用了最具领先的并行文件系统的高效能全闪节点,保证高并发、低时延的数据交互需求。而在容量层,采用了4U60高性价比高密节点,支撑了客户数10PB的海量数据的存储需求。帮助客户降低了总成本,节约大量的数据存储和数据分析的费用。更值得称道的是,这个项目的实施时间就是在2020年的春节、疫情刚刚开始的时候,从大年初二开始,浪潮存储解决方案团队克服了一切的困难,7×24小时不间断地为客户设计方案、连调测试以及部署实施,最终保证了客户业务系统按时上线,浪潮存储也因此获得了客户的高度认可,客户称赞道,浪潮存储不仅产品技术过硬、应用方案领先,还有专业的研发服务团队,即使在疫情这样特殊的情况下也能够为客户提供优秀的服务支持,超出了他们的预期。

银行在数字化转型的过程当中,电子凭证以及录音影像得到的广泛的应用,海量非结构化数据也是迅猛地增长。银行客户急需高性能、高可靠、高扩展的存储平台,来支撑非结构化数据的存储。浪潮AS13000分布式存储,帮助银行客户搭建了两地三中心的高可用影像平台的存储方案,很好地支撑了客户整个业务系统。从性能的角度,新的存储系统,使得整体业务系统效率提升50%以上,从数据的安全性,节点故障可以实现毫秒级的快速切换,上层业务是不会有任何的感知,为客户提供了站点级的业务容灾的功能,实现RPO约等于0。

此外面对纷繁复杂的业务逻辑以及设备给客户运维带来的极大的困扰,浪潮智能管理软件InView帮助客户解决了这一难题,同时还额外开发了两个功能:一是在性能监控的基础上保存历史数据,以便以后的复盘和清查,理清业务的瓶颈。二是对象的QoS预防同城灾备数据同步的时候占用大量的网络带宽,从而来影响它的关键业务。浪潮的InView研发团队深入理解客户的需求,迅速地组织资源并投入开发,在最快的时间内交付了客户的需求。银行客户,通过浪潮的InView智能运维管理平台实现了多个集群的管理,整体TCO降低显著,为客户提供了更好的智能化管理运维支撑。

目前,浪潮分布式存储深耕金融行业的很多场景,在六大行、股份制、城商行中都有大量的部署和实施。

自动驾驶是分布式应用非常典型的场景,我们为中国最为领先的导航地图以及车联网公司提供了自动驾驶云平台的数据支撑。在这里云平台将会为它的客户提供高精度的地图服务、自动驾驶的服务、车联网服务,以及各种驾驶数据的服务。云平台需要iSCSI、NFS、S3各种各样的数据类型的服务的提供,它把GPFS的轨迹、速度、经纬度等很多的信息存储在这里,浪潮AS13000用一套架构提供了三种服务,以支撑它的四种应用模式,降低了整个智慧应用的OPECS,通过数十节点的AS13000支撑了超快地实施高性能计算、热数据全闪池和温冷的HDD池,精进高效地支撑了自动驾驶高精度地图的高性能和大容量的存储需求。

在智慧时代里,客户需要强大的存储服务,浪潮AS13000则是为智慧化时代应运而生,提供了强大的数据服务支撑。

十多年的研发投入,全面地自主研发能力,让浪潮存储开发出了更好的产品;浪潮全闪分布式存储AS13000,在SPC-1性能打榜中用30节点取得了630万IOPS的好成绩,刷新了分布式存储性能的全球最高成绩。

在过去的一年里,浪潮存储在各界朋友的支持下业务实现了高速增长,两倍于业内平均增速,单Q实现了销量第一的好成绩。目前浪潮分布式存储积累了大量的行业客户云化场景,单一客户部署量超过了5000家节点,而HPC、金融、医疗、医疗影像系统、视频媒资等等场景都有上千节点的出货。

最后,感谢各行业朋友的大力支持,浪潮自研分布式存储将再接再励,和行业方案伙伴一起,提供世界领先的产品方案,全面满足大家对安全、经济高效的数据存储的需求,帮助大家把数据存好、用好、管好,支撑起大家数字化转型的数字存储需求。为数字化产业的发展,贡献最大的力量。

我今天的分享就到这里,谢谢大家的聆听!

未经允许不得转载:DOIT » 浪潮信息李玉珊:全闪分布式存储 加速创见新未来