DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

非结构化数据应用百花齐放,PowerScale引领全闪存储新时代

应用场景丰富多样的非结构化数据

企业能否充分利用结构化数据是现代化企业的必答题,而对非结构化数据的利用水平则是企业的拔高题,可以说,非结构化数据的利用水平,在一定程度上决定着企业发展前景。

之所以这样断言,是因为科技的发展始终建立效率提升的基础之上,信息传递的效率提升,能量使用效率的提升背后都是科技进步。

如何更快地从浩如烟海的数据中提取价值,也是一种效率的提升,这就是非结构化数据所致力于解决的问题。

在芯片设计行业,随着半导体制程工艺的进步,半导体设计的复杂度越来越高,每一代芯片的设计变得越来越复杂,所需的存储容量也在呈指数增加,庞大的数据量给纵向扩展的基础架构带来了巨大压力。

芯片设计过程中需要从各种大小和各种类型的文件中进行数据分析,如果存储没有稳定可预期的性能则不能很好地支撑芯片设计需求,这会影响芯片的上市时间,还意味着巨大的经济损失,为了避免这一问题,如今越来越多的企业选用横向扩展架构的存储。

从电子医疗记录到精准医学实践,数字化渗透到了医疗行业的方方面面,这也意味着会有大量数据产生,医疗行业在用横向扩展架构存储提高医事服务效率,提升患者的就诊体验。我们看到:

在电子医疗记录(EHR)中,医生以口语的方式输入病历信息,同时与患者进行互动;在医疗成像环节,各种MRI、CT等医疗影像以数字化的形式进行归档;类似的,数字病理学将病理载玻片的图像数字化,以高分辨率图像保存并分享查看,配合基因测序还可以进行精准医疗。

在媒体和娱乐行业,如今要管理的非结构化数据越来越多,越来越高的分辨率会占用越来越大的存储容量,而且,这些数据很难快速搜索、编辑和分析,管理和使用占用的资源和投入的成本越来越高,使得行业整体利润空间也越来越小。

媒体和娱乐行业首先希望提高内部的工作流效率,希望花费尽量少的时间来复制和传输文件,提高内容制作的效率并减少返工所花费的时间。同时,媒体和娱乐行业希望具备扩展性,适应容量、并发性不断变化的需求,进而提高效率并降低成本,最终提高行业竞争力。

可见,在越来越多的行业里,如何高效存储并利用非结构化数据是越来越重要了。IDC数据预计,到2025年,80%的数据都是非结构化数据,Gartner的数据也显示,从2019年到2024年,非结构化数据容量预计将增加两倍。

非结构化数据的挑战和PowerScale的应对之道

非结构化存储已是避不开的问题,从应用的角度看,在以上几个场景以及更多非结构化数据存储场景中,对于存储提出的挑战主要有以下这几个方面:

面对不断增长的数据,需要存储系统具有更强的扩展性;

面对多种多样的数据类型,需要存储系统有更丰富的存储接口;

面对非结构化数据变现难的问题,需要存储系统能更好地支持数据分析应用。

PowerScale是戴尔科技集团在2020年推出的新一代分布式文件存储方案,它脱胎于横向扩展NAS存储平台Isilon,将业界领先的横向扩展文件系统OneFS与经典的PowerEdge服务器相结合,可高效地存储、管理和分析非结构化数据,为在各个场景中的应用提供了强大的支撑能力。

PowerScale可解决常见的非结构数据带来的挑战。

首先,PowerScale具有非常高的弹性和可扩展性,能根据用户需求自由伸缩,从最小11TB扩展到93 PB,可在单个命名空间里存储海量数据。在运维管理环节,扩容增加新节点的时候也非常轻松便捷。

同时,PowerScale面向丰富的应用场景,包括NFS、SMB、HDFS、S3、REST等丰富的接口可以对接各种类型的应用,对接包括公有云、边缘节点在内的各个数据源的数据。

在数据洞察方面,PowerScale结合CloudIQ和DataIQ获得关于基础架构和非结构化数据的洞察力,CloudIQ用于运行状态监控,DataIQ可以管理数据,帮助企业迁移、管理、并利用数据,将数据转化为洞察力。

PowerScale是分布式文件存储领域的一个标杆,一直被模仿从未被超越。凭借PowerScale和对象存储ECS,戴尔科技集团在《Gartner分布式文件系统和对象存储魔力象限》中,连续五年持续处于领导者象限,足见Gartner对于其产品方案的落地价值和技术前瞻性方面的认可。

在产品落地方面,近期戴尔科技集团宣布PowerScale/Isilon通过Cloudera最严苛的质量控制测试套件(QATS)认证。据了解,戴尔是极少数通过这一认证的存储公司,意味着PowerScale/Isilon可以充分发挥Cloudera大数据分析解决方案的功能特性,打通了从数据存储到数据分析的高速通道。

在技术前瞻性方面,戴尔最早将全闪存介质引入到非结构化数据存储领域,并引领着非结构化存储进入了全闪存时代。

非结构化存储的进入全闪存时代

闪存能持续提供稳定的高性能表现,让部分需要可预测性能的用户得偿所愿。

比如,在芯片设计行业,闪存存储提供的高性能表现可加快芯片的研发进程,早日将芯片投入市场中。此外,在基因组学和人工智能数据大型存储库,在高性能计算(HPC)场景也都需要存储具备可无缝扩展的容量和性能。

来自企业战略集团(Enterprise Strategy Group)的研究发现,为了跟上数字业务的需求,企业受访者将大数据/数据湖存储库列为投资最多的三大场景之一,而要想充分释放数据潜力,需要文件存储不仅要足够大,还要易于管理,速度也必须快。

另一项来自ESG的研究表明,企业对于闪存和全闪的需求在增长。

实际使用闪存技术的企业首先认可闪存对于应用性能提升的价值,近半数企业认为闪存有助于改善TCO,还有超三分之一的企业认为闪存有助于减少运营费用,减少了硬件上的资本支出。

戴尔的非结构化存储产品线也在向闪存大步迈进。

戴尔的文件存储产品线中,原来的Isilon既有归档型的存储,也有混合型存储,还有全闪存的存储,而2020年发布的PowerScale全系都是全闪存存储,包括F200,F600和最新发布的旗舰型号F900,戴尔主推的PowerScale似乎是宣告着非结构化存储进入了全闪存时代。

F900配有双路的英特尔Xeon处理器,采用高性能的全NVMe闪存,支持英伟达的GPUDirect技术,让GPU直接快速地连到存储。每个2U的节点可放置24块NVMe SSD,单节点容量最少46TB,最高368TB,集群从三节点起步,最多252个节点。

F900集群可提供高达1.5TB/s的速度,支持高达100GbE的网络连接。此外,刚刚发布的OneFS 9.2对于PowerScale F200/F600的性能提升也非常明显。

NVIDIA企业计算主管Manuvir Das表示,“通过NVIDIA GPUDirect Storage,戴尔PowerScale F900为医疗保健、金融服务、汽车和更多行业的广泛客户提供了强大的存储平台,确保其基础设施针对人工智能应用场景实现了优化。”

PowerScale的使用非常灵活,PowerScale可轻松与包括F200、F600以及Isilon的归档存储、混合存储以及全闪存户节点混合使用,可轻松利用原有资产。PowerScale可以在本地部署,也可以在公有云上使用,可以以一体机的方式交付,也可以以即服务的形式使用。

结束语

作为一款久经考验的非结构化数据存储解决方案,PowerScale继承了Isilon的优良特性,在越来越多的场景中得到应用在新的时代背景下,在闪存技术的发展和成本降低的趋势下,在应用需求的推动下,PowerScale宣告非结构化数据存储向全闪存迈进

未经允许不得转载:DOIT » 非结构化数据应用百花齐放,PowerScale引领全闪存储新时代