DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

YRCloudFile新版本携数据分层功能闪亮发布

近日,焱融云正式发布YRCloudFile新版本6.0。焱融云持续从容器存储使用场景和底层存储架构两个维度,不断完善和创新产品,以满足不断细分的应用需求。

接下来,让我们了解一下YRCloudFile 6.0的核心功能特性和主要创新。本次发布,主要包含三部分:

底层分布式存储系统新特性:智能分层(Smart Tiering),对冷数据自动压缩;支持后端挂载磁盘阵列,基于磁盘阵列实现单副本高可用。

容器存储持续优化:容器调度基于CSI实现故障动态感知;管理界面实现PV QoS设置;PV Label检索、过滤;集群基于Prometheus监控,提供Grafana展示模板。

进入高性能存储行业国际视野,入围国际超算大会(ISC2019)发布的IO500榜单。

智能分层(Smart Tiering)

对大多数客户的应用场景而言,数据具有阶段性热点访问的特点,超过一定时间后,80%以上的数据逐步转冷,完全没有必要使用高性能的存储资源和介质对这些趋冷的数据进行存储。

YRCouldFile文件存储系统的智能分层(Smart Tiering)功能,可根据客户应用的实际特点自定义冷热数据,使冷数据自动流动至低成本的对象存储,向上仍然为业务提供标准的POSIX文件访问接口。用户可根据数据量及数据特点,随时添加冷数据层,进行冷热数据分层后,无论是有状态容器应用,还是通过POSIX接口直接访问YRCloudFile文件系统的业务应用无需任何修改,对数据在冷热数据层之间的流动完全无感知。

YRCloudFile能够通过制定数据流动策略和冷数据迁移的执行时间,避开业务访问高峰。通过智能分层,热数据层能保证上层业务的访问性能,同时冷数据得以在低成本的对象存储中有效保存,总体成本得到有效降低。

冷数据自动压缩

当数据从YRCloudFile热数据层流动至冷数据层之前,系统会自动对冷数据进行压缩,这不仅有助于减少冷数据存储空间,还能降低网络传输压力,从而进一步降低存储系统总体成本。根据实际测试,针对日志文件等特定文件类型,压缩后文件大小可减少95%。

容器编排对CSI故障的动态感知

Container Storage Interface (CSI),从v1.9 引入的容器存储接口,并于v1.13 版本正式 GA。此接口的目标是为容器编排系统Container Orchestration Systems(CO)建立标准化机制,以将任意存储系统暴露给容器化工作负载。实际上,CSI是整个容器生态的标准存储接口,同样适用于Mesos、Docker Swarm等其他的容器集群调度系统。

可以说CSI接口的出现,解决了很多开发人员对存储使用的问题,比如卷插件(FlexVolume)与Kubernetes紧耦合导致的维护困难。但是,CSI接口解决了K8S持久化存储的所有问题了吗?答案是否定的。当CSI接口出现问题,比如存储链路中断,网络故障场景下,容器编排系统如何感知并进行有效调度。在上述故障场景中,Kubernetes集群Master节点并不能够判断该Worker Node通过CSI接口所连接的持久化存储不可用,还是会不断把新建有状态Pod分发到该Node上。这使得Master节点不断重复的做无用的分发,影响了整个Kubernetes集群的效能。

焱融云基于以上问题,开发了YRCloudFile CSI接口对故障动态感知功能,当CSI状态出现问题时,K8S可标记该Node,从而避免Master节点把新建有状态Pod分发到该CSI故障Node。

管理界面实现PV性能QoS

QoS对企业或者服务运营商来说是一个至关重要的技术,当大量应用共享有限的资源,QoS能帮助系统控制各个应用如何使用这些资源,能限制并避免那些高消耗或者运行异常的进程。存储性能QoS包括业务对存储所需的IOPS、带宽等性能的管理和控制。

YRCloudFile 6.0版本,能够在管理界面设置持久卷(Persistent Volume)的IOPS和带宽BW,从而达到有效利用存储资源的效果。

PV Label检索、过滤

在超大规模的Kubernetes系统中,PV数量庞大导致管理员难以对PV进行定位及排查。基于该应用场景,YRCloudFile 6.0推出了基于PV Label的过滤及检索功能,帮助用户方便地使用和管理存储和容器业务系统。

集群监控Grafana模板

YRCloudFile在之前的版本中,提供了自定义的Prometheus exporter,向Prometheus server提供集群监控数据。新版本继续完善和提供了基于Grafana的集群监控Web展现模板。

后端可挂载磁盘阵列,实现单副本高可用

传统IT用户在采用分布式存储系统之前都会使用一些盘阵。单副本HA,就是为了满足客户利旧场景而开发的功能。盘阵提供的存储空间,其数据可靠性由盘阵本身来提供,YRCloudFile使用用单副本的模式挂载盘阵提供的LUN设备,并实现YRCloudFile集群节点间的HA。该功能在不影响整个环境的可靠性前提下,没用额外消耗任何存储使用空间,并且对盘阵提供的LUN设备组成统一命名空间,方便管理。

入围IO500榜单

IO500由存储业界的国际知名厂商代表和学者组成委员会,公平接受全球厂商、研究机构提供的存储系统性能测试数据,并对结果进行发布,IO500排名已成为高性能存储领域的重要评价指标。

YRCloudFile此次参与的是IO500 10节点测试。IO500 10节点测试将基准性能测试限制为10个节点,评估在10节点上系统发挥出的最佳性能。这样的集群规模十分贴近于大多数的中小规模应用场景,其测试数据对客户而言也非常具有参考和借鉴意义,YRCloudFile在这样的规模下对集群的优化也可以为大量用户提供最佳实践。

焱融云YRCloudFile通过支持RDMA、NVMe等新型高性能设备和技术,以及高效的读写引擎,降低了数据在读写过程中的开销,可扩展的元数据集群有效应对海量文件场景下系统对元数据操作的压力(MDTest Hard),使YRCloudFile在及其有限的硬件配置环境下,依然发挥出优异的性能,获得理想的性能基准测试结果。

焱融云是中国初创企业中唯一入选榜单的公司,在全球的Storage Vendor(存储供应商)中排名第八,比肩DDN、Dell EMC、WekaIO、IBM、NetApp、浪潮等一线厂商。

此次YRCloudFile新版本推出的智能分层、容器编排对接口CSI故障的动态感知等功能,在容器存储厂商中都是重要的创新。焱融云从用户角度出发,深入了解当前用户在容器存储使用过程中的痛点,经过整个开发团队的不懈努力,不断完善产品,为客户提供更优质的面向云原生的存储解决方案。

未经允许不得转载:DOIT » YRCloudFile新版本携数据分层功能闪亮发布