DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

1亿IOPS+1TB/s吞吐 阿里云推出并行文件系统CPFS

1月9日,阿里云推出了全球首个可提供1亿IOPS和1TB/s吞吐能力的并行文件系统——CPFS,可大幅提升基因测序、科学计算等高性能计算的工作效率。

CPFS是一种并行文件系统,数据存储到群集中多个数据节点,多个客户端可以同时访问这些数据,为大型高性能计算机集群提供高IOPS、高吞吐,低时延的数据存储服务。

随着高性能并行计算大规模商业化时代的到来,传统并行文件系统面临诸多挑战,存储资源的急剧增长,成本高,运维管理复杂度大,大规模存储系统的稳定性,性能随规模无法完全线性扩展等一系列问题困扰广大客户,CPFS应运而生。

具体来说,CPFS可将数据条带化后均匀分布在整个存储集群上,允许client并行访问,吞吐和IOPS随存储节点的数量实现线性增长,整个存储集群对外提供超高的聚合带宽和IOPS。同时,采用融合以太网的 RDMA 协议 (RoCE) 网络缩短IO访问的网络时延,进一步提高了IO访问速度。此外,基于paxos ring的仲裁调度,CPFS可自动检测服务节点异常,并在分钟级别切换到其它节点重新提供服务。

以基因行业为例,人全基因组测序的原始数据大约有300GB,这些数据在传统模式下需要70小时才能处理完毕,在云端优化后也需要5小时才能完成。采用CPFS后,可在17分钟内加载完1万个人类全基因组数据,仅用1.5小时就可完成单个基因测序pipeline,这对临床医学的快速诊断、科研成果的快速转换具有重大意义。

除了CPFS并行文件系统,阿里云还推出了两款NAS新品:NAS Plus智能缓存型和NAS Plus极速IO型。前者适用于对延时、单线程读吞吐能力有较高要求的广电行业,可满足单台云图站对20层4K高清编辑能力的需求,缩短视频采编播流程;后者则适合搭建高性能弹性Web Server,可将海量小文件的访问性能提升20倍,IOPS可达100万,而单路延迟仅有500微秒。

 

未经允许不得转载:DOIT » 1亿IOPS+1TB/s吞吐 阿里云推出并行文件系统CPFS