DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

Panasas&西数:构建iRODS软件——“卸载”科学家的负担

Panasas和西数/HGST现在联手将高速数据访问,低廉成本与大容量数据存储相结合,适用于生命科学研究人员, 并将实践集中整合到开源数据管理软件iRODS上。

这些系统的工作方式如下:

1.实验室设备产生了数据,然后在将数据从本地工作站存储区迁移至HGST动态归档系统之前,开源iRODS(集成规则导向的数据系统)软件对它提供了一次全面的元数据审查,HGST动态归档系统——一个基于磁盘的对象存储阵列,对高容量,低成本存储还有随之而来的慢速访问进行了优化。亚马逊的S3协议就用于这个数据迁移。

2.一个iRODS元数据目录存储区将所有相关文件,目录和存储资源信息存储到iRODS数据网格结构,这还有助于数据搜索。这个网格结构结合了例如本地工作站存储区,动态归档系统和一个Panasas ActivStore阵列。

3.当生命科学研究人员需要处理这个磁盘所存档的一些或所有的数据时,采用iRODS规则并转存到一个配置其并行文件系统访问软件的Panasas ActiveStor阵列中。iRODS软件可以跨这个存储结构提供单一文件命名空间,因此访问时,人们无需知道文件具体存储在哪台存储设备里。

hgst

4.一旦数据进入ActivStor阵列,高性能计算(HPC)服务器就会并行访问数据和处理事务。实际上,这个动态归档系统是为了避免将所有的数据都存储在ActivStor上,这样成本会相当昂贵。

这个多层,多产品,拥有单一文件命名空间的系统能够快速访问一个海量数据存储区里的一个子集,这让我们联想到了昆腾的StorNext,后者也能够将对象存储(Lattus)作为一个后备存储区。Panasas的竞争对象DDN产品集里有对象存储(WOS),这也可以作为一个后备存储区用于它的HPC阵列。同样还有富士通的阵列和iRODS。

未经允许不得转载:DOIT » Panasas&西数:构建iRODS软件——“卸载”科学家的负担