DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

冷热分治,冷数据不容忽视

随着5G和AI时代的到来,大数据的技术越来越多的应用,数据正在以几何级的数量爆炸增长。数据量不断膨胀的同时,数据密度却越来越低。以某大型企业为例,业务系统日常运行中,产生大量的日志、图片、音视频等,这些数据访问频度低,但又可能在未来某一天有访问需求。用户往往不得不在日益高攀的成本与删除数据之间进行艰难抉择,成为甜蜜的负担。

这类存储后被极少访问的数据,我们称之为冷数据,这些数据如果采用传统存储进行储存,意味着单一的存储策略将导致存储成本的快速攀升。我们能否把它们迁移到一个专为冷数据而设计的低成本存储层中,来解决成本与储存周期的矛盾呢?

企业如何应对冷数据挑战?

对于大部分企业而言,在IT设施建设初期,很难将业务细分的非常明确,大部分都会选用通用存储,但随着业务的不断扩张,数据存储规模的日益增长,就会促使企业考虑将那些重要的频繁访问数据运行在更快的SSD上,而对那些历史数据、日志则希望不要太占用现有存储资源。

为了创建能够有效满足业务需求,深入了解产生冷数据的使用模型,对数据进行分级,这一点至关重要。如何进行分级?对于业务没有明显周期性的数据,按照访问频率划分为热数据、温数据和冷数据。通过数据分级,将存取速度快的热数据存放在SSD中,温数据可以存放在机械硬盘中,而磁带、光盘则是冷数据存储的优先选择,蓝光存储又以其能耗低、保存时间更长、设备维护简单、安全性好、抗电磁辐射、更环保等其他存储方式无法比拟的优势,成为冷存储领域的优选存储方案。

为什么说蓝光存储是优选冷数据存储方案?

蓝光存储,指用大容量的蓝光光盘为存储介质的存储。随着蓝光技术的提升,目前主流的专业级光盘的存储容量已经达到100GB以上,并在未来将提升到2TB以上。华为OceanStor存储联合易华录推出了专为冷数据存储打造的蓝光存储,蓝光可与其他SSD、HDD介质的存储硬件同时部署,组成统一资源池,不同介质的数据可进行统一管理,并且数据在不同介质中可自由流动。用户可根据自己IT系统的数据存储要求,按需配置SSD、HDD和蓝光存储的容量,并自由管理存放在不同介质中的文件,实现数据全生命周期管理的同时,优化存储配置。

联合方案采用基于 Optical Data Archiver 技术标准的先进蓝光光盘生产技术。其光盘库设备内置自动机械手、驱动器和专业的蓝光光盘或光盘匣,通过机械装置自动装载光盘到光驱中以达到数据自动向光盘读写的基本操作。

蓝光存储

该方案单盘片可达300GB,最大可达1.9PB存储容量。存储硬件采用模块化标准设计,由光盘匣、基本单元、数据扩展单元、光驱组模块构成。可以根据数据存储容量和读写速度需求,进行基本单元、扩展单元、光盘匣、驱动器模块灵活组合配置,实现不同容量的数据存储和不同的读写速度。由于蓝光光盘使用激光读写,盘片与激光读写头无物理接触,盘片无磨损,且支持物理层面的WORM技术,数据不会被人为误操作或恶意删改,所以数据可靠性高。另外,蓝光存储的环境适应能力很强,几乎对工作环境无要求,具有防尘、防磁化、耐温性好、介质不宜老化,容灾性好等特点,存储寿命可达100年 (实验室30˚C温度和70%湿度环境下加速老化实验数据)。

冷热分治,华为智能数据湖分级解决方案

数据湖概念的出现,被视为打破城市和企业的数据孤岛的重要数据存储方案,华为OceanStor分布式存储以海量扩展、多协议能力,致力于打造最佳数据湖底座。与易华录联合推出的蓝光存储,成为了智能数据湖分级方案的重要一环。

OceanStor分布式存储

基于智能数据湖分级解决方案,企业在IT设施的建设中,不再需要对不同数据类型、业务类型采购不同品牌、不同功能的存储设备,采用华为OceanStor分布式存储实现一站式部署,替代原有不同协议时烟囱式部署,提升资源使用率。通过SSD和HDD介质,解决客户热温数据的存储问题;而针对海量冷数据,则采用蓝光介质进行存储,热、温、冷数据可自由流动。华为智能数据湖分级方案,让数据存得下、流得动、算得快、用得好,不仅能够提升多种应用间的协同效率,而且基于不同存储介质的分级方案,将使得运维成本最优。

根据各行业的存储应用特征,智能数据湖分级方案可以广泛应用于众多行业,既能满足热温数据存储,又能进行数据的长期和安全存储,例如,媒体影/音存储、医疗影像存储、金融数据存储、图书档案归档、司法信息存储、科研数据存储、政府及个人档案存储等。并且,随着新的分析工具的出现,越来越多的用户开始重视发掘冷数据的价值,正让冷存储不再“冰冷”。

未经允许不得转载:DOIT » 冷热分治,冷数据不容忽视