软件定义存储如何run在公有云上?中国移动专家这样说

软件定义存储(SDS)是基于廉价服务器构建高可靠、易拓展、低成本的存储资源池,为云计算提供块、文件、对象等存储接口,而业界另一大热点,云原生,在演进过程中,普遍被定义为利用云计算的先进特性,以容器、微服务、容器编排等先进技术,在云上开发和部署可扩展应用的一种方法和理念。那么,如何用云原生的逻辑去设计并应用好SDS?中国移动云能力中心IaaS产品部技术总监孟令坤,在2020(第三届)软件定义存储线上峰会上从多角度阐述他的观点。

云原生时代SDS释放无限潜力

云原生时代,服务重点转向应用架构相关的PaaS和SaaS层面,将大大增加客户黏性,客户角度云原生改变了应用构建的方式,通过云服务商提供的产品模块进行高效构建,聚焦业务逻辑实现,云服务商从资源服务升级为技术架构服务,从云服务商角度,云服务商输出的是技术架构、产品与服务,产品体系出现分化和差异化竞争,面对不同行业和用户提供针对性、具备自身优势的产品和服务,变可替代为“人无我有、人有我优、不可替代”。

同时,公有云业务上也面临激烈竞争,对存储价格、运维、运营提出新的挑战,因此公有云存储在需求上呈现多元化的特点,如面向应用,需要以应用为中心进行功能性能接口优化和联动相关的产品和服务,规模大易拓展,应对数以万计的客户需求,场景多、混合负载,公有云用户多而杂,具有不可预期性,低成本,这是市场竞争的关键要素。

这张公有云存储的全景示意图,主要围绕中心公有云拓展介绍、传统数据中心、混合云等周边场景,公有云平台主要从IaaS、PaaS、SaaS三层来看。

在IaaS层,通常提供品类丰富的存储服务,如典型的块、文件、对象存储,同时也会提供HDFS、日志存储、备份等产品,其中每种存储通常提供三种以上的不同服务等级的子产品,如块存储分为重量型、均衡型、高性能型和超高性能型,满足不同性能的要求,存储呈现出从IaaS型服务项PaaS型服务的转型趋势,大量的云存储将作为PaaS一部分被间接消费,对存储的管理已经被PaaS平台内部负责,因此会降低对存储的管理需求。

PaaS层最普遍的是品类丰富的数据库服务,相比PaaS型存储,SaaS服务进一步弱化了用户对存储的感知,从全球SaaS市场占比来看,国外SaaS市场超过IaaS加PaaS之合,未来可能成为最重要的消费方式。

在传统数据中心,客户越来越多的希望将具备超大规模、低成本特点的公有云存储作为灾备归档良好的选择,用于替代老旧的磁带存储,通过云存储网关或者数据传输服务实现这一要求,进一步公有云厂商直接为客户提供全套定制的私有云服务,并连通公有云,形成混合云方案,典型的如混合云备份,混合云灾备,实现数据的跨区域存储,混合云存储阵列提供了一种远程访问中心公有云存储的方式,通过本地缓存、压缩、加密,配合云专线,能够实现一定性能下的超大访问需求。

有时候我们会听说数据引力这一概念,如果数据在靠近用户或者数据产生的地方进行存储和处理,能够满足低时延、大带宽的需要,则催生了边缘云存储。很多时候数据是不能删除的,需要保存较长时间甚至是永久存储,但是计算资源存在突发的需要,传统数据中心、混合云、边缘云三种场景均可以在需要时利用公有云的超的规模和多种类型的算例满足突发的需求,自身只需提供一定量的日常需要。

因为数据分散在本地、边缘运、公有云等多处,甚至是多家公有云厂商数据的统一管理需求在增加,即面向管理面的软件定义存储也迎来了新的机会。

面向应用是云计算3.0云原生阶段的基本要求,以对象存储为例说明软件定义存储是如何面向应用进行优化,以提供综合解决方案,简化应用的开发,助力业务敏捷。

作为非结构化数据存储的理想方式,对象存储提供了多样的数据处理功能,如图片水印、压缩和转换等等,视频祯截取,各种类型的文档预览和流媒体等等,另外结合CDN、SD-WAN可以实现访问的加速,通过临时授权认证可以支持大量移动端访问的需求,如短视频、直播等场景。

谈论存储,性能是无法避开的话题,随着高速存储介质和高速网络的发展,软件定义存储实现高性能已经是水到渠成的事情,内存及存储有效拉近了DRAM和SSD的差距,NVMeSSD实现了高性能的同时,成本也在不断降低,OpenChannel SSD给开发者提供了更多的想象空间,尤其在性能方面,NVMe-OF技术实现了高速存储远程访问的低延时,当然这些技术的应用需要对现有的操作系统和软件站进行大量的优化和甚至改写,我们相信未来三到五年,各公有云提供商将会实现端到端的高性能存储解决方案,支持压缩、加密的指令集CPU,网络,SSD等等也在提升软件定义存储性能方面的能力。智能网卡在实现网络卸载的同时,也在实现存储虚拟化的卸载,解决了性能、安全等问题。

从成本角度来看公有云的存储设计,大多数企业将价格作为选择公有云的主要考虑因素之一,面向成本优化是公有云存储设计的基本要求,根据存储使用报告,节省费用的行动为可删除的无用资源中90%以上是不大使用的数据快照,55%到90%是选择合适的存储大小,综上,数据迁移合适的大小的存储,消除冗余是实现成本节省的关键。

从技术上看,主要有以下途径:IT企业倾向于使用公有云廉价的存储替代磁带,实现备份、容灾和归档存储,源端数据驱重、压缩可以有效节省带宽成本和存储空间。MSDS,也就是面向管理面的SDS,实现公有云、边缘运、自有数据中心数据的统一管理,降低管理成本的同时,通过数据分析和可视化手段,可以给出合理的使用建议,有效降低数据的冗余度。

价格总是与性能挂钩,相同的硬件成本提供更好的存储性能是实现成本压降的关键手段。通过生命周期机制,结合数据访问特点,实现数据从标准存储向低频或归档存储的流动,可有效降低存储成本,有趣的是有些存储厂商实现对象存储和文件存储的统一,两者互转时仅需要修改源数据,无需数据搬迁,也有效节省了计算和带宽资源,一定程度节省了成本。

通过引AR技术实现自动化智能运维和运营,可有效降低运维和运营成本,常见的方式有进行磁盘的故障预测,存储扩容的分析,业务负载和内部负载的自动化优化调整。

软件定义存储是公有云的关键基石

SDS需要具备支撑综合解决方案的能力,而SDS正是以其软件定义的灵活性,满足各种场景,位置,性能,成本的需求。以AR场景为例,典型的AR场景有提取、预处理、模型训练、推理等关键步骤,不同的阶段有着不同的需求特点,通过对象存储,文件存储,数据库存储三者结合,可以有效的支撑AR场景工作流,如通过归档存储满足大规模、低成本样本数据的存储,通过变形文件系统,满足高带宽低时延的数据存储与访问,通过数据库实现关键结构化数据存储。

以混合云为例,通过消息存储和通知服务提供设备互联服务,通过存储网关混合云阵列实现数据流动,通过去重压缩节省带宽,通过加密保证传输安全,通过专线SD-WAN实现传输加速,中心公有云满足企业超大规模存储和临时激增多算力的需求,最后可通过公有云实现数据的全球分发。

—— END ——

原生应用改造的时机已经到来!4月28日,行业云原生技术论坛将在线上举行,此次DOIT联合中国计算机学会存储专委会、中国电子学会,特邀国内外云原生应用的领导企业,共同发起和推动传统行业/企业云原生应用水平提高,加速完成产业转型。

点击官网了解详情:https://www.doit.com.cn/subject/cloudNative/

加活动助手微信进互动群