DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

企业数据存储的难题,万变不离其宗

偏见是你对世界的看法,分析并解决问题才是与世界相处的正确方式。

IT产业发展了半个世纪以来,发展变化一直很快,但核心的总有几个不变:大体上,计算性能沿着摩尔定律在发展;数据存储在变得更快、更稳定、更高效的同时,尽可能的降低成本;让数据出现在计算存在的地方就组成了功能服务,让服务出现在业务需要的地方就创造了价值。

提起IBM,大家都觉得这是一家老牌公司,而云计算是大热门,代表当下最先进的发展方向,这其实就是一种偏见。实际上,IBM不仅自己有云计算技术服务,而且原来很多技术都是现在云计算在用的技术,虽然IBM的牌子久远了点,但它的技术服务在新的时代下,正在以新的面貌焕发新的活力。

最近几个案例中,让我看到了IBM的“新”的活力,让我们意识到,企业数据存储的难题,终归是万变不离其宗,如果大象在跳舞,那存储业务上的新变化就是大象的舞步。

IBM存储在新行业——互联网行业的突破

2020年新冠疫情期间,许多社会活动转到了线上,线上业务流量激增,和许多互联网公司一样,百度智能云也在加班加点疯狂扩容,云计算的海量规模意味着高昂的存储成本,所以,更强调精打细算,因为任何创新和成本上的节省都能带来巨大收益。

2020年,在百度云海量冷数据处理场景的扩容项目中,百度云选择了业界流行的IBM TS4500 企业级存储解决方案,该方案融合了IBM Spectrum Scale、Spectrum Archive 和 Tape 介质, 构建了EB级海量数据存储服务,使用了大约10万盘磁带存储900多PB数据,相较于普通存储,整体存储成本降低了84%,收益还是非常可观的。

用IBM存储来降低成本的说法其实比较新颖,一直以来,IBM存储都是服务于大型企业,以稳定著称,但也以价格昂贵为人所诟病,但以IBM存储来降低成本的说法还是挺令人眼前一亮的。

有趣的是,在媒体“口诛笔伐”中,被宣判“已死”的多年后,磁带似乎越来越重要了,成为许多公有云服务中不可或缺的一部分,最新的LTO 9磁带更是将单盘磁带容量提升到了18TB,可见,磁带是正在快速发展的,并且得到了云厂商重用的技术。

使用IBM的归档存储技术之前,百度智能云的对象存储分为高性能存储、标准存储和低频存储,这些其实是基于磁盘的。相比之下,有些客户提出需要更高的性价比、保存时间更长的存储产品与服务。此时引入IBM的技术则为百度智能云打造下一个阶梯的存储产品带来了能力补充,补齐了百度智能云存储产品矩阵的最后一块“积木”。

IBM归档存储适用于多种应用场景。在IBM的帮助下,百度智能云在过去一年中积累了丰富的业务应用场景。另外还有石油勘探、医疗影像、基因测序分析和物联网相关的数据等也可以放在归档存储上。

互联网公司对于技术其实是非常挑剔的,在与IBM为期几年的对接过程中,经过数不清的测试验证后,最终才选择了用IBM,除了磁带归档存储以外,还用了IBM Spectrum Scale(原GPFS)来打破百度在各个系统业务间的数据孤岛,使得数据能在各个业务系统间流动。

如果说用磁带主要是为了节省成本,那么使用Spectrum Scale则充分显示出经典存储方案在面对新场景时候所焕发出的活力,令人感觉非常的新颖,原来,IBM不仅有服务于许许多多传统行业用户的能力,还能和许多互联网公司一起协作创新。

IBM存储在互联网公司的应用令人眼前一亮,乍一看觉得很新鲜,但据了解,其实许多知名的互联网公司也在用IBM存储方案,只是由于应用在后台当中,并不能被用户看到。而这次,百度智能云算是揭开了IBM存储在互联网行业应用的面纱。

IBM存储在AI新场景上的突破

某 IT 独角兽公司是一家边缘人工智能芯片创新者,作为一家边缘人工智能芯片企业,它有大量数据需要用于人工智能机器学习场景,为此,该公司构建了数据平台,但是随着不断发展,累计的数据越来越多,需要的GPU资源也越来越多,如何让数据出现在算力所在的地方开始成了挑战。

据了解,该公司虽然自己购置了很多GPU资源,但也经常需要借助云端的GPU资源来满足高峰算力需求,为了尽可能的降低成本,该公司会经常看多家云服务商的GPU资源报价,谁家便宜就用谁的,虽然GPU资源可以随便选,但训练所需的数据并不能轻松地跟着GPU跑。

了解机器学习的人都知道,机器学习训练过程中很大一部分时间都在准备数据,数据的问题很严重,在IBM Spectrum Scale的帮助下,该公司能将存放在本地的数据按需迁移到云上,能做到算力在哪里,数据就在哪里,Spectrum Scale的数据调度能力很好地支撑了多云环境需求。

在调度的时候,Spectrum Scale可以只调度计算需要的那部分数据,既节省了在云上存储的成本,也降低了传输的带宽成本,据了解,Spectrum Scale将私有云与公有云之间专用链路带宽利用率提升到了90%以上,可谓是物尽其用。

另外一方面,由于该公司原本的各个系统业务间的数据时相互独立的,也就是形成了许多数据孤岛,随着数据量的增长,原本使用的开源的解决方案在管理复杂度,以及性能方面都遇到了不少问题。

在Spectrum Scale的帮助下,该公司不仅构建了统一命名空间的存储资源池,而且还打破了数据孤岛,随着数据规模的持续扩大,Spectrum Scale在性能和扩展能力的水平也逐渐显现出来,这点很重要,而且,也这是最早该公司选择IBM存储方案时的根本原因。

IBM存储的另一大价值也是在于用磁带归档存储Spectrum Archive来降低数据存储成本,在该公司的场景中,大体上也有80%的数据是不太常用的数据,这部分存放在磁带上成本还是高,将海量冷数据迁移到磁带库之后,存储成本降低了超过80%。

值得一提的是,将数据迁移到磁带上的操作是Spectrum Scale自动化完成的,数据迁移过程无需人为操作,没有任何额外管理负担,操作过程可以做到完全业务无感知,也不影响性能。

该公司成立于2015年,做的人工智能领域也是当下非常火热的技术风口,这样的技术型公司也选择了IBM,看重了IBM对于降低其数据平台成本,优化使用体验方面的价值,而IBM对于该公司数据平台的支撑能力,看到了原有技术在新场景下的价值。

IBM存储在传统优势领域的新突破

新行业,新场景固然新颖,其实,IBM在传统优势领域的创新实践中也有突破。

得益于民营经济的肥沃土壤,浙江省台州市的民营经济发展壮大,催生了包括民泰银行在内本土城商行,民泰商业银行于2006年正式转制为城市商业银行,是一家专门从事小微金融服务的专营银行,主要面向小微企业和城乡居民提供简单、方便、快捷的金融服务。

在提升客户体验方面,民泰商业开设了远程视频银行的服务形式,让客户通过手机视频连线银行来办理业务,或者让银行客户经理携带智能终端上门服务,让客户完全不跑银行,或者最多跑一次银行来办理业务,在疫情期间,这一服务形式更是深受欢迎。

远程视频银行的服务其实涉及多个业务系统的交互,涉及大量数据,而且要确保视频交互过程当中有顺畅的使用体验,需要业务快速运转,为此,这套架构当中首先使用了IBM FlashSystem全闪存来提升数据处理和存储的性能和效率。

远程视频银行的服务只是表象,在背后由于有了新技术的支持,才把业务流程的操作变得更加便捷了,从而大大提升了银行用户的服务体验。由于民泰银行还利用了AI和大数据能力开发了很多风险控制模型,将模型评分作为信贷审核的参考标准,以此来提升银行的风险管控能力。

为了支撑以上创新,民泰银行也采用了云计算服务。不过,银行最根本的要求还是稳定,非常重视数据管理的安全性,在整体架构上,民泰银行的核心系统一直运行在IBM的Power服务器和DS8000系列存储之上,在业务连续性方面,民泰银行通过两地三中心架构构建了业务数据备份和快速恢复能力。

不难看出,民泰银行的各种创新其实都伴随着大量数据的产生,特别是视频、照片等非结构化数据大量增加,这为数据存储和数据管理带来了新的挑战,为此,民泰银行选择了IBM存储虚拟化平台SVC实现了统一管理和统一监控。此外,为了满足合规要求,民泰银行还将归档数据传到了异地云对象存储。

IBM存储的“新”能力,大象的舞步

百度智能云使用IBM存储来降低成本,打破业务数据孤岛;某 IT 独角兽公司使用IBM存储来支撑AI这样的新兴工作负载;民泰银行的案例中,IBM同时支撑了企业IT架构的敏态和稳态。

以上的案例中,都看到IBM存储的新的方面的能力,而不只是支撑传统应用,如果大象能跳舞,IBM存储新的能力就是大象的舞步。

2015年,IBM发布了首款纯软的存储解决方案——Spectrum光谱系列,IBM开始强调软件定义存储的能力,软件能力的包装和落地应用,都体现了IBM存储的灵活性,但这并不意味着只是交付软件方案就行,而是要依照具体的需求做出定制化方案,这是IBM服务企业用户的优势所在。

都说让大象跳舞很难,但只就存储来说,以需求为根本,IBM以存储产品的能力和服务满足用户需求,本身并不难,IBM这些新变化让我们看到,IBM不只是一家传统存储阵列厂商,而是真正能跟随时代而变化,能伴随用户需求而变,这就是所谓万变不离其宗。

未经允许不得转载:DOIT » 企业数据存储的难题,万变不离其宗