DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

同有科技方敏:分布式全闪存块存储系统的实践

12月5日,由DOIT传媒、存储在线和中国计算机学会存储专委会联合主办的2017中国存储峰会在北京盛大开幕。本届峰会以“数据中流击水,浪遏飞舟”为主题,吸引来自政、企、产、学、研、媒体等各方参与者超过2000人,观看在线直播观众超过7000人。

本届峰会对中国及全球存储市场现状及发展趋势进行了深入解读,与此同时,业界领袖及学术专家一致认为,从信息时代走进智能时代,数据已成为企业的重要资产。作为数据生存之地,存储在数字经济中将发挥基石作用,只有解决了存储的问题,才能通过数据创造出更多的商业价值。因此,如何让存储更敏捷,如何依靠软件定义和闪存技术实现存储产业的转型升级,成为与会嘉宾备受关注的话题。

同有科技研发中心研发总经理方敏在2017中国存储峰会上发表主题为《分布式全闪存块存储系统的实践》的演讲。

方敏表示,AI、物联网等技术对于存储来说是一个变革的窗口。也正是由于存储技术的发展,SSD、SCM、NVMeoF等这些技术,会加快传统存储转向软件定义存储,人工智能的发展促进了存储智能化。

以下是方敏先生演讲内容摘录:

方敏:

同有在NVMeSSD这方面,构建了自己的全闪存快存储系统。我们为什么要做这件事,实际上是有两个原因,一个原因是应用的驱动,第二个原因是技术的驱动。

我们首先看应用的驱动是一个什么概念。十年前,预测到2016年,年数据可以达到16EB程度。十年过去了,数据量在不断增长,对于传统存储企业来说机会越来越多,靠存储吃饭的饭碗应该是没有问题,可以保住的。

十年后我回头看这个事情,很多公司做传统存储的人慢慢被裁掉了,中间也有自己跳槽转行做分布式存储的,原因也是因为最终数据的增长,实际上它是由应用的驱动导致的。新的存储架构它是需要满足应用的定义的。那我们先看一下今天IT世界是什么样子的。

这个是传统类型的应用,十年的发展我们可以看到,整个世界开始往云转变了,云的趋势已经很明显了,很多变化正在发生,或者已经发生,或者将来继续会发生,特别是AI。现在物联网的数据,传感器的这种数据量会越来越大。它会需要实时的分析,我们怎么样去提供一个平台级的解决方案,能够让它满足数据不断扩展的同时,还可以满足实时分析的需要,这是我们将来可能要解决的问题。

另外是云,我们下面会建存储系统,建在哪儿能达到最高的性价比,怎么样能够满足多种需求。所以各种各样的应用,这种驱动导致了我们会产生一些什么样的问题,第一个问题就是扩展性问题,我们的数据量会越来越大,底层的架构怎么样满足不断扩展数据量的需求,我需要动态扩展,以前的传统存储,比如说我今天买了EMC的设备觉得挺好,一两年后数据量增加了,我该怎么办,碰到的问题是统一管理。但是应用方面的需求,它产品的数据量会越来越快,刚才讲2016年采用EB的数据量,怎么样解决扩展性的问题,这个是我们第一个需要解决的问题。

第二个就是成本问题,因为IT结构大家知道,IT是不赚钱的,因为它不是直接面向应用的,实际上这个东西你说购了这么多东西,那我的效益在哪呢,我是不是能够以最小的投入能够产生最大的效益而满足我的需求呢,如果是这样我需要最好的性价比。

另外一个是我满足了性价比之后,我上面的应用又是各种各样的,我的需求也是各种各样的,那我怎么样满足性能需求呢,我们怎么样构建性价比好的存储满足存储问题呢。

第三是可管理问题,它是不断的扩展带来的。我们数据量会越来越大,怎么样去满足管理上的问题,然后让这种应用的场景更加简单。实际上我跟一些运营人员交流时,他们说太累了太痛苦了,为什么,一出现问题半夜三点叫起来解决问题,所以就是可管理问题。

所有的这些东西,实际上现在可以看到,它都是通过分布式的架构解决问题,这就是从应用的角度来看,我们的分布式架构,实际上是一个比较好的,能够解决现代应用发展的底层架构的技术问题。

第二个就是从技术的角度来看,其实我们今天在论坛上,讲来讲去讲了很多NVMe SSD。今天早上谈了很多AI的技术,所有这一切对于存储来说,都一个变革的窗口。就是因为存储技术的发展,SSD、SCM,还有像NVMeoF这些技术。NVMeoF将会加快传统存储转向软件定义存储的趋势,人工智能的发展催进存储智能化。

从应用的角度和技术的角度,有一个画面展现在我们面前,就是分布式加全全闪,这个会构成一个系统,这个系统会满足很多应用的需求,提供一种高性价比,所以我们就在这一块,同有做了一些努力,也做了一些工作。大家可以看到图中的柜子,同有在这一块做了一些工作,你可以看到,这个是由同友的服务器组成的,1U 10盘位;All NVMe SSD;单盘容量800G-11T;单节点IOPS高达120w。

中国原创,完全自主知识产权,性能达到国际领先水平;多重数据保护,安全可靠,易于使用;

无中心的可扩展架构,在性能这一块我们是做了一些优化的。因为大家知道,我们在做NVMe SSD的时候,NVMe SSD它可以提供64K,我们怎么样能够充分利用并发性,提升整个系统性能,我们重点解决了两块的问题。第一块问题就是我们在线程调度这一块,减少了线程相互切换的开销。第二块我们在锁这一块通过了对内技术的优化,减少整个锁的开销。

我们用了NVMe SSD测出来的性能值,大家可以看一下,这个也是从另外一个角度给大家说明,NVMe SSD确实是很不错的,我们测出来IOPS实际上是SATA SSD的13/28倍,15K HDD的4760/1320。顺序带宽(读/写)SATA SSD11/7倍,15K HDD的22/14倍。

这个是NVMe SSD实测出来的分布式存储的系统性能,我们用了四台存储结点,每台存储节点1U,配置10块NVMe硬盘。测出来的4K随机结果IOPS,写是400万,读是500万。

功能方面,做了灵活的冗余策略,可根据系统I/O负载,自动调整修复速率。系统工作时减少对正常业务的冲击,系统空闲时以最大速率修复,降低数据丢失风险。

另外一个就是日志过滤技术。因为我刚才讲到我们在做分布式架构,有个优势,将来需要解决的问题,就是我们在管理这一块的话,我们需要能够减少运维人员的痛苦。我们这里有远端的日志过滤技术,我们可以设置不同的日志级别,还有日志的速率,让它决定哪些日志是关键的,这样对于他来说关键信息立马可以把握住,不是关键的信息还要半夜三天叫起来去现场维护。

下面我讲一下服务器虚拟化/VDI应用。第一个我们会支持云管理平台Vmware的vCenter。我们发现通过两个节点的集群就可以很轻松的支持一千个VAAI的使用。优点是分布式存储(Server SAN),性能优异。

最后和前面呼应一下,如果大家对我们分布式全闪存、快存储有兴趣可以去展台看一下。最后谢谢大家。

未经允许不得转载:DOIT » 同有科技方敏:分布式全闪存块存储系统的实践