DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

新华三张楠:新技术如何让全闪存储走上进阶之路

2018全球存储半导体大会上,新华三存储架构师张楠发表了题为《新技术如何让全闪存储走上进阶之路》的主题演讲。他针对SCM、NVMe、压缩重删技术进行了详细的解读。以及后标准化时代,所有的产品都会采用SCM或NVMe技术,如何区分这些产品好坏?哪些对产品的优化更好?等问题。张楠认为,这于用户来说,产品同质化严重,因此未来会更多的通过AI为客户服务。

以下为速记内容,未经演讲人确认:

昨天我的同事讲了一些闪存SAN存储的发展和趋势方向,我的话题会进行一些延展。这是过去几年计算和数据的发展,计算的发展近几年非常的缓慢;在闪存出现之前,最近五年存储的发展也是非常缓慢的。所以昨天虽然讲到,对计算来说,发生巨大的变革,这个变革就是以CPU为中心转变到以内存为中心。过去,在每台服务器上有很多的CPU,CPU与内存的通信是,不同的业务过来,处理同一个数据的时候,CPU跟内存要做很多的交互读写,CPU之间内存的数据是不能共享的。这样的状况之下,内存的开销和CPU的负载非常高,为了改变这种现状,我们开始以内存为导向。

具体到存储来说,我们来看一下SCM能做什么。

1.数据缓存

2.元数据扫描

3.数据存储

未来,用户会使用SCM存储数据,这是我们愿景。到那一天,SCM会大范围的取代现有的NAND。NAND则会降级为今天的机械硬盘。

下面我们来看存储为什么会用NVMe,原因很简单:SCSI太老了,基本上从2005年以后就没有更新。所以这就是为什么我们要将一个新的协议用在存储上面,为了避免SCSI拖慢我们的存储,我们要进一步在存储上把NVMe推广出来。

现在NVMe有两种路线,不论NVMe over Fabric,还是FC-NVMe。现在存储的用户都是光纤存储,光纤交换机。

另外一个就是大家讨论的存储内部,包括存储之间的协议到底是用那种?现在,很多存储厂商都在推广SCM+NVMe的方式。很多厂商都在将自己的闪存有多快,延迟为0.1毫米,但这个其实是相对的。除非用户的应用都是极小的I/O,那么延时会始终保持很低。但是,一旦用户是混合的业务类型,我们在做NVMe或SCM时,第一次做加速时,我们可以保证用户基本上所有的硬盘延时都在0.5毫秒以下,因为NVMe的带宽很高,比我们现有的要好很多。

另外我想讲一下,闪存上面的创新技术,比如说大家都知道,SSD其实是有寿命的,NVMe比传统的NAND要好很多。但是目前在未来五到十年之内,NAND还是一个主力的产品,无论是未来过渡到TLC还是QLC,寿命都是非常重要的。越廉价,越后端的产品,寿命相对来说就会越差一些。这时候我们会有一些专利的技术,在SSD上,大家用的笔记本都会用SSD,一个64G的闪盘,后面藏起来的有十几G的空间。因为用户的业务不一样,压力不一样,用户的内存也不一样,所以对不同的用户就要做定制化。有的用户闪存压力很大,连续性IO会多,他的OP隐藏区域就要多一些,这时候我们可以放大,在SSD上放大,通过存储将SSD放大,这样可以得到很好的寿命和很好的性能。

第二个是重删和压缩,对于闪存来说,重删几乎现在已经成了标配。

批量大数据的写入后,数据放在内存里,再一次性批量的落盘,降低前端生产压力,会对闪存的性能带来整体的提升。

之后是重删指纹,用来标记重复和非重复的数据。目前80%的厂商都用了SHA256的技术。如果你用整个的SHA256对比的话,基本上百分之百的确定你的数据是否重复,发生冲突的可能性非常小。最好的重删方法,是你要了解存进来的数据是什么。首先,将数据进行分类,之后再进行重删,可以提高效率,减小开销。

另外一个是数据的压缩技术,其原理就是把一些0和1做重新的整合,把一些低密度的文件,或者低密度的块压缩成高密度的块。这种技术其实早在操作系统里就有了,近年来在存储中应用了起来。Oracle和虚拟桌面中,可以带来很好的压缩效果。一般可以做到1:2-1:3。

压缩技术有两个阵营,就是我进来是多少就是多少,比如进来一个16K,我存在后端的也是4-6K,而我们现在可以做到的是再打包,把多个文件压缩成文件块,之后再压缩再放到后端,这样可以节省空间和带宽。但弊端是,你要读一个数据的时候,要拿出整个包来读。每一种方式都有利弊。

昨天我们还重点谈到关于后标准化,以后所有的产品都会是SCM或NVMe,我们怎么样区分这些产品好坏?哪些对产品的优化更好?有一非常重要的话题,就是人工智能AI,最近一到两年才正式被各个厂商拿出来去研发。

InfoSight AI的好处是什么?

  1. 微数据习练而生
  2. 专为数据智能化设计
  3. 机器学习与数据科学
  4. 先知推荐系统

现在已经有很多用户在使用这个人工智能平台了。

我们发布这个AI平台以后,发现大量的用户开始在VMware上进行部署,首先这个部署是免费的行为,第二个它不需要真正的部署,你只要告诉我们VMware系统的权限就可以了,所以是一个非常简单的事情。有25%的问题都是用户不知情的情况下修复的。前提是用户授权给我们。

这于用户来说,产品同质化严重,因此未来会更多的通过AI为客户服务。

未来的后标准化时代,全部要仰仗于AI。不论是故障的处理,风向的掌控,还是解决性能问题,AI平台都是可以帮助用户解决很多的问题,以前我们说AI平台停留在应用层面,今天,我们把AI平台应用在存储层面。目前新华三的产品在整个应用层面来说都是很全,尤其是近几年的势头非常的强。

未经允许不得转载:DOIT » 新华三张楠:新技术如何让全闪存储走上进阶之路