James Hughes:大数据与希捷Kinetic开放式存储平台

6月5日，第七届中国云计算大会进入第三日。美国希捷科技公司的高级存储部首席技术官 James Hughes进行了“大数据与希捷Kinetic开放式存储平台”的主题演讲。
 

以下为演讲实录：

大家好!我非常简单的跟大家讲述一下我们希捷科技公司在云计算方面的想法，为什么我们要做存储?其实存储是能够让我们建立今后智慧城市的重要的一个组成部分。如果您要分析信息，如果你不存储是没有办法完成的。如果你没有找到一些隐藏的信息和结果，如果你不能够去分析所有海量的信息，你都不能够建立智慧城市。而且我们现在可以看到，这个数据在过去的几十年当中是以成百上千倍的速度在增长。看一下这个图片，我们可以看到所有的驱动因素。这边我们可以看到是我们希捷科技高级公司，包括一些其他的制造公司他们的技术开发水平和存储的能力的增强。而且我们可以看到非常重要的一点，就是要建立一种愿景，就是刚才这位发言人提到的一样。

如果说我们有60KByte的数据，我们如何进行存储呢?在这里的信息，也就是我们最左下角的信息，也就是我们以前的记录的方式，其实是一个慢慢的网上发展，这是一个很清晰的路线图。而且从今天如何能够把30%每年增长速度的这样一些数据能够很好的储存，而且为今后的十年做好准备，今天我们在这里10TB的情况。那么就是一个TB，其实我们可以看到要压缩大量的信息，这是非常疯狂的，就是我们所有的生活的数据都要存储起来，就是到2025年，到右上角要达到100TB的情况，这个密度持续，就会在2025年达到100TB的程度。

我们要做些什么呢?你需要这样一种能力的增加吗?我觉得是需要的。那么，在今后我们其实有很多的传感器，在今后我们有很多的摄象头，还有很多的互联网的这种设备需要我们去存储信息。

那么，我们来看一下物联网，物联网就是一切。非常重要的一点，当我们随着时间的推进，我们现在做很多的事情，比如远端呈现等等，其实我们可以看到有越来越多的方式，就是把互联网与以太网存储进行结合，这样我们存储的信息能够更好的有方法来存储，而且你还能够在后端进行分析。所以，我们可以看到，现在目前来看它的价值是比较少。但是，把它存储起来所有的信息如果没有很好的分析它的价值就更小。所以，我们现在目前的情况是存储信息的价值非常少的。

但是，现在我们可以看到，想谈论三个趋势。只有三个趋势，就是说一下我们无限的存储是非常有价值的，就是低成本的存储对云计算来说是非常有价值的。云计算如果不能够有数据的存储，你是不能够来进行分析的。所以，非常重要的一点，就是大数据首先是从数据开始，所以首先要考虑存储的问题。物联网呢?就是把我们的比如说电灯泡，把我们的卫生间，把我们生活的一切一切都能够电脑化。所有这一切都会电脑化。

所以，20年之前，其实我已经做出这样一个决定，就是物联网的出现。我觉得在我们生活当中，所有都用电脑操作是很疯狂的一件事情，但是现在我已经实现了这一点。

第二点就是监控了。我们必须要有，比如摄象头、监控器无处不在。比如在英国，英格兰，现在差不多每11个人就会存在一个监控器来监控他们。那么，在中国可能有14万多个，或者是有大量的更多的监控器存在。但是，我们如何使用呢?其实有各种不同的使用方式才能实现它的价值。现在硬盘驱动的成本已经变成了零。但是，把所有的这些信息放到一起的这个系统的成本还是很贵的。也就是装这些信息，装这些数据的系统变得越来越贵。所以也就诞生了云计算，也就出现了我们所说的对象存储。

有没有人知道对象存储?知道的请举手。对象存储它实际上是一个新的泛式，一种新的思维方式。还有就是POSIX，很多人都希望有POSIX，我们用POSIX已经用了50年了，但是它是对的解决方案吗?在1964年的时候，POSIX非常重要，因为数学文件的尺寸、大小要比人类的记忆力相比大得多。就是人的大脑已经记忆不下了，因此我们必须在存储系统当中来进行计算和处理。但是有了POSIX的设计，我们可以在存储内部做我们的工作，而且我们也可以改变不同的文件的内容。

但是，如果今天你要改变PPT当中的一个号码，一个数字，我们用POSIX来做吗?不是。我们主要是从主存储器来读取这个数字，来改变这个数字，再把它抽回来，这就是对象的一个故事，也是未来。也就是文件的读取、书写和替换，或者是删除。但是，都不会在存储系统当中来进行修改。也就是说，存储系统的这个价格和传统的POSIX文件系统相比，价格只是一半。成本要更低。随着驱动器变得越来越大，驱动变得越来越大，我们必须要小心，要尽量的降低系统成本。

在美国有很多不同的创业公司，这些都是一些初创公司，他们也获得了风投公司的一些支持，比如Nirvanix。这些公司都是一些初创公司，在2014年他们获得了大概三亿美元的资金，做的是对象存储的研发。因为他们所做的这个工作，其目的都是为了降低存储系统的成本。首先可以用于云的计算系统里面，也可以进入到企业的数据中心里边来使用。希捷看到了这些趋势，我们看到所有的这些公司都在使用对象存储，但是不知道哪家公司会最终胜出。但是希捷不会决定谁会是赢家，我们希望能够创建一个硬盘驱动，能够帮助他们所有的这些公司，就是简单的API，简单的硬盘驱动，可以使得对象存储更简单，成本更低。

传统的存储系统，它有一个应用会在这个数据库上来运行，然后会有文件系统进行对话，这个就是太复杂了，因为涉及到不同的层面。但是，这样的一个站，它实际上是POSIX的演变，体现了POSIX的演变，是技术的一个演变。就是POSIX这个技术，诞生于1964年的这个技术的一个演进。我们如何发明这个存储系统?我们怎么样让它变得更好?因为我们都比较担心过去。我们创建了一件硬盘存储，也就是在这个用户那边，它不再需要驱动器。它可以通过互联网进行对话。大家都有互联网，互联网更快，而且更便宜。然后再到设备，设备是有API的。这也是API的关键价值。我的图就是我的价值，我的名字呢?可能就是我的密钥。也有可能摄象头的那个日期就是这个密钥，也有可能汽车的图片就是这个值，是非常简单的一个编程。我们转换的很多的存储系统，他们的网络在两周内可以完成。我们认为我们有能力建立更简单的，就是使用这样的一个动态的驱动可以建立更简单的，更容易使用的存储系统。

那么，很多人都担心，未来硬盘驱动。但是，我们的Kinetic动态存储，我们现在有更多的方案。现在大家可以从两个不同的厂商那儿获得这样的存储系统，或者这样的硬盘驱动。“绿色是好的”，因为绿色就意味着对环境友好，我们不再使用服务器，这个是48TB的一个服务器，它用的又是1200W，就是传统的服务器。因为现在的硬盘驱动更小一些，更聪明一些。所以它可以直接和硬盘驱动来进行对话。但是我们新一代的硬盘驱动和传统的硬盘驱动相比，价格要更便宜一些。

如果是绿色，就意味着成本方面更好。你可以看到，如果使用传统的服务器，它的价格是将近8000美元。而使用动态的系统，你可以看到，价格大概只有一半。在这里我们有12个ARM的芯片，这个ARM的芯片几乎是零成本。我们可以分布计算，然后创建一个新的解决方案，这个解决方案是有更好的性能，更好的效率。

最后，总结一下，在2025年，我也预计，这不是希捷的一个宣布，这是我的预测。2025年我们一共会有100TB的硬盘驱动。所以，需要存储的容量也会增加。不管我们所需要的存储有多大，人们总是希望越多越好。如果我们的存储是免费的，为什么还要删掉东西呢?我们就不需要删掉东西了。

再看一下XByte(音译)，它是非常大的，到2025年将会达到10个机柜，也可能成本很低，为了实现这样的愿景，我们需要两点。我们需要对象存储，因为对象存储很简单，简单就意味着成本低，意味着更高的可靠性，我们也需要开源的软件来实现这一点。也就是这个软件我们是可以下载，可以使用的，不需要向任何人付费，没有任何的税。像CEPH，Swift3等等，这都是开源的软件，可以让我们的动态系统更好的可以使用。然后就是API，就是应用编程界面是非常重要的，存储的API是基础。一方面是Swift，另外一方面是动态硬盘驱动，我们所说的这些是专门针对对象存储的。

未经允许不得转载：DOIT » James Hughes:大数据与希捷Kinetic开放式存储平台