西瓜哥：凉凉的Hadoop，火火的后端存储

8月22日-8月23日，2019全球闪存峰会(Flash Memory World)在杭州召开。著名存储专家、媒体人西瓜哥在ABC 分论坛发表了《凉凉的Hadoop，火火的后端存储》的主题演讲。以下内容根据速记整理，未经本人审定。

西瓜哥

西瓜哥：谢谢大家，坚持到最后。

今天我主要讲Hadoop的事情，但是我是做存储的，所以主要讲Hadoop后面存储的一些事情，还有我自己的一些观察。

“高端存储知识”，这是我的公众号，因为我是DOIT的常客，峰会也参加很多届了，估计来看我的，听我的人可能大部分还是知道，如果不知道就搜索一下“高端存储知识”加我的公众号就可以。公众号里面有我的个人微信。

今天晚上我们在旁边也包了一个茶馆，如果大家聊不完的话，晚上茶馆见。

这段时间自媒体很多文章说Hadoop不行了，Hadoop凉凉，为什么呢？有可能会看到两个巨大的Hadoop发行厂商合并了，Cloudera和Hortonworks，所有大家觉得是不是Hadoop不行了。

我讲讲我的想法，Hadoop其实就是一个开源项目，它是一个的框架，我们里面很多的部件我们都很熟悉。什么HDFS，现在又出了一个新的子项目叫对象存储的，他们现在也搞对象存储。应该是后来发现对象可能越来越流行，所以它也搞一些对象的东西。

Hadoop相关的项目很多，我们看得什么Hive、Spark其实都在里面，所以Hadoop是一个比较广义的东西，狭义的可能也就是那几个项目。但是广义的话，相关的东西还是很多的。

我们看业界Hadoop的发行版厂商也很多，除了公共云厂商，基本都在里面。阿里，Google、亚马逊都在里面，企业市场这边我们看到有国内的华为，国内的东方金信，星环等等。这一块的市场厂商还是蛮多的，而且我们看到很多发行版厂商其实在云上面也有部署。除了富士通没有在云上部署，只是在企业里面有部署，其它都是云上云下都可以用。

整个市场，我个人观点是，发行版市场现在很动荡，现在公司被收购、合并，但是从数据来看它们一直在增长了，所以它可能是跌落神坛而已。可能是大家捧的太高，跌落神坛，个人觉得这个市场还是增长的。

他们现在确实面临着很大的竞争，为什么？第一个，很多的应用，它们都有自己的发行版，比如说它可以单独发行，它也不依赖Hadoop的发行版，比如我在上面部署Spark，Spark可以独立发行，Hadoop发行版它不是一个必须的东西。

第二，我们看大量的Hadoop都部署到公共云上去了，为什么？因为本来数据就在云上，所以分析也会在云上做。中国这边可能很多企业它数据不敢上公有云，所以它还放在线下。本来数据就是在线上，从互联网收集的，它一般就是云上。云上有一个很大的好处，我不需要升级Hadoop的版本，公有云厂商就帮你搞定了，你用这个服务就可以了，所以现在云端增长比较快。

可以看到在，中国发展也很快，在这个市场也取得很大的进步。可能也有一些问题，原来很多已经部署的Hadoop的厂商，后来发现这个收益不是特别好，可能因为有AI的东西，这个收益就不见的一定能体现……可能跟很多实用性项目比，可能不能得到领导的认可，所以感觉后面没钱投入，多少会有一些问题。

这两个公司的合并，对整个市场格局的改变还是蛮大的。Hadoop从刚开始在雅虎部署到现在13年了，Cloudera应该有10年。这两个公司合并我们看到他们的宣传，他们有2000个客户，而且有很多客户收的超过了100万美元，我觉得这个市场其实并没有萎缩，还是有利的。

从他们的销售数据我也看到，数据库的销售情况，右边是统计，左边是它的格局。这个格局主要是整个数据库的市场。我们可以看到增长最快的还是公有云厂商，Hadoop厂商，包括其它的厂商虽然在增长，但是增长率确实不如公有云。

我们看到整个市场没有下跌，基本上都在增长。Gartner也做了调查，它调查到现在使用Hadoop的用户已经有34%，很多用户已经部署了Hadoop。16年调查的时候好像只有大概16%，这是对2019年做的调查统计，其实是2018年的情况。

未来两年部署Hadoop的厂商有50%多，我觉得大家并没有看衰这个市场，只是几个发行版的厂商受到了影响。因为Hadoop本身的优势，它在数据湖里面还是比较适合的，对一些未知的数据类型，未知的数据分析，Hadoop还是一个比较合适的解决方案。数据湖建不好，这个就变成了数据沼泽，那是另外一回事。从架构来讲，它还是有些优势。

往下看Hadoop后面用的存储，它一般是用什么架构？我们就看一下HDFS，因为Hadoop最开始用的HDFS，现在又开始做对象存储。HDFS跟传统的分布式文件系统不太一样，它是做了很多优化的。它抛弃了很多的POSIX的操作，比如不能更改等等，它更强调一种流式的应用。大家在分析流的情况下，它的效率还是可以的，这是它针对分布式文件系统的优化。

HDFS协议它会支持很多现代的应用，也就是说并不是说新的应用就不用就支持。所以要分析数据的话，还是保证兼容，而且HDFS一直在发展，原来最大问题是EC，现在也支持。EC生产里面很少看到用，因为性能比较差一些。我们看到HDFS也做了分层，做了很多权限和快照，其实功能也一直在发展。但是毕竟不是一个专业存储厂商做的存储产品，可能从企业角度来看更多是开源的组件，还是有一定的差距。

现在很多企业会把数据库建立在对象存储上，用S3A接口去对接。因为Hadoop支持的这个接口。所以支持对象存储，但是有这个通用接口对接有性能的问题，所以说只能满足对性能要求不是特别高的场景，或者说做当Hadoop的分层存储来使用。

因为Hadoop有本地数据优先的特性，用Das的方式，性能一般来说比较好。但是我们看到用Hadoop本身这种方式有些缺点，主要缺点计算和存储不分离，大部分时候Hadoop存储容量增长比计算快，分开部署更灵活一些。

Hadoop本身CE是支持的，但是性能或者是硬盘重构问题，可能没有专业的厂商做得好。有一些问题，所以很多出了厂商除了Hadoop产品，还做分布式文件。这一块很多是可以代替这一层，主要是快更加方便，主要是灵活性的扩展，可能也有一些缺点了，比如也许性能不如Hadoop。

有没有办法能解决这些问题？我们要分离的部署，但如何有比较好的性能呢？可能会有一些方法，今天分析了一些做法，EMC在Hadoop对象存储就是ECS，做了专用的客户端。解决了Hadoop一些问题，所以扩展性非常好。他会在这个生态上做比较好一些，不是用标准S3A来跟对象来对接，但是有ECS目前规格还不支持闪存的加速，所以我觉得本身的性能有一些不太好。在共享存储分析的时候，数据不动进行分析，而且分析出的结果可以直接用。ECS是云存储，也是跨区域的，其原数据是同步的，它可以在不同的数据中心可以分析同一个数据集，这个是它本身的优势。但是卖的最多还是Isilon，因为它是分布式的文件系统，把HDFS协议做到系统里面去，不需要客户端，所以这个卖得更多一些，性能也会更好一些。它的生态做的还可以，跟厂商都有联合的销售合作。而且我看最新的博客，Cloudera合并以后会重新跟他们做认证，现在又推出新的认证协议做一些认证的东西，他们合作的还是可以的。博客里面我看到一些信息我也分析了一下，一共有2000个客户，但是跟他合作的只有100个客户，也就是说只有5%的用户了使用了共享的存储Isilon。

我觉得在Isilon在市场上应该占一半的份额，其他有一半的份额其他共享存储的，这样加起来也只有10%。用户现在布置Hadoop，更多是Hadoop DAS更多一些，如果是用分离的部署方案，用第三方存储可能我认为市场占比不超过10%。这个是我目前的观点，但是未来会做的更好一点。

IBM针对Object Storage开发了一个对象客户端，这个客户端有点像ECS的客户端，主要解决的问题就是解决对象里面不能更名的问题。大家知道Hadoop做完分析以后结果输入到临时目录里面，分析完以后才会输到正式目录里面。他把这个东西拷到正式目录里面有一个更名的过程，或者改一个什么文件目录，这些在对象存储是很难操作的，因为对象没有更改的操作，更名一个文件在对象里面只能把这个对象删掉，操作起来很费劲，所以说IBM的客户端主要是解决这个问题，现在新的S3A版本也会解决这些问题。IBM的测试跟老的S3A比性能还是可以的，他也应该开源了。但是我觉得市场上好像碰到不是很多。

IBM也有分布式的文件系统GPFS，也开发了专用的客户端，主要是对接HDFS。这个分布式的文件协议还是不太一样的，没有专用客户端不能把一些协议卸载过来。当然，IBM在Hadoop生态还是做的比较多的，比如说做了一些复制的工具，性能会好很多，可以做Hadoop数据迁移，如果把Hadoop数据牵过来的话比较方便。

Alluxio这个厂商是做内存加速的，也会出加速的产品，它可以用内存来加速，上面协议可做转换，直接对接Hadoop性能不佳的问题。它测试起来会发现用它的加速层以后性能跟本地的Hadoop性能还好一些，但是成本肯定会上去，因为毕竟是收钱的，而且是要硬件的加速。

华为目前在文件这块原来的9000出了一个客户端支持Hadoop的对接，对象里面还没有看到相应的客户端，可能还是用标准S3A对接，文件还是有客户端对接的。

MapR公司被惠普收购了，但自己做了HDFS的实现，相当做了一个存储层，把HDFS文件系统功能替换掉了，所以发行版是不用的HDFS的，全部自己做了。

Minio这个是开源的对象存储厂商，它没有专用的客户端，但是他做了一些优化，比如说有一个命令行的客户端，比hadoop fs好用。同时，也支持AWS的SQL Select语句，可以放到对象存储上直接上面执行，这个是做的比较好的地方。

8月份它刚刚发布测试数据，用的最新的S3A客户端，支持output commiter，发现性能要比Hadoop的性能要好，但是这个测试有一个小问题，不是对等的，他用了24个节点对应原来的12个节点，也就是原来计算存储是融合的，它又拿存储做了12个节点，相当于资源多用了一倍，这个性能说服力不是特别够。

Pure Storage这个没有客户端、有分布式文件，直接把NFS文件系统挂做本地盘用，这样还是解决不了扩展性的问题，但是可以形成快速的分析。NetApp这块做的比较好，有专门的客户端，而且有开源，上面做了很多的优化，只是针对文件的对接。

下面提几个SDS厂商，比如说XSKY，可以看到他们有一个专用的XSKY HDFS Client，有点对标EMC的ECS的HDFS Clinet。对象存储用标准的S3A客户端来对接Hadoop，路径比较长。

做了客户端以后相当于Hadoop直接可以和后面XSKY对象存储的OSD通讯，路径变短了，性能也提升起来了。我们看来一下他们的测试数据。

这边布了三个独立的data node，那边也用了同样的硬件做了对象存储存储，所以这两个配置硬件都是一样的，上面计算都是五台，测试结果跟很多情况下XSKY HDFS Client性能还是比Remote HDFS略好一些，但有一些场景可能会差一些。总的来说跟本地部署的HDFS性能是基本上是可以PK的，性能上还是可以的。

Redhat也做了测试，测试Ceph和Hadoop HDFS的性能比较，副本我们看到比HDFS低一些，但是Ceph EC性能是虽然只有一半，但是成本上优势比较明显。今天闪存峰会还要和闪存挂一点边，我们看英特尔和他们做了全闪存的测试，他们也测试了对接Hadoop的性能，他们发现用全闪存的方式还是有一定优势的，比如说同样十个节点的全闪配置，相当于60个节点的硬盘配置。也就是说，从TCO的角度考虑，用全闪Hadoop的场景，整个成本的节省还是比较可观的，节点数服务器就买少了很多。当然，这个东西也要根据自己的负载去做一些测试才能有一些比较，这个是英特尔的比较。

新的内存计算的应用，对对象存储这块很友善了，之前的方式做数据的分析总是输到临时目录里面去，要更名，最后输出结果更名的操作，你会发现对对象很不友好。我发现很多新的应用已经没有这些操作了，所以说对接对象性能也还可以，因为比较符合对象的操作思路。

现在业界看到Hadoop也出了很多的迁移的工具，原先有原生的迁移工具，还有一些第三方的迁移工具可做数据的在线迁移，用户部署Hadoop，肯定也需要做一个迁移的东西，所以说迁移这块比较成熟的。

最后给几个我自己的小结。

现在比较热的东西确实不是Hadoop了，比较热的东西是AI这些东西，所以说未来很长一段时间内Hadoop不会是一个热点，但是底层基础还在，比如说这些软件和Hadoop HDFS还是兼容的。

我们认为Hadoop本身作为一个很有效的软件堆栈，这个生态还是可以的，大量的数据存在HDFS上面，Hadoop还在发展，现在很多用户部署了Hadoop，数据已经存在上面了，如果有一些支持HDFS的共享存储的解决方案，你就可能比较方便帮助用户激活现在的数据，用现有的数据发挥更大的价值。

虽然现在有很多的标准的方法可以对接Hadoop HDFS，但是从我感觉来看标准的东西对接一般来说性能稍弱一些，如果是要性能的话要做一些专用的接口，充分发挥你这些存储的特点，甚至把这些分析卸载存储里面来。

我们认为未来很多用户会对对象存储感兴趣。

前面讲了对象存储本身就没有文件臃肿层次的关系，他的扩展性非常好，而且受互联网影响，大家很清楚对象存储肯定是未来的方向，只是有些用户应用没有改造完，所以还需要有文件接口帮用户先把老应用对接起来，在慢慢进行S3改造。对象存储最好有一些专用HDFS客户端，把这些新的分析应用也能接进来。

如果现有用户考虑共享对象存储，前面有很多迁移的工具，可以帮助用户把这个工具迁移到对象里面来。

现在看到了S3A也会成熟，用户选择可以很多，你可以用标准S3A对接Hadoop，性能做一些妥协，可以作为分层存储使用。

总结一下，数据湖是未来方向。最好的办法是建一个数据湖的底座，通过对象存储把数据先保存起来，以后有机会再分析。这种分析的对接，现在方案也是很多，生态也会越来越完善。今天的分享就到这里，谢谢大家。

主持人：谢谢西瓜哥，我们今天的会议就到此结束了。

未经允许不得转载：DOIT » 西瓜哥：凉凉的Hadoop，火火的后端存储