金山云玩转了Hadoop，英特尔为什么高兴

因为，前不久金山云与英特尔宣布了彼此的深度合作，金山云托管Hadoop（Kingsoft MapReduce，简称KMR）解决方案是结合双方技术优势共同打造的、基于英特尔架构的大数据解决方案。对此，金山云大数据和AI技术总监张东进、金山云大数据产品经理杨亮分享了该解决方案目前的部署情况与为用户带来的实际应用价值。

一般具有显著划时代的科技创新都会有个规律，最初萌芽的时候带来人类的无尽畅想，认为其甫出便无所不能，但产业的狂躁过后便是冷静，落地的层级表现也就逐步清晰了。

例如无人机，刚出现的时候就被很多专家看出要重塑快递、交通、代价等多个行业，待到后来率先被亚马逊及同行证实其仅在送货上进步还有巨大的空间。

人工智能也一样。大数据时代的数据浇灌，让人们觉得其是拯救企业走出数据创新樊笼最为得心应手的杀手锏。但玩转了一圈Hadoop后，认识到，驾驭离梦想还是有点远。所以，公有云厂商们相信，这会是市场在很长的时间范围内都会有的蓝海。

为此，金山云认为，企业从云计算走到人工智能，他们的深度学习平台KDL价值不可或缺。“我们这个平台（KDL）可以深度助力企业拥抱AI。它是一个机器学习，尤其是深度学习的任务托管平台，底层是基于金山云高性能的异构计算集群，融合了英特尔等顶级合作伙伴的领先技术，将为我们的客户带来非常高的价值。”张东进这样介绍KMR。

看看热词曲线，云计算、大数据与AI相继而出。产业界讨论也逐渐认为，大数据是云计算走向人工智能必不可少的中间路径。张东进介绍，金山云多年的发展，也是很好地遵循了这个发展路径需求。初期投入IaaS虚拟化，“让企业将其业务放到云端，降低企业的部署成本，并且加速企业业务的发展。”进而玩转大数据，让数据变现，“要有利用这些数据驱动企业进行决策的能力，以Hadoop为代表。” 现在看到人工智能是接下来的未来，“人工智能的需求也在快速增长，我们发现人工智能本身其实是一个对性能和规模有非常大要求的行业，这就是非常适合我们天然上云的一个行业。”

简单理解，玩转Hadoop就是要解决实现AI的成本、效率、安全、性能等方面的巨大挑战。例如张东进强调，金山云提供的全功能的深度学习集成环境，全流程优化，所以从整个物料的预处理、物料的存储、物料的训练、评估、上线预测等等方面都提供完整的支持。还有，人工智能的一个训练任务可能长达一周或者是半个月，而金山云可以提供一个企业级的数据加密和企业级HPC集群的安全、最稳定环境，并且可以做到分钟级的自动恢复，不耽误人工智能出活儿。

除了KDL，金山云还为行业提供了各种中间层，包括提供基础的视觉、听觉、自然语言、VR/AR等等技术能力。同时，金山云还有一些上层行业的AI解决方案，针对医疗、金融、交通、物联网等行业提供解决方案。

而这一切一切的背后，英特尔“inside”出力不小。金山云KMR，该解决方案采用基于英特尔® 至强® 处理器E5 v4产品家族的硬件平台，是一个可伸缩的通用数据计算和分析平台。它以Apache Hadoop和Apache Spark两大数据计算系统为基础，通过自动调度弹性计算服务（KEC），能够帮助企业用户快速构建分布式数据分析系统。此外，结合金山云所提供的多种云服务产品，还可形成端到端的数据分析处理解决方案，进而帮助用户更加灵活方便地收集和管理数据，花费更低的成本，获得更高的数据可靠性。

基于英特尔与金山云一直以来的紧密合作，在KMR大数据解决方案的构建过程中，英特尔不仅为金山云提供了性能强劲的硬件平台，在针对Apache Hadoop、Apache Spark等开源数据分析技术的优化、创新与应用等方面也提供了有力的支持与帮助。目前，该解决方案已经在当当、WPS等多家行业用户中应用部署。以当当为例，KMR大数据解决方案帮助其有效缓解促销期间IT系统的压力、大幅减少系统维护的工作和资源拥有成本，并根据业务需求实现了资源配置的灵活调配。

杨亮透露，当当网已经是KMR的受益者了。“当当网在电商大促的时候，通过专线把实时数据流打到我们的KMR集群做处理和分析。处理的结果相对来说数据量会比较小，也会通过我们的专线写回到当当网的数据中心。所以对于用户来说，首先它的数据是不需要搬迁的，第二个，他的核心数据也可以保留在自己的数据中心，在数据安全方面也会更加放心。”

未经允许不得转载：DOIT » 金山云玩转了Hadoop，英特尔为什么高兴