Hadoop白皮书:深度解析英特尔Hadoop发行版

众所周知,Hadoop的一大特点就是开源,也就是说几乎人人都能免费获得Hadoop的源代码,自行开发。不过这样做对于企业技术团队的实力要求较高,不是随便搞出来的应用就能够满足生产环境需求的。在本文中,我们将以Intel Hadoop发行版为例,讨论一下商业版本Hadoop存在的价值和意义。

英特尔 Hadoop 发行版产品与服务

Intel 提供给客户稳定可靠易用的 HDFS、HBase 和 MapReduce 框架商业版本,包括:

分布式文件系统(HDFS)商业套件

• 可自我修复的高带宽集群文件存储系统

• 高可扩展性,无需停机无缝动态扩容

• 高容错性,数据自动复制和校验

• 改进的可靠性和扩展性

分布式数据库(HBase)商业套件

• 分布式、面向列、多维度的数据库系统

• 数据自动切分和分布存储

• 高可扩展性,无宕机线性扩容

• 高性能并发读写

分布式计算框架(Map/Reduce)商业套件

• 高度并行和可扩展的分布式批处理计算框架

• 高容错能力,支持任务自动迁移和重试

• 公平调度算法,支持任务抢占,兼顾长短任务

• 调度任务到最近的数据节点,有效降低网络带宽

• 灵活的资源分配和调度,达到资源利用最大化

分布式数据仓库(Hive)商业套件

• 高性能分布式海量数据仓库

• 强大的查询与分析功能

• 类 SQL 查询语言

分布式数据分析(Mahout)商业套件

• 可扩充能力的机器学习类库

• 实现了一些可扩展的机器学习领域经典算法

• 有效地使用 Map/Reduce 实现高性能计算

专业咨询服务

• 项目立项阶段: 架构设计、项目规划、容量设计

• 问题分析阶段: 分析系统需求、定义数据处理方案、提出集群系统方案、优化方案设计

• 功能实现阶段: 提供问题解答和咨询

售后技术支持

• 远程 8×5 电话和 Web 网络支持

• 现场支持

• 产品升级服务

• 安装调试服务

由上所述,商业版本Hadoop除了带有更完善的各种套件之外,还包括专业的咨询服务和技术支持。在这一点上比较像开源的Linux和Red Hat、Suse等企业(商业)版本之间的关系那样。下面我们再看看使用商业版本Hadoop的理由,举例说明它们具有那些优势?

为什么使用 英特尔 Hadoop 发行版

英特尔 Hadoop 发行版具有下列优势:

• Intel 的 Hadoop 发行版是经过测试和验证的稳定版本,在客户生产环境成功部署运营,可以确保客户生产环境 7×24 小时不间断运行。

• Intel 的 Hadoop 发行版包括了 Intel 针对现有客户在实际使用中出现问题的解决方法以及大量改进和优化。这些改进弥补了开源 Hadoop在实际使用中的缺陷和不足,并且包含了大量的性能优化。

• Intel 的集群管理工具和安装工具简化了 Hadoop 的安装和配置。可以根据用户的硬件环境自动生成最优化的集群配置,充分发挥集群的计算能力。

• 基于 Intel 在云计算研发上的经验积累,提供从项目规划到实施各阶段专业的咨询服务,帮助客户构建高可扩展高性能的分布式系统。

• 结合 Intel 的硬件部门,提供全面的软硬件解决方案设计。