大数据时代的IBM Platform Computing
DOIT原创 崔昊 发表于:12年11月06日 15:00 [原创] DOIT.com.cn
大数据时代的IBM Platform Computing
“我们Symphony是十年前发明的,实现了Parallel SOA结构。其实很简单,就是有一个客户端不断的给它喂数据,然后服务器端有成千上万的服务在接收数据,最后把数据汇总起来,应用结果就出来了。”王敬文对IBM Platform Symphony的轻描淡写,并不能盖过这个并行SOA架构所实现的高性能,这是可以让“一个应用包含数以万计的服务器端调用的”Parallel SOA架构。
据王敬文介绍,IBM Platform Symphony目前在一个机群内可以架构多达四万个核心,300个并行SOA应用共享,1毫秒的任务延迟时间,17000秒任务调用吞吐量,每个应用可以驱动多达一万个服务器端程序调用,在大数据时代之前,就已经是“金融行业公认的最强大的风险分析应用支持平台”。

IBM Platform Symphony并行SOA架构
而随着大数据时代的到来,IBM Platform Symphony在几年前推出了一个新的MapReduce子集,王敬文表示,IBM Platform Symphony是当下大数据时代非常有效的一个MapReduce应用加速平台,它可加速数十个并行应用程序,以加快实现成果并更好地利用所有可用资源。
我们知道,对于支持网格的应用程序,最大化性能和规模是关键。但某些网格产品强制限制架构,要求特定的操作系统或者特定的开发者工具。面对严峻的经济压力,企业用户都希望有更好的方式来改善 IT 性能、减少基础架构成本和开支,并满足更快找到答案的需求。而利用优先级更改时灵活的适应性,IBM Platform Symphony 可以依据您定义的策略和优先级,每秒将 1000 余个计算引擎重新分配到不同的工作负载。
而在Advanced Edition中,IBM Platform Symphony包含兼容 Apache Hadoop 的 MapReduce 实施,针对低延迟、可靠性和资源共享进行优化。开放源码解决方案不具备自动重新启动失败的服务的功能,与之不同的是,该功能内置于 Platform Symphony 的 MapReduce 实施中,从而提高了可靠性。
另一方面,IBM Platform Symphony支持各种类型的数据,与开源的MapReduce只支持开源的HDFS不同,IBM Platform Symphony支持包括IBM GPFS、HDFS、数据仓库以及其他数据来源和输出端,甚至“数据的输入端和输出目标的类型可以不同”。
而谈到与Hadoop的关系,王敬文表示,“Hadoop的MapReduce不是竞争关系”,他表示,Hadoop的 MapReduce现在是一个实际上的编程标准,IBM Platform Symphony与之是相兼容的,在Hadoop上已经写好了的程序代码,在IBM Platform Symphony的加速环境中“根本不需要改一行的代码”。
“(IBM Platform Symphony)并不是和Hadoop竞争,是实现了更好的Hadoop。IBM我们的大数据也是用的Hadoop,现在只是用了Symphony把Hadoop加速了,没有竞争关系。”王敬文表示,IBM Platform Symphony与Hadoop是一种加速与被加速的和协同关系。
对于处理“大数据”来说,最有发展前景的技术之一是Apache Hadoop软件和MapReduce框架。然而,现有的Hadoop软件还缺少金融服务企业大规模部署MapReduce应用时所需的企业级鲁棒性。IBM Platform Symphony MapReduce是一款拥有增强版MapReduce框架的企业级产品,其功能与Apache Hadoop的功能完全兼容,解决了组织机构在目前可用的ApacheHadoop环境里部署MapReduce应用所面临的主要运行风险。
除此以外,根据资料显示,IBM Platform Symphony MapReduce采用开放式架构,支持多种MapReduce应用,确保Hadoop应用与基于Java的MapReduce作业之间百分之百的兼容性。与此同时,其为Hadoop文件系统提供了在Hadoop分布式文件系统里自动实现故障切换的功能,并提供了文件系统恢复和相关作业恢复功能。
在谈到IBM Platform Computing的中国发展时,IBM系统与科技部大中华区新兴业务销售总经理陈伸一表示,受限于原来的销售体系和销售团队的规模,IBM Platform Computing原来在中国主要是固守在传统的高性能计算领域,即便是在石油石化、航空航天领域已经销售了十年,但销售范围仍然十分有限,在进入IBM之后,技术计算商用化、普及化的速度将快速提高。
“进入IBM以后,IBM的销售队伍非常强大,覆盖非常广阔。举个例子来讲,在中国,我们进入了半导体行业,进入了生命科学基因研究领域,进入汽车制造业领域。另外两个领域是金融、电信,还有刚才讲的政务。”陈伸一表示,除了高性能计算中心,IBM Platform Computing将在IBM的集团优势下,继续发展高端制造、金融电信、航空航天等行业,并将业务拓展到精密仿真、数据实时分析等等领域中去。
