平台解析:Netezza不可思议

DOIT原创 崔昊 发表于:11年12月14日 00:12 [原创] DOIT.com.cn

  • 分享:
[导读]IBM Netezza产品管理和产品市场营销副总裁Phil Francisco认为,虽然竞争对手势头正猛,但是八年来建立的领先优势与用户基础,让Netezza在市场上并无隐忧。
平台解析:Netezza不可思议

与竞争对手的X86平台不同,Netezza平台虽然同样基于标准X86平台,但是其设计理念糅合了标准化平台、专用协处理器(加速器)、软件整合平台等多种概念,作为数据仓库“设备(Appliance)”而非数据仓库硬件平台或单纯的软硬件整合。

Netezza面向数据仓库应用,将数据库、数据处理、数据存储以及数据挖掘集成在一个优化的、紧凑的Appliance系统中,而非一系列的硬件平台或是非紧耦合的解决方案,其大致基于三点理念设计:1、数据处理尽可能接近数据源:利用现场可编程逻辑门阵列(FPGA)组件尽早的将多余的数据从数据流中过滤掉,以减少其对硬盘空间的占用;2、平衡的大规模并行架构:Netezza的架构结合了SMP(对称多处理)和MPP(大规模并行处理)的优点,建立了一个能以极快的速度分析PB量级数据的设备。

该架构中的每一个组件,包括处理器、FPGA、内存和网络连接都经过了精心的挑选和优化,在硬盘物理条件许可的情况下,以最低的成本和能耗快速地处理数据;3、拥有高级分析的平台:MPP和在接近数据源的地方进行数据处理的方法也同样适用于针对于大型数据集所进行的高级分析,Netezza系统能够轻松地将复杂的非SQL算法嵌入到MPP流的处理组件中,并且没有并行程式或网格程式所具有的典型复杂性。

除此以外,其设计理念还包括简单的设备、加快创新和性能提升、灵活的配置和极强的可扩展性。但上面所说的三个特点是Netezza之所以称为“Netezza”的重要原因,没有之一。

Netezza与纯X86平台最大的不同就是构成被称为涡轮的MPP引擎的S-Blades智能处理节点,在每一个S-Blades节点中,Netezza都配备了多核CPU、多引擎FPGA和GB级别的RAM,而FPGA更是成为这个X86平台中做特殊的组成部分。

按照IBM官方的说法,FPGA主要用于“加速数据的处理速度”,作为协处理器,这块FGPA实际上基于其本身的现场可编程的特点,可以加快改造后的PostgreSQL数据库的处理速度,而每个刀片上都配置8个FPGA的“高端配置”,将数据从存储中调出并进行初筛的速度大为提高,这至少促成了Netezza的两方面能力:一是比传统系统超过10倍的速度提升(事实证明,紧靠X86处理器还有有些力不从心);二是借助如此快的数据筛选和提取速度,使得Netezza目前最高端版本的TwinFin(系统节点)可以达到PB级别的客户数据容量。

而在Netezza中,结合了SMP(对称多处理)和MPP(大规模并行处理)混合结构实现了系统高可用性、接口标准化、负载均衡任务分配及高速智能处理的功能, SMP+MPP的混合架构功不可没——据IBM Netezza大中华区渠道经理郑晓军表示,Netezza利用X86处理器架构了SMP和MPP架构,而非POWER+X86的架构,但是去可以得到同样的高性能和高可靠性,这不得不说是Netezza设备上的一个亮点。

作为数据仓库一体化系统,其工作内容即不仅仅限于SQL语句,这也就要求Netezza同样支持高速、高可靠的非SQL算法,而Netezza系统能够轻松地将复杂的非SQL算法嵌入到MPP流的处理组件中,且没有并行程式或网格程式所具有的典型复杂性。这种针对庞大的数据量能够以“流水线”方式对复杂数据进行分析处理的能力,能够消除将数据转移到单独硬件的延迟和开销, 为数据仓库和高级分析方法的融合提供了一个理想的平台,同时其性能也提高了几个数量级。

从以上几点可以看出,Netezza与传统的数据库、数据仓库解决方案不同,从平台设计、架构搭建初始,就是按照数据处理、分析、挖掘和存储来进行设计,而非面向通用的计算或存储应用,可以说是“专款专用,定制化设计”,SMP+MPP的混合模式、FPGA的引入以及大容量的RAM都是为加快此类应用的速度和效率而设计——Netezza可能不是一款好的通用系统,但高度定制化的Netezza想必会是一款好的数据仓库设备。

这也显示出了Netezza与竞争对手的最基本的不同:为应用而定制硬件,而不是为了硬件部署应用——这完全是两个概念,对于数据库应用来说,加快SQL语句执行、进行数据筛选和负载均衡是必备,针对于此设计的系统能够更适合于此类型的应用,这也就是为什么Netezza宣称能够达到普通系统10-100倍的原因之所在了。


[责任编辑:崔昊]
Niky
新的昆腾正在围绕着StorNext为主的大数据相关技术、产品、解决方案展开,无关乎磁带还是磁盘,无关乎硬件还是软件
官方微信
weixin
精彩专题更多
存储风云榜”是由DOIT传媒主办的年度大型活动。回顾2014年,存储作为IT系统架构中最基础的元素,已经成为了推动信息产业发展的核心动力,存储产业的发展迈向成熟,数据经济的概念顺势而为的提出。
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
联想携ThinkServer+System+七大行业解决方案惊艳第十六届高交会
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技术有限公司 版权所有.