更多大数据 更多Netezza
更多的大数据,需要更多、更大的Netezza。
据Phil Francisco表示,Netezza很早就认识到大数据是未来的趋势,因此在设计TwinFin的时候,就考虑如何设计高容量、高性能的高端版本,目前除了供研发测试使用的Netezza 100和面向1TB-1.5PB级高性能数据仓库和分析的Netezza 1000,今年夏天“Netezza推出了High Capacity”,“它将提供500TB到甚至是10PB以上的数据仓库容量,” Phil Francisco透露。
“Netezza ?High Capacity,是500TB到10多个PB量级的,它是在一体机里最大的数据存储,适合存储归档历史数据,以及作为现有的数据仓库,在数据容量上有无限扩展的产品。” 在High Capacity里,Netezza追求的是对数据量的扩展和存储,因此采用的硬盘容量要大于其他两个版本,同时每一块刀片所管的磁盘数比现在的版本管的多,相比之下,每一个机箱里刀片的数量反而是减少的。
Netezza High Capacity Appliance(Netezza高容量设备)有双机架设置,也有4机架设置,最终可以扩展到6个或8个机架,同时比起平常的TwinFin设备,这款设备的磁盘容量是TwinFin的四倍,该设备采用双插槽HS22刀片和四核Xeon 5600处理器,并配置了一个现场可编程门阵列(FPGA)协处理器。
High Capacity Appliance的一个机架有4个S-Blade,共有32个处理器核和32个FPGA,在12个磁盘机箱中可存储144TB未压缩数据,每个机箱有12个2TB驱动器。该机架同时还包含冗余主机服务器以便载入数据并将工作负荷在集群上予以分配并规划数据查询。C1000-8型号有2个机架,总共有64个处理器核,64个FPGA,可存储288TB未压缩用户数据或者1.1PB的压缩后数据。C1000-16有4个机架,而未来的C1000-24将有6个机架,C1000-32最终将有8个机架。
事实上,IBM还计划推出C1000-40、-48、-64、-80,扩展到可以在20个机架上存储超过10PB的数据并使数据载入速度达到每小时5.5TB。
但High Capacity Appliance庞大的容量背后,确实下降40%的处理能力——容量如此彪悍,处理性能的下降也就在意料之中——但Phil Francisco表示,过分追求性能是对High Capacity Appliance认识的误区。
“High Capacity Appliance主要目标就是容量,是存储、归档。”Phil Francisco表示,高容量的设备要和高性能的设备搭配起来,显然High Capacity Appliance要与性能耀眼的Netezza 1000共同合作:“需要与Netezza 1000搭配起来使用,High Capacity更多的是在做归档、历史数据、访问频率低的那块的数据。”换而言之,High Capacity Appliance追求的是数据量的扩展和存储,而与Netezza 1000搭配则很好的实现了性能与容量的“双丰收”。