Gartner报告指出，85%的大数据属于广泛存在于社交网络、物联网、电子商务领域的非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。
最近几年，业界对大数据的关注度直线上升，全球各大IT厂商和企业纷纷跃跃欲试，都希望能够在大数据上获得更大的商机。所谓"大数据"有两个典型特征，一个数据结构复杂，数据挖掘过程困难;第二，数据量大，而且更新快，处理及时性要求特别高。
大数据带来的挑战和机遇
很多人会有疑问，首先，大数据与海量数据的区别是什么?大数据的数据量不一定有多大，但是数据结构一定是非常复杂，通常处理这些数据集通常要分配到几个系统耗费超过24个小时的时间才能完成。
另外，大数据来自于哪里呢?常见的大数据来自于我们看到的和看不到的地方，例如博客、点击流数据、机器和传感数据和社交媒体等非结构数据，包括企业的呼叫中心、RFID芯片、供应链应用工具和物流工具等，还包括发生在我们身边的短信、客户记录、ATM交易、监控摄像等，都是大数据的一份子。
很多专家认为，"大数据"的推动因素主要是来自一些大型公司，包括金融、银行等，以及一些电子商务和互联网公司，例如京东、谷歌、百度等。这些公司需要以非常优化的方式分析数据和让计算与存储配合工作，另外，一些来自健康医疗、地理空间影像和数字媒体等行业的各种大数据。
但现在的关键问题是，当前大部分企业并不拥有可以有效分析和利用这些数据的能力。对于企业来说，能够解析自己客户的每一个数字化的蛛丝马迹者必将拥有领先优势，这种能力不仅仅在于能够了解过去几个小时里谁在哪里买了什么东西，而且还能够知悉他们是否对此发表了微博、有没有在社交网络上发过相关相片。
而源自IDC一篇关于大数据的报告则一针见血地指出，大数据的商业价值是领军企业与其他企业之间最大的显著差别。那些没有引入新分析技术和新数据类型的企业，不太可能成为这个行业的领军者。
那么，针对大数据，当前有什么良药呢?针对大数据的现状，很多业界认为，大数据的分析是最直接有效的方法，但是这对于很多企业来说并非易事，可以说是挑战和机遇并存。大数据分析面临的最大挑战就是严重缺乏技术熟练的专业人才。更糟的是，新一代分析工具与传统BI和数据仓库所需要的熟练技能不尽相同。缺乏商业支持和与大数据分析有关的整体成本是大数据分析所面临的另外两大障碍。现在，如果使用分析的方法处理这个问题，就能从大数据中获得诸多好处，这些好处是传统BI和数据仓库技术所无法给予的。
未雨绸缪 英特尔提前布局大数据
如今，新技术的大量涌现以及IT硬件成本的大幅下降，让企业有机会可以更加高效、快速地存储、管理和分析各种类型的大数据，并且能够对大数据开始分析和筛选，这些都是他们过去无法想象的。
近年来，市场对于大数据需求的呼声越来越高，而未雨绸缪的英特尔也在很早就开始研发新技术不断提升芯片的处理性能，强化对于大数据处理的支持。可以说，从1971年推出全球首个微处理器后，在长达四十年的时间内，英特尔一直主导着芯片科技的发展。
特别是，2012年年初，英特尔至强处理器家族新成员至强E5系列处理器的发布，使得英特尔至强E5在整体运算性能和I/O带宽方面获得了大幅提升。基于Sandy Bridge-EP架构的至强E5系列处理器采用Romley 服务器平台，应用于二路及四路服务器。
在英特尔提前布局大数据市场的同时，也吸引来了众多合作伙伴。在大数据领域中，如甲骨文、IBM、微软、SAP、Teradata、EMC、Informantica等大批主流厂商开始行动，还包括当前一些大型互联网企业Facebook、Google和Yahoo等。
一方面，为了应对大数据的挑战，它们启用包括Hadoop、MapReduce等一些开源技术，毫无例外地部署了Apache Hadoop开源平台。这些企业的解决方案采用了新的技术并进行了一系列创新，包括内存数据库、海量并行处理分析技术，以及允许人们以过去无法想象的简单、高效的方法来存储、管理和查询大数据。传统的企业数据仓库技术面临种种不足，而这些开源的新技术一方面让企业避免支付大量的软件许可费，还为通用计算与分布式架构架起了一座桥梁。
如虎添翼 英特尔至强E5勇当底层尖兵
伴随着大数据时代的汹涌袭来，IT巨头纷纷通过收购大数据相关厂商来实现技术整合。其中，最大的收购要数甲骨文收购Sun、SAP收购 Sybase、EMC收购Isilon、Greenplum，IBM收购Netezza，Teradata先后收购了Aprimo和Aster Data两家大数据技术处理公司。
在这种种大数据解决方案中，有一种趋势脱颖而出–软硬一体化，成为当前大数据厂商追求的最高效率解决方案。软件巨头SAP收购了数据库厂商 Sybase推出了软硬一体大数据处理方案HANA，甲骨文收购Sun之后推出了软硬一体的Extdata，IBM推出大数据处理软硬一体机Netezza解决方案。
特别提出来的是，2012年，微软正式发布SQL Server 2012之际，也与服务器厂商合作推出第一款大数据处理的软硬一体机。为了最大化体现SQL Server 2012处理大数据的优势，微软从2011年开始与硬件厂商紧密合作推出一整合软硬件的解决方案，在服务器中内置微软SQL Server，并且内置一些管理工具，加速大数据处理效率。其中，微软在SQL Server数据库平台添加的Hadoop连接器。该连接器可以让企业将海量的数据在Hadoop集群和SQL Server、并行数据仓库之间进行自由的移动。同时，还可以利用Hadoop连接器数据双向移动的特性，管理海量的非结构化数据集。目前，在全球范围内，微软大数据软硬一体化已被包括沃尔沃汽车、露华浓、赛诺菲巴斯德、及LG化工在内等数百家行业领先的客户部署并用于生产。
在众多大数据软硬一体化解决方案的背后，这"硬"的成分必须有一颗强劲的"芯"作为支撑。微软中国SQL Server 高级产品市场经理郝雪莹就曾表示，大数据处理要求快速、高效，它对于服务器性能要求非常高。微软在选择合作伙伴的时候，非常看重服务器处理器的综合性能。她表示，英特尔刚刚发布的新一代至强E5处理器很让她兴奋，它一方面可以满足应用中对数据库高可用、高性能的要求，并且可以强有力地支撑企业进行大数据分析和处理的操作。
她特别提到了新至强E5-2600，虽然相较上一代至强5600处理器制程工艺同为32nm，但是高性能计算以及内存数据的处理能力的表现确实超乎寻常。如，E5-2600处理器上的QPI I/O带宽都为CPU服务，从这点来说，CPU之间的互联带宽则提升了不止一倍;浮点运算是一项内存敏感的应用，就内存而言，E5-2600比5600性能上提高了60%，而且QPI带宽也提高了25%。另外，相对于至强5600，E5-2600在同等功耗水平下，整数性能提高了50%。
可以说，正是由于新一代至强E5的加入，让众多大数据软硬一体机解决方案如虎添翼，并且得以彰显其解决方案最大化的威力。得以让"张牙舞爪"的大数据，服服帖帖地被企业所驯服。
我们不得不说，大数据是一股突破性的经济和技术力量，它为IT支持引入了新技术、新思路以及新基础架构。大数据软硬一体机解决方案最大化地消除了传统的计算和存储的局限，借助于不断增长的私密和公开数据，一种划时代的新商业模式正在兴起，它有望为大数据客户带来新的实质性的收入增长点以及富于竞争力的优势。
未经允许不得转载：DOIT » 传统技术不给力 软硬一体机智斗大数据
