大数据时代的分析师 Splunk大数据研讨会

Splunk是一家提供大数据分析服务的软件提供商，成立于2003年，总部位于美国旧金山，与此同时，Splunk也是第一家上市的大数据处理公司。Splunk公司主要客户来自财富100强公司，全球78个国家的超过2600位客户在使用Splunk,包括瑞士信贷、美国银行、Comcast、哈佛大学、Salesforce.com和Zynga等类似的客户。

本周二，Splunk公司在北京举办了一场“大数据如何落地研讨会”,为大数据技术在中国企业的落地带来了诸多的前沿观点、可以参考的实施路径以及丰富的案例。

大数据时代来临 催生数据挖掘产业发展

在当前全球经济形势下行的背景下，中国的经济形势也不甚乐观，但正因为如此，中国企业对挖掘大数据价值的渴求尤为强烈，希望以此提高客户体验，促进业务的增长。根据国内市场研究机构计世资讯的研究，2012年中国大数据市场增长率为52.4%,市场规模达到3.2亿元。55%的受访企业表示，计划在未来一年内部署大数据应用。

随着大数据的发展，其应用场景也越来越多，涵盖从用户行为分析到安全监控、舆情监测等等各方面，计世资讯计算机系统研究部总监丁震表示，用户不仅利用大数据获取更大的数据价值，还利用它整合内部的工作流程，提高效率和可控性。

在发展的过程中，大数据的需求已经从早期的互联网、电商领域转向金融、电信、政府、能源等诸多传统的行业。尽管用户认为大数据能够提高决策和数据分析的及时性，但丁震指出，用户实际应用仍十分谨慎，这其中有用户认识、案例缺乏、引入新技术的风险和经济环境等原因。

解读Splunk实时大数据解决方案

Splunk的主要业务是向企业及客户提供及其数据引擎。Splunk可以帮助企业收集、编索并智能化的分析由网络、应用程序以及移动设备等产生的机器数据。Splunk的软件产品让用户监控、检索、分析、图示化实时和历史机器数据流，并最终帮助企业决策者做出准确的判断。Splunk实现了运营智能，商业和IT人士都可以实时地分析数据，并且提高运营效率。客户、个人、组织都能够在各个方面提高运营效率，比如说，可以减少成本，提高服务质量，减少风险，同时获得洞察力。

针对中国用户的上述困扰，Splunk带来了一个完整的解决方案。与一些BI(商业智能)、数据仓库和数据挖掘厂商的新解决方案着眼点不一样，Splunk产品营销副总裁Sanjay Mehta认为，大数据的落地，可以从机器数据着手，通过Splunk实时的“引擎”,将已有的数据组织起来，帮助企业提高效率，降低成本。

Splunk定义的机器数据，包括了文件或者文件目录、syslog、Windows事件日志、Windows注册表、Windows性能指标、Unix/Linux日志和指标、文件完整性监视、配置文件、OPSEC LEA、Cisco设备日志、IIS日志、Apache日志、WebSphere日志/指标和其他数据、以及任何其他数据。

对企业来说，设备数据是非常宝贵的资源。设备数据中通常都明确地记录了所有的用户交易、客户行为、设备行为、安全威胁、欺诈活动等各种信息。这些数据有着动态、非结构化、非标准化的特性，是构成用户企业中数据的主要部分。

很少有企业能从设备数据中挖掘出他们所需价值。对于这种大批量、可变的动态数据类型，当前鲜有有效的数据分析、管理和监控解决方案。Splunk作为一款设备数据搜索引擎，正是为解决设备数据带来的挑战应运而生的，Splunk可收集、索引并整理所有非结构化的时序设备数据。Splunk可实时搜索、报告、监测并分析实时和历史数据。让您实时了解IT系统和基础架构中正在发生和已经发生的事件。

使用Splunk可快速浏览并掌握IT信息和业务状况，从中获得有用价值。而解决应用程序问题并调查安全事故所花费的时间，从几天或几小时缩短到几分钟，Splunk将有效帮助您避免服务降级或中断，以更低的成本达到合规性需求，并赢得宝贵的业务前瞻性。

快速获得信息和价值 Splunk Hunk测试版

Splunk高级产品副总裁Guido Schroeder表示：“Hunk是Splunk产品系列中新增的重要产品。我们的客户喜欢Splunk软件让他们轻松地分析和可视化数据。他们问我们是否也能够帮助他们处理在Hadoop中大量的低成本数据库。为此，我们利用获得专利的全新虚拟索引技术扩展了我们的技术。Hadoop是一项潜力巨大的技术–如果你能够获得数据并进行处理。我们开发了一体化软件Hunk,帮助机构向更广泛的用户群提供其数据资产的信息，无需定制开发、成本高昂的数据建模或冗长的批处理迭代。通过提供互动式数据探索、发现和分析，Hunk让用户能够在Hadoop中从原始数据中获得有价值的信息。”

Hunk让组织机构能够更快速、更简单地探索、分析、可视化和分享存储在Hadoop中的数据。其主要特性包括：

Splunk虚拟索引(正在申请专利)：Splunk虚拟索引技术实现了无缝使用Splunk的所有技术，包括Splunk搜索处理语言(SPL)，它可以实现互动地探索、分析和可视化存储在任何地方的数据，就像它们存储在Splunk Index中一样。Hunk使用这项基础性技术，是来自这个创新的第一款产品。

Hadoop中数据的互动分析：Hunk能让使用者进行深分析、检测模式并发现异常。使用者可以利于相互关联的数据找出趋势并发现有利的模式。利用Splunk DB Connect连接来自外部关系数据库的数据，从而进一步丰富信息。

Splunk解决方案助大数据用户实现落地

Sanjay Mehta介绍了Splunk的一系列的案例，例如，帮助百事公司实现了实时运营可视化，百事公司销售人员使用Splunk手持终端了解销售状况，可以看到销售实时数据，以确保其销售工作的效果和效率，所有的数据来源都是通过基础架构而来，而非关系型数据库;帮助salesforce.com实现全商务领域运营情报，将问题解决率提高96%,为其10多万家客户提供更好的体验……

此外，Sanjay Mehta还分享了Splunk产品用于从电梯运行数据监控中获得预测信息、通过医疗设备更好地了解患者状况以及分析建筑物感应器，以降低能源成本等应用场景。

国内的上海天旦网络(Netis)和北京华夏威科软件技术有限公司的代表分别在现场介绍了Splunk大数据技术在不同行业的应用。

上海天旦介绍了Splunk在一个网上支付平台的运维管理工作的支持。华夏威科Splunk产品经理王文雅表示，在国内某大型银行，通过单一的Splunk平台，跨平台收集不同格式的日志，对每天20G的数据进行收集、管理、实时展示分析，以及建立关联、历史数据比对等等，大大提高了IT人员对企业环境的可见性。而这一切的工作，Splunk Index Server仅仅需要使用2台4个CPU、4G内存的虚拟机(VM)来支持。

当然，Splunk的案例还有很多。截至目前，Splunk的客户数量超过了5600家，分布在全球90多个国家。其中，中移动、中电信、招行、交行、广发、联想、东航、支付宝和国美在线等是Splunk在中国地区的主要客户–同样覆盖了电信、金融、能源、互联网等多个行业。

未经允许不得转载：DOIT » 大数据时代的分析师 Splunk大数据研讨会