DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

大数据改变IT运维 腾讯系创业公司日志易的创业故事

互联网创业领域有两个特点,其一,BAT系创业人物,以及第一代门户中的新浪系、搜狐系、网易系创业人物,一个异动会迅速成为热点;其二,中关村创业大街是一个“集散地”。

11月-12月,中关村创业大街脚步匆匆的创业者,会发现在创业大街液晶显示屏循环播放着一家叫日志易的公司介绍。在视频配音中,有一句很简洁的词:日志易,日志分析更容易。

0

这是10月12日-18日在北京举行的的“2016国家大众创业万众创新活动周(简称‘国家双创周’)暨中关村创新创业季”推出的“最具创新潜力创业企业榜单”入选企业展示活动。

这不是日志易的公司形象首次在中关村创业大街出现。半年前,中关村创业大街南街口的大屏,同样展示过日志易及创始人陈军,彼时的主题,是“腾讯系创业风云榜”。2009年-2012年,日志易创始人陈军在腾讯负责数据中心网络平台部,并同时在搜搜任职。

1

“我们已经申请了12项日志处理方面的技术发明专利,6项软件著作权登记。日志易在2014年成立之初即获得朝阳区政府的‘凤凰计划’初创企业资助,去年获得北京科技型中小企业促进专项(创新类)奖金,今年入选北京中关村前沿企业,获得中关村管委会500万元资助。”日志易创始人兼CEO陈军告诉记者。

不仅仅如此。2014年日志易刚成立时,已经获得真格基金等天使投资人1400万天使轮融资,2015年12月,获得红杉资本A轮6000万融资。2016年,预计公司营业收入将超过千万元。

资料显示,日志易的海量日志搜索分析产品,能对日志进行集中采集和实时索引,提供实时搜索、分析、可视化和监控告警等功能,帮助企业用户在统一平台实时管理日志数据,进行线上业务实时监控、异常原因定位、数据统计分析及安全与合规审计。

看起来,这同样是一家技术立足的创业公司。而从其融资、业务收入初步判断,这也是一个走在健康发展轨道上的初创企业。

3日志易创始人兼CEO陈军

日志,是IT运维的基础。而无论是IT运维管理解决方案,或是日志管理解决方案,目前市场可以用百花齐放来形容。作为后来者,日志易为什么能立足?又凭什么能脱颖而出?

大数据改变IT运维,ITOM发展到ITOA

大数据改变了一切,IT运维也不能例外;日志易,就与日志大数据紧密相关。

所有CIO、CTO或IT Manager,恐怕没有不知道IT运维管理(ITOM,IT Operations Management)。
这是一个古老、庞大的行业。从最基础的IT维护,到目前的运维监控、自动化、分析,运维工程师通过对运维数据、系统负载、安全等各方面的即时把控和处理,以保证企业业务与管理的正常进行。

但是,随着大数据的出现,近两年,在ITOM之外,出现了一个新的行业——ITOA(IT Operation Analytics),这就是IT运维分析。

IT运维分析,就是把大数据的技术运用到IT运维产生的数据里进行分析。分析的作用,就是更好地进行运维监控、安全审计、业务分析等。

ITOA把大数据应用到运维里,所以数据源就很关键。而数据源最主要的来源,就是日志与网络抓取。可以说,日志,是ITOA最重要的数据源。

其实,在ITOM阶段,日志管理同样重要并且也很成熟。那么,为什么ITOA依然会出现并且发展迅猛?事实上,这与IT运维的精细化密切相关。

实时搜索引擎:日志3.0到来

我们知道,日志也叫机器数据,因为他们都是网络设备、服务器、操作系统、应用系统在操作或运行中产生的数据,带有时间戳。不同的设备、系统,产生不同的日志文件,通过日志文件,可以查看、监控设备、系统的运行状况,是ITOM的基石。

不难想象日志管理在企业ITOM中的重要性。然而,在过去,日志管理面临各种或大或小的问题,给ITOM带来挑战。这些问题可以总结为以下几个方面:

首先是散,日志散落在不同的设备里,会被删除和覆盖;工程师需要登陆到不同的服务器,用命令或脚本查看;其次是乱,日志数据来源多样、格式多样,是完全的非结构化、自由文本;第三是难,提取分析很困难,故障根源分析、不同系统之间的关联分析都很困难;第四是慢,用批处理的方式来分析比较慢,实时性很差。

为了解决“散”的问题,十几年前,业界开始用数据库的方法来存储日志。但是数据库本质上是处理结构化数据的,其固定表格的方式,无法适应日志的任意格式和大数据量特点。即使这个过程通过程序进行自动化处理,依然不能改变数据库管理的局限性。

“这是日志1.0的阶段。目前市场中基于日志的审计产品都是基于数据库的。这种数据库的表格一般就是三列,第一列是主机名,第二列是时间戳,第三列就是日志本身。但实际上没有对日志本身进行结构化处理。”日志易CEO陈军说。

8-10年前,随着Hadoop的出现和发展,业界开始用Hadoop或NoSQL来处理日志,但Hadoop只是开发框架,需要研发团队进行开发,而且也是批处理,实时性差,更主要的是,不支持全文检索。这是日志2.0阶段。

近几年,日志3.0已经到来,其代表就是美国公司Splunk。Splunk的核心是“实时搜索引擎”,主要有三个特点:实时,海量,支持全文检索。这个引擎与Google或百度的搜索引擎不一样,后者的搜索引擎是批处理的,无法解决实时性问题,都有一定的滞后性。

通过实时搜索引擎,机器或系统日志出来几秒钟,就能搜索和分析,马上看到相应的结果。

日志易所做的,就是“可编程的实时日志搜索分析引擎”,不单实时,而且还在搜索框实现了脚本处理语言,叫做SPL(Search Processing Language)。

SPL,是日志易的核心技术。“日志易对标美国Splunk公司,因此我们的技术跟美国是平齐的,在国内仅此一家。”陈军表示。据悉,日志易于2014年10月推出第一代产品。

我们也许会问:陈军为何会选择日志这个细分行业切入?这是因为,从初入职场,陈军即与日志结下不解之缘。

源于职业经历

1998年,陈军从美国南加州大学毕业,随即加入思科公司做研发,那时就开始接触日志。当时的工作内容与软件有关,但是软件有BUG,怎么分析BUG,一筹莫展。后来,开始从日志里面分析BUG,但当时是通过编辑器,手工查看日志。

2006年,陈军加入Google,工作内容与数据中心、云计算、搜索有关。当时,陈军与同事在Google做网页搜索,每天要爬100多亿个网页,需要分析各种错误信息,这些全部记录在日志里面。此时的日志文件很大,一个日志就是几十GB的文件;一个功能输出的日志就有几百GB。

“这么大的日志,不可能用编辑器查看,更不用说打开一个几十GB的文件,加载就要几十分钟。所以当时使用了Google的Map Reduce计算框架。”(注:Hadoop就是基于Map Reduce写的开源软件)

当时,陈军在Google每天写MapReduce程序。早上上班第一件事,就是从日志看昨天爬网页的情况,为此,他们开发了一套系统来看报表。但是如果网页爬虫系统加了一些新的功能,又会出现新的错误信息,那么就要改Map Reduce程序,通过新的程序来处理新的特性、新的错误信息。“虽然MapReduce有一个很好的框架,可以很快地写一个小程序,调试后运行,但真正看到结果已经是下午,所以想最后看点东西需要几个小时,周期依然太长。”

2009年,陈军回国加入腾讯,在腾讯数据中心部门。当时腾讯有20多万台服务器,陈军所在的团队也是开发腾讯数据中心的运维监控系统。2010年,陈军接触了Splunk,这是最早使用实时搜索引擎来处理日志的,“因此觉得很有特色”。

约3年后的2012年,陈军离开腾讯加入高德,也是每天要看前一天高德地图的用户行为、统计数据。由于每天早上十点要出数据,因此基本上通宵跑Hadoop程序进行统计分析。但有时候,比如碰到节假日,像国庆节、黄金周这种,出行的人多,用户量一下子增加几倍,那么就要到下午甚至是第二天才能看到结果。

“用Hadoop这些大数据框架,一个是慢,第二是不方便,要分析点新的东西,需要在代码里添加功能,因此很不方便。”

怎么办?

框计算中的另一个自主研发者

2009年,百度李彦宏说,“百度是个框计算公司,因为搜索框后面有很多计算”。其时,云计算刚刚兴起,大数据开始萌芽。

在云计算、大数据的这一背景下,基于多年的日志管理与分析经验,创业的想法开始在陈军脑中产生。2014年初,北京优特捷信息技术有限公司成立,10月,日志易走向市场。

日志易的定位,就是框计算,是实时流式大数据处理架构加上实时搜索。最开始,日志易基于Spark Streaming;经过自主研发,“可编程的实时日志搜索分析引擎(SPL)”诞生了,基于SPL已经实现更快的检索速度。

陈军介绍,日志易的日志分析解决方案具有以下几个特点:

一个是实时分析,速度快,日志从产生到搜索到分析到出结果,只有几秒钟的延迟。比如在乐视,每秒钟处理100万条日志,相当于每天20TB,检索1000亿条日志只需要60秒;

第二个特点是海量,每天可以处理TB级的海量日志;

第三个是易用,SPL是给IT工程师使用的搜索引擎脚本语言,可以搜索、分析任何格式的日志文件。

“我们是全产业链的,包含日志的采集、解析、索引、搜索、分析、告警,价值就在运维监控、业务分析、用户数据分析、安全合规审计等方面。”陈军说。

从2014年10月推出产品到今天,日志易客户已分布在金融、能源、运营商、互联网、制造等行业,金融客户包括中国银行、华夏银行、新疆农信、鹏华基金、某综合金融集团、某大型股份制银行,以及第三方支付公司;能源行业客户有国家电网、中石油、中石化;运营商客户有中国移动;互联网客户有小米、乐视、网宿等;制造业客户有上汽通用、格力电器、中车等。其SaaS版本在阿里云、腾讯云、金山云、AWS、Azure等多个公有云中积累了几千个客户。

IT运营走向精细化提升ITOA的需求

可以看到,基于云计算和大数据,ITOA应运而生,其特点,是通过日志大数据的实时挖掘分析展现结果,这弥补了ITOM在监控层面的滞后性。这对于那些以IT支撑作为核心竞争力之一的企业来说,意义重大。

2015年,国内某综合金融集团使用日志易搭建了集团内部的日志云,进行实时日志搜索分析。

此前,他们的日志散落在不同的生产服务器上。当出现问题时,工程师需要登录服务器,通过脚本命令查看日志,不仅非常慢,而且带来很大的管理风险,因为登陆生产服务器查看日志等操作,一不小心就会误操作,产生新的故障,而且从ITIL的角度,生产服务器本身就不应该随便登陆的,涉及到非常严格的管理流程,比如变更管理。

建起日志云之后,该集团禁止工程师登陆生产服务器查看日志,数百个业务系统的日志,全部接到日志云,通过日志云进行集中管理和查看、统计分析、故障排查。

这只是ITOM精细化管理与运营的一个案例。当前,众多大中型企业已从粗放型管理进入到精益管理阶段,这势必对IT运营的精细化程度提出更高的要求。当这些企业具备ITOM的管理基础,具备大数据应用的基础,ITOA的需求将随之而来。

根据Gartner报告,2014年,只有5%的大企业在积极使用ITOA的技术,而到2017年,这一比例将会上升到15%。这既说明ITOA发展很快,也表明应用处于早期,想象空间很大。在国内,已经有不同背景的初创企业涉足ITOA领域。

近两年,随着机器学习、人工智能的出现,这两项技术不可避免地进入到运维领域,基于此,2016年,Gartner提出一个新的概念叫做AIOps(Algorithmic IT Operations,智能运维)。

技术发展没有止境。据介绍日志易正在开发一个新的实时搜索引擎,每秒钟能处理1000万条日志,比当前的产品提升了10倍,每天可以处理200TB的数据量。

对标Splunk不冒进

作为日志易的对标公司,Splunk目前的市值约80亿美元,是华尔街的宠儿,财富500的公司,90%都是Splunk的客户。但是,日志易能否在未来数年快速成长为中国的独角兽,恐怕不仅仅是技术能够解决的。

更需要思考的是,Splunk已经过了日志这个阶段。虽然实际上还是做日志,但从跟踪的资料看,Splunk已经进入到新的发展阶段,这就是物联网数据。

2014年初,谷歌以32亿美元收购智能恒温器的公司Nest Labs,进入智能家居行业。Nest Labs后台智能恒温器的数据是带时间戳的,也是一种日志,就是用Splunk的产品来处理的。不仅如此,Splunk处理的数据还包括F35战斗机、福特无人驾驶汽车,后者一秒钟就产生1GB的日志,一天就是10TB。此外,Splunk还处理韩国浦项钢铁炼钢炉的数据、日本三井物业的电梯数据。

这说明什么?说明Splunk已经不讲日志了,而是讲物联网的机器数据。

“物联网在美国的发展,比国内更快、更普及。但是,目前国内物联网本身的发展面临很大的挑战,比如带宽等基础架构,还不支持物理网数据的采集与传输。”,

因此,日志易对标Splunk,将来势必进入物联网数据领域。然而,这需要时间。

“日志易从日志切入,处理各种机器大数据,这将是我们一个长期的方向。未来,我们也会进入物联网领域,处理物联网产生的各种数据。”陈军如是表示。

 

 

未经允许不得转载:DOIT » 大数据改变IT运维 腾讯系创业公司日志易的创业故事