大数据时代“掘金机”:百度、360、一淘搜索技术分享

yj 发表于:13年12月03日 10:54 [来稿] DOIT.com.cn

  • 分享:
[导读]搜索技术已经在海量数据分析、图谱构造、用户语义理解等方面有了丰富的积累,而这些技术正是大数据的基本技术。2013年12月5日-6日举办的2013中国大数据技术大会上,来自百度、奇虎360搜索、一淘搜索事业部的技术专家将在大数据技术论坛中带来大数据时代搜索技术的实践分享。

搜索的本质是从海量数据中挖掘价值,如果大数据是金矿,搜索技术无疑是大数据时代的掘金机之一。经过十多年的发展,搜索技术已经在海量数据分析、图谱构造、用户语义理解等方面有了丰富的积累,而这些技术正是大数据的基本技术。2013年12月5日-6日举办的2013中国大数据技术大会上,来自百度、奇虎360搜索、一淘搜索事业部的技术专家将在大数据技术论坛中带来大数据时代搜索技术的实践分享。

百度技术专家:百度知识图谱(Knowledge Graph)

今年8月,百度知识图谱悄然上线。传统的搜索是以网页搜索为粒度的,知识图谱则基于语义、以知识为粒度,从互联网中挖出各种知识碎片,形成答案,从根本上提高搜索质量。过去十年,网页搜索结果几乎不变,如今,这是一种高质量的有问必答式搜索,可以实现智能交互,也预示着下一代搜索引擎的方向。

2013中国大数据技术大会中,来自百度的技术专家将为听众分享百度知识图谱的相关技术,对于想要了解下一代搜索引擎的你,绝对不容错过!

奇虎360搜索技术专家:奇虎360超大规模HBase集群增强与改进

奇虎360搜索上线于去年8月份,如今,据中国国内权威流量统计机构CNZZ在11月17日公布的数据显示,奇虎360搜索在国内搜索市场所占份额已从10月份的20.8%上升至22.6%。然而,360搜索一直较为低调,较少向外界透露自己的核心搜索技术。去年的Hadoop与大数据技术大会中,奇虎360系统部工程师赵健博分享了“HBase系统在搜索网页库的应用”,本次2013中国大数据技术大会中,来自奇虎360的搜索技术专家,将继续讲述奇虎360超大规模HBase集群的增强与改进。

一淘搜索王峰:阿里搜索实时流计算技术

利用批处理方式为搜索引擎提供数据的方式已经成为过去,实时大数据处理时代已经到来,一淘及搜索事业部高级软件工程师王峰(莫问),将揭秘阿里搜索离线生产集群中的流服务调度、流服务框架、分布式消息队列等技术,让你看明白全网商品是如何实时处理并流入阿里搜索引擎的。

王峰曾先后在雅虎中国、阿里云、淘宝和一淘从事搜索引擎和分布式技术领域的研发工作,目前在网页抓取团队,主要负责分布式存储系统和大数据处理技术方向。本次演讲中王峰即将带来的主要内容包括:

全网商品搜索系统架构

全网商品实时数据处理流程

流计算技术揭秘

流服务调度——Hadoop-2.0定制调度器(PriorityCapacityScheduler)

流服务模型——基于YARN的自主流计算模型(StreamService)

流数据传输和持久化——基于HBase的自主分布式消息队列(HQueue)

除了搜索领域的大数据核心技术,第七届中国大数据技术大会中还有更多精彩议题。Spark核心设计者、Databricks创始人兼CEO Ion Stoica,Apache HBase项目管理委员会主席Michael Stack、百度大数据首席架构师林仕鼎、华为公司诺亚方舟实验室主任杨强、Apache Tez commiter Bikas Saha大数据技术专家领衔,来自腾讯、阿里巴巴、Hortonworks、LinkedIn、小米、Intel等50余位工程师带来近60场干货分享,更有《中国智能交通与大数据技术峰会》专场感受智能交通如何改变生活。第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5日-6日在北京世纪金源大酒店召开。

[责任编辑:杨锦]
从前期的预约到正点时那千钧一发的时刻再到抢到后边激动边付款,完全通过微信完成。这是一次移动电商的成功,由小米初试水,让我们感受到的是发烧的沸腾。而微信支付所形成的o2o闭环优势也正在显现出来。
官方微信
weixin
精彩专题更多
存储风云榜”是由DOIT传媒主办的年度大型活动。回顾2014年,存储作为IT系统架构中最基础的元素,已经成为了推动信息产业发展的核心动力,存储产业的发展迈向成熟,数据经济的概念顺势而为的提出。
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
联想携ThinkServer+System+七大行业解决方案惊艳第十六届高交会
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技术有限公司 版权所有.