入选国际数据库会议ICDE和SIGMOD,腾讯云原生数据库内核技术再获创新突破

今日获悉,腾讯云数据库又有两项数据库内核技术的最新研究成果分别入选了国际数据库顶级会议SIGMOD和ICDE的收录论文。研究成果频获全球顶会认可,意味着腾讯云数据库在底层核心基础性技术研究方面持续获得创新突破,在全球范围内正逐渐占据领先位置。

近年来,随着非易失存储(NVM)硬件的普及,NVM所具有的高带宽、低延迟、按字节寻址与掉电不丢失数据等独特性质,对存储、数据库、操作系统等基础软件架构的设计影响愈发重要。腾讯云数据库和存储等团队联合学术界以及工业界相关合作团队,积极探索NVM在数据库内核存储引擎中的应用与研究。

其中腾讯云原生数据库内核团队最新研究成果入选了2021年SIGMOD 研究类长文,题目为“Spitfire:A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory”。

在缓存开始向多层演进的技术趋势下,数据库系统中多级缓存管理成为一个重要的研究问题。论文在DRAM-NVM-SSD存储架构下针对多级缓存管理问题进行了研究,首次提出了多级缓冲管理器Spitfire的概念。 Spitfire提出了一种新颖、低代价且有效的热数据识别方法,将热数据页面保持在DRAM缓存中,同时将暖数据保存在NVM中,提升了系统整体性能与性价比。

SIGMOD数据管理国际会议是数据库领域具有最高学术地位的国际性学术会议,位列数据库方向顶级会议之首。

SIGMOD评审委员会对本文给到了极高的评价:随着商用NVM硬件的出现,数据库如何管理包含NVM的多层级内存缓冲区成为了重要的研究课题。文中阐述的Spitfire是一种在包含DRAM和NVM的数据库系统中管理缓冲区的创新方法。此外,文章还进行了包含NVM硬件的数据库系统架构性价比方面的研究和建议,这些均是此前的研究工作尚未充分涉及到的。该项研究成果与佐治亚理工学院Joy Arulraj教授等作者共同完成,其中Joy Arulraj教授是NVM数据库研究领域的知名学者。

这项成果目前在TDSQL-C(原CynosDB)得到了验证与实现。TDSQL-C(原CynosDB)是腾讯自研云原生关系型数据库,基于全新计算存储分离的分布式数据库架构,融合传统数据库和云计算技术优势,100%兼容MySQL和PostgreSQL,极致计算能力突破千核,存储容量达PB级别,性能和安全性媲美商用数据库,支持集群和Serverless灵活弹性部署,克服传统架构下的存储量受限、扩展难、主从延迟高等缺点,充分释放领先技术的成本效益,最大可节省90%的成本,智能管理和诊断,专为云而生。目前广泛覆盖游戏、电商、移动互联网、云开发等泛互联网业务场景,助力新零售、教育、SaaS、广告等超过4000家行业客户进行数字化升级。

这也是腾讯云数据库的相关研究成果再度登上SIGMOD会议。此前腾讯云原生数据库团队就曾与华中科技大学合作,在SIGMOD19上发布论文 《An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning》,实现了基于AI技术的数据库性能调优结果首次全面超越数据库专家。

另外,腾讯云原生数据库团队与中国科学技术大学合作的最新研究成果也入选了数据库顶级会议ICDE2021(ICED与SIGMOD、VLDB并称为数据库三大顶级会议)。入选论文题目为“TLBtree:A Read/Write-Optimized Tree Index for Non-Volatile Memory”。此项研究在非易失内存上创新提出了一种读写兼优的数据结构,作为数据库内核存储引擎中的索引结构,其读写性能大幅超越前沿的同等索引结构。

ICDE评审委员会认为,该论文关于组合多种数据结构实现读写兼优NVM索引结构设计思路非常新颖,这一概念具有广阔的前景。同时,文章对该设计进行了清晰而明确的表述,相应的实验结果也得到了充分的验证,读者可以从文中获取到许多有价值的信息。

近年来,腾讯云加大了基础架构领域的前沿技术研究,通过与顶级高校和研究机构“产学研”一体的合作方式,将技术研究成果转换为应用落地,持续输出产品和业务场景。华中科技大学-腾讯公司智能云存储技术联合研究中心是代表之一。该联合研究中心于2018年成立,以建设一流的智能云存储技术创新和人才培养平台为目标,在数据库自治理、分布式存储技术、高性能存储引擎、业务负载预测等方面开展技术的联合攻关,突破超大规模IaaS服务的诸多技术难题,推动智能数据库和存储技术的科技创新及技术应用落地。截至目前,基于联合实验室平台,双方已经在SIGMOD、DAC、USENIX AIC等国际顶会联合发表21篇高质量论文,联合输出创新技术专利14余项。

作为国内数据库行业先行者,腾讯云深耕数据库领域十余年,在开源数据库、自研国产数据库以及云原生数据库等领域都在砥砺前行。不久前,腾讯云将原有的CynosDB、TDSQL、TBase三大产品线将统一升级为“腾讯云企业级分布式数据库TDSQL”,涵盖云原生、分布式、分析型等多引擎融合的完整数据库产品体系。在全新数据库品牌体系下,腾讯云原生数据库将进一步深度融合数据库技术和云计算技术,充分释放领先技术的红利,助力客户业务发展。