腾讯 X 广东省计算机学会, 推动数据库产学研发展

数据库技术发端于上世纪五十年代,近几十年,数据库市场几乎被 Oracle、DB2 等国外厂商所垄断。随着云计算、互联网的发展,国产数据库竞相发展并在云与分布式时代实现新一代数据库技术升级迭代,并逐渐走向产业化应用,为我国基础技术安全可控与产业技术数字化升级发挥巨大的推动作用。

作为国内领先的数据库厂商,腾讯云数据库一直致力于推动数据库基础研究创新、数据库产学研合作生态建设,助力国产数据库学术人才培养和技术创新生态建设发展。

为促进数据库领域的产学交流与合作,让更多数据库从业者了解最新研究成果,熟悉更多行业前沿发展趋势,8 月 16 日下午,腾讯云数据库联合腾讯高校合作、腾讯码客、腾讯乐享、腾讯 TEG 技术学堂、广东省计算机学会举办主题为“【Wiztalk】数据库技术的发展与应用”的前沿技术研讨会。

数据库作为三大基础软件之一,做好一款能抗能打的国产数据库,需要多个方面的关键因素,比如足够的场景打磨,和持续的研发创新投入,包括基于产学研合作的基础研究等。这是腾讯长期坚持的方面。我们认为,面向未来产业场景的不断升级变换、各项前沿信息技术的交汇融合发展,以及数据库基础技术的持续突破,都给我们在数据库超越发展中带来许多机遇和挑战。

研讨会分为学术报告与主题讨论两个部分。在报告分享环节,汤庸教授、毛睿教授、卢卫教授与智雅楠老师,分别以“数据与知识工程研究与应用”、“大数据泛构:应对多样性挑战的通用数据处理模式”、“分布式数据库的多级一致性及构建技术”、“云环境下如何构建一个弹性伸缩、高性价比的分布式数据库存储引擎”为主题,通过线上线下结合的方式带来前沿学术分享。而在讨论环节,各位专家就数据库领域软硬件协同,国产数据库发展等重点问题,与线下观众分享了各自的观点。

中国计算机学会协同计算专委主任、广东省计算机学会常务副理事长、学者网创始人、华南师范大学教授汤庸老师指出,数据库的目的在于数据管理与应用。数据管理上,对于结构化、可形式化的数据,采用数据库技术进行管理;对于半结构化、非结构化的数据,运用大数据技术进行管理。数据管理方面,汤庸教授介绍了 TempDB 时态数据管理软件相关工作。TempDB 在逻辑上使用双时态数据模型,使用 ATSQL2 语言,支持电子政务、电子商务、决策支持等信息处理系统中的时态应用;同时,TempDB 在技术上基于关系数据库管理系统 MySQL 平台、采用 JAVA 语言进行底层开发,具有较强的可移植性以及部署方便。

长江学者、深圳大学计算机与软件学院副院长毛睿老师认为科学在于通用。当前大数据处理主要围绕 volume 和 velocity 这两个挑战,对于 variety 挑战的研究相对较少。通用的数据处理技术因其广泛的适用性和相对低的平均开发维护成本,一直受到商业数据库管理系统的青睐。基于这种理念,他提出了大数据泛构技术——一种可应对多样性挑战的通用模式,并建立了基于度量空间的通用大数据处理理论框架。

大数据泛构(big data genhierarchy)把数据抽象成度量空间中的点,仅利用数据间距离的三角不等性进行数据的管理和挖掘等工作,具有高度的通用性,有望成为下一代通用数据处理系统的重要组件。

中国计算机学会数据库专委委员、中国人民大学教授、博士生导师卢卫老师提出了分布式数据库的多级一致性及构建技术。他指出,金融行业尤为注重“准”,即数据的一致性,数据不能出错。但不同业务场景对一致性或者“准”的理解、要求并非都一样。这将会对数据库一致性技术创新带来复杂的挑战。针对以上分布式一致性的困境,中国人民大学-腾讯协同创新实验室研究提出“多级一致性”的事务处理理念,并应用于腾讯分布式数据库 TDSQL 产品中。该技术包含严格可串行化、顺序可串行化、可串行化三大隔离级别,同时实验室研究提出了双向动态时间戳调整算法,整体使得 TDSQL 可针对不同应用场景要求,极大地平衡性能与一致性要求,满足金融及各类企业场景的分布式事务处理需求。

据介绍,分布式环境下提出多级一致性模型,确保 TDSQL 无任何数据异常,且具备高性能的可扩展性,解决了分布式数据库在金融级场景应用的最核心技术挑战,使得国产分布式数据库实现在金融核心系统场景的可用,推动国产基础软件产业化。基于此,TDSQL 是当前国内唯一进入国有大型银行核心系统正式投产的国产分布式数据库。

腾讯云数据库专家工程师智雅楠介绍,分布式数据库 TDSQL 的目标是云环境下如何构建一个弹性伸缩、高性价比的分布式数据库存储引擎,即把数据库打造成一种服务,用户随取随用,把简单留给用户,把复杂留给自己。

一方面,用户可以像使用单机数据库一样使用分布式数据库,同时业务体验又能具备无限扩展的计算能力、无限扩展的存储能力、伸缩过程用户无感知、100%兼容 MySQL、高可靠高可用、支持存储过程、trigger、不用需指定 shared key 等特性。另一方面,还需要做到高性价比,用户需要多少资源就用多少资源,兼容性、负载均衡、扩展性、ACID、参数调优等问题都由云服务来解决。

为了实现这个目标,TDSQL 选择了扩展性不受限制的云原生 Share Nothing 架构。在构建过程中,对多维度的数据粒度划分、数据平滑迁移技术、集群的负载均衡三方面进行技术创新突破,包括实现智能数据地理感知、代价估算数据分布策略、基于 AI 的无服务弹性可伸缩技术等,可感知系统故障规律,建立高精度的数据库资源容量预测模型,进行智能资源调度、敏捷弹性伸缩、数据布局优化、关键参数自动调优、分布式共识协议同步与通信优化,形成高可用、高效率的弹性计算能力,做到低成本支持大规模突发性业务。

在闭门研讨环节,针对“硬件发展对数据库的影响”在这一话题,腾讯云数据库技术负责人潘安群认为,整体上看,目前数据库硬件方面最大的变化可能是从原来的机械硬盘换到 SSD。腾讯云数据库内部也在进行新硬件的相关研究,但目前来看,新硬件对数据库性能的提升还未实现突破性的性能改变。因此在未来,各大厂商会继续尝试各种新硬件,但在架构层面上的创新可能会更容易实现性能提升。

卢卫老师则更看好 RDMA 的发展。RDMA 具备高带宽低延时的特点,对原来数据库的架构可能会产生较大的变化。实验表明,原先的数据库中,一个事务访问五个节点和访问两个节点相比,性能下降了 90%左右,但采用 RDMA 后,性能基本没有损耗。从实验结论上看,未来分布式系统架构可能会产生较大改变,有利于提高数据库性能。

作为国内领先的数据库厂商,腾讯云数据库一直致力于推动数据库基础研究创新、数据库产学研合作生态建设,通过校企联合实验室共建,面向青年学者的 CCF-腾讯犀牛鸟基金与腾讯犀牛鸟科研专项等,与高校、科研机构构建起“产学研”一体的长期合作,将技术研究成果转换为应用落地,校企联合持续输出前沿技术创新与示范性应用。

腾讯云数据库诞生自腾讯内部业务金融级场景,历经海量场景十余年研发打磨,具备金融级分布式、云原生、实时分析、企业级通用等能力,目前已服务金融、政务、工业制造等行业超过 50 万家客户。