四项发明专利布局国际市场 申威睿思层级化数据库操作加速系统和方法获肯定

数字经济发展最大的特征是数据作为其核心生产要素,而数据库作为其全生命周期的最核心载体,其应用速度和分析性能等成为数字经济发展的关键所在。业界从 2010 年开始密集研究通过硬件(FPGA)等硬件对数据库进行加速,然而数据库加速的主要障碍是软件与硬件耦合度极高,硬件实现大量软件算法,技术门槛极高。

申威睿思作为国内首家专业从事数据中心加速领域的高阶处理器 SOC 芯片公司,其核心团队拥有深厚的数据库和硬件加速技术的研发功底以及丰富的应用场景设计经验,在数据库性能提升与数据中心/超算中心加速等技术场景中拥有大量自主创新性技术并获得了多项国家发明专利。其中,申威睿思针对分布式数据库的硬件加速技术已获得了 4 项国家发明专利,同时完成了 4 项 PCT 国际发明专利申请,并已经正式进入美国审查阶段,完成在美国的专利布局。这 4 项自主创新的发明专利完成国际专利申请并正式进入美国审查阶段,一方面标志着申威睿思中国“芯”力量在数据中心关键基础技术方面的创新和突破,另一方面则体现了申威睿思的技术发展从国内到国际的战略性布局,展现了申威睿思意在更广阔、竞争更激烈的国际市场上群雄逐鹿的决心。

此次申威睿思的四项发明专利主要围绕分布式数据库系统加速方法和装置发明,涵盖从系统方法、操作加速、数据传输、存储和装置等四个方面原创发明。

本次分享的是针对数据中心单节点数据库加速瓶颈的难题,提出了全球原创性的发明——层级化数据库操作加速系统和方法,为大幅度提升大量数据中心的数据库性能提供了行之有效的原创性系统方法和技术方案。

众所周知,数据库单节点采用单张 FPGA 加速卡加速其性能增益存在上限,扩展成多卡加速成为自然而然的选择。

目前主流数据库多卡加速的方案有两种:

一、加速卡横向扩展

将 2 张及以上加速卡并行接入单节点对应的 PCIe 插槽中。该节点针对多个可用加速器中的每一个的处理配置检索成本信息,将一个或多个查询操作卸载到多个加速器中进行查询加速和汇总。该方案存在主机存储 IO 和 CPU 性能瓶颈,无法满足性能线性提升要求。

二、加速卡纵向扩展

通过一个 PCIe 接口加转换器连接多个硬件加速器,并连接一个共享存储设备,通过查询分片的方式,将主机处理后的查询分片分发到至少一个加速器上执行并返回该分片的结果。该方案依然存在 IO 瓶颈,因此影响了单节点加速性能的提升。

要进一步提升多加速卡的单节点数据库系统的处理性能,提高数据查询效率,我们开创性地发明了一种层级加速方法。

说明图 1

层级加速 效应倍增

层级化数据库操作加速系统,包含主机以及层级化加速模块两大部分,其中主机接收查询计划,并以此为依据生成相应的查询操作并进行分发,同时还接收并处理汇总执行结果;而层级加速模块通过 PCIe 接口与主机相连,接收主机分配的所述查询操作并返回所述汇总执行结果。

说明图 2

层级加速中包含一个主加速卡和至少一个从加速卡,主从加速卡相互连接,执行被分配的查询操作,产生执行结果;从加速卡向主加速卡返回所述执行结果,再由主加速卡完成所述执行结果汇聚和被分配的后续查询操作,向主机返回所述汇总执行结果。为了提高数据库操作的速度,主加速卡和从加速卡都设置有用于存储数据的存储单元,整个系统就形成多级存储架构。

说明图 3

主机根据数据分布信息和各加速卡的执行能力信息将所述查询计划对应的所述查询操作分发至各加速卡,预设数据分布规则预先将主机侧存储器中存储的数据加载存放到各加速卡存储器中。主机接收到查询请求时,根据数据分布信息和各加速卡的执行能力信息将查询计划分发至各加速卡操作,操作可包括扫描、连接、排序和汇聚操作。

主从加速卡之间可通过 PCIe 数据总线或超高速网络接口连接,主加速卡和从加速卡具备对数据进行加密和压缩,以及解密和解压的功能。

灵活配搭 广泛应用

在层级加速模块中,主从加速卡可以为内部硬件结构相同的加速卡,可以实现相同的功能;也可以为内部硬件结构不同的加速卡,可以实现不同的功能;各从加速卡也可以为内部硬件结构不同的加速卡,可以实现不同的功能。在当前主加速卡故障时,则由预设的后继加速卡接替当前主加速卡。

说明图 4

为了提高数据查询效率,主加速卡基于负载均衡将各剩余容量在各加速卡存储器之间平均分配,或基于负载均衡将高于预设访问频次的热点数据在各加速卡存储器之间平均分配,或将关联度高于预设值的数据存入同一个加速卡存储器中。

主从加速卡的网络接口包括 Ethernet 以太网、FC 光纤通道、基于融合以太网的 RDMAv2 中的一种或多种。各加速卡通过外部的以太交换机实现高速互联。也可以是其余任意一种加速卡支持的网络交换设备,可以连接更多的同构系统或加速卡,构建更大规模的多卡加速系统。

说明图 5

此外,各加速卡中的一个或多个具备对数据进行加密和压缩、解密和解压的功能。当层级加速模块启用,从主机侧的存储介质中加载加密和压缩的数据库数据时,需要先由主加速卡完成数据的解压和/或解密后,再分发到各加速卡。通过在一张从加速卡上部署远端存储访问功能,支持连接远端存储设备。

说明图 6

本发明的层级加速模块中,主从加速卡的配搭组合灵活多变,可以满足不同数据库单机节点的加速需求,为各类数据中心的数据库加速场景和创新应用提供了创新性方法和实现路径。