蚂蚁知识图谱管理系统研究成果获国际顶会认可，KGFabric 论文入选 VLDB 2024

2024-09-02
浙江
本文字数：926 字
阅读完需：约 3 分钟

2024 年 8 月 26 日至 30 日，为期 5 天的数据管理与数据库领域顶会 VLDB 2024 在广州举办。作为数据库领域的三大顶级国际会议之一，VLDB 致力于展示和分享数据库管理系统和数据管理领域的最新研究成果，在全球学术界和工业界享有颇高声誉。

蚂蚁集团有 8 篇论文被 VLDB 2024 收录，其中知识引擎团队的论文《KGFabric: A Scalable Knowledge Graph Warehouse for Enterprise Data Interconnection》被收录为 Industry 级别的现场展示论文 (Oral Paper)，该论文涉及知识图谱、海量数据管理、分布式存储和计算等技术领域。

论文地址

https://www.vldb.org/pvldb/vol17/p3841-yi.pdf

根据蚂蚁集团多样化的应用场景，我们构建了蚂蚁知识图谱平台(AKGP)。该平台构建了众多与商户、公司、账户、产品等相关的领域特定知识图谱。AKGP 管理着数万亿结构化知识图谱，服务于搜索、推荐、风控等业务。然而，随着对图模式匹配、图表示学习和跨领域知识重用等各种工作负载需求的增加，基于关系数据库管理系统(DBMS)或图数据库的现有仓库系统无法满足这些需求。

为了解决这些问题，我们提出了 KGFabric，这是一种工业规模的知识图谱管理系统，构建于分布式文件系统(DFS)之上。KGFabric 提供了一种近实时的知识存储引擎，利用增强语义的可编程图模型(Semantic-enhanced Programmable Graph,SPG)，兼容标记属性图(Labeled Property Graph，LPG)模型。数据以持久化方式存储在 DFS(如 HDFS)中，利用 POSIX 文件系统 API，使其适合在多云环境中低成本部署。

KGFabric 提供了一种原生的基于图和混合存储格式的系统，可以作为并行图计算系统的共享后端，显著加速多种工作负载的分析。此外，KGFabric 包括一个图融合框架，最小化数据重复并保证数据安全。

KGFabric 能够管理 PB 级别的数据，并支持蚂蚁集团内超过 1000 亿关系的图融合和分析。我们在各种数据集上进行实验以评估 KGFabric 的性能。与流行的关系 DBMS 和图数据库相比，语义关系的存储空间减少了 90%以上。在实际工作负载中，图融合的性能提升了 21 倍。在多跳语义图分析中，KGFabric 的性能提高了 100 倍。