墨天轮沙龙 | 北京大学李文杰:面向知识图谱应用的图数据库系统 gStore
在 6 月 8 日举办的【墨天轮数据库沙龙第七期—开源生态专场】中,北京大学重庆大数据研究院图数据库与知识图谱实验室副主任、北京大学王选计算机研究所全职博士后 李文杰老师分享了《面向知识图谱应用的图数据库系统 gStore》主题演讲,本文为整理内容。
导读
大家好,我是来自北京大学的李文杰,我今天分享的主题是《面向知识图谱应用的图数据库系统gStore》,内容将从以下几个方面展开:图数据行业背景、gStore 图数据库系统、gStore 开源之路。
图数据库行业背景
1、大数据与人工智能推动图数据库发展
随着大数据、人工智能时代的到来,图数据库及知识图谱也应运而生并逐渐发展。
图数据充分体现了大数据的关联性,拥有广泛的应用场景。图数据能够关联信息,使之成为知识,同时图数据能够很清晰揭示复杂的模式,用于挖掘人、物和实体之间的潜在不易观察的行为和联系。
在人工智能领域,图数据也发挥着巨大的作用。认知智能作为人工智能中重要的分支,知识图谱便是认知智能的数据基础,因此以图数据库为代表的知识图谱逐渐获得了广大的关注。
图 1 知识图谱数据的存储与查询
2、图数据库的优势
为什么随着大数据与人工智能的发展,图数据能够迅速火热?主要是基于它独特的优势。首先,在关联查询的条件下,图数据库表现出性能方面的优势,能够支持秒级多跳查询。除此之外,图数据库也具有优秀的表达能力,能够构建与检索复杂的人物关系,实现“按图索骥”。
正是因为它的独特优势,近年来图数据一枝独秀成为近几年数据管理软件发展最为快捷的数据管理软件类型。
图 2 图数据在 DB-Engines 上的发展趋势
gStore 图数据库系统
不管是关系型数据库还是图数据库,中国公司在核心数据管理引擎技术上存在缺位的现状,“打造图数据管理系统的中国芯”也成为了我们的愿景。
从 2011 年开始,北京大学王选计算机所数据管理实验室开始研发面向知识图谱的图数据库管理系统,到目前为止,gStore 已经走过了 11 年的时间,它有着源头创新、自主可控、标准系统、系统优越的核心技术。
gStore 面向知识图谱应用,采用了 RDF 模型。在 2011 年的顶级会议 VLDB 上,子图匹配的搜索查询方法被 gStore 团队首次提出,从此奠定了 gStore 的核心是自主研发的原生的数据库管理系统。 不管是从存储模式还是存储结构的角度,gStore 都是自主研发的数据库管理系统。
图 3 gStore 实现了源头创新
gStore 同样也获得了国外业内同行的认可,在国外第三方的测试中,gStore 在性能与查询时间上表现出了优势。
图 4 gStore 在测试中的表现结果展示
除了技术认可,gStore 在学术上做的贡献也得到了认定。围绕着 gStore 核心技术,团队发表国际数据库领域顶级期刊会议论文(包括 SIGMOD,VLDB 等)35 篇,被国内外学术同行引用超过 2000 次。
图 5 gStore 的学术认定
gStore 开源之路
1、研发历程及产品生态
接下来我们一起回顾 gStore 的研发历程。
gStore 的研究论文最早发表在数据库领域顶级国际会议 VLDB 2011 上,在论文中提出利用子图匹配的方法来构建图数据库系统。2017 年,gStore 0.7 版本在 Github 上开源。一直到今天,gStore 也保持着至少一月一次的代码提交频率。
图 6 gStore 研发历程
目前 gStore 开发团队研发了 gBuilder、gAnswer、gWorkbench、gMaster、gCloud 等系列产品,初步形成了围绕着知识图谱应用的产品栈。
图 7 gStore 产品生态
2、为什么选择开源?
接下来讲讲 gStore 的开源之路。为什么选择开源,我们基于以下两个方面的考虑:
首先 gStore 作为一款自主研发的图数据库产品,在孵化期阶段需要获取国家科技资金支持,完成产品原型及关键理论研究。
其次我们希望 gStore 通过开源的方式吸引一批技术爱好者以及特定客户,从而选择关键客户及应用场景进行技术及场景验证与探索核心引擎产品化及商业化。
目前图数据库的发展正处于成长期,我们经常会花很多时间向客户介绍“什么是图数据库”,社会大众对图数据库的不了解是这个领域面临的一个普遍性问题。因此我们迫切的需要从开源以及社区建设等途径,打造大众社会对图数据库的认知。
图 8 gStore 目前的阶段及为未来发展
3、gStore 开源建设与策略
gStore 在开源建设上持续努力,积极与各个社区平台展开合作。
图 9 gStore 合作的开源平台与社区
作为一款开源项目,gStore 有较为宽松的开源策略,我们采用 BSD 开源协议,同时在 GitHUB 与 gitee 上有最新的源码可供下载。
我们参考 Neo4j 的方式实行开源版与企业版并行。相较于开源版,企业版具有如最短路、环路检测、K 跳可达、PageRank 等图分析算法的高级功能,同时还具有分布式部署的能力。
图 10 gStore 开源策略
4、gStore 未来计划
gStore 在发展过程中,对于开发者而言存在着一些问题,借这个机会与业界同仁一起来探讨。
第一个问题是开发者使用不易。目前项目中参与代码贡献的更多是高校的老师与学生,同时代码的体量较大,大约为十多万行,其中包块项目研发者自己设计的相关数据结构、索引结构。因此这样的代码对于开发者学习与研究而言,较为吃力。
第二个问题是学习资料较少。开发者能够学习和参考使用的的资料不足,也因此导致 GitHub 等平台 star 和 fork 不足。因此 gStore 的研发团队也在整理类似于 openGauss 内核源码分析的内核手册与文件,同时也会增加用户手册以及产品宣传的工作,从而改善学习资料较少的现状。
第三个问题是内部沟通较少,开发者内部针对 gStore 的讨论未搭建完善的平台,大家互通有无连接不足。
图 11 gStore 目前存在的问题
基于以上的问题,gStore 的开源计划将从两个方面进行重点开源优化,增加 gStore 相关使用学习资料以及增加共享机制。
图 12 gStore 后期开源计划
我今天的分享就到这里,谢谢大家!
更多精彩内容,欢迎大家观看现场视频回放与会议资料
查看【国产数据库沙龙】开源生态专场文章、视频回放资源:https://www.modb.pro/topic/412121
欲了解更多可以进入墨天轮社区,围绕数据人的学习成长提供一站式的全面服务,打造集新闻资讯、在线问答、活动直播、在线课程、文档阅览、资源下载、知识分享及在线运维为一体的统一平台,持续促进数据领域的知识传播和技术创新。
关注官方公众号: 墨天轮、 墨天轮平台、墨天轮成长营、数据库国产化 、数据库资讯
版权声明: 本文为 InfoQ 作者【墨天轮】的原创文章。
原文链接:【http://xie.infoq.cn/article/05780b3151c99740ee5278b4a】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。
评论