【获奖案例巡展】信创先锋之星——中信证券基于国产图数据库构建企业图谱的应用实践
为表彰使用大数据、人工智能等基础软件为企业、行业或世界做出杰出贡献和巨大创新的标杆项目,星环科技自 2021 年推出了“新科技 星力量” 星环科技科技实践案例评选活动,旨在为各行业提供更多的优秀产品案例,彰显技术改变世界的力量,目前已成功举办两届,收到了来自各界的积极参与。
第二届星环科技科技实践案例评选活动新增了“年度信创先锋之星”,经过产业界、学术界专家联合评审,最终评选出了“年度信创先锋之星”、“年度科技向善之星”、年度价值贡献之星”、“年度科技前沿之星”、“年度技术革新之星”五大奖项,并特此进行案例巡展。
本期巡展案例为获得第二届“新科技 星力量” 星环科技科技实践案例评选活动“年度信创先锋之星”的中信证券股份有限公司”基于国产图数据库构建企业图谱的应用实践”。
案例背景
中信证券股份有限公司于 2021 年启动国产图数据库项目。项目开展之前,中信证券已基于主流的 Neo4j 开源产品构建了企业图谱及相关应用,但是随着应用的广泛深入,Neo4j 开源产品也遇到了不少难题,包括只能部署成单实例,不能做集群;社区开源版本最多用到 4 个内核,计算能力有限;没有统一资源管理和权限管理等。随着国产图数据库越来越成熟,大型银行已广泛布局国产图数据库。中信证券基于星环科技分布式图数据库 StellarDB 和知识图谱平台 Sophon KG 知识图谱重构了企业图谱及相关应用,满足了企业级的系统建设需要,实现了分布式集群管理,统一的资源隔离与权限管理,计算性能的优化提升,以及丰富的可视化效果等。
解决方案
基于星环科技 StellarDB 和 Sophon KG 重构了企业图谱及相关应用,该系统架构取代了依赖 py2neo 第三方插件的数据处理框架,使用星环科技大数据开发工具 TDS 产品,实现数据处理和调度的统一管理,将数据存储到大数据组件 hive 中,实现了历史数据的数据迁移,也安排了全量和增量的抽取调度任务。首日迁移时使用全量调度任务,平时按照增量调度。
依托强大的组件技术,图谱管理系统拥有统一的集群运维管理,以及统一的资源隔离与权限管理。系统的底层为一个多模的数据处理平台,该平台可以提供统一的数据操作、查询语言 SQL、统一的数据计算引擎、统一的分布式存储管理系统及统一的资源管理框架,满足利用一个多模异构平台处理多种数据的需求。StellarDB 图数据库构建在这个数据处理平台之上。其图存储技术为自研 KV 存储,存储设计按照属性图模型设计。StellarDB 满足 TB 级存储需求。存储按照点边主键进行哈希分区,使图均衡的分到集群的各个节点上。图计算技术为自主研发的分布式计算引擎 Nucleon,计算引擎能根据不同的存储引擎自动匹配高性能算法,无需用户手工干预,从而便捷地实现跨库关联,避免数据导入导出。在图数据库服务的顶层,还提供了丰富的接口,如 Java、Python、RESTful API 等,方便自定义开发。
在 StellarDB 上层,基于 Sophon KG 构建企业图谱及相关应用。Sophon KG 具有图谱发布、图谱查询,以及图谱分享等基本功能,同时还能方便地支持各类业务应用,提供丰富的交互分析功能。开发了图计算服务,以及关联企业数据查询等多种应用服务,并发布了对应的 API 接口,供应用方进行调用。基于应用安全考虑,采用 post 方式提供接口,并赋予每个业务部门一个访问 ID。
最上层的应用方包括集团客户画像、风险事件报告、科创板关联发现以及联机分析等。集团客户画像在公司内有广泛的应用,包括集团客户对公司的贡献价值,各业务收入和覆盖情况,满足人民银行对金融控股公司报送需求,以及同一客户授信等;风险事件报告结合风险舆情事件,自动触发相关分析报告,提供关联公司和关联标的持仓等影响分析;科创板关联发现旨在查找融券客户与战略投资者之间是否有利益关系,属于一种多层模式匹配分析。此外,系统还支持多用户的联机查询分析,业务用户可以在线进行案例分析及分享等。
案例实施成效
通过星环科技 StellarDB 和 Sophon KG,中信证券打造了全新的企业图谱管理系统,实现了一站式的运维管理、调度管理和权限管理等,在部分应用效果中相比 neo4j 社区版性能有了较大提升,并在业务易用性方面也有了长足进步,具体如下:
架构提升方面:实现了软硬件国产化替代 Linux 服务器;依托 StellarDB 实现了分布式集群,一站式图谱管理,替代了单机分应用部署;依靠星环科技强大的组件技术,实现了便捷的管理工具(监控+权限),替代了无统一监控运维管理工具;该系统架构取代了依赖 py2neo 第三方插件的数据处理框架,使用星环科技 TDS 实现数据处理和调度的统一管理;实现了统一的 api 接口管理,替代了接口未封装的情况。
性能优化方面:在集团派系算法应用上,该算法从单机运行模式到分布式运行模式,由原来的 2 小时左右,提升到 30 分钟左右;科创板关联发现应用方面,由原来的 1.5 s 提升到 0.8 s。
业务易用方面:提供了丰富的可视化效果,实现了多种前端布局;实现了 iframe 嵌入其他业务系统效果;改变了 neo4j 社区办上单一弹力图展示,需要独立开发展现的局面;星环科技也提供了全天候暖心服务+定制开发,改变了高度依赖社区的局面。
案例创新点
国产替代方面,作为国内券商首批引入国产图谱厂商构建知识图谱中台的案例,在与国产服务器、国产操作系统适配等方面取得了较多的实践经验,对券商行业构建具有自主可控能力的图谱中台具有示范效应。
评论