Neo4j 知识图谱的图数据科学 - 如何助力数据科学家提升数据洞察力线上研讨会于 6 月 8 号举行

图计算 | 图数据库 | 图数据分析

图数据 | 知识图谱 | 图数据科学

Neo4j 图数据科学（GDS）旨在让数据科学家通过综合的图分析技术轻松实现更精准预测，通过图算法库、机器学习和数据科学方法改进模型。Neo4j 图数据科学 （GDS）已被广泛采用并大规模实施，轻松处理数千亿个节点和关系。可访问 60 多种强大、可扩展的算法和监督机器学习，利用数据关系做出更好的预测。由 Neo4j 举办的线上直播-《图数据科学（GDS）如何助力数据科学家提升数据洞察力》将于 2022 年 6 月 8 日 16:00 举行，欢迎大家扫码报名参加会议，为您带来不一样的图数据科学。

随着人类社会的不断进步，数据之间的关系变得越来越重要。作为承载数据资源的“容器”并能对外提供查询和分析能力的图数据库也变得愈发重要。当前，图数据库正在成为发达国家在数据库领域竞相布局的新兴热门领域，并已形成初步的市场规模，正处于快速发展之中。据预测，从 2020 年至 2026 年，全球图数据库市场的规模将以 28.6%的年增长率增长。尽管在传统数据库时代，国外企业一直占据国内数据库市场的绝对份额，但在图数据库时代，我们有机会与国外企业同期起步。全球图数据库市场尚未定型，现在布局正当其时，我们要牢牢把握住这一难得的发展机遇。

图数据库是以计算机科学领域中的图为基本模型和数据结构的数据库。由于具备优秀的表达能力、可视化效果和坚实的数学基础，图已经在物理、化学、生物、计算机科学等众多领域得到广泛应用。仅以计算机科学领域为例，图被用来表示通信网络、数据组织、计算流和数据流等，包括人工智能计算框架。相比传统的关系数据库，图数据库具有更善于处理数据之间关系、更容易可视化展示和更充分满足多种实际场景需要的优点。

什么是图数据库？

图数据库是一个在线数据库管理系统，用来执行创建、读取、更新和删除图数据模型中的数据。图数据库通常也是交易型系统。

与其他数据库不同的是，图数据库最优先处理数据间的关系。这意味着应用无须依靠外界来推导数据间的关联，或是依靠外部的系统来处理数据，如 MapReduce。

通过将节点和关系简单抽象成连接的结构，图数据库使得建立与现实问题领域更加接近的复杂的模型成为可能。

对图数据库技术而言，有两个重要的特性：

• 本地图存储

  有些图数据库使用本地图存储，就是针对图的特性而专门设计的存储模式， 而其它数据库则使用关系型或面向对象型数据库来存储图数据。非本地的图存储有很大的潜在性能瓶颈，尤其是在数据规模和查询复杂度显著增加时。

• 图处理引擎

  本地图处理是处理图数据最有效率的手段，因为数据的连接在图数据库中物理地被保存下来。其他非图的数据库以其他方法处理，无法针对图数据结构而优化 CRUD 操作。

  
  

图数据库的优势

图数据库是专门为处理高度联结的数据而设计建造的。现在是大数据的时代， 数据拥具有极大的规模和高度的内在联系，而图数据库为实现“可持续的竞争优势”提供了机会。

将图数据库应用在现实问题中，主要是由图数据库的以下优点决定：

性能提升

查询性能和响应速度是许多客户在建立数据平台时首要关注的问题。在线交易系统，尤其是大型 Web 应用程序，必须在最短时间内（毫秒）对用户请求作出响应，才能确保客户不会因为失去耐心而离开。在关系型世界中，随着应用程序数据集大小的增长，复杂连接的局限性开始显现出来，性能迅速下降。

开发周期显著加快

图数据模型解决了几十年来困扰软件开发领域的阻抗失配问题，从而减少了在对象模型和表格关系模型之间来回转换的开发成本。同时，图数据模型消除了技术和业务领域之间的阻抗失配。各领域客户可以使用共享的图数据模型来讨论和描绘核心的业务领域，然后将其纳入应用程序本身。

快速响应业务

成功的应用很少保持不变。商业状况、用户行为以及技术和运营基础架构的变化推动了新的需求。过去，要求组织进行细致和长时间的数据迁移，包括修改模式、转换数据和维护冗余数据以同时支持新的和已有的功能。

使用图数据库开发完全符合当今灵活的测试驱动开发实践，允许图数据库与其他应用程序和任何不断变化的业务需求同步发展。数据团队可以在不危及已有功能的情况下，将新的图结构添加到已有的图数据库中，而不是试图在一开始就对数据库进行详尽和完美的建模。

企业级数据库平台

在关键业务应用中，数据库必须具有强大的可扩展性，并且通常需要支持事务性。尽管图数据库相对新颖、不如 RDBMS 成熟，但也有图数据库提供了当今大型企业所需的所有功能：

• ACID 事务性

• 高可用性

• 读取操作的水平可扩展性

• 存储数十亿个实体

这些特性是促使大型企业采用图数据库的重要因素。图数据库不仅仅是中等规模的、离线的、或部门级应用，它是能真正改变整个企业的业务模式。

图数据十大应用领域

“大数据”每年都在增长，但如今的企业领导者不仅需要管理更大规模的数据，还迫切需要从现有数据中得出深刻见解。那么，首席信息官和首席技术官应该如何获得这些见解呢？这就要求企业需要摈弃仅仅收集数据点的做法，开始着手建立数据之间的关联关系。数据点之间的关系甚至比单个点本身更重要。图数据库不仅能有效存储数据点之间的关系，而且非常灵活，适合添加新的关系类型，并使数据模型适应新的业务需求。除了数据库本身，图技术还涵盖图数据科学的新兴领域，适合预测分析和机器学习，而所用的图数据可视化适合针对特定目的的数据发现和探索。那么图数据库可以应用在哪些领域呢？

下面详细介绍图数据库计算的十大应用领域。

欺诈检测

银行和保险公司每年因欺诈导致数十亿美元损失。传统的欺诈检测方法往往无法将这些损失降到最低，这是由于执行离散分析，易受误报和漏报影响。图技术提供新的方法，通过先进的上下文分析，能够准确发现欺诈团伙和其他复杂诈骗。这使图数据库能够实时阻止高级欺诈手段。

当涉及到基于图的欺诈检测时，您需要通过链接分析来增强欺诈检测能力。因此，有两点很明确：

• 随着业务流程加速、自动化程度提高，检测欺诈的时间间隔正在缩小，对实时解决方案的需求愈发迫切。

• 传统技术不适合用来检测复杂的诈骗团伙。图数据库通过分析关联数据点来增加价值。

要发展高效且易于管理的欺诈检测解决方案，图技术是理想选择。无论面对诈骗集团、勾结团伙还是高知罪犯，图数据库技术可以实时揭露各种重要诈骗模式。

实时推荐引擎

实现实时推荐的关键技术是图数据库，在关联大量买家和产品数据方面，超越了其他数据库技术。要作出有效的实时建议，数据平台必须了解实体之间的关系，以及这些关联的质量和强度。

图技术能够根据用户购买、交互和评论有效跟踪这些关系，以提供对客户需求和产品趋势最有意义的深刻见解。

知识图谱

使用传统的基于关键词的搜索时，获得的结果随机性强、效果有限、质量不高。无法真正提出更精确、更有用的问题，并获得最相关、最有意义的信息。随着数据资产的大量增长，需要一个知识图谱来容纳数据集的内在关系。通过使用图数据库，可以提高信息访问能力，用户和客户可以从中找到他们最需要的产品、服务或数字资产。

反洗钱

如今的反洗钱(AML)方案日趋复杂，往往涉及繁琐的间接操作，以甄别误导和掩盖欺诈的可疑活动。然而，传统技术的设计初衷并不是为了跨越许多中间步骤，连接那些中间步骤。检查员通常会花费大量时间仔细研究大量数据，常需要数月，导致日常待审查交易严重堆积。

随着数据资产的大量增长，能够适应数据集内大规模多样化关联的技术解决方案就成为迫切需求。图数据库能够识别复杂的数据关系，并具有实时查询能力，这是对抗洗钱和非法资金挪用的强大武器。采用新数据源和新类型，不断改进 AML 检测，且无需重写数据模型。内置的高可用性功能确保您的任务关键型 AML 引擎始终可以访问用户数据。与关系数据库不同，图存储相互关联的数据，使检测欺诈活动不受数据的深度或形状的影响，更加便捷。

主数据管理

主数据是企业的命脉，包括以下数据：

• 用户

• 客户

• 产品

• 账户

• 合作伙伴

• 地点

• 业务单位

由于主数据是高度关联和共享的，如果 MDM 系统的构建方式不佳，会降低业务灵活性，并波及整个企业。大多数传统 MDM 系统依赖一个关系数据库，这种数据库并未针对遍历关系或快速响应进行优化。

随着业务分析的发展，主数据集内的这些数据连接和关系对于竞争优势至关重要。图数据库是建模、存储和查询主数据中的层级、元数据和连接的理想选择。

与构建关系型解决方案相比，使用图数据库，主数据更易于建模，所需资源（建模人员、架构师、 DBA 和开发人员）更少。此外，不必将所有主数据迁移到一个位置。图关系可以轻松关联 CRM 系统、库存系统、会计和销售点系统之间的孤立数据，提供企业数据的统一视图。

供应链管理

从本质上而言，供应链管理是动态的，活动部分众多，瓶颈可能在任何位置出现。挑战在于传统数据库生成的数据卷和详细信息缺乏实时、准确的信息处理能力。

如今，大数据正在推动许多行业甚至所有行业快速发展，在其中，供应链管理是数据驱动型见解、预测分析和生产力保障的完美实例。由于数据只会增加，跟踪和保持控制的挑战将越来越大。

使用图数据库，可以实现 360 度视图的全局存储，从而有效管理和利用供应链管理数据关联。数据源随时间变化时，图模型更易演化，从而实现灵活性能且易于扩展，无论数据集规模有多大，都能实时决策。

增强网络和 IT 运营管理能力

与主数据一样，图数据库用于汇集来自不同库存系统的信息，提供网络及其使用者的单一视图，涵盖范围从最小的网络元素一直到使用它们的应用程序、服务和客户。

网络的图表示使 IT 管理人员能够对资产进行编目，实现资产部署可视化，并识别两者之间的依赖关系。图的连接结构使网络管理员能够进行复杂的影响分析，回答以下问题：

• 在应用程序、服务、虚拟机、物理机、数据中心、路由器、交换机和光纤等网络部分中，  哪些部分是特定客户所依赖的？（自上向下分析）

• 反之，如果某个特定的网络元素发生故障，网络中的哪些应用程序、服务和客户将受到影响？（自下而上分析）

• 对于最重要的客户，整个网络是否有冗余？

  
  

  
  

网络的图数据库同样可以丰富基于事件关联的操作智能化。每当事件关联引擎（如复杂事件处理器）从低级网络事件流推断出一个复杂事件时，就会评估该事件对图模型的影响，并触发任何必要的补偿或缓解操作。

发现、捕获和理解复杂的相互依赖关系是有效运行网络和 IT 操作的关键，这对于经营企业至关重要。无论是优化网络、优化应用程序基础设施，还是提供更高效的安全相关的访问，这些问题都涉及到一组复杂的物理设备和人的相互依赖关系，这对管理相当具有挑战性。

网络和基础设施要素之间的关系很少是线性的或纯粹的层次关系。但是，图数据库正是为了存储这些相互关联的数据而生的，这使得将网络和 IT 数据转换为可操作的深刻见解变得非常容易。

数据谱系

风险建模是需求的多重组合。它还要求各组织（特别是大型银行、对冲基金和激进的投资机构）在投资、持股、金融工具和精细定价数据的复杂网络中跟踪数据连接。

相比传统系统，使用符合隐私和风险报告法规的图数据库有以下优势：

• 追踪风险因素的沿袭，追溯到它们最初的权威数据来源

• 将定价、持仓、现金管理和其他离散的数据系统扩展到一个统一的数据集中与监管机构合作，实现风险模型图可视化并进行修改

• 能够轻松修改风险模型，以跟上不断变化的市场条件、组织变革和投资策略

• 处理影响交易部门历史及未来运营和业绩的合并、剥离和重组事务

身份和访问管理

图数据库可以存储复杂的、紧密关联的访问控制结构，这些结构跨越数十亿个参与方和资源。丰富多变的结构化数据模式支持层次结构和非层次结构，而其可扩展的属性模式允许捕获系统中每个元素的丰富元数据。

有了一个每秒可以遍历数百万个关系的查询引擎，大型复杂结构的图数据库访问查找将在数毫秒内执行，而不必耗费几分钟或几小时。

与网络和 IT 操作一样，图数据库访问控制解决方案允许自上向下和自下而上查询：

• 特定管理员可以管理哪些资源（公司结构、产品、服务、协议和最终用户）？（自上而下）

• 给定特定资源，谁可以修改其访问设置？（自下而上）

•  最终用户可以访问哪些资源？

图数据库支持的访问控制和授权解决方案特别适合内容管理、联合授权服务、社交网络个人资料和软件即服务(SaaS)产品等领域，相比早先关系数据库几分钟处理时间，新数据库将性能大幅提高到几毫秒。

材料清单

大多数企业制造商使用供应商应用程序：CRM 系统、工作管理系统、应付账款、应收账款、销售 点系统等。由于这种方式，需要将数据存储和建模为一个图，其中原生图存储的互连主数据既不是纯线性结构，也不是层级结构。

同样，新兴的 BOM 趋势也带来更多层的数据挑战。合规要求更严格。仿冒零件充斥市场。零部件制造商之间正在进行整合，零部件的生命周期也越来越短。与此同时，技术创新已经证明会增加可用性风险，同时也会导致过时。

而采用灵活的图数据模型，可以在需求随时间变化时方便进行主数据调整。

写在最后

上面列举的图书据应用领域远称不上详尽，但展现了图技术影响深远、收益明显的应用情况。即便如此，图技术还有很多其他的案例，包括生命科学、社交网络、游戏、政府、体育甚至非盈利组织。

如今的企业管理者面临着越来越大的压力，在数据集越来越大和处理越来越困难的情况下，仍然需要从自己的大数据中提供可操作的见解。他们需要技术方案能够确定数据点之间的联系并得出令人信服的合理结论。

图数据库就是这种技术解决方案。数据库允许各个级别的数据专业人员超越单个数据点，挖掘数据关系的潜力。如何利用这些关系，完全取决于数据库用户的想象力。

由此，得出结论：图数据库不是过时的时尚，而是这一充满大数据洞见时代的新趋势。

蓝海大脑图数据一体机具有精简的高可用集群架构。软硬一体，高度集成。开箱即用。优于目前的集中式存储架构 X3，高于集中式存储架构 X5。专业的运维平台，深度监控管理一体机系统。分布式存储，高可靠性，全架构冗余设计，避免任意单点故障，以及跨节点数据保护等，更好地为各行各业服务。