用 GraphScope 像 NetworkX 一样做图分析

2022 年 4 月 13 日
本文字数：4097 字
阅读完需：约 13 分钟

NetworkX 是 Python 上最常用的图分析包，GraphScoep 兼容 NetworkX 接口。本文中我们将分享如何用 GraphScope 像 NetworkX 一样在（大）图上进行分析。

NetworkX 是什么

NetworkX 是一个用 Python 语言开发的图论与复杂网络建模工具，它内置了常用的图与复杂网络分析算法，提供了一套简单易用的图分析接口，可以方便地进行复杂网络数据分析、仿真建模等工作。NetworkX 的接口设计十分简洁，对于作为刚进入图算法领域的小白来说，NetworkX 的接口可以帮助使用者快速建立起对图数据的感知，并且对于中小型数据集，NetworkX 的接口也是非常好上手的。

但由于 NetworkX 是基于 Python 语言开发，算法的性能并不是它的强项，而且也无法有效地处理工业级别的大规模图数据。基于这一背景，GraphScope 提供了一套兼容 NetworkX 的图分析接口，在能使用像 NetworkX 这样简单易用的接口的同时，也能提供高性能的图分析算法以支持超大规模图数据的处理。

我们通过一个小例子来简单介绍一下 NetworkX 的图分析过程。

# NetworkX 的图分析过程从图的构建开始import networkx
# 初始化一个空的无向图G = networkx.Graph()
# 通过 add_edges_from 接口添加边列表# 此处添加了两条边(1, 2)和（1， 3）G.add_edges_from([(1, 2), (1, 3)])
# 通过 add_node 添加点4G.add_node(4)
# 接着查看一些图的信息# 使用 G.number_of_nodes 查询图G目前点的数目G.number_of_nodes()# 4
# 类似地，G.number_of_edges 可以查询图G中# 边的数量G.number_of_edges()# 2
# 通过 G.degree 来查看图G中每个点的度数sorted(d for n, d in G.degree())# [0, 1, 1, 2]
# 最后调用 NetworkX 内置的算法对对图进行分析# 调用 connected_components 算法分析图G的# 联通分量list(networkx.connected_components(G))# [{1, 2, 3}, {4},]
# 调用 clustering 算法分析图G的聚类情况networkx.clustering(G)# {1: 0, 2: 0, 3: 0, 4: 0}

复制代码

上述例子只是对 NetworkX 做图分析的一个简单的介绍，更多 NetworkX 的接口介绍以及详细的使用说明，内置的算法等可以参考 NetworkX 官方文档[1]。

用 GraphScope 像 NetworkX 一样做图分析

NetworkX 官方的 NetworkX tutorial[2] 是一个 NetworkX 接口使用以及图的入门教程。为了演示 GraphScope 对 NetworkX 的兼容性以及如何使用 GraphScope 的 NetworkX 接口进行图分析，下面我们使用 GraphScope 来执行教程中的例子。

使用 GraphScope 的 NetworkX 兼容接口，我们只需要简单地将教程中的import netwokx as nx替换为import graphscope.nx as nx即可, 当然这里只是依照 NetworkX 的惯例使用nx作为别名, 你也可以其他自定义的别名，例如 import graphscope.nx as gs_nx。

图的构建

GraphScope 支持与 NetworkX 完全相同的载图语法，示例里我们使用nx.Graph()来建立一个空的无向图。

import graphscope.nx as nx
# 我们可以建立一个空的无向图G = nx.Graph()

复制代码

增加节点和边

GraphScope 的图操作接口也保持了与 NetworkX 的兼容，用户可以通过add_node和add_nodes_from来添加节点，通过add_edge和add_edges_from来添加边。

# 通过 add_node 一次添加一个节点G.add_node(1)
# 或从任何 iterable 容器中添加节点，如列表G.add_nodes_from([2, 3])
# 如果容器中是元组的形式，还可以在添加节点的同时，# 添加节点属性G.add_nodes_from([(4, {"color": "red"}), (5, {"color": "green"})])
# 对于边，可以通过 add_edge 的一次添加一条边G.add_edge(1, 2)e = (2, 3)G.add_edge(*e)
# 通过 add_edges_from 添加边列表G.add_edges_from([(1, 2), (1, 3)])
# 或者通过边元组的方式，在添加边的同时，# 添加边的属性G.add_edges_from([(1, 2), (2, 3, {'weight': 3.1415})])

复制代码

查询图的元素

GraphScope 支持兼容 NetworkX 的图查询接口。用户可以通过number_of_nodes和number_of_edges来获取图点和边的数量，通过nodes, edges,adj和degree等接口来获取图当前的点和边，以及点的邻居和度数等信息。

# 查询目前图中点和边的数目G.number_of_nodes()# 5G.number_of_edges()# 3
# 列出目前图中的点和边list(G.nodes)# [1, 2, 3, 4, 5]list(G.edges)# [(1, 2), (1, 3), (2, 3)]
# 查询某个点的邻居list(G.adj[1])# [2, 3]
# 查询某个点的度G.degree(1)# 2

复制代码

从图中删除元素

像 NetworkX 一样, GraphScope 也可以使用与添加元素相类似的方式从图中删除点和边，对图进行修改。例如可以通过remove_node和remove_nodes_from来删除图中的节点，通过remove_edge和remove_edges_from来删除图中的边。

# 通过 remove_node 删除一个点G.remove_node(5)
# 查看图 G 现有的点，发现点5已经被删除了list(G.nodes)# [1, 2, 3, 4]
# 通过 remove_nodes_from 删除多个点G.remove_nodes_from([4, 5])
# 再查看图 G 现有的点，点4也已经被删除了list(G.nodes)# [1, 2, 3]
# 通过 remove_edge 删除一条边G.remove_edge(1, 2)
# 查看图 G 现有的边，(1, 2) 这条边在G中# 已经被删除list(G.edges)# [(1, 3), (2, 3)]
# 通过 remove_edges_from 删除多条边G.remove_edges_from([(1, 3), (2, 3)])
# 查看图 G 现有的边，(1, 3), (2, 3) 这两条边# 在 G 中已经不存在了list(G.edges)# []
# 我们再来看一下现在的点和边的数目G.number_of_nodes()# 3
G.number_of_edges()# 0

复制代码

图分析

GraphScope 可以通过兼容 NetworkX 的接口来对图进行各种算法的分析，示例里我们构建了一个简单图，然后分别使用connected_components分析图的联通分量，使用clustering来得到图中每个点的聚类系数，以及使用all_pairs_shortest_path来获取节点两两之间的最短路径。

# 首先构建图G = nx.Graph()G.add_edges_from([(1, 2), (1, 3)])G.add_node(4)
# 通过 connected_components 算法找出# 图中的联通分量list(nx.connected_components(G))# [{4}， {1, 2, 3},]
# 通过 clustering 算法计算每个点的聚类系数nx.clustering(G)# {4: 0.0, 1: 0.0, 2: 0.0, 3: 0.0}
# 计算图中节点两两之间的最短路径sp = dict(nx.all_pairs_shortest_path(G))
# 查看节点3与其他节点的最短路径sp[3]# {3: [3], 1: [3, 1], 2: [3, 1, 2]}

复制代码

图的简单绘制

同 NetworkX 一样，GraphScope 支持通过draw将图进行简单地绘制出来。

（依赖matplotlib的绘图功能，如果未安装，需要先通过 pip install atplotlib 安装）

import graphscope.nx as nx# 创建一个5个点的 star graphG = nx.star_graph(5)# 使用 nx.draw 绘制图nx.draw(G, with_labels=True)

复制代码

通过一些简单的例子，我们展示了 GraphScope 对于 NetworkX 接口的兼容性和一些图操作/分析接口的使用。更详细的使用可以参考 GraphScope 文档[3]。

GraphScope 相比 NetworkX 算法性能有着数量级的提升

GraphScope 支持了部分 NetworkX 内置的图算法，我们可以通过 NetworkX 的调用算法的方式来调用这些算法。下面我们通过一个简单的实验来看一下 GraphScope 对比 NetworkX 在算法性能上到底提升多少。

这个实验使用来自 SNAP 的 twitter[4] 图数据，测试算法是 NetworkX 内置的 Clustering[5] 算法。实验所用的机器配置为 8 核 CPU, 16G 内存。

我们首先准备下数据，使用 wget 将数据集下载到本地

wget https://raw.githubusercontent.com/GraphScope/gstest/master/twitter.e ${HOME}/twitter.e

复制代码

接着我们分别使用 GraphScope 和 NetworkX 载入 snap-twitter 数据

import osimport graphscope.nx as gs_nximport networkx as nx
# 使用 NetworkX 载入 snap-twitter 图数据g1 = nx.read_edgelist(     os.path.expandvars('$HOME/twitter.e'),     nodetype=int,     data=False,     create_using=nx.Graph)type(g1)# networkx.classes.graph.Graph
# 使用 GraphScope 载入 snap-twitter 图数据g2 = gs_nx.read_edgelist(     os.path.expandvars('$HOME/twitter.e'),     nodetype=int,     data=False,     create_using=gs_nx.Graph)type(g2)# graphscope.nx.classes.graph.Graph

复制代码

我们使用 Clustering 算法来对图进行聚类分析，来看一下 GraphScope 对比 NetworkX 在算法性能上有多少提升

%%time# 使用 GraphScope 计算图中每个点的聚类系数ret_gs = gs_nx.clustering(g2)# CPU times: user 213 ms, sys: 163 ms, total: 376 ms# Wall time: 2.9 s
%%time# 使用 NetworkX 计算图中每个点的聚类系数ret_nx = nx.clustering(g1)# CPU times: user 54.8 s, sys: 0 ns, total: 54.8 s# Wall time: 54.8 s
# 对比下两者的结果是否一致ret_gs == ret_nx# True