从安装到编译: 10 分钟教你在本地使用和开发 GraphScope

2022 年 4 月 13 日
本文字数：2366 字
阅读完需：约 8 分钟

GraphScope 已经支持在主流的操作系统上部署并使用。本文将详细介绍本地安装 GraphScope 的两种方式: 1）直接通过 pip 安装已发布的二进制包；2）从源码编译构建最新版本的 GraphScope。

通过 pip 安装 GraphScope

GraphScope 每个版本的 Python 发布包[1] 包含了客户端与服务端运行时所需的必要组件以及依赖。在安装 GraphScope 前，确保当前环境满足以下前置条件:

Linux 系统：ubuntu 18.04 或更高版本、centos7 或更高版本，且预安装 gcc 版本不低于 7.1；
macOS (Big Sur) 11.2.1 或更高版本（Intel 芯片和 M1 芯片均支持）；
暂不支持 Windows。如果使用 Windows 系统，可以通过 WSL 安装 ubuntu 试用；
Python 3.7 ~ 3.9 版本。

首先确认 pip 版本是否大于 19.0：

$ pip3 -Vpip 20.0.2 from /usr/lib/python3/dist-packages/pip (python 3.8)
# 如若版本太低，可通过如下命令将 pip 升级到最新版本。$ python3 -m pip install --upgrade pip

复制代码

通过 pip 安装最新版本 GraphScope:

$ pip3 install graphscope --upgrade

复制代码

如果没有报错，恭喜你，GraphScope 已经顺利安装完成！您已经可以开始使用了。可以通过以下 Python 命令检测 GraphScope 是否已经正确安装：

>>> import graphcope>>> print(graphscope.__version__)0.11.0

复制代码

如果如上面所示，已经正确显示 GraphScope 的版本号，那么接下来就可以使用 GraphScope 了。Playground[2] 和 Tutorials[3] 提供了一些上手任务的示例，可以参考这些资料开始你的 GraphScope 旅程。

从源码编译构建 GraphScope

预打包的 Python 安装包可能并不能满足所有使用场景。如果你想对 GraphScope 源码做一些改动，这时可能需要在本地搭建一个构建环境，从源码编译安装。

安装依赖

由于编译 GraphScope 需要 vineyard、libgrape-lite、boost 等一些第三方的工具和依赖，同时也需要 g++、maven、rustc 等不同语言的编译框架。其中有些依赖可直接由包管理器来安装，而另一些需要通过源码编译安装，因此，GraphScope 提供了一个脚本，帮助在本地（ubuntu 20.04+ / centos 8+ / macOS 11.2+）一键安装相关依赖。

# 下载最新版本代码$ git clone https://github.com/alibaba/GraphScope
# 执行安装脚本$ bash ./scripts/install_deps.sh --dev......The script has installed all dependencies for builing GraphScope, use commands:
 $ source ${HOME}/.graphscope_env $ make graphscope
to build and develop GraphScope.

复制代码

脚本的执行过程会检测、安装 GraphScope 需要的以下依赖：

apache-arrow
boost
etcd
go
grpc
openjdk11 (如果当前系统的 Java 版本 < 8 或 > 15 )
libgrape-lite
maven
openmpi
vineyard
ztecd

同时，脚本执行后，会输出一个包含若干环境变量的文件 ${HOME}/.graphscope_env，用于帮助编译 GraphScope。

# 查看环境配置$ cat ~/.graphscope_envexport LD_LIBRARY_PATH=:/usr/local/lib:/usr/local/lib64export JAVA_HOME=/usr/lib/jvm/default-javaexport PATH=${JAVA_HOME}/bin:$HOME/.cargo/bin:/usr/local/go/bin:$PATHexport PATH=$(go env GOPATH)/bin:$PATH
# source 环境配置$ source  ${HOME}/.graphscope_env

复制代码

依赖安装过程中可能会出现一些问题，具体的安装细节可参考该安装脚本[4]，里面详细的列出了所需要的依赖项及安装方法。也可以在 GraphScope 社区[5]反馈遇到的问题。

从源码构建

GraphScope 提供了一组 Makefile target 来帮助编译各个模块: Coordinator、图分析（GAE）、图查询（GIE）、图学习（GLE）以及客户端模块，我们可以选择性地构建全部或其中某个模块。

GraphScope 的默认安装路径为 /opt/graphscope，可通过 make 参数 INSTALL_PREFIX 指定期望路径。

# 编译并安装 GraphScope (全部模块)cd GraphScope && make install

复制代码

试运行一下确认安装完成。

>>> # 进入到 python 目录下>>> # cd GraphScope/python>>> import graphscope>>> print(graphscope.__version__)0.11.0

复制代码

开发和测试

在日常的开发测试中，可以通过开启 show_log 选项来帮助输出更多的日志信息。

>>> import graphscope>>> graphscope.set_option(show_log=True)

复制代码

不仅如此，在开发过程中如果仅涉及 GraphScope 中某几个模块的修改，则可以选择性的只编译对应模块。模块、代码路径、及对应的编译命令如下:

测试客户端 / Coordinator / 图分析模块

首先需要下载单元测试所依赖的数据集：

$ cd ~/ && git clone https://github.com/GraphScope/gstest.git$ export GS_TEST_DIR=${HOME}/gstest

复制代码

然后执行单元测试：

$ cd GraphScope && make unittest# 也可以通过如下命令测试某个具体的用例$ cd GraphScope/python && python3 -m pytest ./graphscope/tests/unittest/test_session.py [-k test_xxxx_func]

复制代码

测试图查询 / 图学习模块 (涉及引擎间数据交互)

$ cd GraphScope && make minitest

复制代码

结语

GraphScope 支持以 pip3 install graphscope 的方式快速地在本地安装并使用；除此之外，本文从安装依赖、编译、测试三个方面详细地介绍了如何从源码一步步构建并测试 GraphScope 的各个模块。为了更有效的处理超大规模图数据，除单机部署外，借助 vineyard 作为分布式内存数据管理器，GraphScope 也支持在 Kubernetes 集群上部署运行，详细流程可参考官网文档[6]。我们也将在后续文章中详细的介绍如何基于 Kubernetes 部署 GraphScope。