手把手教你如何配置 DBeaver 对接 FusionInsigth MRS Spark2x

2021 年 11 月 11 日
本文字数：1441 字
阅读完需：约 5 分钟

摘要：dbeaver 是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置 dbeaver 对接 FusionInsigth MRS Spark2x。

本文分享自华为云社区《DBeaver对接FusionInsightMRS Spark2x》，作者：晋红轻。

使用自定义 JDBC 对接 Spark2x

在 C:\ecotesting\Fiber\conf 目录下新建 jaas.conf 文件，内容如下所示：

Client {  com.sun.security.auth.module.Krb5LoginModule required  useKeyTab=true  keyTab="C:\\ecotesting\\Fiber\\conf\\user.keytab"  principal="developuser"  useTicketCache=false  storeKey=true  debug=true;};

复制代码

注意：其中 keyTab 参数以及 principal 参数为对应的认证用户名以及认证文件路径

下载 DBeaver 软件，并完成安装.
指定 DBeaver 的 JDK 虚拟机.在 DBeaver 安装目录下，打开 dbeaver.ini 设置 -vm 参数的值，参数和值之间需要换行.

示例如下：

-vmC:\java64\jdk\bin
配置文件最后加上：-Djava.security.auth.login.config=C:\\ecotesting\\Fiber\\conf\\jaas.conf-Dzookeeper.sasl.clientconfig=Client-Dzookeeper.auth.type=kerberos-Dzookeeper.server.principal=zookeeper/hadoop.hadoop.com

复制代码

重启 DBeaver.

修改 dbeaver.ini 后需要重启 DBeaver 才生效.

（重要 fi6.5.1）准备 spark2xjdbc 连接驱动 jar 包

登陆 linux 端 spark2x 客户端找到 jdbc 相关依赖，比如：/opt/145_651hdclient/hadoopclient/Spark2x/spark/jars/jdbc

将该路径下所有的 jar 包拷贝到 windows 本地目录，比如 E:\145config\spark2xjars, 注意里面含有一个 jdbc_pom.xml 文件，需要删除

继续登陆 linux 端 spark2x 客户端路径/opt/145_651hdclient/hadoopclient/Spark2x/spark/jars,分别找到如下 4 个 jar 包，拷贝到 windows 本地目录，比如 E:\145config\spark2xjars

log4j-1.2.17.jarwoodstox-core-5.0.3.jarstax2-api-3.1.4.jarcommons-configuration2-2.1.1.jar

复制代码

说明: 如果是 mrs8.0.2 版本准备的依赖为：

登陆 linux 端 spark2x 客户端找到 jdbc 相关依赖，比如：/opt/80_135_hadoopclient2/hadoopclient/Spark2x/spark/jars/jdbc 下所有依赖
继续登陆 linux 端 spark2x 客户端路径/opt/80_135_hadoopclient2/hadoopclient/Spark2x/spark/jars,分别找到如下 5 个 jar 包

log4j-1.2.17-atlassian-13.jarcommons-lang-2.6.jarwoodstox-core-5.0.3.jarstax2-api-3.1.4.jarcommons-configuration2-2.1.jar

复制代码

进入 DBeaver 界面，菜单选择 Database->DriverManager，在弹出的对话框中点击 New.

新建的连接名字为 FI-spark2x-651-direct，连接信息如下,完成后点击 OK

1. org.apache.hive.jdbc.HiveDriver2. jdbc:hive2://172.16.4.141:24002,172.16.4.142:24002,172.16.4.143:24002/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.hadoop.com@HADOOP.COM;user.principal=developuser;user.keytab=E:/145config/user.keytab3. Hadoop4. 点Add File在上述步骤配置好的spark2x连接所有jar包加进去

复制代码

注意：连接 url 的 user.principal=developuser;user.keytab=E:/145config/user.keytab 这两个参数必须加上，并且保证正确连接 url 串，可在 Linux 客户端使用 spark-beeline 命令获取参考：