CDH/CDP 中开启 kerberos 后如何访问 HDFS/YARN/HIVESERVER2 等服务的 webui

在 CDH/CDP 等大数据平台中，当开启 kerberos 安全后，如何访问 HDFS/YARN/HIVESERVER2 等服务的 webui 呢？一起看下相关知识。

问题现象

在 CDH/CDP 等大数据平台中，当开启 kerberos 安全后，一些常见服务如 HDFS/YARN/HIVESERVER2 的 webui， 无法访问，通过 chrome 浏览器访问时，报错 HTTP ERROR 403，Problem accessing xxx. Reason: java.lang.IllegalArgumentException。截图如下：

问题原因

大数据集群开启 kerberos 安全认证后，基于 http 协议访问常见服务如 hdfs/yarn/hiveserver2 等的 webui 时，这些服务在服务端大都有专门的参数可以控制是否使用启用 spnego（基于 kerberos) 认证，当启用了 spnego 安全认证而客户端浏览器获取不到有效的 kerberos ticket 时，就会报上述错误。

查看服务端配置，发现服务开启了 "Enable Kerberos Authentication for HTTP Web-Consoles", 截图如下：

通过查看后台日志，也能确认是用户认证问题；同时在客户端浏览器没有获取到有效的 kerberos ticket 时，通过 firefox 浏览器访问目标链接，其报错提示信息更加明确地指出了需要认证：

注意：当开启了 yarn 的”Enable Kerberos Authentication for HTTP Web-Consoles“，而没有开启 hdfs 的”Enable Kerberos Authentication for HTTP Web-Consoles“时，访问 yarn web ui 的报错略有不同：

问题解决

解决方式 1

可以关掉 Enable Kerberos Authentication for HTTP Web-Consoles （Secure Web UI for this service is disabled even though Kerberos is enabled.）, 如下图所示：（hdfs/yarn 都有该选项；hive 需要通过配置高级参数 hive.server2.webui.use.spnego 实现））

解决方式 2

当然也可以安装 kerberos windows 客户端，并配置 firefox 浏览器使用本地的 kerberos ticket 后，当在 kerberos windows 客户端或命令行使用用户名密码通过 kerberos 认证获取 kerberos ticket 后，firefox 浏览器就可以正常访问 webui 了（chrome 浏览器中 kerberos 相关配置比较复杂，建议使用 firefox 浏览器）。

在 windows 上安装配置 kerberos 客户端并配置 firefox 浏览器以访问开启 spnego 安全认证的 hdfs/yarn/hive webui

安装 Kerberos 客户端

MIT 官网下载并安装：

配置 Kerberos 客户端

将 Kerberos KDC 服务端的配置文件/etc/krb5.conf 中的内容拷贝到 windows 上 kerberos 客户端文件 krb5.ini 中，该文件路径如下：C:\ProgramData\MIT\Kerberos5\krb5.ini

配置 windows 的 hosts 文件

配置 windows 的 hosts 文件，该文件路径如下：C:\Windows\System32\drivers\etc\hosts

调整 PATH 环境变量

由于 Kerberos 客户端和 OracleJDK 都包含 kerberos 的 klist/kinit 等命令工具，为确保后续命令行使用的是 Kerberos 客户端的 klist/kinit，需要配置 PATH 环境变量将 Kerberos 目录调整靠前，如下图所示：

调整 PATH 环境变量前后，命令行 klist 命令的输出结果不同，如下所示:

配置 firefox 浏览器

由于 chrome 浏览器中 kerberos 相关配置比较复杂，建议配置使用 firefox 浏览器。打开 firefox 浏览器，在地址栏输入 about:config，然后搜索并配置如下两个参数：network.auth.use-sspi：将值改为 false；network.negotiate-auth.trusted-uris：将值为集群节点 ip 或主机名；

获取 kerberos ticketb 并访问开启 spnego 认证的 hdfs/yarn/hive webui

可以在 kerberos windows 客户端中通过用户名密码获取获取 kerberos ticket，也可以在命令行通过 kinit 命令获取 kerberos ticket。获取到 kerberos ticket 后，通过 firefox 浏览器就可以正常开启 spnego 认证的 hdfs/yarn/hivewebui 了：