5 分钟在 k8s 上可视化搭建 Kylin5

作者：CloudEon开源

2023-06-05
广东
本文字数：1511 字
阅读完需：约 5 分钟

Kubernetes 环境准备

需要有一个可用的 Kubernetes 环境，如果不会搭建可以搜索引擎检索 kubekey 或者 rancher，有大量快速搭建文档，当然用 kubeadmin 也可以。

如果只是测试的话，可以用 k3s 搭建一个集群，操作比较简单，资源占用也比较少。

使用 CloudEon 搭建 Kylin5

CloudEon 是一款基于 Kubernetes 的开源大数据平台，该平台致力于简化多种大数据服务在 Kubernetes 上的部署和管理。

这里使用 CloudEon 可以极快地在 Kubernetes 上搭建 Kylin5 需要的 HDFS、YARN、Hive、Zookeeper 等组件，省去不少安装的时间。

直接使用 docker 启动 CloudEon。

docker run  -p 7700:7700  --name cloudeon --rm registry.cn-hangzhou.aliyuncs.com/udh/cloudeon:dev

复制代码

启动 CloudEon 后，默认密码是 admin/admin。

我们需要在 CloudEon 中创建一个 Kubernetes 集群，绑定我们已有的 Kubernetes 集群环境。

需要填写 kubeconfig，用于 CloudEon 访问 Kubernetes 集群。kubeconfig 的内容一般可以从 Kubernetes 的 master 节点上执行命令cat ~/.kube/config得到。需要注意一下 server 如果是 hostname 的话，需要保证 CloudEon 能正确访问得到。

成功创建集群后，需要添加节点，输入各个节点的 ssh 密码和账号即可。

然后我们开始安装 Kylin 服务。我已经提前安装好 Kylin 依赖的服务，如果没安装过，会提示先安装。

分配角色实例到指定节点安装

修改初始化配置，需要设置 mysql 配置

约等待几分钟，即可安装成功。

安装成功后可以点击 Kylin 服务，查看服务详情。

也可以通过服务角色，查看 kylin 的实时日志。

通过服务的 web 地址可以跳转 kylin 首页，地址一是通过 hostname 访问，地址二是通过 ip 地址访问。

默认密码是 ADMIN/KYLIN

成功登陆后可以看到 kylin5 全新的界面，好看了不少。

导入 Kylin5 样本数据

使用 kubectl 进入 kylin 的 pod 中

[root@test-1 ~]# kubectl get pod |grep kylinkylin-server-kylin18-74dbbbdc67-cp2f4                1/1     Running   0          6m43s
[root@test-1 ~]# kubectl exec -it kylin-server-kylin18-74dbbbdc67-cp2f4  bash

复制代码

进入 pod 后，直接执行脚本导入内置数据集和样本项目。

sample.sh

复制代码

等待几分钟后，可以看到数据都导入完成了，一些 sql 脚本也用 hive 命令执行完了。

回到页面上可以看到多了新的项目和一些 hive 表数据。

构建 cube

点击 model 页面，可以看到多了一个 cube

打开后，可以看到数据表直接的关系，很直看到都是 inner join 还有关联的字段。

点击 index，可以看到默认导入的一些聚合组合还有 index，可以看到状态都是没有构建的。

点击构建，可以选择增量或者全量，这里选择全量。

查看监控，可以看到构建的 job

构建完成后可以看到 cube 的信息更新了

查询数据

执行 sql 查询

SELECT P_PARTKEY,P_NAME ,count(*)FROM "SSB"."P_LINEORDER" as "P_LINEORDER" 
INNER JOIN "SSB"."CUSTOMER" as "CUSTOMER"ON "P_LINEORDER"."LO_CUSTKEY"="CUSTOMER"."C_CUSTKEY"INNER JOIN "SSB"."PART" as "PART"ON "P_LINEORDER"."LO_PARTKEY"="PART"."P_PARTKEY"INNER JOIN "SSB"."SUPPLIER" as "SUPPLIER"ON "P_LINEORDER"."LO_SUPPKEY"="SUPPLIER"."S_SUPPKEY"INNER JOIN "SSB"."DATES" as "DATES"ON "P_LINEORDER"."LO_ORDERDATE"="DATES"."D_DATEKEY"group by P_PARTKEY,P_NAME