Kylin 安装部署

一、安装环境：

1、CDH 版本为 6.2.0，其中 hbase 版本为 2.1.0，Hadoop 版本为 3.0.0

2、Kylin 版本为 3.0.1 for Cloudera CDH 6.0/6.1(目前 Kylin 最新版支持到 CDH6.1)

二、安装部署：

1、集群运行模式：

 Kylin 节点的运行模式 kylin.server.mode，参数值可选 all, job, query 中的一个，默认值为 all。job 模式代表该服务仅用于任务调度，不用于查询；query 模式代表该服务仅用于查询，不用于构建任务的调度；all 模式代表该服务同时用于任务调度和 SQL 查询。

2、集群规划：

10.130.90.92

10.130.90.93

10.130.90.94

All

Query

Query

3、配置 kylin：

1、将下载好的 kylin 安装包上传至 92 机器的/opt/kylin/目录下并解压

2、进入 conf 目录下配置 kylin.properties：

kylin.env.hadoop-conf-dir=/etc/hadoop/conf

kylin.engine.mr.lib-dir=/opt/cloudera/parcels/CDH/lib/sentry/lib

kylin.job.jar=/opt/kylin/apache-kylin-3.0.1-bin-cdh60/lib/kylin-job-3.0.1.jar

kylin.coprocessor.local.jar=/opt/kylin/apache-kylin-3.0.1-bin-cdh60/lib/kylin-coprocessor-3.0.1.jar

kylin.server.cluster-servers=10.130.90.92:7070,10.130.90.93:7070,10.130.90.94:7070

kylin.server.mode=all

其中kylin.env.hadoop-conf-dir=/etc/hadoop/conf文件夹中必须包含 hive 及 hbase 的配置文件，所以将 cloudera 中的 hive-site.xml、hbase-site.xml 使用软连接配置到/etc/hadoop/conf 文件夹下

3、将配置好的 kylin 发送至 93、94 机器，并进入 conf 目录下修改 kylin.properties 文件

 kylin.server.mode=query

   其他不变

三、kylin 使用

1、kylin 启动

跳转到安装目录的 bin 目录下，执行命令./kylin.sh start 启动 kylin 服务。

在启动过程中会检查 hive 和 hbase 的依赖，如果配置丢失或环境变量配置出错，会在启动过程中出现错误信息，CDH6.2.0 在使用 kylin3.0.1 时会出现问题，出现找不到类或方法情况，可参照下节进行排查。

启动成功界面如下入所示：

访问 WEB UI：

http://10.130.90.92:7070/kylin

用户名：ADMIN

密  码：KYLIN

也可以登录http://10.130.90.93:7070/kylin 或 http://10.130.90.94:7070/kylin 进行访问

2、kylin 服务停止

同样的，使用命令./kylin.sh stop 可以停止 kylin 服务

四、错误排查：

1、配置完成之后先通过 bin 目录下的./check-env.sh 进行环境检查，有可能会出现找不到 SPARK_HOME，官方说 spark 是可选项，但是在 kylin 启动过程中会去检查 spark_home，如果没有查到，则 kylin 不能继续启动，所以需要配置 spark_home，可在 kylin 的安装目录下执行：

export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark/

2、在 kylin 启动过程中会出现 java.lang.NoSuchMethodError: com.ctc.wstx.stax.WstxInputFactory.createSR

这个类是属于 spark 的 lib 下的，因为上面设置的 spark_home 目录下并没有 lib 目录，只有 jars，所以需要将 jars 配置进 kylin 的启动脚本中

Kylin.sh 中修改如下

export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:${HBASE_CLASSPATH_PREFIX}:/opt/cloudera/parcels/CDH/lib/spark/jars/*

3、kylin 启动过程中会出现 Caused by: java.lang.NoClassDefFoundError: org/apache/commons/configuration/ConfigurationException

这是 hadoop 启动过程中的配置类，因为 cdh6.2 版本中已经弃用这个类，使用 configuration2 进行配置的，所以会找到 configuration 这个类

解决：需要从网上下载 configuration1.x 版本的 jar 包，此处选择下载 configuration1.9 版本的，将下载好的 jar 包放到 kylin 的 Tomcat 中 kylin 的 lib 目录下：

此处目录为：/opt/kylin/apache-kylin-3.0.1-bin-cdh60/tomcat/webapps/kylin/WEB-INF/lib

注意：所有机器上都需要配置