写点什么

大数据 -158 Apache Kylin 3.1.1 在 Hadoop 2.9/Hive 2.3/HBase 1.3 的最小可用部署实录(含坑位与修复)

作者:武子康
  • 2025-11-20
    山东
  • 本文字数:1990 字

    阅读完需:约 7 分钟

大数据-158 Apache Kylin 3.1.1 在 Hadoop 2.9/Hive 2.3/HBase 1.3 的最小可用部署实录(含坑位与修复)

TL;DR

  • 场景:3 节点(h121/122/123)资源吃紧环境,部署 Apache Kylin 3.1.1(HBase1.x 版)。

  • 结论:通过环境变量与软链补齐、修正 HADOOP_CONF_DIR、按序启动组件,成功启动并登录 Kylin(7070)。

  • 产出:完整命令序列、版本矩阵(已验证)、错误速查卡(常见症状→定位→修复)。


版本矩阵


依赖环境

集群规划


我这里就不根据上图来做了,因为我的服务器资源比较紧张,我就自由安排了。需要注意:要求 HBase 的 hbase.zookeeper.quorum 值必须只能是 host1、host2 这种,不允许 host1:2181、host2:2181 这种。


cd /opt/servers/hbase-1.3.1/confvim hbase-site.xml
复制代码


(之前 HBase 实验已经做过了,配置就是这样的)


保险起见,放一个截图:


项目下载

下载地址如下:


https://archive.apache.org/dist/kylin/
复制代码


这里使用的是:


https://archive.apache.org/dist/kylin/apache-kylin-3.1.1/apache-kylin-3.1.1-bin-hbase1x.tar.gz
复制代码


你可以通过 wegt 或者本地下载完传到服务器上,按照需求,我这里是上传到 h122 节点上


cd /opt/softwarewget https://archive.apache.org/dist/kylin/apache-kylin-3.1.1/apache-kylin-3.1.1-bin-hbase1x.tar.gz
复制代码


等待下载完毕


解压移动

cd /opt/softwaretar -zxvf apache-kylin-3.1.1-bin-hbase1x.tar.gz
复制代码


运行结果如下图所示:



接着将其移动到 servers 目录,方便后续的管理:


环境变量

vim /etc/profile
复制代码


我们需要加入 Kylin 的环境变量:(记得刷新环境变量)


export KYLIN_HOME=/opt/servers/apache-kylin-3.1.1-bin-hbase1xexport PATH=$PATH:$KYLIN_HOME/bin
复制代码


配置环境变量如下图所示:


依赖组件

cd $KYLIN_HOME/confln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml hdfs-site.xmlln -s $HADOOP_HOME/etc/hadoop/core-site.xml core-site.xmlln -s $HBASE_HOME/conf/hbase-site.xml hbase-site.xmlln -s $HIVE_HOME/conf/hive-site.xml hive-site.xmlln -s $SPARK_HOME/conf/spark-defaults.conf spark-defaults.conf
复制代码


执行的结果如下图所示:


配置环境

我们需要修改 kylin.sh


cd $KYLIN_HOME/binvim kylin.sh
# 需要写入这些依赖 防止后续报错export HADOOP_HOME=/opt/servers/hadoop-2.9.2export HIVE_HOME=/opt/servers/apache-hive-2.3.9-binexport HBASE_HOME=/opt/servers/hbase-1.3.1export SPARK_HOME=/opt/servers/spark-2.4.5-bin-without-hadoop-scala-2.12
复制代码


配置结果如下图所示:


检查依赖

$KYLIN_HOME/bin/check-env.sh
复制代码


我这里报错了,可能是之前的环境变量有问题:



我找了一圈,看到 Flink YARN 这里 HADOOP_CONF_DIR 可能配置错了:


# Flink YRAN# export HADOOP_CONF_DIR=$HADOOP_HOMEexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport YARN_CONF_DIR=$HADOOP_HOME/etc/hadoopexport HADOOP_CLASSPATH=`hadoop classpath`
复制代码


修改完的结果为如下:(这里我暂时注释了,防止我的 FlinkYRAN 以后不能用了)



重新进行测试环境,检查顺利通过,看里边还有一些和 Flink、Kafka 的配置等,你需要的话可以加入:


启动集群

ZooKeeper

启动 h121 h122 h123 集群模式需要每个节点都运行


zkServer.sh start
复制代码

HDFS

启动 h121 h122 h123h121 运行即可,但是要检查确认


start-dfs.sh
复制代码

YRAN

启动 h121 h122 h123h121 运行即可,但是要检查确认


start-yarn.sh
复制代码

HBase

启动 h121 h122 h123h121 运行即可,但是要检查确认


start-hbase.sh
复制代码

Metastore

启动 h121 即可


nohup hive --service metastore > /tmp/metastore.log 2>&1 &
复制代码


运行结果如下图:


history server

启动 h121 即可


mr-jobhistory-daemon.sh start historyserver
复制代码

Kylin

启动 h122


kylin.sh start
复制代码


运行过程如下图所示:


节点详情

h121


与上图对应一下:


  • Metastore

  • Zookeeper

  • HBase

  • HDFS

  • JPS 跳过

  • YARN

  • Hadoop

h122


  • JPS 跳过

  • YRAN

  • ZooKeeper

  • HBase

  • 好像是 Kylin

  • HDFS

h123


  • YARN

  • JPS 跳过

  • HBase

  • ZooKeeper

  • Hadoop

  • HDFS

启动结果

http://h122.wzk.icu:7070/kylin/login
复制代码


我们访问之后可以看到如下的内容:


登录进入

默认都是大写账号 ADMIN密码 KYLIN
复制代码


登录进入之后,就是如下的结果:


错误速查

其他系列

🚀 AI 篇持续更新中(长期更新)

AI 炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架 私有部署 测试上手 架构研究,持续打造实用 AI 工具指南!AI 研究-127 Qwen2.5-Omni 深解:Thinker-Talker 双核、TMRoPE 与流式语音🔗 AI模块直达链接

💻 Java 篇持续更新中(长期更新)

Java-174 FastFDS 从单机到分布式文件存储:实战与架构取舍 MyBatis 已完结,Spring 已完结,Nginx 已完结,Tomcat 已完结,分布式服务已完结,Dubbo 已完结,MySQL 已完结,MongoDB 已完结,Neo4j 已完结,FastDFS 正在更新,深入浅出助你打牢基础!🔗 Java模块直达链接

📊 大数据板块已完成多项干货更新(300 篇):

包括 Hadoop、Hive、Kafka、Flink、ClickHouse、Elasticsearch 等二十余项核心组件,覆盖离线+实时数仓全栈!大数据-278 Spark MLib - 基础介绍 机器学习算法 梯度提升树 GBDT 案例 详解🔗 大数据模块直达链接

发布于: 19 小时前阅读数: 11
用户头像

武子康

关注

永远好奇 无限进步 2019-04-14 加入

Hi, I'm Zikang,好奇心驱动的探索者 | INTJ / INFJ 我热爱探索一切值得深究的事物。对技术、成长、效率、认知、人生有着持续的好奇心和行动力。 坚信「飞轮效应」,相信每一次微小的积累,终将带来深远的改变。

评论

发布
暂无评论
大数据-158 Apache Kylin 3.1.1 在 Hadoop 2.9/Hive 2.3/HBase 1.3 的最小可用部署实录(含坑位与修复)_Java_武子康_InfoQ写作社区