大数据 -158 Apache Kylin 3.1.1 在 Hadoop 2.9/Hive 2.3/HBase 1.3 的最小可用部署实录(含坑位与修复)

TL;DR
场景:3 节点(h121/122/123)资源吃紧环境,部署 Apache Kylin 3.1.1(HBase1.x 版)。
结论:通过环境变量与软链补齐、修正 HADOOP_CONF_DIR、按序启动组件,成功启动并登录 Kylin(7070)。
产出:完整命令序列、版本矩阵(已验证)、错误速查卡(常见症状→定位→修复)。
版本矩阵
依赖环境
集群规划
我这里就不根据上图来做了,因为我的服务器资源比较紧张,我就自由安排了。需要注意:要求 HBase 的 hbase.zookeeper.quorum 值必须只能是 host1、host2 这种,不允许 host1:2181、host2:2181 这种。
(之前 HBase 实验已经做过了,配置就是这样的)
保险起见,放一个截图:
项目下载
下载地址如下:
这里使用的是:
你可以通过 wegt 或者本地下载完传到服务器上,按照需求,我这里是上传到 h122 节点上
等待下载完毕
解压移动
运行结果如下图所示:
接着将其移动到 servers 目录,方便后续的管理:
环境变量
我们需要加入 Kylin 的环境变量:(记得刷新环境变量)
配置环境变量如下图所示:
依赖组件
执行的结果如下图所示:
配置环境
我们需要修改 kylin.sh
配置结果如下图所示:
检查依赖
我这里报错了,可能是之前的环境变量有问题:
我找了一圈,看到 Flink YARN 这里 HADOOP_CONF_DIR 可能配置错了:
修改完的结果为如下:(这里我暂时注释了,防止我的 FlinkYRAN 以后不能用了)
重新进行测试环境,检查顺利通过,看里边还有一些和 Flink、Kafka 的配置等,你需要的话可以加入:
启动集群
ZooKeeper
启动 h121 h122 h123 集群模式需要每个节点都运行
HDFS
启动 h121 h122 h123h121 运行即可,但是要检查确认
YRAN
启动 h121 h122 h123h121 运行即可,但是要检查确认
HBase
启动 h121 h122 h123h121 运行即可,但是要检查确认
Metastore
启动 h121 即可
运行结果如下图:
history server
启动 h121 即可
Kylin
启动 h122
运行过程如下图所示:
节点详情
h121
与上图对应一下:
Metastore
Zookeeper
HBase
HDFS
JPS 跳过
YARN
Hadoop
h122
JPS 跳过
YRAN
ZooKeeper
HBase
好像是 Kylin
HDFS
h123
YARN
JPS 跳过
HBase
ZooKeeper
Hadoop
HDFS
启动结果
我们访问之后可以看到如下的内容:
登录进入
登录进入之后,就是如下的结果:
错误速查
其他系列
🚀 AI 篇持续更新中(长期更新)
AI 炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架 私有部署 测试上手 架构研究,持续打造实用 AI 工具指南!AI 研究-127 Qwen2.5-Omni 深解:Thinker-Talker 双核、TMRoPE 与流式语音🔗 AI模块直达链接
💻 Java 篇持续更新中(长期更新)
Java-174 FastFDS 从单机到分布式文件存储:实战与架构取舍 MyBatis 已完结,Spring 已完结,Nginx 已完结,Tomcat 已完结,分布式服务已完结,Dubbo 已完结,MySQL 已完结,MongoDB 已完结,Neo4j 已完结,FastDFS 正在更新,深入浅出助你打牢基础!🔗 Java模块直达链接
📊 大数据板块已完成多项干货更新(300 篇):
包括 Hadoop、Hive、Kafka、Flink、ClickHouse、Elasticsearch 等二十余项核心组件,覆盖离线+实时数仓全栈!大数据-278 Spark MLib - 基础介绍 机器学习算法 梯度提升树 GBDT 案例 详解🔗 大数据模块直达链接
版权声明: 本文为 InfoQ 作者【武子康】的原创文章。
原文链接:【http://xie.infoq.cn/article/ca859a482395589c8261a560d】。文章转载请联系作者。







评论