CDH+Kylin 三部曲之二：部署和设置
由于修改了 selinux 和 swap 的设置，需要重启操作系统才能生效，因此请重启 CDH 服务器；
[](()执行 ansible 脚本启动 CDH 服务(ansible 电脑)
等待 CDH 服务器重启成功；
登录 ansible 电脑，进入~/playbooks 目录；
执行初始化数据库和启动 CDH 的脚本：ansible-playbook cdh-single-start.yml
启动完成输出如下信息：
ssh 登录 CDH 服务器，执 《一线大厂 Java 面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 行此命令观察 CDH 服务的启动情况：tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log，看到下图红框中的内容时，表示启动完成，可以用浏览器登录了：
[](()设置(浏览器操作)
现在 CDH 服务已经启动了，可以通过浏览器来操作：
浏览器访问：http://192.168.50.134:7180 ，如下图，账号密码都是 admin：
一路 next，在选择版本页面选择 60 天体验版：
选择主机页面可见 CDH 服务器（deskmini）：
在选择 CDH 版本的页面，请选择下图红框中的 5.16.2-1：
进入安装 Parcel 的页面，由于提前上传了离线 parcle 包，因此下载进度瞬间变成百分之百，此时请等待分配、解压、激活的完成：
接下来有一些推荐操作，这里选择如下图红框，即可跳过：
接下来是选择服务的页面，我选择了自定义服务，然后选择了 HBase、HDFS、Hive、Hue、Oozie、Spark、YARN、Zookeeper 这八项，可以满足运行 Kylin 的需要：
在选择主机的页面，都选择 CDH 服务器：
接下来是数据库设置的页面，您填写的内容必须与下图保持一致，即主机名为 localhost，Hive 的数据库、用户、密码都是 hive，Activity Monitor 的数据库、用户、密码都是 amon，Reports Manager 的数据库、用户、密码都是 rman，Oozie Server 的数据库、用户、密码都是 oozie，Hue 的数据库、用户、密码都是 hue，这些内容在 ansible 脚本中已经固定了，此处的填写必须保持一致：
在设置参数的页面，请按照您的硬盘实际情况设置，我这里/home 目录下空间充足，因此存储位置都改为/home 目录下：
等待服务启动：
各服务启动完成：
[](()HDFS 设置
如下图红框所示，HDFS 服务存在问题：
点击上图中红色感叹号可见问题详情，如下图，是常见的副本问题：
操作如下图，在 HDFS 的参数设置页面，将 dfs.replication 的值设置为 1(只有一个数据节点)：
经过上述设置，副本数已经调整为 1，但是已有文件的副本数还没有同步，需要重新做设置，SSH 登录到 CDH 服务器上；
执行命令 su - hdfs 切换到 hdfs 账号，再执行以下命令即可完成副本数设置：
hadoop fs -setrep -R 1 /
回到网页，重启 HDFS 服务，如下图：
重启后 HDFS 服务正常：
[](()YARN 设置
默认的 YARN 参数是非常保守的，需要做一些设置才能顺利执行 Spark 任务：
进入 YARN 管理页；
如下图所示，检查参数 yarn.nodemanager.resource.cpu-vcores 的值，该值必须大于 1，否则提交 Spark 任务后 YARN 不分配资源执行任务，（如果您的 CDH 服务器是虚拟机，当 CPU 只有单核时，则此参数就会被设置为 1，解决办法是先提升虚拟机 CPU 核数，再来修改此参数）：
yarn.scheduler.minimum-allocation-mb：单个容器可申请的最小内存，我这里设置为 1G
yarn.scheduler.maximum-allocation-mb：单个容器可申请的最大内存，我这里设置为 8G
还未添加个人签名 2022.04.13 加入
还未添加个人简介
评论