CDH+Kylin 三部曲之一：准备工作

欢迎访问我的 GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

• 本文是《CDH+Kylin 三部曲》的第一篇，整个系列由以下三篇组成：

1. 准备工作：搭建 CDH+Kylin 环境前，将所有硬件、软件资源准备好

2. 部署和设置：部署 CDH 和 Kylin，再做相关设置

3. Kylin 实战：在搭好的环境上运行 Kylin 官方 demo

• 整个三部曲的实战内容如下图所示：

• 

• 接下来，就从最基本的准备工作开始吧。

关于 CDH 与 Kylin

• Kylin 的运行需要 Hadoop、Hive、HBase 等服务，因此用 CDH 来集中部署这些应用更为方便，下图来自 Kylin 官方，可见是支持 CDH 的：

• 

• 官方说支持 CDH6.0 版本，但实际部署中发现 Kylin2.6 在 CDH6.0.1 环境启动会有问题，经尝试发现 Kylin2.6+CDH5.16 可以正常运行，本次实战就用这样的版本搭配；

部署方式

• ansible 是常用的运维工具，可大幅度简化整个部署过程，接下来会使用 ansible 来完成部署工作，如果您对 ansible 还不够了解，请参考《ansible2.4安装和体验》，部署操作如下图所示，在一台安装了 ansible 的电脑上运行脚本，由 ansible 远程连接到一台 CentOS7.7 的服务器上，完成部署工作：

• 

硬件准备

• 一部能运行 ansible 的电脑，我用的是 MacBook Pro，也用 CentOS 验证过，都能顺利完成部署；

• 一台 CentOS7.7 电脑，用于运行 HDFS、Hive、HBase、Spark、Kylin 等所有服务(后续文中的 CDH 服务器 就是指该电脑)， 用一台机器部署所有服务仅适用于学习和开发阶段 ，实测发现，此电脑 CPU 至少要双核 ，内存不低于 16G ，如果您想用多台电脑部署 CDH，建议自行修改 ansible 脚本来分别部署，脚本地址后面会给出；

CDH 服务器设置

• 需要登录 CDH 服务器做以下设置：

• 检查/etc/hostname 文件是否正确，如下图：

• 

• 修改 /etc/hosts 文件，将自己的 IP 地址和 hostname 配置上去，如下图红框所示（ 事实证明这一步很重要 ，如果不做可能导致在部署时一直卡在"分配"阶段，看 agent 日志显示 agent 下载 parcel 的进度一直是百分之零）：

• 

下载文件(ansible 电脑)

• 本次实战一共要准备 13 个文件，这里用表格列举如下：

• 下面是每个文件的下载地址：

1. jdk-8u191-linux-x64.tar.gz：Oracle 官网可下，另外我将 jdk-8u191-linux-x64.tar.gz 和 mysql-connector-java-5.1.34.jar 一起打包上传到 csdn，您可以一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987
   

2. mysql-connector-java-5.1.34.jar：maven 中央仓库可下，另外我将 jdk-8u191-linux-x64.tar.gz 和 mysql-connector-java-5.1.34.jar 一起打包上传到 csdn，您可以一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987
   

3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
   

4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
   

5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
   

6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel
   

7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 （下载完毕后，将扩展名从.sha1 为.sha）

8. apache-kylin-2.6.4-bin-cdh57.tar.gz：https://archive.apache.org/dist/kylin/apache-kylin-2.6.4/apache-kylin-2.6.4-bin-cdh57.tar.gz
   

9. hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml ：这五个文件都保存在我的 GitHub 仓库，地址是：https://github.com/zq2599/blog_demos ，这里面有多个文件夹，上述文件在名为 ansible-cm6-cdh5-kylin264-single 的文件夹中，如下图红框所示：

文件摆放(ansible 电脑)

• 如果您已经下载好了上述 13 个文件，请按照如下位置摆放，这样才能顺利完成部署：

1. 在家目录下新建名为 playbooks 的文件夹：mkdir ~/playbooks

2. 把这五个文件放入 playbooks 文件夹：hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml

3. 在 playbooks 文件夹里新建名为 cdh6 的子文件夹；

4. 把这八个文件放入 cdh6 文件夹(即剩余的八个)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、apache-kylin-2.6.4-bin-cdh57.tar.gz

5. 摆放完毕后目录和文件情况如下图，再次提醒： 文件夹 playbooks 一定要放在家目录下 （即： ~/ ）：

6. 

ansible 参数设置(ansible 电脑)

• ansible 参数设置的操作设置很简单：配置好 CDH 服务器的访问参数即可，包括 IP 地址、登录账号、密码等，修改 ~/playbooks/hosts 文件，内容如下所示，您需要根据自身情况修改 deskmini、ansible_host、ansible_port、ansible_user、ansible_password：

[cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

• 至此，所有准备工作已完成，下一篇文章我们将完成这些操作：

1. 部署 CDH 和 Kylin

2. 启动 CDH

3. 设置 CDH、在线安装 Yarn、HDFS 等

4. 调整 HDFS、Yarn 参数

5. 修改 Spark 设置(否则 Kylin 启动会失败)

6. 启动 Kylin

欢迎关注 InfoQ：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...