写点什么

CDH5 部署三部曲之一:准备工作

  • 2022 年 4 月 29 日
  • 本文字数:1045 字

    阅读完需:约 3 分钟

[](()版本信息

  1. CentOS:7.6.1810

  2. Python: 2.7.5(操作系统自带)

  3. CM 包:cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz

[](()服务器规划

本次搭建的 CDH 集群一共用到三台机器,一台 master,另外两台是 agent:


| 主机名 | IP 地址 | 内存 | 身份 |


| --- | --- | --- | --- |


| master | 192.168.133.152 | 双核 4G 内存 | 管理节点 |


| worker1 | 192.168.133.153 | 双核 8G 内存 | 任务节点 |


| worker2 | 192.168.133.154 | 双核 16G 内存 | 任务节点 |

[](()文件下载

  1. cm 下载地址:http://archive.cloudera.com/cm5/cm/5/ ,找到自己需要的 cm 包下载,本次实战用的是 cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz,如下图红框:



  1. parcel 下载地址:http://archive.cloudera.com/cdh5/parcels ,本次实战用到的是 CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel,请下载下图红框中的三个文件,注意一共要下载三个文件:


[](()所有机器都要做的相同操作

以下操作需要 master、w 《一线大厂 Java 面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 orker1、worker2 各自做一遍:


  1. 本次实战在所有机器上的操作,都使用 root 账号;

  2. 确保所有机器都可以用 SSH 工具远程登录;

  3. 安装时间同步工具:


yum install -y ntpdate


  1. 时间同步:


ntpdate cn.ntp.org.cn


  1. 关闭和禁用防火墙:


systemctl stop firewalld && systemctl disable firewalld


  1. 关闭 SELINUX:打开文件/etc/selinux/config,找到 SELINUX=xxx 那一行,改为 SELINUX=disabled,如下图红框:



  1. 关闭 swap:打开文件/etc/fstab,找到带有 swap 的那一行,注释掉,如下图红框:



  1. 重启电脑;

  2. 新建文件夹/usr/lib/jvm

  3. 安装 JDK,我这里下载的是 jdk-8u191-linux-x64.tar.gz,解压后是个名为 jdk1.8.0_191 的文件夹,将此文件夹放在/usr/lib/jvm 目录下;

  4. 打开文件/etc/profile,在尾部增加以下内容:


export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191


export JRE_HOME=${JAVA_HOME}/jre


export CLASSPATH=.:{JRE_HOME}/lib


export PATH=PATH


  1. 使配置生效:


source /etc/profile


  1. CDH 默认的 JDK 目录是 /usr/java/default,因此要创建软链接,执行以下命令:


mkdir /usr/java && ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default


  1. 检查 Python 是否可用,如果没有还请自行安装,本次用到的是 2.6 或者 2.7 版本:



  1. 安装多个依赖包:


yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb


  1. 创建目录:


mkdir /opt/cloudera-manager

用户头像

还未添加个人签名 2022.04.13 加入

还未添加个人简介

评论

发布
暂无评论
CDH5部署三部曲之一:准备工作_Java_爱好编程进阶_InfoQ写作社区