CDH 安装搭建（二）

安装 JDK

JDK 最好安装 1.8 的，因为 CDH6.0 以后 JDK 版本最低为 1.8

1、  所有主机卸载系统自带的 openjdk(如果没有就可跳过)

2、  使用 rpm -qa | grep jdk 检查系统是否有 openjdk

3、  卸载自带 openjdk 在每个主机输入 rpm -qa|grep openjdk |xargs -I {} rpm -e --nodeps {}

4、  将准备好的 jdk 上传到各个主机中

5、  在所有主机中输入 rpm -ivh jdk-8u111-linux-x64.rpm 进行安装

6、  验证是否安装成功  输入 rpm -qa | grep jdk

CDH 平台性能优化

Cloudera 官网提供了一些性能优化的建议，尽可能的提高平台的效率，详情见https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_performance.html#cdh_performance__section_hw3_sdf_jq

删除虚拟网卡

1、  所有主机需要安装所需的依赖

yum install -y qumu-kvm* libvirt* virt-install* bridge-utils

2、  所有主机运行 virsh net-destroydefault

3、  所有主机运行 virshnet-undefine default

静止透明大页

大页面（Huge Page）是内存分页管理的一种实现方式。计算机内存是通过表映射（页表）的方式进行内存寻址，目前系统内存以 4KB 为一个页，作为内存寻址的最小单元。随着内存不断增大，页表的大小将会不断增大。一台 256G 内存的机器，如果使用 4KB 小页，仅页表大小就要 4G 左右。页表是必须装在内存的，而且是在 CPU 内存，太大就会发生大量 miss，内存寻址性能就会下降。

Huge Page 就是为了解决这个问题，它使用 2MB 的大页代替传统小页来管理内存，这样页表大小就可以控制的很小，进而全部装在 CPU 内存，防止出现 miss。它有两种实现方式，一是静态大页面（Static Huge Pages，SHP），二是透明大页面（Transparent Huge Pages，THP）。从它们的名字就可以看出，SHP 是静态的，而 THP 是动态的。由于 THP 是在运行期做分配和管理，因此会有一定程度的延迟，对于内存密集型的应用十分不利，必须关闭它。

1、  所有主机输入以下命令

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

2、  所有主机的/etc/rc.local 中也需要加入这两条命令

减少集群使用交换内存

swappiness 设置值的区间在 0~100 之间，swap 即交换空间，作用类似于 Windows 中的虚拟内存，也就是当物理内存不足时，将硬盘上的 swap 分区当做内存来使用。但是，由于磁盘的读写速率与内存相比差太多，一旦发生大量交换，系统延迟就会增加，甚至会造成服务长期不可用，这对于大数据集群而言是致命的。vm.swappiness 参数用于控制内核对交换空间的使用积极性，默认是 60。值越高，就代表内核越多地使用交换空间。对于内存较大的 CDH 集群，我们一般将这个值设为 0 或 1。0 表示只有当可用物理内存小于最小阈值 vm.min_free_kbytes 时才使用交换空间，1 则表示最低限度地使用交换空间。

1、  所有主机运行以下三条命令

sysctl -w vm.swappiness=0

echo 'vm.swappiness=0'>> /etc/sysctl.conf

sysctl -p

配置本地源安装 HTTP 与 REPO

配置 Yum 源用于安装 HTTP 等软件，最终将本地源配置为网络源，让其他主机也可以使用该源下载软件，还有一个作用就是安装 agent 的时候需要下载一些依赖包。