Flink on Yarn 三部曲之一：准备工作，java 开发校招面试题

关于 Flink on Yarn

除了常见的 standalone 模式，Flink 还支持将任务提交到 Yarn 环境执行，任务所需的计算资源由 Yarn Remource Manager 来分配，如下图(来自 Flink 官网)：

因此需要搭建一套 Yarn 环境，通过 CDH 部署 Yarn、HDFS 等服务是常见方式，接下来就采用此方式来部署；

部署方式

ansible 是常用的运维工具，可以大幅度简化整个部署过程，接下来会使用 ansible 来完成部署工作，如果您对 ansible 还不够了解，请参考《ansible2.4安装和体验》,部署操作如下图所示，在一台安装了 ansible 的电脑上运行脚本，由 ansible 远程连接到一台 CentOS7.7 的服务器上，完成部署工作：

硬件准备

1. 一台可以运行 ansible 的电脑，我这里用的是 MacBook Pro，也用 CentOS 验证过，都可以顺利完成部署；

2. 一台 CentOS7.7 的电脑用于运行 Yarn 和 Flink(文中的 CDH 服务器就是指该电脑)，为了操作简单，本次实战将 CDH、Yarn、HDFS、Flink 都部署在这一台机器上，实测发现，此电脑 CPU 至少要双核，内存不低于 16G，如果您想用多台电脑部署 CDH，建议自行修改 ansible 脚本来分别部署，脚本地址后面会给出；

软件版本

1. ansible 电脑操作系统：macOS Catalina 10.15(实测用 CentOS 也能成功)

2. CDH 服务器操作系统：CentOS Linux release 7.7.1908

3. cm 版本：6.3.1

4. parcel 版本：5.16.2

5. flink 版本：1.7.2

注意：因为 flink 需要 hadoop2.6 版本，所以 parcel 选择了 5.16.2，这里面对应的 hadoop 是 2.6 版

CDH 服务器设置

需要登录 CDH 服务器执行以下设置：

1. 检查/etc/hostname 文件是否正确，如下图：

2. 修改/etc/hosts 文件，将自己的 IP 地址和 hostname 配置上去，如下图红框所示（事实证明这一步很重要，如果不做可能导致在部署时一直卡在"分配"阶段，看 agent 日志显示 agent 下载 parcel 的进度一直是百分之零）：

下载文件(ansible 电脑)

本次实战要准备 13 个文件，如下表所示(后面会给出每个文件的获取方式)：

| 编号 | 文件名 | 简介 |

| --- | --- | --- |

| 1 | jdk-8u191-linux-x64.tar.gz | Linux 版的 jdk 安装包 |

| 2 | mysql-connector-java-5.1.34.jar | mysql 的 JDBC 驱动 |

| 3 | cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm | cm 的 server 安装包 |

| 4 | cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm | cm 的 daemon 安装包 |

| 5 | cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm | cm 的 agent 安装包 |

| 6 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel | CDH 应用离线安装包 |

| 7 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha | CDH 应用离线安装包 sha 验证码 |

| 8 | flink-1.7.2-bin-hadoop26-scala_2.11.tgz | flink 安装包 |

| 9 | hosts | ansible 用到的远程主机配置，里面记录了 CDH6 服务器的信息 |

| 10 | ansible.cfg | ansible 用到的配置信息 |

| 11 | cm6-cdh5-flink1.7-single-install.yml | 部署 CDH 时用到的 ansible 脚本 |

| 12 | cdh-single-start.yml | 初次启动 CDH 时用到的 ansible 脚本 |

| 13 | var.yml | 脚本中用到的变量都在在此设值，

例如 CDH 包名、flink 文件名等，便于维护 |

下面是每个文件的下载地址：

1. jdk-8u191-linux-x64.tar.gz：Oracle 官网可下，另外我将 jdk-8u191-linux-x64.tar.gz 和 mysql-connector-java-5.1.34.jar 一起打包上传到 csdn，您可以一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987

2. mysql-connector-java-5.1.34.jar：maven 中央仓库可下，另外我将 jdk-8u191-linux-x64.tar.gz 和 mysql-connector-java-5.1.34.jar 一起打包上传到 csdn，您可以一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987

3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yu

【一线大厂Java面试题解析+核心总结学习笔记+最新架构讲解视频+实战项目源码讲义】
浏览器打开：qq.cn.hn/FTf 免费领取

m/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel

7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 （下载完毕后，将扩展名从.sha1 为.sha）

8. flink-1.7.2-bin-hadoop26-scala_2.11.tgz：http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scala_2.11.tgz

9. hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、var.yml ：这五个文件都保存在我的 GitHub 仓库，地址是：https://github.com/zq2599/blog_demos ，这里面有多个文件夹，上述文件在名为 ansible-cm6-cdh5-flink172-single 的文件夹中，如下图红框所示：

文件摆放(ansible 电脑)

如果您已经下载好了上述 13 个文件，请按照如下位置摆放，这样才能顺利完成部署：