Flink on Yarn 三部曲之一：准备工作

欢迎访问我的 GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

关于 Flink on Yarn 三部曲

• 本文是《Flink on Yarn 三部曲》的第一篇，整个系列由以下三篇组成：

1. 准备工作：搭建 Flink on Yarn 环境前，将所有硬件、软件资源准备好；

2. 部署和设置：部署 CDH 和 Flink，然后做相关设置

3. Flink 实战：在 Yarn 环境提交 Flink 任务

• 整个三部曲的实战内容如下图所示：

• 

• 接下来就从最基本的准备工作开始吧。

全文链接

1. 《Flink on Yarn三部曲之一：准备工作》
   

2. 《Flink on Yarn三部曲之二：部署和设置》
   

3. 《Flink on Yarn三部曲之三：提交Flink任务》
   

关于 Flink on Yarn

• 除了常见的 standalone 模式，Flink 还支持将任务提交到 Yarn 环境执行，任务所需的计算资源由 Yarn Remource Manager 来分配，如下图(来自 Flink 官网)：

  
  
  

• 因此需要搭建一套 Yarn 环境，通过 CDH 部署 Yarn、HDFS 等服务是常见方式，接下来就采用此方式来部署；

部署方式

• ansible 是常用的运维工具，可以大幅度简化整个部署过程，接下来会使用 ansible 来完成部署工作，如果您对 ansible 还不够了解，请参考《ansible2.4安装和体验》,部署操作如下图所示，在一台安装了 ansible 的电脑上运行脚本，由 ansible 远程连接到一台 CentOS7.7 的服务器上，完成部署工作：

• 

硬件准备

• 一台可以运行 ansible 的电脑，我这里用的是 MacBook Pro，也用 CentOS 验证过，都可以顺利完成部署；

• 一台 CentOS7.7 的电脑用于运行 Yarn 和 Flink(文中的 CDH 服务器 就是指该电脑)，为了操作简单，本次实战将 CDH、Yarn、HDFS、Flink 都部署在这一台机器上，实测发现， 此电脑 CPU 至少要双核，内存不低于 16G ，如果您想用多台电脑部署 CDH，建议自行修改 ansible 脚本来分别部署，脚本地址后面会给出；

软件版本

1. ansible 电脑操作系统：macOS Catalina 10.15(实测用 CentOS 也能成功)

2. CDH 服务器操作系统：CentOS Linux release 7.7.1908

3. cm 版本：6.3.1

4. parcel 版本：5.16.2

5. flink 版本：1.7.2

• 注意 ：因为 flink 需要 hadoop2.6 版本，所以 parcel 选择了 5.16.2，这里面对应的 hadoop 是 2.6 版

CDH 服务器设置

• 需要登录 CDH 服务器执行以下设置：

• 检查 /etc/hostname 文件是否正确，如下图：

• 

• 修改 /etc/hosts 文件，将自己的 IP 地址和 hostname 配置上去，如下图红框所示（ 事实证明这一步很重要 ，如果不做可能导致在部署时一直卡在"分配"阶段，看 agent 日志显示 agent 下载 parcel 的进度一直是百分之零）：

• 

下载文件(ansible 电脑)

• 本次实战要准备 13 个文件，如下表所示(后面会给出每个文件的获取方式)：

• 下面是每个文件的下载地址：

1. jdk-8u191-linux-x64.tar.gz：Oracle 官网可下，另外我将 jdk-8u191-linux-x64.tar.gz 和 mysql-connector-java-5.1.34.jar 一起打包上传到 csdn，您可以一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987
   

2. mysql-connector-java-5.1.34.jar：maven 中央仓库可下，另外我将 jdk-8u191-linux-x64.tar.gz 和 mysql-connector-java-5.1.34.jar 一起打包上传到 csdn，您可以一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987
   

3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
   

4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
   

5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
   

6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel
   

7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 （下载完毕后，将扩展名从.sha1 为.sha）

8. flink-1.7.2-bin-hadoop26-scala_2.11.tgz：http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scala_2.11.tgz
   

9. hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、var.yml ：这五个文件都保存在我的 GitHub 仓库，地址是：https://github.com/zq2599/blog_demos ，这里面有多个文件夹，上述文件在名为 ansible-cm6-cdh5-flink172-single 的文件夹中，如下图红框所示：

10. 

文件摆放(ansible 电脑)

• 如果您已经下载好了上述 13 个文件，请按照如下位置摆放，这样才能顺利完成部署：

• 如果您已经下载好了上述 13 个文件，请按照如下位置摆放，这样才能顺利完成部署：在家目录下新建名为 playbooks 的文件夹： mkdir ~/playbooks

• 如果您已经下载好了上述 13 个文件，请按照如下位置摆放，这样才能顺利完成部署：把这五个文件放入 playbooks 文件夹：hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、vars.yml

• 如果您已经下载好了上述 13 个文件，请按照如下位置摆放，这样才能顺利完成部署：在 playbooks 文件夹里新建名为 cdh6 的子文件夹；

• 把这八个文件放入 cdh6 文件夹(即剩余的八个)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、flink-1.7.2-bin-hadoop26-scala_2.11.tgz

• 摆放完毕后目录和文件情况如下图，再次提醒： 文件夹 playbooks 一定要放在家目录下 （即： ~/ ）：

  
  
  

ansible 参数设置(ansible 电脑)

• ansible 参数设置的操作设置很简单：配置好 CDH 服务器的访问参数即可，包括 IP 地址、登录账号、密码等，修改 ~/playbooks/hosts 文件，内容如下所示，您需要根据自身情况修改 deskmini、ansible_host、ansible_port、ansible_user、ansible_password：

[cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

• 至此，所有准备工作已完成，下一篇文章我们将完成这些操作：

1. 部署 CDH 和 Flink

2. 启动 CDH

3. 设置 CDH、在线安装 Yarn、HDFS 等

4. 调整 Yarn 参数，使 Flink 任务可以提交成功

欢迎关注 InfoQ：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...