写点什么

Flink on Yarn 三部曲之一:准备工作

作者:程序员欣宸
  • 2022-12-02
    广东
  • 本文字数:2636 字

    阅读完需:约 9 分钟

Flink on Yarn三部曲之一:准备工作

欢迎访问我的 GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos

关于 Flink on Yarn 三部曲

  • 本文是《Flink on Yarn 三部曲》的第一篇,整个系列由以下三篇组成:


  1. 准备工作:搭建 Flink on Yarn 环境前,将所有硬件、软件资源准备好;

  2. 部署和设置:部署 CDH 和 Flink,然后做相关设置

  3. Flink 实战:在 Yarn 环境提交 Flink 任务


  • 整个三部曲的实战内容如下图所示:

  • 接下来就从最基本的准备工作开始吧。

全文链接

  1. 《Flink on Yarn三部曲之一:准备工作》

  2. 《Flink on Yarn三部曲之二:部署和设置》

  3. 《Flink on Yarn三部曲之三:提交Flink任务》

关于 Flink on Yarn

  • 除了常见的 standalone 模式,Flink 还支持将任务提交到 Yarn 环境执行,任务所需的计算资源由 Yarn Remource Manager 来分配,如下图(来自 Flink 官网):


  • 因此需要搭建一套 Yarn 环境,通过 CDH 部署 Yarn、HDFS 等服务是常见方式,接下来就采用此方式来部署;

部署方式

  • ansible 是常用的运维工具,可以大幅度简化整个部署过程,接下来会使用 ansible 来完成部署工作,如果您对 ansible 还不够了解,请参考《ansible2.4安装和体验》,部署操作如下图所示,在一台安装了 ansible 的电脑上运行脚本,由 ansible 远程连接到一台 CentOS7.7 的服务器上,完成部署工作:

硬件准备

  • 一台可以运行 ansible 的电脑,我这里用的是 MacBook Pro,也用 CentOS 验证过,都可以顺利完成部署;

  • 一台 CentOS7.7 的电脑用于运行 Yarn 和 Flink(文中的 CDH 服务器 就是指该电脑),为了操作简单,本次实战将 CDH、Yarn、HDFS、Flink 都部署在这一台机器上,实测发现, 此电脑 CPU 至少要双核,内存不低于 16G ,如果您想用多台电脑部署 CDH,建议自行修改 ansible 脚本来分别部署,脚本地址后面会给出;

软件版本

  1. ansible 电脑操作系统:macOS Catalina 10.15(实测用 CentOS 也能成功)

  2. CDH 服务器操作系统:CentOS Linux release 7.7.1908

  3. cm 版本:6.3.1

  4. parcel 版本:5.16.2

  5. flink 版本:1.7.2


  • 注意 :因为 flink 需要 hadoop2.6 版本,所以 parcel 选择了 5.16.2,这里面对应的 hadoop 是 2.6 版

CDH 服务器设置

  • 需要登录 CDH 服务器执行以下设置:

  • 检查 /etc/hostname 文件是否正确,如下图:

  • 修改 /etc/hosts 文件,将自己的 IP 地址和 hostname 配置上去,如下图红框所示( 事实证明这一步很重要 ,如果不做可能导致在部署时一直卡在"分配"阶段,看 agent 日志显示 agent 下载 parcel 的进度一直是百分之零):

下载文件(ansible 电脑)

  • 本次实战要准备 13 个文件,如下表所示(后面会给出每个文件的获取方式):



  • 下面是每个文件的下载地址:


  1. jdk-8u191-linux-x64.tar.gz:Oracle 官网可下,另外我将 jdk-8u191-linux-x64.tar.gz 和 mysql-connector-java-5.1.34.jar 一起打包上传到 csdn,您可以一次性下载,地址:https://download.csdn.net/download/boling_cavalry/12098987

  2. mysql-connector-java-5.1.34.jar:maven 中央仓库可下,另外我将 jdk-8u191-linux-x64.tar.gz 和 mysql-connector-java-5.1.34.jar 一起打包上传到 csdn,您可以一次性下载,地址:https://download.csdn.net/download/boling_cavalry/12098987

  3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm:https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

  4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm:https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

  5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm:https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

  6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel:https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel

  7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha:https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 (下载完毕后,将扩展名从.sha1 为.sha)

  8. flink-1.7.2-bin-hadoop26-scala_2.11.tgz:http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scala_2.11.tgz

  9. hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、var.yml :这五个文件都保存在我的 GitHub 仓库,地址是:https://github.com/zq2599/blog_demos ,这里面有多个文件夹,上述文件在名为 ansible-cm6-cdh5-flink172-single 的文件夹中,如下图红框所示:

文件摆放(ansible 电脑)

  • 如果您已经下载好了上述 13 个文件,请按照如下位置摆放,这样才能顺利完成部署:

  • 如果您已经下载好了上述 13 个文件,请按照如下位置摆放,这样才能顺利完成部署:在家目录下新建名为 playbooks 的文件夹: mkdir ~/playbooks

  • 如果您已经下载好了上述 13 个文件,请按照如下位置摆放,这样才能顺利完成部署:把这五个文件放入 playbooks 文件夹:hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、vars.yml

  • 如果您已经下载好了上述 13 个文件,请按照如下位置摆放,这样才能顺利完成部署:在 playbooks 文件夹里新建名为 cdh6 的子文件夹;

  • 把这八个文件放入 cdh6 文件夹(即剩余的八个):jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、flink-1.7.2-bin-hadoop26-scala_2.11.tgz

  • 摆放完毕后目录和文件情况如下图,再次提醒: 文件夹 playbooks 一定要放在家目录下 (即: ~/ ):


ansible 参数设置(ansible 电脑)

  • ansible 参数设置的操作设置很简单:配置好 CDH 服务器的访问参数即可,包括 IP 地址、登录账号、密码等,修改 ~/playbooks/hosts 文件,内容如下所示,您需要根据自身情况修改 deskmini、ansible_host、ansible_port、ansible_user、ansible_password:


[cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888
复制代码


  • 至此,所有准备工作已完成,下一篇文章我们将完成这些操作:


  1. 部署 CDH 和 Flink

  2. 启动 CDH

  3. 设置 CDH、在线安装 Yarn、HDFS 等

  4. 调整 Yarn 参数,使 Flink 任务可以提交成功

欢迎关注 InfoQ:程序员欣宸

学习路上,你不孤单,欣宸原创一路相伴...


发布于: 刚刚阅读数: 3
用户头像

搜索"程序员欣宸",一起畅游Java宇宙 2018-04-19 加入

前腾讯、前阿里员工,从事Java后台工作,对Docker和Kubernetes充满热爱,所有文章均为作者原创,个人Github:https://github.com/zq2599/blog_demos

评论

发布
暂无评论
Flink on Yarn三部曲之一:准备工作_大数据_程序员欣宸_InfoQ写作社区