写点什么

Flink 集群部署:Standalone 部署

用户头像
正向成长
关注
发布于: 2021 年 02 月 16 日
Flink集群部署:Standalone部署

支持在所有的 Unix 和 Mac OS 系统上运行,如果是 Windows 主机则需要安装 Cygwin 环境。集群可以由一(多)个 master 节点和一个或者多个 work 节点组成,如果多主机部署则各个主机之间需要 ssh 打通。


Standalone 集群的特点

  • 支持分布式多物理主机部署

  • 依赖于 Java 8 或 Java 11 JDK 环境

  • 支持高可用配置

  • 仅支持 Session 模式提交 Job

Standalone 单机部署

  • JobManager 和 TaskManager 运行在同一台主机上

  • 仅适用于本地测试,不适用于生产环境

  • 不支持高可用

部署步骤

Flink下载页面下载安装包或者源码编译,我下载的是flink-1.12.1-bin-scala_2.11.tgz,之后进行解压:

tar -xvf flink-1.12.1-bin-scala_2.11.tgz
复制代码

之后便可以启动集群:

cd flink-1.12.1 & ./bin/flink-1.12.1
复制代码

看到如下的信息便是启动成功:

Starting cluster.Starting standalonesession daemon on host <name随机器会变动>.Starting taskexecutor daemon on host <name随机器会变动>.
复制代码

假设上文中的<name>为 haha,则可以在浏览器中输入http://haha:8081/看到集群的运行信息。


执行下面脚本停止集群:

./bin/stop-cluster.sh
复制代码

运行示例

运行字频统计示例

./bin/flink run ./examples/batch/WordCount.jar 
复制代码

该程序运行很快,之后在网页中 Jobs->Completed Jobs 可以看到该执行完的任务,双击该任务可以看到该任务更多的执行信息。


发布于: 2021 年 02 月 16 日阅读数: 12
用户头像

正向成长

关注

正向成长 2018.08.06 加入

想要坚定地做大规模数据处理(流数据方向),希望结合结合批处理的传统处理方式,以及之后流批混合处理方向进行学习和记录。

评论

发布
暂无评论
Flink集群部署:Standalone部署