写点什么

Flink1.7 从安装到体验

作者:程序员欣宸
  • 2022 年 7 月 16 日
  • 本文字数:2325 字

    阅读完需:约 8 分钟

Flink1.7从安装到体验

欢迎访问我的 GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos


  • 本文实战 Flink1.7 的安装和 Demo 运行过程;

步骤介绍

  1. 准备工作;

  2. 下载 Flink1.7;

  3. 安装 Flink1.7;

  4. 启动 Flink1.7;

  5. 体验 Flink1.7;

准备工作

  • 以下是本次实战的环境信息:


  1. 操作系统:CentOS Linux release 7.5.1804

  2. JDK:1.8.0_191

  3. nc 工具:7.50(安装命令是 yum install nmap-ncat.x86_64


  • 注意:


  1. 我在 vmware 的 ubuntu16 上试过,启动后 Managers、Slots、Available Task Slots 的数量都为零,但在实体机器上是没有问题的;

  2. CentOS 请注意关闭防火墙;

下载 Flink1.7

  • 在 Flink 官网下载,地址是:https://flink.apache.org/downloads.html

  • 如下图,选择红框中的版本:


安装 Flink1.7

  • Flink1.7 的安装很简单,解压即可,如下所示:


  1. 下载的 Flink 安装包文件是 flink-1.7.0-bin-hadoop28-scala_2.11.tgz,放在此位置:/usr/local/work

  2. 在/usr/local/work 目录下执行命令 tar -zxvf flink-1.7.0-bin-hadoop28-scala_2.11.tgz 解压,会生成一个文件夹:flink-1.7.0

启动 Flink1.7

  • 在文件夹 flink-1.7.0 下执行命令**./bin/start-cluster.sh**即可启动 Flink,启动信息如下:


[root@vostro flink-1.7.0]# ./bin/start-cluster.sh Starting cluster.Starting standalonesession daemon on host vostro.Starting taskexecutor daemon on host vostro.
复制代码


  • 在 flink-1.7.0/log 目录下可以看到名为 flink-root-standalonesession-0-vostro.log**的日志文件(您的文件名和我这里略有不同,vostro 是我的主机名,root 是当前账号),内容如下:


2018-12-16 16:51:00,658 INFO  org.apache.flink.runtime.dispatcher.DispatcherRestEndpoint    - Rest endpoint listening at localhost:80812018-12-16 16:51:00,658 INFO  org.apache.flink.runtime.dispatcher.DispatcherRestEndpoint    - http://localhost:8081 was granted leadership with leaderSessionID=00000000-0000-0000-0000-0000000000002018-12-16 16:51:00,658 INFO  org.apache.flink.runtime.dispatcher.DispatcherRestEndpoint    - Web frontend listening at http://localhost:8081.2018-12-16 16:51:00,760 INFO  org.apache.flink.runtime.rpc.akka.AkkaRpcService              - Starting RPC endpoint for org.apache.flink.runtime.resourcemanager.StandaloneResourceManager at akka://flink/user/resourcemanager .2018-12-16 16:51:00,777 INFO  org.apache.flink.runtime.rpc.akka.AkkaRpcService              - Starting RPC endpoint for org.apache.flink.runtime.dispatcher.StandaloneDispatcher at akka://flink/user/dispatcher .2018-12-16 16:51:00,803 INFO  org.apache.flink.runtime.resourcemanager.StandaloneResourceManager  - ResourceManager akka.tcp://flink@localhost:6123/user/resourcemanager was granted leadership with fencing token 000000000000000000000000000000002018-12-16 16:51:00,804 INFO  org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager  - Starting the SlotManager.2018-12-16 16:51:00,847 INFO  org.apache.flink.runtime.dispatcher.StandaloneDispatcher      - Dispatcher akka.tcp://flink@localhost:6123/user/dispatcher was granted leadership with fencing token 00000000-0000-0000-0000-0000000000002018-12-16 16:51:00,849 INFO  org.apache.flink.runtime.dispatcher.StandaloneDispatcher      - Recovering all persisted jobs.2018-12-16 16:51:01,601 INFO  org.apache.flink.runtime.resourcemanager.StandaloneResourceManager  - Registering TaskManager with ResourceID a0692f62811e0452256484a5e46ec5ed (akka.tcp://flink@vostro:40228/user/taskmanager_0) at ResourceManager2018-12-16 17:19:09,663 INFO  org.apache.flink.runtime.entrypoint.ClusterEntrypoint         - RECEIVED SIGNAL 15: SIGTERM. Shutting down as requested.2018-12-16 17:19:09,663 INFO  org.apache.flink.runtime.blob.TransientBlobCache              - Shutting down BLOB cache2018-12-16 17:19:09,668 INFO  org.apache.flink.runtime.blob.BlobServer                      - Stopped BLOB server at 0.0.0.0:35234
复制代码


  • 我的机器 IP 地址为 192.168.1.103,因此在浏览器访问 http://192.168.1.103:8081,可以见到如下信息:


  • 至此,Flink1.7 安装、部署、启动完成;

体验 Flink1.7

  • 在机器上执行以下命令连接本机 9000 端口:


nc -l 9000
复制代码


  • 在文件夹 flink-1.7.0 下执行以下命令,即可监听本机 9000 端口,等待该端口的数据:


./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
复制代码


  • 此时再去刷新 web 页面,可见如下信息,新增了一个 Job:



  • 在执行了 nc -l 9000 命令的窗口,输入一些句子,每输完一个就按下回车键,如下:


[root@vostro work]# nc -l 9000hello flink worldaaa bbb cccflink startstart flink study, flink go
复制代码


  • 这样就将上述字符串发送到本机 9000 端口;

  • 在 flink-1.7.0/log 目录下,会有 flink-root-taskexecutor-0-vostro.out 文件出现,您的文件名可能略有不同,其中 vostro 是我这边的主机名,root 是当前账号,打开这个文件看看,出现以下内容:


[root@vostro work]# nc -l 9000hello flink worldaaa bbb cccflink startstart flink study, flink go
复制代码


  • 可见任务已正常执行,每个句子中的单词数量都被统计出来了;

  • 至此,我们完成了 Flink 的初体验,在后续的实战中咱们再一起逐渐深入的体验 Flink 这个强大的框架;

欢迎关注 InfoQ:程序员欣宸

学习路上,你不孤单,欣宸原创一路相伴...

发布于: 刚刚阅读数: 3
用户头像

搜索"程序员欣宸",一起畅游Java宇宙 2018.04.19 加入

前腾讯、前阿里员工,从事Java后台工作,对Docker和Kubernetes充满热爱,所有文章均为作者原创,个人Github:https://github.com/zq2599/blog_demos

评论

发布
暂无评论
Flink1.7从安装到体验_Java_程序员欣宸_InfoQ写作社区