Flink 最佳搭档:开发部署平台 Zeppelin 的自白

用户头像
Apache Flink
关注
发布于: 2020 年 07 月 20 日

Flink 的学习者或者爱好者想必十分了解,除了需要熟悉 Flink 本身之外,如果能有一款简单上手的 Flink 开发部署工具,不用写前端代码就能实现实时大屏、支持全部语言接口、支持多条 SQL,还能管理 Flink Job,这样的开发部署平台是不是完全无法拒绝?



很幸运,Apache 社区就有这么一款工具:Zeppelin,而且可能是开源界最好的 Flink 开发平台。



下面是 Zeppelin 和 Flink 的故事。



Zeppelin:Flink 最佳搭档



Flink:我提供了 SQL、Java、Scala 还有 Python 等多种语言支持,不过每种语言都有自己的入口,多种语言混着用暂时无法实现。比如在 sql-client 中只能运行 SQL,不能写 UDF,在 Pyflink shell 里,只能用 Python 的 UDF,不能写和用 scala 和 java 的 UDF。有没有谁能帮我把这些语言全部打通?



Zeppelin:我可以!



Flink:我的一个很大的使用场景是实时大屏,但是我一个人办不到,往往需要借助第三方存储,还需要前端开发,有没有谁能让用户不用写前端代码就实现实时大屏?



Zeppelin:我可以!



Flink:我的 SQL 已经很强大了,但是用户在 sql-client 里不能写 comment,暂时也不支持运行多条 SQL 语句,有谁能帮我把这些功能补齐下?



Zeppelin:我可以!



Flink:好多初学者说要跑一个 Flink job 需要多种配置并且需要学习各种命令行,有没有谁能让大家更容易提交和管理 Flink Job。



Zeppelin:我可以!



Flink:Flink Job 提交目前只能一个个提交,有些同学想并行执行多个 Flink Job,谁能帮我搞定这个需求?



Zeppelin:我可以!



Flink:我有丰富的 connector,用户需要把 connector 打包到 uber jar 里,或者 copy 到 Flink 的 Lib 下,这有可能把各种 connector jar 混在一起,容易发生冲突,有没有谁能提供一个干净点的方案?



Zeppelin:我可以!



如果您也有以上的疑问和需求,那么来了解下 Zeppelin 吧。Flink 社区邀请 Apache Zeppelin PMC 为您整理了 Zeppelin 的系列视频教程及文章教程。您也可以加入 Flink on Zeppelin 的钉钉群来加入我们的讨论。



Flink on Zeppelin 文章教程



Flink on Zeppelin (1) - 入门篇

https://mp.weixin.qq.com/s/a6Zau9c1ZWTSotl_dMg0Xg

Flink on Zeppelin (2) - Batch篇

https://mp.weixin.qq.com/s/K9rPXqqaPuhnIT_TZN8M3w

Flink on Zeppelin (3) - Streaming篇

https://mp.weixin.qq.com/s/k_0NgJinpK0VVTXw_Jd7ag

Flink on Zeppelin (4) - 机器学习篇

https://mp.weixin.qq.com/s/ccyptHGgB_PQ0e6V8B9UKQ

Flink on Zeppelin  (5) - 高级特性篇

https://mp.weixin.qq.com/s/jZV6gua8ypqdiGPBulOw6Q

Flink on Zeppelin (6) - Recovering

https://mp.weixin.qq.com/s/D02M68HO4Te4cReIoRLMwQ

Flink on Zeppelin (7) - Yarn interpreter 模式

https://mp.weixin.qq.com/s/IgVd2hZlM2twEIHYLavaxw



Flink on Zeppelin 视频教程



视频内容大纲:



  • Flink on Zeppelin 0. 安装启动 Zeppelin

  • Flink on Zeppelin 1. 补充 Zeppelin 基本概念

  • Flink on Zeppelin 2. Local 模式

  • Flink on Zeppelin 3. 多语言支持

  • Flink on Zeppelin 4. Remote 模式

  • Flink on Zeppelin 5. Yarn 模式

  • Flink on Zeppelin 6. Interpreter bind mode (Per Note Isolated)

  • Flink on Zeppelin 7. Interpreter bind mode (Per User Isolated)

  • Flink on Zeppelin 8. Inline Configuration

  • Flink on Zeppelin 9. Hive Integration

  • Flink on Zeppelin 10. SQL 入门

  • Flink on Zeppelin 11. Streaming 数据可视化 Single 模式

  • Flink on Zeppelin 12. Streaming 数据可视化 Update 模式

  • Flink on Zeppelin 13. Streaming 数据可视化 Append 模式

  • Flink on Zeppelin 14. 连接 kafka 数据源

  • Flink on Zeppelin 15. Streaming ETL

  • Flink on Zeppelin 16. Scala UDF

  • Flink on Zeppelin 17. Python DUF

  • Flink on Zeppelin 18. UDF via flink.udf.jars

  • Flink on Zeppelin 19. PyFlink 入门

  • Flink on Zeppelin 20. Flink 最佳实践1

  • Flink on Zeppelin 21. Flink 最佳实践2

  • Flink on Zeppelin 22. Recovering

  • Flink on Zeppelin 23. Yarn Interpreter 模式



点击「视频连接」即可查看 Flink on Zeppelin 的系列实操教程视频~



▼ Flink on Zeppelin 技术交流钉钉群 ▼



zeppelin.jpg



用户头像

Apache Flink

关注

Apache Flink 中文社区 2020.04.29 加入

公众号:Flink中文社区 Apache Flink 官方帐号,Flink PMC 维护

评论 (1 条评论)

发布
用户头像
二维码缩小至25%
2020 年 07 月 20 日 14:09
回复
没有更多了
Flink 最佳搭档:开发部署平台 Zeppelin 的自白