Flink 流批一体平台 StreamX 1.2.1 正式发布

作者：B e n

2022 年 1 月 27 日
本文字数：2463 字
阅读完需：约 8 分钟

再过几日就是中国传统的农历新年，提前祝大家新年快乐。经过贡献者们的不懈努力，终于在春节来临之际，迎来了 StreamX 1.2.1 的正式发布，欢迎大家下载使用。

Gitee: https://gitee.com/streamxhub/streamx

Github: https://github.com/streamxhub/streamx

背景

实时即未来,在实时处理流域 Apache Spark 和 Apache Flink 是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink & Spark 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 — StreamX, 项目的初衷是 — 让流处理更简单, StreamX 不断提供了开发时便捷 Api 来加速开发, 还提供了一站式平台。

Flink 流批一体越发成熟, 越来越多的企业开始大规模应用 Flink 来建设平台, 而 Flink 平台的建设是目前很多企业应用 Flink 的一道门槛。StreamX 为解决这些痛点而生, 任务提交托管, 运维监控, FlinkSQL 开发等做了很好的支持, Flink SQL 任务独创型将 SQL 和依赖分离, 用户只管写 SQL 提交即可, 其他更多复杂的操作交给 StreamX。

回顾 2021

时间过的真快, 在 2021 年 4 月的时候第一篇文章从 InfoQ 发布出来https://xie.infoq.cn/article/659b701f4d78c01bca4bdd13e, 宣布 StreamX 开源, 非常感谢 infoq 平台给予的帮助, 到现在已经过去 1 年, 是时候该交作业了。

从正式开源起，我们就秉承开源开放，公开透明的原则，鼓励和欢迎开发者们参与进来共同建设，目前 star 共计 790+，fork 共计 276，开发者共计 23 位，其中有 3 位已经是核心贡献者，issue 和 PR 处于活跃状态，我们总结了用户常见问题 FAQ，已有两个用户交流群，保持良好氛围，其中不乏 apache 项目的 committer，PMC，各类框架平台作者，公号作者等...

2021 年，我们持续保持版本迭代节奏，积极发展开发者，分别于 7 月 14 日和 11 月 16 日发布了 1.1.0 Release 和 1.2.0 Release 版本，接近 21 位 Contributor 为 StreamX 提交了多项优化和修复，诸多新功能加入到 StreamX 中，在任务提交和 on k8s 以及 Flink 多版本的支持上，我们探索出了一条特色道路，为后续 SQL Data Studio 等相关功能的建设奠定了坚实的基础。

在 2021 年 11 月，StreamX 成功被开源中国评选为 GVP - Gitee「最有价值开源项目」这对我们来说是莫大的鼓励，我们做的东西终于被认可了。

在 2021 年的最后一天，我们也非常荣幸可以获得 2021 年度 OSC 中国开源项目评选的 「最受欢迎项目」，这对我们而言是最好的新年礼物。

新版本

StreamX 让流处理更简单，Flink & Spark 极速开发框架，流批一体一站式大数据平台。继上个版本支持 k8s 之后，本次重点功能是 Flink 任务构建 / 运行分离和本地上传 Jar 任务支持，并且在可用性和稳定性上得到了很大的提升。

新特性

本地上传 Jar 类型任务支持 #237
Flink K8s 自动集成 Hadoop 构建 #436
Flink 任务构建 / 运行分离 #437
项目支持修改 #650

[Flink 任务构建 / 运行分离]

改进

全新官网上线，文档重新归类
增加 Checkstyle 进一步规范编码格式 #480
优化打包，前后端可以混合|分离打包 #533
FlinkSql 任务自动检测 pom 依赖里的 scala 版本 #551
新增常用参数 yarn queue 设置 #596

Bug 修复

修复构建项目时前端看不到实时日志的 bug #458
修复 hadoop-user-name 不生效的 bug #449
修复 Flink version 获取可能失败的 bug #447
修复 Custom-Code 模式下选择 FatJar 存在的 bug #473
修复不能添加系统角色的 bug #467
修复 Flink 任务状态重启后不准确的 bug #536
修复添加 Flink home 时软链接导致的 bug #519
修复任务运行的结束时间错误的 bug #516
修复 ddl sql 中的 bug #487
修复 LfsOperator 中相关文件操作的 bug#475
修复 ddl sql 中主键太长导致报错的 bug #465
修复新增用户授权后重新登录空白页面的 bug #583
修复 Editor 不能跟随系统主题同步切换的 bug #620
修复任务参数 jvm-metaspace.size 单位错误的 bug #562

鸣谢

感谢所有参与 StreamX 1.2.1 版本设计、开发、测试、讨论的社区贡献者们。特别感谢 jiezi2026 (张英杰) 提供的测试服务器。

贡献者 github id (排名不分先后)

wolfboys、Al-assad、xinzhuxiansheng、lvshaokang、monrg、Whojohn、leo65535、wuchunfu、

Zclhlmgqzc、zhangjun0x01、haoziaigemao、BruceWong96

未来规划

目前 StreamX 已完成 Flink 任务的托管，这部分工作非常重要，感谢所有开发者们付出的努力。但这只是万里长征第一步，接下来的 1.3.0 中我们关注的重点是流式数仓(Streaming-Warehouse) 和云原生(Cloud-Native)。计划会新增全新的开发工作台 - SQL Workbench(草稿、调试、预览、发布、锁定、版本管理...)具体请移步 1.3.0 的 roadmap。

1.3.0 roadmap: https://github.com/streamxhub/streamx/issues/602

[ SQL Workbench Preview]

参与贡献

StreamX 遵循 Apache-2.0 开源协议，将会是个长期更新的活跃项目，自项目开源以来就受到很多同行的关注和认可，其中不乏业内大佬。目前在没有任何形式推广的情况下，靠口碑在不到一年的时间里已经累计 780+ star，于 2021 年 11 月荣获开源中国「最有价值开源项目」。随后荣获「2021 年度 OSC 中国开源项目评选」的「最受欢迎项目」，我们坚信未来会更好。

流批一体，流式数仓，数据湖是大数据领域的趋势，StreamX 虽离这个目标还有一段距离，但我们始终坚信: 道阻且长，行则将至，行而不辍，未来可期。我们会进一步积极进取，相关功能持续迭代，进一步建设好社区，和所有社区小伙伴一起努力，让 StreamX 成为一个功能完善，体验更佳，用户更多的产品，可以被更多人认可。真诚欢迎热爱开源的伙伴加入到贡献中来，为做一个优秀实用的好项目献上一份自己的力量。

附:

Streamx 官网: http://streamxhub.com

Github: https://github.com/streamxhub/streamx

Gitee: https://gitee.com/streamxhub/streamx

on K8s 部署: http://www.streamxhub.com/zh/doc/flink-k8s/1-deployment

发布于: 刚刚阅读数: 2