写点什么

倒带 ChunJun,同心前行|2022 年度回顾 &2023 年共建规划

  • 2023-02-14
    浙江
  • 本文字数:2383 字

    阅读完需:约 8 分钟

倒带ChunJun,同心前行|2022年度回顾&2023年共建规划

ChunJun 是一个开始于 2018 年的批流一体数据集成框架项目,原名 FlinkX。2022 年 2 月 22 日,在 FlinkX 进行初版开源的整整四年后,技术团队决定对 FlinkX 进行整体升级,并更名为 ChunJun,希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架

2022 年的 ChunJun 茁壮成长,如今已经是一个由 68 多位贡献者协同开发、拥有 3437 个 star 的人气项目。

项目地址:https://github.com/DTStack/chunjun

ChunJun 项目进展

Star 数:3437 Fork 数:1556

Issue Closed:764 PR Cloesd:523

Contributors:68 Commits:5147

ChunJun 内容输出

视频课程:共计 15 课

涵盖直播课程、入门指南、解决方案等方方面面

精品文章:共计 18 篇

带你快速了解 chunJun

技术社群:3898 人

已成为大量开发者及大数据爱好者的交流学习平台

ChunJun 奖项荣誉

入选 Gitee 最有价值开源项目——GVP



2022 ChunJun 大事记

送虎岁,迎兔年,值此除旧迎新之际,想和一直以来关注ChunJun开源社区的朋友聊聊这一年的进展:

2022 年 2 月 22 日

沉淀了团队六年来在数据同步和集成方面的实践经验,技术团队决定对 FlinkX 进行整体升级,并更名为 ChunJun。希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架

2022 年 5 月 28 日

ChunJun 社区第一次会议,讨论当前第一个版本的 roadmap 规划,首次邀请社区小伙伴一起参与讨论。内容包括减少启动参数,让用户快速启动;增加 Docker 部分,用户直接下载 Docker 镜像,开箱即用等。

2022 年 6 月 25 日

开源小伙伴贡献的官网内容正式发布。

官网地址:https://dtstack.github.io/chunjun/

2022 年 7 月 9 日

ChunJun 社区第二次会议,讨论当前第二个版本的 roadmap 规划。

2022 年 9 月 18 日

ChunJun 社区第三次会议,讨论当前第三个版本的 roadmap 规划,调整 pr review & merge 规范和流程。

2022 ChunJun 活动

2022 年 8 月 27 日

联合 OceanBase 社区主办开源线下 Meetup,发布基于 Oceanbase 的离线插件和 cdc 插件,并推出联合方案



2022 年 9 月 24 日

参与 Hadoop MeetUp,分享 ChunJun 在实时采集上的功能和新特性。



2022 年 10 月 29 日

联合举办 COSCon'22 开源年会杭州分会场,分享袋鼠云三大组件 ChunJun、Taier、ChengYing 的配套使用构建。



2022 ChunJun 精品课程

2022 年 4 月 27 日

课程:ChunJun 支持异构数据源 DDL 转换与自动执行

视频链接:https://sourl.cn/i9CzDP

2022 年 6 月 27 日

课程:ChunJun 数据还原-DDL 功能模块解析

视频链接:https://sourl.cn/ffwtMc

2022 年 7 月 6 日

课程:ChunJun 同步 Hive 事务表

视频链接:https://sourl.cn/fbaWgD

2022 年 8 月 19 日

课程:ChunJun 数据传输模块介绍

视频链接:https://sourl.cn/iLY7vn

2022 年 9 月 22 日

课程:ChunJun 类加载原理与实现

视频链接:https://s.r.sn.cn/WCWURr

2022 年 12 月 9 日

课程:ChunJun 数据安全之 Kerberos 介绍

视频链接:https://s.r.sn.cn/Nix84z

2022 ChunJun 研发进展

共发布七个版本:

V1.12.1

· 核心数据还原功能框架开发完成,增加了 binlog/logminer 对 DDL 的监听处理;

· 丰富插件,添加 Doris 插件;

· 添加 ChunJun 对 Flink python udf 的支持;

· 稳定性提升,修复 ChunJun 20+ bug。

V1.12.2

· 丰富插件, 添加 inceptor 插件;

· 丰富插件,添加 influxdb 插件;

· 代码优化,使用插件 spotless-plugins 强制对代码风格进行检查;

· es 插件优化,支持 ssl 模式;

· gbase 插件优化,支持 update 模式;

· k8s 模式下添加对 application mode 支持;

· 稳定性提升,修复 ChunJun 10+ bug。

V1.12.3

· 丰富插件, 添加 starrocks 插件;

· 增量同步支持 datetime 类型;

· SQLserver cdc 增加对数据类型 smallint 的支持;

· 稳定性提升,修复 ChunJun 10+ bug。

V1.12.4

· 丰富插件,添加 oceanbase 插件;

· 数据还原功能加强,添加中间数据存储,避免数据丢失;

· 项目名称调整,从 FlinkX 修改为 ChunJun;

· 插件优化,调整 inceptor 插件的读取方式,从原来的 jdbc 调整为直接读取文件;

· 插件优化,pg 读取插件支持 Array 类型;

· 增加对 protobuffer format 的支持;

· 稳定性提升,修复 ChunJun 20+ bug。

V1.12.5

· 数据同步 jdbc 分片优化,添加对 range mode 的支持,原先只支持 mod 模式分片;

· 易用性提升,添加内置提交脚本,在不同模式下任务提交需要传入的参数,只需要传递 -job 和 -confProp 即可;

· ChunJun 增加一个模块,准备用于发布安装包;

· 稳定性提升,修复 ChunJun 15+ bug。

V1.12.6

· 优化 ChunJun 数据同步的序列化方式;

· ChunJun 添加新的官网,方便社区同学了解阅读文档及技术方案;

· 丰富插件, 添加 rocketmq、sybase、s3、vertica11、iceberg 插件及 redis 读取插件;

· docker 模式的支持,并添加执行脚本和文档;

· jdbc 插件增强,添加在执行前检查 dbconn;

· hbase 插件优化和重构,支持 transformer;

· ChunJun 工程支持 E2E 功能;

· oracle 插件增强支持 nchar、nvarchar2 类型的中文存储;

· 稳定性提升,修复 ChunJun 30+ bug。

V1.12.7

· 优化 jdbc base 模块,添加对列信息的初始化功能

· 优化 ftp 读取性能,添加对大文件切片的支持;

· hdfs 插件优化,支持 hadoop3.x 版本 orc 读取;

· e2e 功能丰富,添加 ftp container;

· es7 插件优化,支持 type 关键字;

· 稳定性提升,修复 ChunJun 30+ bug。

2023 年的 ChunJun

ChunJun 未来规划

· 依赖 Flink 版本升级到 1.16;

· ChunJun 提供 Rest api 的 server 服务,简化 ChunJun 集成的难度;

· ChunJun 添加数据还原 DDL 支持 Iceberg、Hudi。

兔年祝福

2022 年,感谢 ChunJun 社区小伙伴们的大力支持,ChunJun 走的每一步都离不开你们的帮助,2023 年,我们继续交流,一起进步。

也祝福大家在新的一年里兔飞猛进,快乐,幸福~💗


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szinfoq


同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术 qun」,交流最新开源技术信息,qun 号码:30537511,项目地址:https://github.com/DTStack

发布于: 刚刚阅读数: 3
用户头像

还未添加个人签名 2021-05-06 加入

还未添加个人简介

评论

发布
暂无评论
倒带ChunJun,同心前行|2022年度回顾&2023年共建规划_开源_袋鼠云数栈DTinsight_InfoQ写作社区