Apache Flink Meetup · 上海站，超强数据湖干货等你！

你是否有过流批技术栈不统一的抓狂？

你是否有过流批数据对不上的烦恼？

你是否有过，海量数据更新时效性跟不上的无奈？

Apache Flink 社区 2021 首场 Meetup 来啦！

4 月 17 日 | 上海 | 线下

来一场 Flink x 数据湖的干货体验之旅～

本次 Meetup 邀请了来自阿里巴巴、腾讯、Dell 科技集团、汽车之家的四位技术专家，聚焦 Flink 数据湖应用主题，围绕湖仓一体架构实践、Iceberg 和对象存储的数据湖构建方案、超大规模数据入湖实践以及数据入湖面临的挑战等，全方位解析数据湖生产应用难题！

【活动亮点】

• 超多实用干货，从数据湖应用面临的挑战入手，解析数据湖架构升级、对象存储与 Iceberg 的数据湖生态以及百亿数据入湖实践，轻松 get 数据湖正确打开方式；

• 活动形式多样化，线下线上同步开启，同城可参与线下 Meetup 面对面交流，异地也可在线观看直播，精彩内容不错过；

• 丰富周边等你拿，报名参加就有机会获得超多 Flink 社区定制的精美周边！

▼ 立即报名 ▼

https://www.huodongxing.com/event/2590749926500

嘉宾及议题介绍

《汽车之家基于 Apache Iceberg 的湖仓一体架构实践》

邸星星 | 汽车之家 实时计算平台负责人

演讲简介：

近年来，批流一体、湖仓一体成为大数据领域十分火热的话题，汽车之家也在持续探索如何对大数据架构进行升级转型，充分发挥“新鲜”数据的价值，为用户带来更好的使用体验。本文将分享汽车之家基于 Apache Iceberg 进行数仓架构升级过程中的一些实践。

嘉宾简介：

邸星星，汽车之家实时计算平台负责人，长期从事实时计算与 OLAP 方面的平台建设工作，致力于为公司提供大规模、高效、稳定的计算与查询服务。

《Iceberg 和对象存储构建数据湖方案》

孙伟 | Dell 科技集团 高级软件研发经理

演讲简介：

本演讲主题将论述如何基于对象存储和 Iceberg 来构建数据湖生态。讲述对象存储作为 Iceberg 的数据湖存储支撑所需要解决的一些问题以及优化思路，提供了开源 S3 catalog 可行实现方案，并给出对比其他存储方案(如 HDFS)的优势。

演讲将进一步给出商业对象存储与 Iceberg 适配的另一种最佳实践方法，并构建 Flink+Iceberg+对象存储的数据湖进行实例演示。同时本演讲将基于面向存储空间优化的思路，通过改造对象存储和 Iceberg 结合方式，给出一种源数据和 Iceberg table 共享数据源的方法来适配不同的应用场景。

嘉宾简介：

孙伟，Dell 科技集团，高级软件研发经理，2014 年加入 Dell 科技集团，深入参与 Atmos 到 ECS 两代对象存储产品的设计和研发，有丰富的分布式系统和对象存储架构设计经验。现致力于将对象存储和开源大数据平台深度结合，帮助客户搭建完整数据湖方案。

《百亿级实时数据入湖实战》

陈俊杰 | 腾讯 数据湖研发高级工程师

演讲简介：

你是否有过流批技术栈不统一的抓狂？你是否有过流批数据对不上的烦恼？你是否有过，海量数据更新时效性跟不上的无奈？

腾讯应用业界最新技术 Flink + Iceberg 技术帮助多个业务方实现了业务数据实时入仓入湖，端到端数据可见性提高到秒级。本次分享将介绍腾讯如何将 Flink + Iceberg 技术应用到多个百亿级数据入湖任务，入湖过程中遇到的挑战，入湖数据如何进行优化保证分析引擎的高效查询。

嘉宾简介：

陈俊杰，腾讯数据湖研发高级工程师，多年大数据工作经验，开源大数据组件 Spark、 Iceberg、Parquet 等贡献者。

《Flink 和 Iceberg 如何解决数据入湖面临的挑战》

胡争 | Apache Iceberg Committer，阿里巴巴技术专家

演讲简介：

我们经常会把来源不同的数据定期或实时地同步到数仓/数据湖中，其中有一些令人头痛的问题：

任务同步一半数据中断，导致原有的数据湖报表不准确，这时怎么办？

持续的数据导入后，业务方发现作业越跑越慢？

老板说：怎么把 MySQL 的数据报表做的更实时一些，比如分钟级别？

数据同步作业跑着跑着突然中断，原来是上游改了 schema ？

其他问题

本次分享我们将借助 Flink 和 Iceberg 来尝试解决上述数据入湖的相关挑战，帮助业务同学更加高效地聚焦在自身的业务挑战上。

嘉宾简介：

胡争（子毅），目前主要负责 Apache Flink 数据湖方案的设计和研发工作，是 Apache Iceberg 及 Apache Flink 项目的长期活跃贡献者。同时也是 Apache HBase PMC 成员，合著有《HBase 原理与实践》。

活动议程及报名

■ 活动议程

image.png

■ 活动详情

时间：4 月 17 日 13:00-17:30

地点：上海市长宁区上海金钟路 968 号凌空 SOHO 携程 12 号楼 11 层

直播观看：https://developer.aliyun.com/live/246619