FFA 2023 「核心技术」专场： Flink 核心技术动向深度解读

作者：Apache Flink

2023-11-22
浙江
本文字数：2812 字
阅读完需：约 9 分钟

今年 Flink Forward Asia（以下简称 FFA ）重新回归线下，将于 12 月 8 - 9 日在北京望京凯悦酒店举办。Flink Forward Asia 2023 大会议程现已正式上线！

FFA 2023 官网：https://flink-forward.org.cn/

FFA 2023 核心技术专场由 Apache Flink 核心贡献者与来自阿里云智能、字节跳动、网易、美团、蚂蚁金服等公司的一线技术专家解析 Flink 技术动向与应用实践。

流计算需要什么样的流存储？

伍翀｜阿里云智能 Flink SQL 团队负责人，阿里巴巴高级技术专家，Apache Flink PMC member & Committer

Flink SQL 在流计算场景中已经被广泛地应用，成为构建实时数仓不可或缺的工具，但是仍然面临着一些问题难以解决。本次议题，我们将探讨 Flink SQL 在流计算场景面临的挑战和问题，现有流存储的限制和不足，Flink SQL+现有流存储为什么无法很好地满足用户构建实时数仓的需求。接着会介绍我们团队为了解决这些问题，面向流计算全新设计的下一代流存储，其架构和原理，与 Flink SQL 的无缝集成，并分析与传统实时数仓构建方案相比的性能和成本优势。最后介绍如何基于这套流存储和 Flink SQL 快速构建易用好用的实时数仓 Streaming Warehouse。

Flink 2.0 状态管理存算分离架构演进

梅源｜阿里云智能 Flink 存储引擎团队负责人，Apache Flink 引擎架构师，Apache Flink PMC & Committer

Flink 作为有状态的实时流计算引擎，状态存储一直是其核心内容，高性能与易用性是 Flink 状态管理的重要特性。从诞生之初，Flink 状态管理并没有进行大的演进，然而我们一直在进行 Flink 状态管理演进上的探索。在即将到来的 Flink 2.0 中，我们将对状态管理进行架构上的大升级。

本次 talk 首先将对 Flink 状态管理的功能与架构进行回顾，包括 API 、状态访问模型、快照恢复以及状态探查。在第二部分会分享我们在阿里巴巴实时大数据生产实践中遇到的状态管理相关的痛点以及解决方案。最后，我会介绍在 Flink 2.0 中将要实施的有关存算分离的状态管理架构。

Flink 2.0 状态存算分离改造实践

兰兆千｜阿里云智能技术专家，Apache Flink Contributor

在云原生的大背景下，Flink 2.0 中即将对状态管理进行大改造，存算分离的存储架构被提出。在新的架构下，状态管理面临着诸多新的挑战。本次 talk 首先将分析在存算分离架构下面临的挑战以及优化方案。第二部分会对存算分离的典型应用场景进行深入的解读。最后，我将分享我们针对新架构改造的简单实践方案以及实验数据。

Log-Based Checkpoint 在大流量场景下的落地实践

孙梦瑶｜美团开发工程师

一、场景介绍

介绍依赖 Log-Based Checkpoint 能力的业务场景，该场景数据量、状态量都较大（并发数上千，状态量 TB 级），同时对 Checkpoint 秒级间隔有强诉求，主要是考虑通过降低 Checkpoint 间隔来减少故障恢复涉及的数据量，从而减少故障恢复时数据的重复率，同时加速恢复效率。

二、正确性问题解决

介绍从数据正确性出发，在 Log-Based Checkpoint 上做的优化与改进。主要涉及对状态文件的注册管理、上传、删除清理策略的调整。

三、稳定性、规模优化

在此基础上，针对大流量作业在 Log-Based Checkpoint 的稳定性和支撑规模方面做了进一步优化。主要关注生产环境下的跨作业故障恢复、本地状态恢复等能力的支持，并考虑减轻大流量的 Changelog 对状态持久化存储（HDFS）的压力。同时，仅降低 Checkpoint 间隔并不能达到该场景的业务预期，因此需要结合 Unaligned Checkpoint 将制作耗时也控制到秒级，同时对 Unaligned Checkpoint 在大流量高并发场景下的表现做优化。

四、后续规划

介绍美团后续准备对 Log-Based Checkpoint 的建设规划，包括与公司内存储团队合作将 Changelog 的快照存储转移到流式存储上等。

蚂蚁流计算状态演进和优化

闵文俊｜蚂蚁集团实时计算组技术专家

一、大规模流任务中状态管理的挑战

二、基于 Antkv kv 分离的状态优化

三、增量 Checkpoint 下的小文件及存储放大的平衡

四、未来状态优化的演进

Flink SQL in 2023 - An Annual Review

李麟｜阿里云智能高级技术专家，Flink SQL 查询引擎负责人，Apache Flink Committer

介绍 Flink SQL 在 2023 年的主要进展包括 1.17 & 1.18 两个大版本 release 的 SQL 相关重点内容以及 1.19 版本计划中的改进和未来展望。

基于 Kyuubi 实现分布式 Flink SQL 网关

林小铂｜网易游戏资深开发工程师，网易互娱实时计算平台、湖仓平台负责人，Apache Kyuubi Committer, Apche Flink Contributor

Apache Kyuubi 是一个分布式多租户的 SQL 网关，主要功能为接受用户的通过 JDBC/REST 等协议提交的 SQL 并根据多租户隔离策略路由给其管理的 SQL 引擎执行。基于 Kyuubi，Flink SQL 在网关的水平拓展性、多租户隔离、监控能力上均有可观的提升，并且更容易和 Spark / Hive 等批计算引擎对齐，实现流批一体。分享大纲：

一、为什么需要 Kyuubi

二、Kyuubi 基本原理

三、Kyuubi x Flink 优势

四、未来展望

深入解析 Flink Batch 新进展

刘大龙｜阿里云智能工程师，Apache Flink Committer

朱翥｜阿里云智能高级技术专家，Apache Flink Committer & PMC Member

为了更好的支持批处理作业的执行，我们在 Flink 最近几个版本中做了持续优化，主要包括以下内容：

一、Join Hints & Join Reorder

二、Operator Fusion CodeGen

三、Adaptive Local HashAgg

四、Runtime Filter

五、Further Improvement of Dynamic Parallelism Inference

六、Job Recovery

Flink OLAP Serverless 能力在字节跳动的落地实践

冯向宇｜字节跳动基础架构工程师

随着 Flink OLAP 在高 QPS 下的作业调度和作业执行优化逐渐落地，Flink OLAP 在字节内部的业务规模大幅增长，同时也遇到了更多样化的计算挑战，其中最主要的一项挑战是计算能力的 Serverless 化。通过开发实现资源隔离、弹性扩缩容、优雅退出、冷启动优化、多策略限流等特性，我们完成了 Flink OLAP 的 Serverless 能力改造，并在内部成功完成了业务推广。本次分享我们将从 Flink OLAP 遇到的 Serverless 能力挑战、资源隔离实现、云原生能力增强、弹性扩缩容、业务落地及规划等五个方面进行介绍。

如何高效接入 Flink：Flink Connector / Catalog API 核心设计与社区进展

任庆盛｜阿里云智能开发工程师，Apache Flink Committer & PMC Member

Flink Connector 与 Catalog 作为连接上下游系统的桥梁，对扩大 Flink 生态与使用场景起到关键作用。本次演讲将以 release manager 和社区 Connector / Catalog API 维护者的视角，分享 Flink Connector / Catalog API 在最近几个 Flink 新版本中的新特性与新功能，并向开发者和用户介绍如何利用这些新功能构建一个高效易用的 Connector 与 Catalog，将更多的外部系统对接至 Flink 生态中。