《2022 开源大数据热力报告》发布，Flink 摘得「流处理」领域热力值 TOP1

2022-11-29
浙江
本文字数：1642 字
阅读完需：约 5 分钟

11 月 5 日，在云栖大会一体化大数据智能峰会上，由开放原子开源基金会、X-lab 开放实验室和阿里巴巴开源委员会联合出品的《2022 开源大数据热力报告》重磅发布。

img

开放原子开源基金会副秘书长刘京娟

开放原子开源基金会副秘书长刘京娟对报告进行了深度解读。报告基于公开数据研究最活跃的 102 个开源大数据项目，探寻出开源大数据技术发展背后的 “摩尔定律”：每隔 40 个月，开源项目热力值就会翻一倍，技术完成一轮更新迭代。在过去 8 年里，发生了 5 次较大规模的技术热力跃迁，多元化、一体化、云原生成为当前开源大数据发展趋势的最显著特征。

定量分析 “后 Hadoop 时代” 开源趋势

Hadoop 作为开源大数据技术的起源，兴起于 2006 年，至今已有 16 年历史。报告收集了从 Hadoop 发展第 10 年（即 2015 年）至今的相关公开数据，并进行了关联分析，定义了开源项目热力值研究模型，用量化指标描述开源项目的开发迭代活跃度和受开发者欢迎程度。

报告所呈现的开源大数据热力图，从技术全景、技术栈分类以及项目维度对入围项目的热力表现进行洞察，将项目进程中的关键事件与热力表现关联分析，并访谈了开源基金会、知名开源项目等领域专家，尝试找到项目健康发展一般规律，并对有效提升项目影响力的方法论进行了归纳总结。

开源大数据技术的 “摩尔定律”

报告发现，每隔 40 个月，热力值会提升 1 倍，开源大数据完成一轮技术迭代升级，而且技术周期在加速缩短。在 8 年时间内，发生了多轮热力变迁，反映出背后技术的更新换代趋势。开发者对「数据查询与分析」保持了长期的开发热情，连续 8 年位居热力值榜首。2017 年，「流处理」热力值超过「批处理」，大数据处理进入实时阶段。数据规模不断扩大，数据结构也更多样化，「数据集成」从 2020 年开始爆发式增长。

三大热力趋势：多元化、一体化和云原生

用户需求多样化推动技术多元化。「数据湖」以 34% 的热力值年均复合增长率高居热力值增速第一位，「交互式分析」、「DataOps」紧随其后，分列第二、三位。而原有 Hadoop 体系的产品迭代则趋于稳定，热力值年均复合增长率为 1%。

从 2015 年开始，计算部分率先进入「一体化」演进历程，其中的典型代表「流批一体」在 2019 年出现了第一个热力峰值。以数据湖存储为代表的存储一体化从 2019 年起进入了一个新的发展阶段，涌现了 Delta Lake、 Iceberg 和 Hudi 等热点项目。

云原生大规模重构开源技术栈。诞生于云原生时代的开源项目如雨后春笋般破土成长。「数据集成」、「数据存储」、「数据开发与管理」等领域均有重大项目更迭，新项目热力值占比已经超过了 80%。

开源大数据热力榜单 TOP30

本报告从 102 个入围项目中，评选出了 TOP30 热力榜单。Kibana 以 989.40 的热力值高居榜首。ClickHouse（数据查询与分析）、Airflow（数据调度与编排）、Flink（流处理）、Airbyte（数据集成）分别摘得各自细分领域的 TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel 等一众中国开源项目也表现出高热力趋势。把解决用户痛点作为核心竞争力，是这些优秀开源项目的共同特征，这一特征保证它们与时俱进，成为热力趋势中的 “常青树”。