大数据云原生能力成熟度模型，重磅发布！

2023-11-20
广东
本文字数：1973 字
阅读完需：约 6 分钟

为了分享过去一年云原生产业联盟（CNIA）在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态，云原生产业联盟于 2023 年 1 月 9 日举办了 2022 年度线上年会，发布了“大数据云原生能力成熟度模型”，并进行了标准解读。

云原生时代，数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes 等云原生技术与大数据系统的深度融合，可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级，已成为行业公认的重要发展趋势。

在此背景下，中国信通院与腾讯云牵头，联合火山引擎、中国电子、东软集团、众安科技、信华信、新华三等单位，经过多轮研讨，形成了《云原生能力成熟度模型第 6 部分：大数据平台》。

模型涵盖基础设施、平台研发、应用服务 3 个能力域，9 个过程域，34 个能力子项，从资源管理、资源弹性、编排调度、集成兼容、应用管理等方面评估大数据平台的云原生成熟度等级，结果细分为：基础级、全面级、优秀级。

在 2023 年 1 月 9 日举办的 2022 年度云原生产业联盟年会上，来自腾讯的高级工程师胡子千和火山引擎的云原生计算资深产品专家王磊分别进行了云原生大数据主题分享。

胡子千老师在分享中提到：大数据现存的问题和痛点在于其过于庞大和复杂的架构、繁杂的运维工作、无法共享资源池造成的高昂成本，以及在 Hadoop 体系下多租户隔离问题。云原生的优势在于降低资源、运维及技术成本、提升大数据服务的交付效率、提升大数据可用性、并且可以结合 AI 技术，帮助大数据营造良好的云原生的生态。

现阶段，云原生组件大多是随着在线需求成长起来的，在线服务的云原生进度相对更加成熟，而对大数据业务的支撑需要持续完善。大数据的应用特点与在线的应用特点存在运行时间、调度吞吐量、资源弹性、业务延迟、存算分离几个方面的不同。这也导致了在弹性调度、超大规模、高吞吐、存算分离、引擎改造等方面挑战的产生。

腾讯大数据团队基于云原生生态，打造了以存储编排、大数据运行时、混部、统一任务调度、云原生引擎组成的云原生架构，通过构建统一数据编排、虚拟集群架构，remote shuffle 等能力解决大数据云原生化中遇到的存算分离、资源弹性等问题。同时通过大数据运行时能力、在离线混部能力进一步挖掘大数据云原生化的价值，为业务提供低成本、高效、稳定的大数据服务。

腾讯云大数据源自腾讯内部海量业务的打磨与积累，经过十几年发展到如今的以“云原生、隐私计算和数智融合”为代表的第四代大数据平台。腾讯云大数据的全栈产品矩阵都在向云原生演进：弹性 MapReduce 容器版于 22 年 7 月已开放公测，提供大数据组件完全基于容器服务部署的新体验；22 年 12 月刚推出了 CDW-Clickhouse 云原生弹性版，采用全新存算分离架构，自研表引擎，提升产品性能的同时降低投入成本，腾讯云 ES 也上线了云原生版，通过存算分离实现秒级弹性伸缩，承载更强的读写高峰，快速适应业务发展，去除存储/计算冗余从而使成本降低 40%。

王磊老师在分享中提到，大数据平台在云原生化后，从部署运维、资源调度、存储介质三个维度体现出了明显优势。

在部署运维方面，传统应用服务需要人工部署在裸金属或云主机上，部署流程低效，监控告警也需要对不同服务器节点进行监控配置和维护；云原生化之后，只需要一键部署，服务迅速拉起且天然支持高可用，运维监控只需要聚焦在统一的基础设施 K8s 集群即可。

在资源调度方面，传统架构需要单独准备服务器资源，业务高峰情况下的扩容需求只能通过提前预留的机器资源进行准备；云原生化之后，流式、批式、搜索引擎、消息引擎等所有计算资源均可以统一在一个大的容器资源池内综合调度分配，响应迅速。

在存储介质方面，传统架构下服务器的存储介质均来源于挂载的硬盘，且各个服务之间有数据流转时，也依赖不同服务器之间的 IO 和网络带宽。在云原生化后，统一负载到具备 HDFS 文件系统协议的对象存储，以及具备缓存加速能力的文件存储服务，可以实现资源按需使用且无需人工扩容。在大数据 ETL 场景下，数据流转均在大数据文件存储 CFS 内部进行，具备天然高效的磁盘 IO 和网络带宽。

火山引擎云原生大数据系统目前支撑着字节跳动集团内部各个业务线应用，主要架构可以总结为“三大平台（开放平台、引擎平台、调度平台），一大支撑体系（运维体系）”。其中，调度平台是云原生化后最为核心的平台，针对流式、离线、查询、批处理等不同用户场景，实现资源利用率提升、资源切换灵活、离线资源统一管理三方面价值，可以满足多云部署和调度需求，并通过虚拟队列进行全局的 Quota 管控，可以考虑机房负责情况、响应时间、成本等等多种负载因素，自动分发合适的机房/集群/队列，满足容灾需求。