“拿捏”Kubernetes，智领云让数据应用标准化

IT 产业的演进与人生一样，是一个螺旋上升发展的过程。

从集中到分散再到集中，云计算的发展过程史也佐证了这一点，随着 Kubernetes 逐渐成为云计算资源调度事实上的标准，如何在 Kubernetes 平台上对大数据平台进行集中统一的管理也逐渐被众多企业提上日程。作为业界首个推出可完全在 Kubernetes 上部署的容器化云原生大数据平台的智领云，也在帮助企业在大数据层面实现云原生化。

“最开始我在美国学的是神经网络与自然语言处理，而后才开始做分布式的数据研究”，，彭锋博士介绍道。后来随着云计算、大数据等应用的发展，数据处理的价值愈发凸显，曾就职于 Twitter、ask.com 等多家企业、具备 20 多年行业经验的彭锋也意识到数据将成为影响 IT 产业发展的重要因素之一。也正因如此，伴随着 Kubernetes 应用的逐步普及，他也希望能够打造一款容器化的、兼容 Kubernetes 架构的云原生大数据处理平台。

智领云 CEO 彭锋

“其实叫大数据已经没那么准确了”，彭锋说，“毕竟现在我们对于海量数据的定义已经与 10 年前大不相同”。2012 年前后，“大数据”的名称开始流行起来，并伴随着 Hadoop 架构的崛起成为当时行业的热点。

当年为 Hadoop 进行训练的几十 TB 数据量，现在仅用几块机械硬盘就能满足。如此看来，“大数据”这个概念似乎已经无法跟上数据量增长的变化。

可见，伴随着数据量的激增，原有的存储系统与架构都不能够满足如今的发展要求。“今天，Hadoop 已经不在是大数据系统中的必选项”，彭锋表示，“如今美国的大数据产业，用户大多采用 RedShift 或者 BigQuery 等公有云数据库，或者是 Snowflake 的云原生数据解决方案”。的确，作为全球科技产业的风向标，美国数据技术的发展告诉我们——未来的数据平台将是云原生的天下，。

而要想把握未来，对 Kubernetes 的支持可能是最好的选择，因为 Kubernetes 已经占据了最广大的容器市场。据 2021 年第二季度的 IDC 云原生基础设施跟踪报告，Kubernetes 控制台类产品占据了全球容器管理市场的 87%份额，对于整个云原生市场也有着举足轻重的影响力。因此，可以说 Kubernetes 目前在云原生市场上处于绝对优势，而支持了 Kubernetes 就意味着对绝大多数云原生平台提供了支持，也就能够更好的支撑更多客户的业务。

为此，早在多年前彭锋博士就带领团队深耕云原生数据平台的研发。“原本的企业运维人员每天都要管理十几、二十几个组件，包括从下载、安装到配置的一条龙服务，同时还要为每个组件设置不同的账号，负担非常重。但 KDP 可以帮助客户解决这些问题，通过图形化的界面，让故障一目了然，也让管理变得更简单”，彭锋介绍说。

彭锋所提到的 KDP，就是智领云于 2022 年推出的云原生大数据平台--Kubernetes Data Platform。凭借该平台在技术方面的创新和市场方面的认可，智领云拿下了甲子光年评选的“2022 中国数据智能领域最具商业潜力科技企业大奖”。KDP 的优势就是将各种大数据平台组件进行容器化改造，并与各种 Kubernetes 版本兼容，也就是说只要企业部署了 Kubernetes，就可以通过 KDP 对大数据组件进行标准化管理，从而大大降低系统的应用与管理难度。

对于开源应用来说，生态是一把双刃剑，比如 Hadoop 当年的成功很大程度上就是借助于分布式的优势提供了扩展能力，让传统的、垂直的数据平台获得了“新生”；但这么多年过去了，基于 Hadoop 的大数据平台反而成了传统的代名词，其大数据平台在部署、运维、运行效率上由于架构限制带来的诸多难题，造成了人力、物力和财力方面的浪费。而 KDP 恰好可以比较方便地解决传统大数据平台遇到的这些问题。

传统大数据平台面临的难题

从角色角度来看，KDP 充当了架构的中间层，好比是一位“大管家”。在 KDP 出现之前，许多企业需要同时管理大数据与云计算两个平台，这样虽然也能对系统实现管理，但必须使用不同的软件和系统，如此就造成了一个个巨大的数据孤岛。而 KDP 则一直秉承了开放的理念，通过 Kubernetes 架构层面，所有的组件都可以实现统一的标准化管理，因此这样就能够保证任何使用 Kubernetes 的用户，将大数据平台对接到 KDP 平台上来。

这样传统大数据平台与云计算平台中的不同架构、不同发布方式的鸿沟消失了，KDP 借助底层的 Kubernetes 接口实现了系统的统一管理，所有的发布管理方式都实现了标准化，也让系统管理变得更灵活、更具弹性，方便用户后期的扩容或灵活调度。“用户们苦传统大数据平台久矣，所以他们有很强的把平台统一管理起来的意愿”，彭锋说。

正如彭锋所说，KDP 平台由于能够解决传统大数据平台的诸多难题，发布后引起了许多用户的兴趣，很多用户主动联系智领云，尤其是国企、央企等大型客户居多。“我们目前接触的客户都是大型企业，而且这些企业很多是主动联系我们寻求合作的”，彭锋说。这其实也不难理解——大型企业积累了更多的数据，那么从这些海量的数据中挖掘出价值就成了当务之急，KDP 的出现则为他们实现这一目标提供了一条捷径。

坦率说，相对于太多行业巨头，智领云算是大数据领域的新秀，拿来比较在所难免，但是不少用户在真正见证了 KDP 平台的技术优势和实际表现之后，便主动联系智领云寻求更深一步的合作。

实际上，KDP 给用户带来的高效是实打实的。比如拿某大型运营商来说，数据中心的服务器数量大约有 3 万台，这些服务器的利用率严重不足，平均使用效率只有 20%-30%左右。但在 KDP 平台的统一资源调配下，只需要大约 6000 台设备就能达到原有效果，大大节省了设备、电力、空间等投资，并提升了客户的竞争力。

如今，智领云的 KDP 平台已经得到了多家大型集团和企业的认可，也获得了客户的一致好评。但对于彭锋来说，做云原生平台仅靠自己的力量是完全不够的，他希望借助全部开发者的力量，让 KDP 的迭代走上快车道。因此，彭锋也表示在不久的将来会将 KDP 平台开源并组建相关社区，这样就可以群策群力，加速 KDP 应用的落地与新功能的开发，更好的服务于最终客户。除此之外，KDP 平台也已经实现了与国产芯片的适配，从而更好的推动自主可控平台的落地。

“我们希望智领云 KDP 与客户业务共同成长，逐步实现行业全面覆盖”。的确如彭锋所说，智领云借助 KDP 云原生大数据平台，实现了对 Kubernetes 在大数据应用领域的价值升华，也让 KDP 能够在多个行业遍地开花，从“幼苗”长成“参天大树”。