写点什么

开源 KDP v1.1.0 版本正式发布,新增数据集成开发应用场景

作者:智领云科技
  • 2024-06-04
    河北
  • 本文字数:1443 字

    阅读完需:约 5 分钟

开源 KDP v1.1.0 版本正式发布,新增数据集成开发应用场景

智领云自主研发的首个完全基于 Kubernetes 的容器化大数据平台,Kubernetes Data Platform (简称KDP)开源版首次面世以来的一个多月里,我们的社区不断壮大,众多开发者不仅积极采用该平台,更提出了宝贵的建议与反馈。为此,我们认真对待并记录每一项反馈。经过深入分析与精心研发,KDP v1.1.0 版本正式发布,它凝聚了我们对用户需求的深刻理解及对未来数据趋势的把握。


🚀🚀项目地址👇👇

https://github.com/linktimecloud/kubernetes-data-platform


🚀开源 KDP v1.1.0 版本亮点汇总🚀


新增功能
  • 网页终端:现已将 cloudtty[1]集成到 KDP 中。用户可以通过此功能打开一个网页终端,进而访问 kubectl Shell 或容器 Shell。这将为用户在 KDP Day2 运维中提供了更大的灵活性和扩展性,例如部署/观测 SparkApplication/FlinkApplication 等自定义资源应用,进行调试操作,以及容器级别文件上传下载等等。

新增应用目录

KDP 新集成了 DataOps 领域的一些主流开源组件。用户可以利用这些数据集成开发工具来探索业务数据并搭建个性化的数据管道:

  • Airbyte[2]:Airbyte 是一个开源的数据迁移基础设施,用于构建抽取与加载(EL)数据管道。其设计注重多功能性、可扩展性和易用性。

  • Apache Airflow[3]:Apache Airflow™ 是一个由社区创建的平台,用于以编程方式编写、调度和监控工作流。

  • Apache Superset[4]:Superset 是一款快速、轻量、直观且选项丰富的工具,无论是简单的折线图还是高度详细的地理空间图表,都能让用户轻松地探索和可视化数据,适合各种技能水平的使用者。

  • ClickHouse[5]:ClickHouse 是一款高性能、列式 SQL 数据库管理系统(DBMS),专为在线分析处理(OLAP)而设计。

新增教程:

Day1(KDP 基础设施安装)

  • 在 KubeSphere 容器平台上安装 KDP 入门指南[6]

  • 在 Rancher 上安装 KDP 入门指南[7]


Day2(数据集成与开发)

  • 从外部 HDFS 导入数据到 KDP[8]

  • 利用 Airbyte、ClickHouse 与 Superset 探索数据[9]


更新日志

详细的更新日志,请参考:Changelog[10]


🚀社区

我们期待您的贡献和建议!最简单的贡献方式是参与 Github 议题/讨论的讨论。如果您有任何问题,请与我们联系,我们将确保尽快为您解答。


钉钉群:搜索公开群组号 82250000662

🚀贡献🚀

参考开发者指南,了解如何开发及贡献 KDP。

https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/developer-guide/developer-guide.html


附录


【1】cloudtty 的 Git 说明

https://github.com/cloudtty/cloudtty


【2】Airbyte 官网

https://airbyte.com/


【3】Apache Airflow 官网

https://airflow.apache.org/


【4】Apache Superset 官网

https://superset.apache.org/


【5】ClickHouse 官网

https://clickhouse.com/


【6】在 KubeSphere 容器平台上安装 KDP 入门指南

https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/install-kdp-on-kubesphere-101.md


【7】在 Rancher 上安装 KDP 入门指南

https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/install-kdp-on-rancher-101.md


【8】从外部 HDFS 导入数据到 KDP

https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/import-from-hdfs-to-hdfs.md


【9】利用 Airbyte、ClickHouse 与 Superset 探索数据

https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/exploring-data-using-airbyte-clickhouse-superset.md


【10】KDP 的 Changelog

https://github.com/linktimecloud/kubernetes-data-platform/releases/tag/v1.1.0


发布于: 刚刚阅读数: 6
用户头像

连接数据,驱动未来 2020-08-17 加入

智领云专注于大数据、云计算领域的核心技术研发,为企业级客户提供云原生数据中台系统解决方案,快速实现数据价值,降本增效,助力企业数字化转型,在激烈的市场中获得竞争优势。

评论

发布
暂无评论
开源 KDP v1.1.0 版本正式发布,新增数据集成开发应用场景_开源_智领云科技_InfoQ写作社区