写点什么

【里程碑】Linkis 1.0.0-RC1 版本发布

用户头像
WeDataSphere
关注
发布于: 2021 年 03 月 23 日
【里程碑】Linkis 1.0.0-RC1 版本发布

Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本,提供了超 60 个新特性和功能增强, 标志着 Linkis 正式进入 1.0 版本时代。


Linkis 是什么?

Linkis 在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口,就能连接到 MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎,并实现上层应用间的互通。

Linkis1.0.0-RC1 带来了“计算治理”理念的全新架构实现,提供了全栈计算/存储引擎的架构支持,包括离线批量型、交互式型、实时流式型和存储型,并新增了多种新特性,向下兼容 Linkis0.X 版本的所有接口。

开源链接:

https://github.com/WeBankFinTech/Linkis


    新版简介


丰富的底层计算存储引擎支持度


  1. 已支持的计算存储引擎:Spark、Hive、Python、Presto、ElasticSearch、MLSQL、TiSpark、JDBC 和 Shell 等;

  2. 集成中的计算存储引擎:Flink、Impala 和 Clickhouse 等;

  3. 已支持的脚本语言:SparkSQL、Scala、Pyspark、R、Python、JDBC、HiveQL 和 Shell 等。

强大的计算治理能力。Linkis 1.0 总体分为三大模块:公共增强服务、计算治理服务、微服务治理服务。三大模块简介如下:

  1. 公共增强服务为 Linkis 0.X 已经提供的物料库服务、上下文服务、数据源服务和公共服务等;

  2. 微服务治理服务为 Linkis 0.X 已经提供 Spring Cloud Gateway、Eureka 和 Open Feign,同时 Linkis1.0 还会提供对 Nacos 的支持;

  3. 计算治理服务是 Linkis 1.0 的核心重点,从 提交 —> 准备 —> 执行三个阶段,来全面升级 Linkis 对 用户任务的执行管控能力。


全栈计算存储引擎架构支持。作为计算中间件,将接收、执行和管理针对各种计算存储引擎的任务和请求,包括离线批量型、交互式型、实时流式型和存储型任务,并提供强大的复用、预热、限流、切换、全生命周期管理等计算治理能力;更强大的资源管理能力。ResourceManager 不仅具备 Linkis0.X 对 Yarn 和 Linkis EngineManager 的资源管理能力,还将提供基于标签的多级资源分配和回收能力,让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力;

全流程标签化。基于多级组合标签,提供跨 IDC、跨集群的计算任务路由管控能力,和 EngineConnManager, EngineConn 的多租户隔离能力;

统一上下文服务。统一用户和系统资源文件(JAR、ZIP、Properties 等),跨用户、系统、计算引擎的参数和变量统一管理,一处设置,处处自动引用;

统一物料。系统和用户级物料管理,可分享和流转,跨用户、系统共享物料,支持全生命周期自动管理。



    全新特性


[Linkis-572] 在“Entrance”模块中新增了 EngineConn 管理插件。

[Linkis-576] 新增 EngineConnPlugin 模块,简化用户实现 Linkis 新计算存储引擎。

[Linkis-579] 新增 EngineConn 的交互式类型顶层设计,让用户实现交互式引擎更加简单容易。

[Linkis-584]新增 LinkisManager Common 模块,为 LinkisManager 提供常用工具类。

[Linkis-585]新增 LinkisManager Monitor 模块,用于 LinkisManager 实时监控 EngineConn 和 EngineConnManager 的健康状态。

[Linkis-587] 新增 EngineConn Common 模块,为 EngineConn 提供常用工具类。

[Linkis-590] 新增 EngineConn 的核心模块,提供了 EngineConn 核心接口的定义。

[Linkis-591] 新增 Computation Governance Common 模块,为计算治理的所有服务提供常用工具类。

[Linkis-599] 新增 Linkis ResourceManager Common 模块,提供常用工具类。

[Linkis-600] 新增 LinkisManager Service Common 模块,为 AppManager 和 ResourceManager 提供常用工具类。

[Linkis-602] 新增 LinkisManager Persistence 模块,用于持久化 EngineConn 和 EngineConnManager 的信息。

[Linkis-604] 新增微服务标签功能,并支持为每个微服务添加标签。

[Linkis-609] 新增 Linkis Label 模块,为 Linkis 全流程的标签化能力 提供基础支撑。

[Linkis-611] 强化 Linkis 的管控能力,全新抽象 Linkis AppManager 模块,用于管理 EC 和 ECM 的全生命周期。

[Linkis-630] 新增 EngineConn Launch 模块,提供 EngineConn 的 main class 入口。


    功能增强


[Linkis-569] 增强 Linkis RPC 的处理能力,并向下兼容 Linkis0.X 的 RPC。

[Linkis-574] 增强 Linkis 的标签管理功能,支持对 EngineConnManager 和 EngineConn 进行标签管理。

[Linkis-575] 增强 ResourceManager 的能力,并将其集成到 LinkisManager 中。

[Linkis-578] 增强 EngineManager,全新定义实现 EngineConnManager 模块。

[Linkis-580] 增强 SparkEngineConn,以适配 Linkis1.0 新架构。

[Linkis-583] 增强 ShellEngine,以适配 Linkis1.0 新架构。

[Linkis-592] 增强 JDBCEngine,以适配 Linkis1.0 新架构。

[Linkis-594] 增强 IOEngine,以适配 Linkis1.0 新架构。

[Linkis-596] 增强 HiveEngine,以适配 Linkis1.0 新架构。

[Linkis-597] 增强 PipelineEngine,以适配 Linkis1.0 新架构。

[Linkis-606] 拆分 Linkis0.X 的 EngineReceiver 为多种 Service,封装到 Executor 模块。

[Linkis-608] 增强 Linkis 启动和关闭服务的脚本,优化启动步骤。

[Linkis-618] 增强 PublicService 和 ContextService 模块,以适配 Linkis1.0 新架构。

[Linkis-638] 增强 Linkis Common 的加密功能。

[Linkis-643] 增强 DataSource 模块,以适配 Linkis1.0 新架构。

[Linkis-645] 增强 Linkis Hadoop 模块,使 Linkis 支持多套 Hadoop 集群。

[Linkis-648] 增强 Linkis httpclient 模块以支持 PUT 和 Delete 请求。

[Linkis-650] 优化 Linkis mybatis 模块,以与 mybatis-plus 集成。

[Linkis-652] 增强 Linkis protocol 模块,以适配 Linkis1.0 新架构。

[Linkis-654] 增强 Linkis Gateway 模块,支持通过标签路由转发前端请求。

[Linkis-655] 增强 Linkis JobHistory 模块,支持缓存 Job 的结果集,强化 Job 标签的管理功能。

[Linkis-656] 优化 Linkis RPC 模块序列化器的底层实现。

[Linkis-660] 增强 Linkis Scheduler 模块,支持自动清除空闲的 Consumer。

[Linkis-662] 增强 Linkis user control 模块,以适配 Linkis1.0 新架构。

[Linkis-663] 增强 Linkis Entrance 模块,以适配 Linkis1.0 新架构。

[Linkis-666] 优化目录层次结构并删除无用的目录。

[Linkis-668] 增强 Linkis storage 模块,以支持 viewFS 和多 hadoop 集群。

[Linkis-674] 增强 PythonEngineConn,以适配 Linkis1.0 新架构。

[Linkis-675] 优化目录,更新所有 pom 文件的版本信息。


    社区贡献


Linkis 1.0.0-RC1 的发布与 WeDataSphere 社区的贡献者密不可分。他们无私奉献自己的时间,并为文档的构建、简化部署和完善用户体验提出了许多有价值的建议。没有他们的帮助,Linkis 1.0.0-RC1 不能如此顺利地发布。

谢谢社区的所有贡献者!


    升级向导


原则上,Linkis 1.0.0-RC1 的所有接口都向下兼容,因此升级对上层应用无感。

作为计算中间件,除了 PublicService 的用户配置数据外,Linkis 数据库中的其他数据无需迁移。

有关 PublicService 用户配置数据的迁移,请参阅 Linkis Wiki:Linkis1.0.0-RC1 升级文档。


WeDataSphere,BIG DATA MADE EASY.

用心做一个有温度的开源社区

~欢迎关注~


扫码关注我们

微信号公众号 : WeDataSphere

GitHub:https://github.com/WeBankFinTech/WeDataSphere

如果喜欢我们的产品或文章,请给我们的 GitHub 点上你宝贵的 star 和 fork 哦~~


发布于: 2021 年 03 月 23 日阅读数: 12
用户头像

WeDataSphere

关注

金融级全连通一站式开源开放大数据平台套件 2021.03.15 加入

微众银行自研打造的WeDataSphere——微数域,是一套金融级、全连通、一站式、开源开放的大数据平台套件,正在Github上逐步开源中。

评论

发布
暂无评论
【里程碑】Linkis 1.0.0-RC1 版本发布