大数据开源项目,一站式全自动化全生命周期运维管家 ChengYing(承影)走向何方?
原文链接:三分钟走进袋鼠云一站式全自动化全生命周期运维管家ChengYing(承影)
课件获取:关注公众号 “数栈研习社”,后台私信** “ChengYing”** 获得直播课件
视频回放:点击这里
ChengYing 开源项目地址:github 丨 gitee 喜欢我们的项目给我们点个** STAR!STAR!!STAR!!!**(重要的事情说三遍)
技术交流钉钉 qun:30537511
2022 年 5 月 30 日,袋鼠云对外开源了一站式全自动化运维管家 ChengYing(承影),为了帮助社区同学更好的使用 ChengYing,自开源之后我们就紧锣密鼓的筹备直播相关事宜,从 6 月开始,我们将每月为大家组织一次直播,和大家分享 ChengYing 的相关内容,欢迎大家持续关注。
一、ChengYing 简介
ChengYing(承影)——承袭于袋鼠云开源项目名剑家族的概念,取自十大名剑之承影剑。
ChengYing(承影)作为一站式全自动化全生命周期运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能,致力于最大化节省运维成本,降低线上故障率与运维难度,为客户提供安全稳定的产品部署与监控。
ChengYing 脱胎于袋鼠云数栈自主研发的一站式运维管家 EasyManager,从开放式统一监控、到定义标准化部署能力,而后引入 Prometheus/Grafana/自研 dt-alert 组件,完成统一监控 2.0 的功能优化,再到新增多集群管理能力,最后完成了内部孵化,成功开源 ChengYing。
二、ChengYing 功能特性
在介绍 ChengYing 的功能特性之前,我们先熟悉几个概念:
名词概念
产品
指用 ChengYing 部署的大数据产品,如数栈(DTinsight)、云日志(EasyLog)等,作为 ChengYing 最高级别的组织单位。
组件
一般和"组件安装包"等同,指产品下包含多个组件,即产品下包含多个组件安装包,如数栈(DTinsight)产品下包含 Hadoop、DTBase、DTCommon、DTBatch、DTStream 等多个组件,代表不同的应用。
服务组
组件下的服务分类,如 Hadoop 组件下包含 HDFS、Spark、Yarn、Flink、Default 等服务组,进行服务区分。
服务
指服务组下的具体服务,如 HDFS 服务组下包含 hdfs_datanode、hdfs_journalnode、hdfs_namenode、hdfs_zkfc 等组件;Spark 服务组下包含 hivemetastore、spark_historyserver、thriftserver 等组件。
主机分组
指对主机进行人为分组,当主机数量过多时可进行分组,方便管理。
主机
指服务器,包含物理机、虚拟机,指产品部署时需要的硬件资源,通常以主机 IP 或主机名称进行区分。
功能特性
ChengYing 具备六大功能特性:
统一的 Schema 定义
抽象化产品包定义,用一套标准的 Schema 定义一个产品包的完整的生命周期,包括安装、启动、配置、升级、卸载等。
集群管理
支持多集群设置,便于在一套 ChengYing 系统中部署多套资源隔离的服务;支持对集群中所有产品包、所有主机、集群资源的管理。
安装部署
支持产品包的快速安装与部署。
服务管理
支持查看各服务及服务实例的运行、健康检查状态;
支持服务的配置修改下发;
支持服务的滚动重启;
支持服务的配置查看。
监控告警
集成 prometheus/grafana 组件作为可视化仪表盘组件监控集群、主机、服务性能检测;支持邮件、短信、钉钉以及自定义告警通道发送告警信息。
节点扩容/缩容
支持根据集群运行状况,产品化支持主机资源扩充与缩减。
三、ChengYing 系统架构设计
ChengYing 系统架构
ChengYing Agent 设计
统一 Schema 设计
监控设计
架构设计讲解
由于架构设计讲解的内容比较多,在此我们不做具体回顾,大家可以观看视频进行详细了解。
B 站直播回顾地址:
https://www.bilibili.com/video/BV1Ht4y187xo?spm_id_from=333.999.0.0
四、ChengYing 快速入门
接下来为大家介绍如何快速部署 ChengYing:
环境要求
快速部署
下载安装包:
https://github.com/DTStack/chengying/releases/download/v1.0.0/chengying-release-1.0.tar.gz
解压安装包:
tar zxvf chengying-release-1.0.tar.gz
cd chengying-release-1.0
运行安装脚本:
sh install.sh local_ip(local_ip 为 Chengying 所在机器 ip)
查看页面:
http://local_ip
上传组件安装包
选择集群与安装包
配置服务
执行部署
五、ChengYing 未来规划
最后为大家介绍 ChengYing 的未来规划及近期主要做的事情:
未来规划
服务编排
支持基于主机角色与服务类型自动编排,减少人工操作成本。
部署方式
支持自定义部署产品包流水线顺序。
安全认证
支持集群开启 Kerberos 认证,票据生成与下载。
监控告警
支持基于 PromQL 的自定义告警设置,丰富告警类型。
近期重点事宜
计划 8 月底发布 ChengYing V1.1.0 Release。
每月一次开源技术直播。
与 Chunjun/Taier 梦幻联动--尝试使用 ChengYing 部署 Chunjun/Taier。
袋鼠云开源框架钉钉技术交流群(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack
版权声明: 本文为 InfoQ 作者【数栈DTinsight】的原创文章。
原文链接:【http://xie.infoq.cn/article/797947c06055ec47c38336671】。文章转载请联系作者。
评论