写点什么

「模块化安装」,定义你自己的 CloudQuery

发布于: 10 小时前

众所周知,「用户体验」除了在 UI 上的高互动性、操作便捷性之外,更关键的是系统的性能体验。而性能的决定参数是系统吞吐量和响应速度。在 PC 机时代我们往往通过提升系统的硬件来强行拉高系统响应水平,但硬件不可能永无止境地扩展,早在 2005 年,芯片大厂因特尔 CEO 就提出仅依靠硬件垂直提升系统性能的时代早已经过去,「分布式」成为当前效率改革的主流。


「分布式系统」是指在单台服务器无法承受访问和数据处理压力的情况下,引申出的将应用系统进行服务拆解,利用更多服务器完成共同任务以处理巨量数据。故而分布式应用在面对高并发、大数据量的处理要求时往往比中心化服务表现的更加优秀,同时自身的高可扩展性支持水平和弹性伸缩,使应用系统在面对尖峰流量时也得心应手。


CloudQuery 作为企业数据库管控平台,除内部人员频繁的访问请求外,平台自身服务也有很大的资源需求。例如审计服务,在流式处理数据的同时还需要实时输出维度分析报表、预警风险信息等。而 1.4.0 版本新增的 DTS 服务则需要以更高的速度来处理用户数据导入、导出等操作。针对以上情景,我们采用了分布式部署方案,将高资源、高消耗、高计算的服务进行独立部署,在提高性能和响应速度的同时不影响主体标准服务的请求处理。


同时,安装方式由原来「一刀切」式的安装调整为「模块化」安装。所谓「模块化安装」就是封装细节、服务拆解,彼此互不影响,每个模块实现各自特定功能,极大降低了服务耦合度,以最少的模块和零部件快速满足个性化安装需求。


「模块化安装」方式已调整至 CloudQuery v1.4.1,以页面化的方式选择安装模块,下载解压安装包成功后使用命令行授权脚本执行权限。

chmod +x install  //授权安装
复制代码


授权成功后,执行命令启动预安装服务:

./install 
复制代码


预安装服务启动成功后会返回预安装页面地址,将该地址复制至浏览器即可进入「模块化安装」界面进行自定义配置安装,自定义配置主要包含四块:基础模块、可选模块、可选数据源和系统配置。


首先基础模块包括了用户、查询、任务中心、通知、web、以及平台持久层数据存储服务,可针对当前 CloudQuery 所有基础镜像进行自定义端口配置(如下图)。


对于「可选模块」,用户可根据自身场景进行选择,内容包括:审计、任务中心和终端。


完成「可选模块」后可选择所需数据源类型。


所有功能性配置完成后可进行「系统配置」,包括安装路径以及日志上限。


以上全部配置项配置完毕后即进入自动安装过程,进度框中可实时查看当前安装进度,过程中遇到问题可及时定位并解决。


此次安装方式升级后,CloudQuery 会在现有的标准服务上继续迭代。完善自身平台功能,不断推出更多数据相关模块,助力企业内部数据操作更加便捷化、自动化,使开发、运维人员效率提速。


BTW,8 月 31 日,我们将进行 CloudQuery v1.4.2 答疑直播,为大家讲解演示近两个版本更新的核心功能,包括 OpenAPI、模块化安装、数据导入、新增数据源 PolarDB 等。同时,就近期社区同学提出较多的问题进行公开答疑,并排布迭代计划。




用户头像

还未添加个人签名 2020.09.23 加入

一款基于 Web 的统一数据操作平台,将所有数据库集中在一个平台中进行数据操作、数据分析和数据管理,支持主流数据源,集成权限、审计和管理等众多刚需功能。

评论

发布
暂无评论
「模块化安装」,定义你自己的CloudQuery