便捷、高效、智能—从运维视角看星环科技大数据基础平台 TDH

日前，星环科技发布了大数据基础平台 TDH8.1.0，新版本围绕页面布局重构，集群升级和超大集群管理能力等方面进行了全新升级，极大程度地提升了用户数据开发管理体验。那今天这篇文章将带领大家从运维视角来进一步了解星环科技 TDH。

数字化转型中的拦路虎——数据平台的运维难

随着数字化转型的深入和企业的快速发展，企业在数据融合创新过程中，通常会针对不同的项目场景配备不同的数据模型，例如时序数据、点边图数据、消息队列等。虽然引入不同的数据模型可以解决不同场景的问题，但使用多种单模型数据库将会导致数据冗余、数据一致性治理难、资源配置难等一系列问题。同时，多产品的语言与接口不统一，极大地增加了运维压力与运维成本。

近年来，越来越多的企业逐渐意识到：未来的大数据平台，既要为不同的项目场景配置不同的数据模型以保障其高性能，又要让数据操作和运维更便捷、更统一。因此在一个统一平台中多种数据模型并用变得越来越流行。早期的多模型数据平台实现路径，仅仅简单地将多个单一模型数据库组合在一个软件系统中，但这仅仅是界面的统一，底层多个数据库开发语言不一致，运维起来较困难，排障的效率较低，成本较高。

此外，针对数据平台的运维通常会出现如下几种情况：

●没有统一运维入口，传统的查询运维难以完成指标数据的可视化，易缺乏或遗漏关键监测指标；

●由于日志格式非结构化，海量日志的处理十分复杂，急需强大的搜索能力和聚合能力；

●动态调度、弹性扩容：数据碎片化、监控对象粒度庞大的情况下，自动化监控实现渺茫，从而导致故障发现滞后，实时性无法保障。

原创多模型架构——从根本上解决运维难的问题

星环科技大数据基础平台 TDH 采用领先的多模型技术架构，其原创的分层架构设计提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及支持 10 种数据存储模型的异构存储引擎层。一站式多模型数据管理架构实现了对海量数据的统一管理与集群服务的统一运维，大幅降低了综合成本，从根本上解决了数据平台运维难的问题。

基于统一的 SQL 编译器 Transwarp Quark，我们只需要简单的 SQL 语句即可完成各种复合跨模型数据查询，无需访问不同接口即可操作不同的数据模型。对于场景切换、数据库切换而造成接口、开发语言切换的问题就不存在了，技术对接更加容易，运维更加简单。

统一的分布式计算引擎 Transwarp Nucleon 根据不同的存储引擎自动匹配高性能算法，不再需要手工干预，可以快速实现垮库关联，避免数据导入导出的麻烦。

异构存储引擎层通过 8 种独立的存储引擎支持 10 种存储模型，满足多变，高阶的数据分析需求，用户可以根据业务的发展随时按需增减存储引擎，避免重新设计开发增加后续运维和排障难度。

统一的分布式存储管理系统为不同存储引擎提供公共的存储管理服务，保障数据一致性，实现数据统一管理运维和高可用。

统一的资源调度层 TCOS 是星环科技自主研发的云原生操作系统，提供统一的资源调度框架，通过容器化编排，能够统一调度计算、存储、网络等各基础资源。其适配了多种主流的 CPU 架构和多种操作系统，支持不同硬件、不同操作系统的服务器混合部署，用户不用担心新旧设备兼容性问题。此外，TCOS 还支持灵活、按需的异构硬件（X86，ARM 混合部署）、异构操作系统的水平扩展，支持单独扩展计算或存储资源的水平扩展，避免因业务数据增长带来的资源紧张而需进行繁琐的扩容、迁移等工作。

星环科技大数据基础平台 TDH 的多模型技术架构实现了以上五个统一，简化了数据平台架构，降低企业运维成本，在架构设计方面就从根本上解决了数据平台运维难的问题。

全套大数据管理组件——让运维更高效、更便捷、更智能

多模型技术架构带来运维便利性的同时，星环科技大数据基础平台 TDH 还配置强大的全套大数据管理组件，让系统的资源维护管理，全场景监控和告警，问题识别和定位，安全防卫等工作变得更统一、更便捷，帮助用户实现高效运维、便捷运维和智能运维的生效目标。

一站式资源维护管理

Transwarp Manager 是 TDH8.1.0 的大数据管理平台，支持集群的图形化安装、管理与升级等服务，让资源维护管理工作更加便捷高效。

一键图形化安装—Transwarp Manager 支持图形化界面，用户只需几个手动步骤就可以在 x86、ARM、MIPS 等各架构服务器或基于 Docker 的云端平台上完成集群一键部署。

图形化安装

可视化集群管理—TDH 8.1.0 支持对节点/集群/服务进行可视化管理，监控和优化，用户可以按需添加、删除节点、停止或启动角色服务等，让大数据集群管理工作更加便捷。

为已有服务添加角色

不间断平滑升级—TDH 8.1.0 基于 TCOS 容器化集群操作系统，支持在不停服、不中断业务的情况下完成平台的平滑升级。除此之外，TDH 8.1.0 还提供平台补丁功能，相对于整体升级，做到了更轻量级、对业务无感知的在线维护。其提供平台及产品升级维护统一操作入口，全流程一键完成。同时，TDH 8.1.0 支持版本升级回溯，让系统更加安全可控。

平台补丁

此外，Transwarp Manager 还提供用户和账号管理，许可证管理，高可用性管理，集群巡检等功能，使用户日常运维和安全运维更加便捷。

全场景运维应用覆盖

TDH8.1.0 的智能运维分析平台 Transwarp Aquila 拥有强大的运维数据采集能力，可以支持全栈运维数据采集，实现全场景运维应用覆盖，帮助运维人员更全面的了解大数据各个维度的运行情况。

全栈运维数据采集—Transwarp Aquila 支持全栈运维数据采集，包括操作系统层面的 CPU、内存等硬件资源数据，调度器、网关等系统组件相关数据，数据库的指标数据以及例如业务汇报系统，工单系统等应用的数据。

全场景覆盖—通过 Transwarp Aquila 可以实现全场景运维应用覆盖，运维人员可以从不同的视角对集群，租户，服务等进行大盘监控，同时也能对数据库，大数据组件，云原生应用的运行性能和稳定性进行监控，了解其健康状态，及时发现问题并进行相关的操作。此外，运维人员还可以自定义运维仪表盘, 告警规则，自定义运维大盘，拓扑等，灵活地满足一些个性化运维需求。

完整的大数据运维体系

Transwarp Aquila 实现大数据各个维度的运维监控，在流程上覆盖了事前预警，事中告警，事后分析处理，同时结合运维知识库实现一套完整的大数据运维体系，让运维更高效、更便捷、更智能。

预置大量运维规则—Transwarp Aquila 预置大数据和数据库产品、操作系统硬件和 kubernetes 平台等的仪表盘和告警规则，无须繁琐配置，开箱即用。

规则设置

多维可视化监控—Transwarp Aquila 预置丰富的可视化仪表盘来支持不同场景下的运维数据展示，让用户对集群和服务的资源情况、运行情况即刻了如指掌。

可视化监控

及时预警和精确告警—Transwarp Aquila 预置 110+运维告警规则，运维人员可以通过预置的告警模板迅速按需创建多条告警规则，极大地提升了告警功能的易用性。同时，Aquila 支持用户基于指标数据以及日志的告警自定义告警规则，通过设置阈值告警可以及时发现数据指标异常情况并及时准备应对措施，通过设置不同等级的告警可以帮助用户更高效的识别异常问题。用户可以按告警规则分组，将各类的告警信息发给对应的处理人员进行快速问题处理。此外，Aquila 还支持邮件通知、webhook 通知等，方便对接第三方告警处理服务，用户可以第一时间收到告警通知并及时进行告警处理。

告警查询

日志管理与问题分析—Transwarp Aquila 预置平台、租户级别的日志搜索规则，提高用户日志搜索效率。同时，其支持日志上下文展开，帮助运维人员追溯故障发生的上下文，迅速定位故障原因。运维人员可以直接根据日志搜索结果设置告警，与告警功能联动，快速识别系统和数据异常。

日志上下文展开

在运维集群的过程中, 我们经常发现一个服务不正常的根本原因往往是它所依赖的上下游服务不正常，而不同的服务，如果横跨了各个系统, 就需要不同领域的技术专家一起定位。Transwarp Aquila 基于日志，k8s 事件，告警以及异常指标,结合根因分析规则, 自动定位异常发生的可能原因，帮助运维人员快速发现和定位根因，提高排障效率，大大降低 MTTR。

根因分析

Transwarp Aquila 还支持运维数据跨集群以及多租户场景。基于 Aquila，运维人员可以对多个集群集中式统一运维，大大降低多集群运维的难度，提高运维的效率。同时，运维数据支持租户隔离，不同租户只能查看本租户数据，仪表盘，告警规则，在线运维任务等。

此外，星环科技大数据基础平台 TDH 还提供大数据平台安全审计和大数据安全管理工具，让安全防卫，权限管理等工作更加便捷。Transwarp Audit 面向 TDH 中对数据的操作和权限进行合理布控和监测，实现对数据访问和操作的集中监控、查看和管理的智能化、可视化审计。Transwarp Guardian 为 TDH 提供集中的安全和资源管理服务，例如其多租户资源管理模块可以按照租户的方式管理资源，并通过一个图形化工具为用户提供权限配置以及资源配置接口。

星环科技大数据基础平台 TDH 采用领先的多模型技术架构，实现了五个统一，从根本上解决了运维难的问题。同时，结合全套大数据管理组件实现了一站式集群资源维护管理和全场景运维应用覆盖，提供完整的大数据运维体系，帮助运维人员对各种场景的运行情况进行全面监控，快速发现异常和精准定位问题，并通过日志分析和根因定位等技术帮助运维人员快速排障，让运维更加高效，更加便捷和更加智能。

以上就是从运维视角看星环科技大数据基础平台 TDH 的整体介绍，TDH 致力于帮助用户实现数据全生命周期的管理。