TDS 四大能力域各显神通，构建数据湖、数据仓库一步到位

近年来，中国数字经济快速发展，遇上这场席卷全球的疫情更是将数字化浪潮推向前所未有的高度，数字化转型不再是停留在理论和构想阶段的一个概念性名词，而是需要实际落地推进的新时代共识性战略，企业或组织都在加快数字化转型的步伐。然而，究竟什么样的数字化底座才能满足企业可持续发展的需要，一直困扰着处在数字化转型进程中的各大企业。

星环科技结合自身产品和咨询服务的特点提出 “三个一” 的整体解决方案：企业需要一个集约化的数据平台底座，在此之上搭建一套常态化的精益治理体系，再叠加一个智能化的分析运营生态，这样才能面向企业内的技术开发人员、数据管理人员、业务分析人员以及业务应用提供一个全方位的数据支撑。

数据平台底座提供整体的技术支撑和数据基础以及算力保障，数据治理体系对整个从数据汇聚、生产、分析加工、使用提供架构规范性保障、形成质量管理机制，提供共享与保护机制，而分析运营生态则是提供了两层次的内容。首先，企业要构建起基础分析运营能力，包括定义自身的业务价值驱动框架找对业务分析点，构建 BI/AI 的分析能力，形成标签画像、指标体系、分析模型等应用模式；其次，更为重要的是将能力运用到实际业务场景中，分析业务流程，将数据产品应用模式和分析能力结合合适的业务分析点嵌入到流程中，真正的帮助企业提升竞争力，而服务场景往往会结合业务侧的改革形成一个个垂直化的解决方案，形成业务与数据的双轮驱动。

数字化运营不是简单的用数字参与到管理运营中，而是以数字化作为基础连接企业运营的各个环节，连接业务、连接管理、连接伙伴、连接一切，用数字的方式完整记录、精准描述、预测规律、识别模式、评价优劣。这一过程中企业除了改进传统的企业管理能力外，还需要面对新兴的数据要素，培养和锻炼自身对数据资产的开发能力、管控能力、分析服务能力以及资产运营能力，只有提升了这四项能力才能将数字化底座变得可用、好用、慧用。

星环大数据大开发工具 Transwarp Data Studio（TDS ） 提供数据集成、存储、治理、建模、分析、挖掘和服务等数据处理全生命周期的企业级管理能力，结合星环极速大数据平台 Transwarp Data Hub，能够提升企业构建数据中台、数据仓库、数据湖等系统的效率，更高效的实现数据的资产化和数据业务化。TDS 当前已完成四大能力域的基础产品布局，并在客户现场实施中进行了初步验证，下面分别从这四个方面谈一下已完成的功能及即将推出的亮点：

数据资产开发能力域

企业针对数据资产的开发不仅包括数据的采集、存储、加工，也包括分析、建模、数字产品；而数据资产开发的管理目标则是包含了对这些方面的接入、协同、管控的全流程管理。当前依托于基础大数据平台组件，已实现了大数据平台多模数据源的对接、脚本开发、测试执行、作业调度、ETL 配置等基础功能，同步在脚本开发中内置了智能推荐引擎，可结合业务语义分析提供常用语法、常用关联等智能推荐，目前正致力于开发信息分析及语义定义等模组，也将提供标签画像、指标体系等的开发定义，帮助企业打通数据开发领域的一个个壁垒。在数据资产开发能力域中，TDS 提供了如下组件支持：

SQLBook，网页版的 SQL 开发环境，提供了 SQL 的编辑、智能提示、编译、调试和可视化结果展现等的开发功能，还提供 SQL 审核、版本管理、数据源管理、团队协作等管理能力，可以帮助开发者即插即用的做数据探索与开发。

Transporter，将分散于各个地方、各种平台上的各种格式的数据同步或集成到大数据平台上，通过简洁、统一的可视化界面快速配置数据流转流程，实现异构平台和数据源之间的数据流转。

Pilot，数据可视化工具，提供了电子表格、数据可视化报表、自助探索分析、OLAP 多维度分析、交互式仪表盘、管理驾驶舱等数据分析能力，与大数据平台结合提供高并发低延时的报表查询能力。

Midgard，主要负责将数据转换为服务 API 从而被在线应用直接使用，形成最上层应用如报表、数据大屏、规则引擎等直接使用的数据；能够对服务、服务使用方进行资源服务化、服务使用认证、流控、计费、服务等级管理，还提供服务浏览、服务申请、开发对接、正式接入、用量查询等企业级管理能力。

StarViewer，数据标签的设计和管理工具，用户可以使用开发好的数据资产来设计主体和标签，开发主体画像或群体分析策略，管控标签的数据质量并监控标签的调度任务，覆盖从数据资产到业务标签的开发全过程。

Workflow， 是数据任务的调度平台，它帮助用户通过图形化的界面设计完整的业务流程、设置执行时间、定义任务之间的依赖关系，并自动调度所设流程，允许取消超时任务、重试错误任务等来提供任务可靠性，能够支持日均百万级任务的分布式调度系统。

数据资产管控能力域

将生产资料转化为产品最重要的就是品质保障，而数据管控就是对数据产品的各个治理领域的功能组合，需要为数据订立架构与规范，建立数据质量的管理机制持续监管及解决质量问题，同时树立起数据共享与保护的意识。为此，着重构建了数据标准模块以定义规范，通过落标检查来监督规范的执行；通过数据质量模块来定义质量检查规则并执行，统计和分析质量结果，提出问题并处置解决；通过数据安全的分类分级对数据进行安全级别定义，构筑数据保护的基础；通过数据模型将标准落实到数据产品的设计工艺上；以元数据模块进行技术元数据的采集、数据加工血缘路径的采集，实现差异性分析、血缘分析、特征分析等；并且已经集成了标准与元数据的匹配智能推荐算法、落标检查算法、标准与质量推荐算法等；后续还将加大对数据模型的管理及应用能力。在数据资管控能力阈中，TDS 提供了如下组件支持：

Catalog，智能大数据资产目录，支持主流数据源的元数据和血缘信息的自动采集、更新、版本管理，统一异构多源的元数据管理来完成全局化的数据资产管理流程。此外 Catalog 通过智能化手段提供数据特征、相似性分析、资产推荐等功能，提效数据应用流程。

Governor，数据管控工具，融合数据治理咨询方法论，通过数据标准、数据质量、数据保护和数据权限等多维度能力支撑数据治理专题工作，提升数据管理水平。

数据资产服务能力域

产品生产出来了，并且成为了质量过硬的好产品，这时最需要的是将产品销售出去，投入到交换、使用的环节中，而数据资产服务能力域就是对数据的交换、共享、应用输出等服务能力的综合管理，需要将标签画像、指标体系、自助分析、建模预测等业务模式，通过人-机的联机查询访问、机-机的系统调用接口、平台内部实验区数据验证等不同接口形式注册为服务，以统一管理的方式对服务进行注册、发布、监控、停用的管理，同时，可利用知识图谱等形式对使用情况、业务模型进行知识归纳和共享，并将安全等级定义落实到数据的共享管理中，确保权限的正确分配、完成确权和审计要求。当前完成数据商城模块实现了数据集的注册、发布，并实现 API 访问、下载等接口的开放，而未来要实现数据联邦的工作重点也在于对服务层进一步优化知识共享、平台衍化、数据重组等模组。

Transwarp Foresight，企业内资产化数据的聚合门户，为业务人员提供数据资产的检索、下载、共享的能力，结合着数据血缘帮助数据使用者、开发者和管理者做整体协同，构建其数据运营能力。

除上述能力之外，TDS 还配备了数据安全防护工具 Defensor，提供数据的安全分类分级、安全策略配置与管理等能力，可以帮助企业完成数据的安全治理，同时提供数据脱敏能力从而保护数据隐私，以及提供数据水印能力帮助安全管理人员对可能的数据泄露进行溯源，从而形成有效的数据隐私保护能力。

数据资产运营能力域

既然企业已将数据要素定位为重要资产之一，那数据资产运营将会像企业运营一样重要。数据资产运营以数据资产管理为主线将数据资产开发、管控、服务三大能力域串联起来，抽象出最基本的引入、上架、运营、下架四个阶段对数据资产进行管理，目前已经实现了基于元数据的数据集类资产引入，逻辑资产编目模组，未来还将增加对其他类型数据资产的管理和注册，用户已可通过资产导览的方式或全局搜索的方式查找希望引用的资产，当前打通了资产到数据商城的关联，未来将通过数据需求，可以连通数据的开发、管控、服务的各管理接入点，也会推出智能化的资产打标、评价算法以提升管理效率。

通过四个能力域的功能模组的不断完善，将提供给技术人员、数据管理人员、业务分析人员更便捷实用的工具，帮助企业培养起从一般职员到决策者都能基于数字化能力完成企业日常运营的思维模式，只有数据的使用便利、数据的内容详实，数据的结论准确、数据的应用全面，才能将变革成为习惯，这才是企业数字化转型成功的核心必要条件。