中冶赛迪 *IoTDB | 多项目全流程以 IoTDB 为时序数据处理方案，预计写入查询效率提升一倍

中冶赛迪信息技术（重庆）有限公司是中国五矿（由两个世界 500 强企业，原中国五矿和中冶集团战略重组形成的中国大型金属矿业企业集团）旗下智能化信息化业务板块引领企业，主营业务包括智能制造、智慧建造相关产品、技术及行业解决方案等。以拥有 60 余年工程技术实践的产业部门做协同，将 5G、云计算、大数据、人工智能、工业互联网、物联网等数字技术与传统冶金、矿业、钢铁等工程技术深度融合，致力于数字化转型共性解决方案研究，打造数字化转型产品和服务。

时序数据是工业互联网的核心数据。中冶赛迪主营的钢铁工程、能源工程中，时序数据占据总数据量的 95%以上。这些时序数据主要产生于生产运行的实时效率和安全监控，以及设备运行的实时故障监控。因时序数据本身的上报频率高、数据量大、实时性强等特性，现有的数据库解决方案存在局限性。因此，中冶赛迪希望寻求对于时序数据更优的写入、查询、存储、分析方案。基于 IoTDB 时序数据库的特点和优势，中冶赛迪选择使用 IoTDB 作为工业互联网平台的时序数据处理方案。使用此方案将有效提高写入、压缩、查询、存储多维度的性能与效率。

1 业务需求痛点

NO.1    高稳定性和及时运维

钢铁、能源的生产过程往往存在高能耗、多排放的特点。出于防止能量源泄露、排放污染等多类安全事故的需要，数据平台时刻监控生产过程的安全性指标。而且因生产规模较大，为使生产满足大量订单的要求，数据平台也需监控生产功效相关的指标。两类指标都希望数据平台功能稳定，能够实现实时稳定监控，且不会泄露核心生产数据。因此，作为监控安全与正常生产数据重要的工具，所需的数据库的性能应具有高稳定性、高安全性，并需要后续较好的运维服务，以便快速修正使用过程中的任何性能与功能故障。

NO.2    单项目百万级测点数

因钢铁、能源等行业需按时间序列密切监控生产、运维全流程的各个数据维度，确保生产资源的高效使用及生产过程的安全性和高效，相关项目均需密集的写入点位进行数据监控。以一个初期钢铁项目举例，包括生产、运维全流程的一家钢厂初期整体需管理约 4 万个设备，初步有约 25 万点位采集点，且还会随项目扩张而不断增长。中冶赛迪预估单项目约有百万点位采集点。各项目采样频率从 10 毫秒级至 10 秒不等，以 1 秒频次为主。中冶赛迪项目对于采样点的拓展需求及不同频次的兼容需求较高。

NO.3    上百 TB 级数据储存

基于上述众多点位数上报的实时时序数据，一个初期钢铁项目新增数据量可达到 15 亿条/天，存储空间可达到 6GB/天，一项目储存全部数据量约 2.9 千亿条，中冶赛迪有上百个这样的钢铁项目基地，数据内存的需求很大。另外，因钢铁、能源行业需大量历史时序数据进行生产效率及设备性能方向的分析，对于历史数据的存储量及压缩比要求较高。如高炉炼铁行业，极限情况下需存储 15-20 年数据，至 5 年历史数据可达 100-200TB 左右。

NO.4    多表聚合查询需要

因数据监视维度多，钢铁及能源的各维度原始数据，如转炉钢铁料消耗、氧气密度、水压，经常被分隔单独存放在一张表中。而现场综合监控所需要的数据形态往往是一个综合各指标数据的数据展示，这就需要使用多表聚合查询。中冶赛迪现有的数据查询系统仅支持查询单独数据后在代码中做聚合，导致查询效率较低。中冶赛迪希望后续可以实现一设备一表的数据结构，以时间为基础做设备数据的多表查询。

NO.5    实时监控及展示

业务使用场景经常要求钢铁、能源的相关时序数据在展示大屏等设备进行实时投屏，并需要以一定频次进行刷新，以便掌握行业相关指标的实时变化。这需要进入数据库存储阶段的相关数据已经过简单的预处理，实现部分简单计算和统计，并可迅速通过大数据分析方法在各展示设备以可视化的方式呈现出数据趋势及实时具体数值，方便对设备及生产过程的及时调整。

2 数据库选型

中冶赛迪对国内外 5 款产品进行了分析比较，总结优劣势如下图（红色部分越多代表单项越高）：

中冶赛迪调研认为，以上数据库均不满足集团需求。最终选型 IoTDB 作为时序数据处理系统的核心，原因为下述几个 IoTDB 的性能、功能、品牌领域方向的优势。

NO.1    高速高频数据写入

针对钢铁、能源行业对于时序数据频密写入的要求，IoTDB 能够实现每秒千万数据点写入的能力，且写入速率不随数据量增长而下降，维持稳定高速水平。同时，因高频的写入-存储过程中可能存在数据异常的业务场景，IoTDB 能够支持时间序列数据的乱序写入、按时间对齐、空值填充等多种数据预处理操作，让大量原始数据可在较短时间内转换为完整的待下一步分析数据。

NO.2    实现高压缩比

针对钢铁、能源行业对于时序数据存储有多维度、长年限的要求，IoTDB 针对时间序列优化的文件存储格式 TsFile 支持有损压缩、无损压缩、二级压缩等多种压缩方法，可大幅提升历史数据压缩比，有效减少总数据量，节省存储成本，并在同样内存条件下存储更长时长的历史数据。

NO.3    支持高效数据读取和查询

针对钢铁、能源行业对于多维度时序数据同时查询，需要提升查询效率的需求，IoTDB 采用从根节点以下，以数据点自带的时间戳，与多层级存储的路径结合的存储架构，使得不同维度的时序数据可以被有效分类存储，并在查询时可较快唯一确定 IoTDB 中的时序数据，从而加速多维度查询的效率。同时，IoTDB 通过预聚合和时序索引支持快速数据过滤、高效聚合查询、降采样查询等典型时序数据查询种类，使筛选后的数据以更小的数据量，达到更快的查询速度，且不影响查询者的输出需求，实现每秒数百万数据点查询的能力。

NO.4    便携实时计算及强集成能力

针对钢铁、能源行业对于时序数据的实时计算、分析、可视化需求，IoTDB 提供统计分析计算函数，可以进行基于各类时间单位的统计计算。用户也可在此基础上在 IoTDB 中自定义计算公式，从而实现对时序数据的个性化复杂计算，计算结果也可保存在 IoTDB 中以备再次计算，有效提升实时计算效率。此外，IoTDB 能够实现与 PLC4X、Pulsar、Flink、Spark、Hadoop 等大数据系统的无缝集成，通过对接生态中的各种软件，可提高时序数据分析系统在大数据管理和分析方面的运行效率和处理能力。IoTDB 还可以对接开源可视化工具 Grafana，提供以可视化图表查看、分析数据的方式，也可以提供数据监控、告警等维护数据安全性的操作。

NO.5    稳定性高、性价比较好

中冶赛迪经过对各个时序数据库竞品的对比分析，认为在国产化趋势不可逆转的情况下，具有自主知识产权、技术可控、成本可控的工业实时数据库有比较好的市场竞争力，相信涉及专业的时序数据需交给专性数据库处理，产品稳定度和对品牌的信任度都将更高。

IoTDB 在多类 CPU 架构、操作系统、服务器的稳定性均表现较好，获得中科曙光、中科可控、海光、长城、麒麟等多个公司出具的兼容性互认证证书，硬件兼容能力较好。

同时，IoTDB 的创始团队汇集了来自清华大学、UC Berkeley、德国 Fraunhofer 研究所、德国法兰克福能源集团、微软等一批数据库核心技术专家和工业资深专家，拥有十几年研究和服务工业用户的经验。在时序数据管理领域，团队成员拥有中国、美国、欧洲等发明专利 30 余项，有着坚实的先进理论基础。IoTDB 团队深厚的技术背景及对于产品优化的积极响应态度，让中冶赛迪对 IoTDB 的及时运维服务表示看好，期待 IoTDB 未来更加适配中冶赛迪的应用场景，做与行业联系更加紧密的时序数据库。

在成本方面，因项目生态经常需要大批新增写入节点，故新增写入节点的成本被尤其看重。中冶赛迪认为 IoTDB 的新增写入节点成本较低，成本较为可控，整体性价比较高。综上三点，中冶赛迪对于 IoTDB 的产品和品牌能力表现认同。

NO.6    开源社区促进团队紧密合作

IoTDB 的创始团队由 Apache（国际最大开源软件基金会）旗下 IoTDB、PLC4X 两大物联网项目开源社区的发起人和核心开发者组成，开源氛围浓厚，专注于在为用户提供支持的同时，又一如既往地参与开源社区建设。中冶赛迪认为 IoTDB 是重要的生态伙伴。IoTDB 社区积极探讨产品可优化问题，并有效的将社区内对于产品的优化建议转变为产品的实际优化项，这将极大地加速 IoTDB 的研发与迭代过程，并将与中冶赛迪的自身需求一起成为产品进步的重要动能。

中冶赛迪研发团队也针对 IoTDB 监控数据的可视化需求，设计完整的实时可视化管理工具 IoTDB Workbench，针对数据库连接管理、数据处理、元数据管理、用户管理、运维监控可视化五大方向整合各项指标和系统，囊括访问数据库、角色权限调整、数据处理、数据存储组管理、多维度监控指标展示等功能，实现 IoTDB 数据的实时可视化分析，简化 IoTDB 的使用及学习成本，并保障实时数据库的研发、运维、管理工作的高效可靠。

3 解决方案架构

中冶赛迪水土云工业互联网平台（CISDigital）旨在助力工业智能应用构建和实现，由数据开发治理、业务开发连接、云原生开发运维三大板块组成。作为智能制造数字化核心中枢，此平台致力于实现工业知识、模型和历史数据的沉淀，并面向工业场景提供业务与数据的共享服务体系，降低企业 IT 的重复建设、减少烟囱式协作成本、敏捷响应前端业务的快速变化。

中冶赛迪以中冶赛迪工业实时数据库（CISDigital-TimeS）构成中冶赛迪水土云工业互联网平台数据开发治理部分的核心，并使用 IoTDB 作为工业实时数据库的中心，参与从现场层进行数据采集、数据写入、数据存储，并根据业务特性进行特性数据处理、数据查询、数据计算、数据分析、数据展示的全流程。

IoTDB 将针对数据开发治理流程中涉及使用的核心功能，如查询、存储、清洗，提供速度更快、性能更高、效果更好的解决方案，并同时针对数据流中存在的具体管理痛点，如集群管理、双活管理、MPP 调度、运维指令等方向，提供技术上的优化方案。这些解决与优化方案会被运用于冶金聚合函数库、冶金设备时序对齐、冶金场景触发器、自定义规则降采样、实时数据工具台等中冶赛迪的具体应用场景，并会根据行业领域的特性做出调整，以更符合特性场景的需求。最后，这些应用场景将助力实现智能生产调度、智慧能源管控、炼钢智能管控等中冶赛迪希望通过时序数据的高效管理能够达成的工业目的。

4 业务效果及收益

目前中冶赛迪将 IoTDB 与现在使用的 InfluxDB 单机版表现进行对比，各性能数据均有提升：

后续中冶赛迪将与天谋科技密切合作，希望能够面向中冶赛迪的主营行业，结合已有功能做出专项适配的时序数据库。