PCB 行业龙头企业 *IoTDB | 利用 IoTDB 替换 HBase,打破查询功能局限性
某 PCB 行业国内龙头上市企业主营印制线路板(PCB)生产、加工业务。其中,时序数据主要产生于生产设备采集的运行参数(温度、压力等)和检验设备采集的产品批次信息。
在原有解决方案存在局限性的情况下,基于 IoTDB 时序数据库的特点和优势,该公司选择使用 IoTDB 作为其生产与质量分析系统的时序数据处理方案。使用此方案将有效提高存储与查询维度的性能。
01 业务需求痛点
查询无法支持 SQL 语言
时序数据的查询功能是工业互联网领域的核心功能,而市场较普及的数据库查询语言为 SQL。公司原来采用 HBase 作为数据存储与处理的核心,但此方案无法支持 SQL 语言的数据查询,只能通过后台单独编写代码建立查询逻辑,降低了查询效率。
查询方式局限
不同查询方式将使数据呈现出不同的形态,并与后续是否能实现各类分析需求紧密挂钩。原有方案仅支持单点位查询时序数据,而分析需求往往需要有更多元的查询和数据处理方式,如将时序数据按照时间进行排序后查询,或多点位多时间点数据的联合查询。原有方案能够达成的查询有效性较低。
02 选型 IoTDB 的原因
支持多种数据处理及查询
IoTDB 通过预聚合和时序索引支持快速数据过滤、聚合查询、降采样查询等典型时序数据查询种类,同时支持使用 IoTDB SQL 进行查询,能够实现每秒数百万数据点查询的快速查询功能,以及满足用户对各类查询方式、多点位同时查询的需求。同时,IoTDB 能够支持在存储时将时序数据处理为按时间对齐或非对齐序列存储,进而满足用户对时序数据排序的数据处理需求。
满足数据分析工具需求
随着业务发展,公司表示对于分析函数、统计函数等数据分析工具后续将有大量需求,需要更深入的运用。IoTDB 包含统计分析计算函数,可简便进行进行基于各类时间单位的统计计算。用户也可在 IoTDB 中自定义计算公式,能够对原始数据进行个性化的复杂计算。此外,IoTDB 能够实现与 PLC4X、Pulsar、Flink、Spark、Hadoop、Grafana 等大数据系统的无缝集成,通过对接生态中的各种软件,进一步扩大用户对于存储、查询、分析工具的选择范围。
超十倍无损压缩比
业务的拓展和时序数据本身产生频率高、数据量大的特点,使公司面对数据占用空间大的问题。IoTDB 针对时间序列优化的文件存储格式 TsFile 支持有损压缩、无损压缩、二级压缩等多种压缩方法,可大幅提升历史数据压缩比,有效减少总数据量占用空间。目前使用 IoTDB 后,无损压缩比已达到 10 倍以上。
品牌信任度高
IoTDB 创始团队汇集了来自清华大学、UC Berkeley、德国 Fraunhofer 研究所、德国法兰克福能源集团、微软等一批数据库核心技术专家和工业资深专家,拥有十几年研究和服务工业用户的经验。在时序数据管理领域,团队成员拥有中国、美国、欧洲等发明专利 30 余项,有着坚实的先进理论基础。团队在产品与用户的交互层面,如性能测试报告、用户使用手册等产出均十分详尽,并积极支持即时技术运维服务及客制化需求,最终的处理结果也较为满意。研发团队的深厚研发背景及对用户需求的重视让该 PCB 行业龙头企业对于 IoTDB 的品牌信任度较高,相信产品的可靠性与未来的发展性。
3 解决方案架构
公司采用 IoTDB 时序数据库作为质量分析系统的时序数据库产品,数据流全图如上图所示,共分为 5 个步骤。
首先,将从各设备 PLC 中获取的时序数据参数,通过工业协议转换将数据转入边缘硬件上的网关软件 Neuron。然后,将 Neuron 上的时序数据通过 MQTT 协议转换,进入边缘数据流式分析引擎 eKuiper。
接下来,通过 EMQ 规则引擎,eKuiper 上的数据保存至 IoTDB。IoTDB 服务器将发挥在存储、查询性能上的优势,满足业务的多类查询需求,同时通过自带的统计函数、自定义函数与平台集成,参与后续进一步的数据分析。
该公司目前涉及的业务场景随其用户的需求提出而将变得更加丰富。后续天谋科技将与该 PCB 行业龙头企业密切合作,针对其关注的主要问题做出重点突破,希望能在各类业务场景深度交集,做出专项专领域更优的时序数据库。
版权声明: 本文为 InfoQ 作者【Apache IoTDB】的原创文章。
原文链接:【http://xie.infoq.cn/article/6a55ddd8a6b2f3b9b5b8852ed】。文章转载请联系作者。
评论