新一代开源时序数据库 TDengine 有哪些优势?
长期以来,工业软件领域一直是传统国外软件的天下,PI 和 Wonderware 就是其中的佼佼者。近年来,随着国内软件替代浪潮和大批互联网技术向传统行业的技术溢出,这个市场正在开始发生巨大的变化。
以工业时序数据库(Time Series Database,TSDB)领域为例,已有多家大型工业企业将原来的 Wonderware InSQL/Historian 替换为新一代开源时序数据库 TDengine。到底是什么深层次的原因驱动着这个变化的发生?作为新一代的时序数据库产品,TDengine 具有哪些优势?让我们接下来做一些深入的分析。
真实替代案例
某大型卷烟厂,通过引入 TDengine,重构了其移动平台及 MES 现场操作站架构,重点打造了“一部手机管生产”,以打通企业内部不同层级、不同系统之间的数据壁垒,实现对内支撑业务应用和管理决策、对外提供数据共享及服务能力。就具体成果而言,他们打造了基于二维码的产品全生命周期系统和质量风险预警系统。大大提高了系统性能,降低了存储和计算成本,加速了其数字化进程。
某钢铁冶金企业的能源介质监控项目中,仅一期电力能源设备每天产生的数据量就在 3000 万条以上;项目二期还会有几千个流量设备接入,整个系统数据点也将远超 50000 点,每天产生的数据量预估在 1 亿条左右。为了解决如此大数据量带来的数据存储挑战以及原方案性能不足的问题,他们使用了 TDengine,结果是取得了明显的效果,数据读写能力也得到了极大提升。
传统工业时序数据处理应用现状
对于工业生产中大量的典型时序数据,企业数字化的早期,因海外软件有先发优势,很多企业选择了 Wonderware InTouch + InSQL/Historian 的解决方案。但是随着业务的发展,生产中需要监测的指标从几万个增加到几十万甚至百万个以上,原有的时序数据库在扩展能力上遇到了瓶颈。
几个主要的挑战如下:
非国产化:在复杂的国际形势下,存在一些不确定性
封闭性:很多软件是闭源的,而且处于自己的封闭体系之下,扩展性差
高度复杂度:需要采购一系列产品组合
高成本:采购价格昂贵、功能扩展需要额外付费,依赖 Windows、SQL Server 等其他软件,会产生额外的采购成本
服务响应慢:国外产品普遍服务响应不及时,反馈经常以天为单位,服务保障性差
新一代时序数据库 TDengine
面对上述挑战,从多家企业的替换经验中,我们可以看到 TDengine 时序数据库在提升数据存取效率、打破传统数据孤岛、提升数据有效利用率方面都为企业的数字化提供了实质性的帮助。作为专为海量时序数据场景而设计研发的 TDengine,提供了如下核心功能:
云原生(Cloud Native):时序数据与元数据处理全部采用分布式技术,实现计算和存储分离,具备水平扩展能力,存储和计算资源可动态扩容或缩容支持 10 亿个时间线,支持 100 个以上节点,整个集群的启动速度可以控制在一分钟以内,完全解决时序数据业内的 High Cardinality 的问题支持多副本,保证系统的高可用,另外通过 WAL 来保证数据存储的高可靠支持容器和 Kubernetes 部署,具备完善的可观测性(Observability),让系统的运营维护变的轻松简单
极简时序数据平台(Simplified Solution):支持消息队列,而且对外提供的 API 与 Kafka 类似,无学习成本支持流式计算,除连续查询外,也支持事件驱动的流计算,采用 SQL 语法,支持自定义函数,让流计算的学习成本几乎为零支持缓存,每条时间线的最新数据全部缓存,通过 SQL 函数就可快速获取,无需再集成 Redis 等缓存软件通过对缓存、流式计算、消息队列的支持,采用 TDengine 的时序数据处理系统,不再需要集成 Kafka、Redis、Spark 和 Flink 等软件,技术架构将大为简化,部署、运营维护成本将大为降低
便捷的数据分析(Easy Data Analytics):重新设计了计算引擎,支持标准 SQL,支持嵌套查询,支持自定义函数,支持 Information Schema 系统数据库针对时序数据的处理进行扩展,提供了众多时序数据分析功能通过标签快速索引,通过分区、分片技术,通过计算节点的弹性伸缩,支持对海量时序数据的多维度的高效聚合分析 TDengine 不仅能实时地处理数据的写入和查询,也能作为强大的时序数据分析工具
在方便部署,简化整体架构的同时,凭借其高性能、高压缩率,TDengine 还可以极大降低企业的总体拥有成本。
TDengine 落地实践与收益
前文已提到,TDengine 本身可以作为一个极简的时序数据平台,不需要再集成 Kafka、Redis、Spark 和 Flink 等软件,大大简化了系统架构。所以引入 TDengine 的系统架构会非常简单,采集的数据可以通过 OPC Client 等模块直接写入 TDengine,应用端则直接通过 TDengine 的用户界面或编程接口获取数据,支持工作报警、实时大屏、MES 系统和报表分析等业务。
引入 TDengine 之后,搭建云上的数据中台更为轻松了,TDengine 开源、开放的特质,也为信息化水平的进一步提升打下了良好的基础。
未来已来,如果你还在使用 Wonderware InSQL/Historian,而且正受限于可扩展能力等各方面限制,欢迎体验云原生、开源的 TDengine。
想了解更多TDengine Database的具体细节,欢迎大家在GitHub上查看相关源代码。
评论