利用 IoTDB 替换 OpenTSDB,服务大唐集团 60 家电厂,减少 95% 运维成本
本文作者:大唐先一数据库研发负责人 张景
1►
公司介绍
中国大唐集团有限公司(China Datang Corporation Ltd,简称中国大唐集团)是一家特大型发电企业集团,成立于 2002 年 12 月 29 日,是中央直接管理的国有独资公司。主要从事电力能源的开发建设、经营管理、电力设备制造、检修等。
湖南大唐先一科技有限公司属于中国大唐集团有限公司旗下的信息化专业公司,是全国首家发电行业全业务覆盖、全过程管控的 IT 整体解决服务商。致力于智慧能源、智慧电网、智慧园区、智慧政务、新“基建”等业务的开拓。
2►
业务场景
大唐先一为大唐集团的六十余家电厂提供相关解决方案。
对于电厂来说数据有以下几个特点:
数据量大:每家电厂的测点数量达 10 万及以上,按照每个测点(传感器)平均每 5 秒钟更新一次数据。从而可以看到,每家电厂的日数据量达到了 17 亿 及以上。该数据量级对于写入、查询等都来相当大的挑战。
保存时间长:出于业务考虑,每份数据希望至少保存 5 年。每家电厂存储量级达 3 万亿 ,因此希望数据库的压缩能力足够强。
稳定性要求高:时序数据库常布置在无人区,对系统稳定性要求高。
3►
技术方案选型
原先的各个电厂解决方案中采用开源时序数据库 OpenTSDB 作为基础数据库。但在使用过程中遇到了相关的痛点。
技术运维难度大:OpenTSDB 的技术方案较为复杂,存在适应各自场景的相关组件。在现场部署过程中,运维人员需要了解 HBase 等各类知识,来进行系统组件的安装。同时,出问题定位也较为困难。对于运维人员要求高。而 Apache IoTDB 仅有一个组件,部署运维简便,上手成本低,对于运维人员的要求也大幅降低。
技术运维频率高:OpenTSDB 的运维频率较高,由于运维难度大,常需要研发工程师进行现场支持。高频的技术问题的出现对于客户来说也是一个棘手问题。而 Apache IoTDB 较为稳定,运维频率降低 95%,且得益于低运维难度,远程的技术支持可以解决绝大多数问题。客户满意度明显得到提升。
除了痛点的解决, IoTDB 在其他方面的表现也很亮眼。
极致的性能:写入、查询、压缩比等各个方面都达到了较高的性能。我们在具体生产环境做的测试的具体数据会在稍后给出。
丰富的查询处理:我们的应用场景中需要多维度分析。IoTDB 的自定义函数和丰富的查询功能等完美的满足了我们分析团队的诉求。
强大的社区支持: IoTDB 是一个开源软件,社区支持对于用户来说十分重要。Apache IoTDB 的社区由一帮真正热爱的程序员组建起来。稳定、可靠、响应积极且快速。我们遇到的问题在很短时间内会获得到较多实质性的帮助。久而久之,对于社区的信任度水涨船高。常和别人打趣,就是信任,Apache IoTDB 一旦发布新版本,就大胆更新,更新也简单,远程操作就可以。
总的来说,从性能、稳定性、运维各个方面来看,可以说 IoTDB 都是最适合我们业务场景的。我们也在业务中把 OpenTSDB 全面替换成了 Apache IoTDB,截止到 2022 年 3 月,我们共服务了大唐集团的 60 余家电厂。除了电厂业务以外,湖南省能源局的风电集中监测项目、湖南省环保局环保数据监测平台等各大重大项目中, Apache IoTDB 也呈现了很多亮眼表现。
4►
IoTDB 测试具体情况
IoTDB 在性能和功能上的优势完全满足了我们的需求,截止到 2022 年 3 月,在我们服务 60 余家电厂的过程中,不断跟随 Apache IoTDB 开源社区的脚步更新迭代,此处提供我们在 2020 年实际生产环境下的测试情况。
4.1 软硬件环境
4.2 性能测试结果
4.3 稳定性测试结果
关于我们
作为全球性开源项目,截至目前,Apache IoTDB 已拥有 170 名贡献者、1.9KStar、575 Forks。我们为大家提供了参与指南,欢迎越来越多的小伙伴助力 Apache IoTDB 项目的不断发展与前进。
欢迎迈出加入 Apache IoTDB 社区的第一步!
QQ 群:659990460
微信群:添加好友 qinchuqing/tietouqiao
github 仓库:https://github.com/apache/iotdb
推荐阅读
版权声明: 本文为 InfoQ 作者【Apache IoTDB】的原创文章。
原文链接:【http://xie.infoq.cn/article/7e2b0d8106826c73edcae84c4】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。
评论