写点什么

时序数据库 IoTDB 发布端边云原生解决方案,有效优化工业互联网数据上传时效与资源消耗

作者:Apache IoTDB
  • 2023-09-20
    北京
  • 本文字数:1926 字

    阅读完需:约 6 分钟

时序数据库 IoTDB 发布端边云原生解决方案,有效优化工业互联网数据上传时效与资源消耗

2023 年 9 月 8 日,由中国通信学会、福建省工业和信息化厅主办的 2023 中国国际工业互联网创新发展大会在厦门举办。大会主论坛中,时序数据库 IoTDB 发表其自研建立的端边云原生解决方案,该方案可实现端侧设备、边缘服务器、数据中心数据的协同汇聚,达到数据实时上传、带宽成本控制、与多终端同步管理。

关于大会

为贯彻落实国家两个强国发展战略,推动工业化和信息化融合发展,2023 中国国际工业互联网创新发展大会于 9 月 8 日 - 11 日与第二十三届投治会同期举办,旨在通过政策研读、行业前瞻、成果展示、创新案例发布、投资洽谈等形式,展示我国工业互联网创新技术和应用的现状以及发展成就,同时聚焦工业互联网核心技术领域及前沿应用,发布行业创新成果,助力科技成果产业化,推动我国工业互联网领域高质量发展。大会邀请超 6000 家技术企业与超 1000 家投资机构;致力加强大会在工业互联网行业的辐射范围与影响力,希望共同探讨如何以工业互联网行业前沿的技术、理念服务企业。


IoTDB 解决方案概要

IoTDB 是一款在国家自然科学基金、科技部、工信部、中国科协与中国通信学会的大力支持下,由清华大学发起,国产自主研发的工业互联网时序数据库产品。该项目也是我国科研机构目前唯一入选国际 Apache 开源软件基金会的项目,开源社区成员覆盖中、德、美等工业大国。IoTDB 覆盖了时序数据写入、存储、查询、计算全生命周期,具有多协议兼容、高压缩比、高通量读写等多项性能优势。目前在电力能源、飞机制造、车联网、钢铁冶炼、智慧工厂等行业均得到应用,已服务中央骨干、工业龙头企业超过 1000 家。



工业互联网场景下,以设备、传感器等终端上报的时序数据,成为多行业的价值主体。而工业互联网时代是端边云协同的时代:端是终端装备,用于采集数据;边是边缘控制器,用于汇集数据;云是云端服务器,用于处理数据。这种“端侧采集、边侧汇聚、云上处理”的数据上行链路,和“云上训练、边上推理、端侧执行”的数据下行链路,构成了工业互联网端边云场景的闭环。


传统方案下,端侧数据即采即报即丢,但无法将全量数据如数上传,丢失掉了重要的装备运行细节数据;边缘侧存储能力弱,本地难以保留长周期历史数据,阻断了在边缘本地做实时智能化应用的潜在可能;云侧将所有边缘侧数据全部重新处理,其计算资源需求量是边缘侧设备的总和,其资源需求随着边缘侧设备的不断增加最终会难以为继。



为有效解决这一难题,IoTDB 发布的端边云原生解决方案,新增了多个端-边-云版本系统模块,重制了两种端-边-云数据协同模式,实现了多形态部署与端边云协同。


在端侧,IoTDB 全新研制了基于 C++ 的数据库文件形态产品,在数十 M 甚至数 M 内存下,能够以 10 倍以上压缩率、百万点每秒吞吐率实现单设备全量数据管理。在边侧,IoTDB 升级了单机数据库形态产品,在 10M 到 GB 内存下,实现多设备全量长周期数据管理。在云侧,IoTDB 重制了分布式数据库形态产品,能够支持亿级测点,每秒数亿点读写吞吐,并创新了副本机制,较其他系统直接节省 30% 的存储和服务器。此外,IoTDB 天生的语言特性使其能够与当前大数据生态无缝衔接。通过上述三类产品形态,实现了端-边-云多场景的全面覆盖,解决了端侧、边侧设备存储能力弱、丢失细节数据的痛点。


同时,IoTDB 提出基于逐点的实时同步机制和基于 TsFile 列式数据存储文件的批量同步模式,同时覆盖了低延迟同步和高吞吐同步两类场景。以基于 TsFile 数据库文件的同步模式为例,在端侧,通过采用文件形态产品,端侧装备直接生成时序数据高压缩文件,并通过同步模块将数据增量同步至边侧 IoTDB 实例。多个 IoTDB 边缘侧实例再将汇聚的时序数据文件集合增量式上传至云侧 IoTDB,从而使得云侧集群在不消耗额外 CPU、内存的情况下,利用端侧、边侧 CPU 资源整理好的数据,直接落到云侧服务器硬盘中进行管理。从而解决当前云侧重复处理数据、资源需求无上限的痛点。



因数据文件的统一性与实时、批量同步的灵活切换性,该方案兼顾数据上传的时效性、网络带宽的节省、以及接收端的资源消耗,可有效适应边侧、云侧的不同资源、环境要求,提高设备间数据共享的效率和准确性,进而优化工业互联网企业的运营和控制,加速其应用创新和业务变革。


利用该解决方案,IoTDB 帮助宝武集团构建了钢铁冶炼生产场景中设备、车间、工厂、集团的多层级多粒度数据汇聚,打通了端-边-云原始数据协同路径,并在过去半年的应用中多次及时探测到关键设备故障前兆。同时,IoTDB 帮助某航空集团打造了新型试飞数据管理范式,将原本数据从收集到可用需要 4 小时缩短至 0.5 小时,将其数据存储周期从半年扩大至 10 年。


目前,IoTDB 原厂团队已成立商业化公司天谋科技,将继续探索 IoTDB 产品、方案在各行业的应用落地,共同为工业互联网发展贡献力量。

用户头像

Apache IoTDB

关注

还未添加个人签名 2021-12-30 加入

海量时序数据管理的解决方案,一款高吞吐、高压缩、高可用、物联网原生的开源时序数据库。

评论

发布
暂无评论
时序数据库 IoTDB 发布端边云原生解决方案,有效优化工业互联网数据上传时效与资源消耗_Apache IoTDB_InfoQ写作社区