写点什么

国网信通产业集团 *IoTDB | 三平台管理百亿级累计数据,构建端边云全周期电力数据高效解决方案

作者:Apache IoTDB
  • 2023-03-28
    北京
  • 本文字数:4354 字

    阅读完需:约 14 分钟

国网信通产业集团*IoTDB | 三平台管理百亿级累计数据,构建端边云全周期电力数据高效解决方案

1.国网信通产业集团业务场景


国网信息通信产业集团有限公司(以下简称国网信通产业集团),是国家电网有限公司全资子公司,是中国能源行业主要的信息通信技术、产品及服务提供商,致力于能源行业的互联网建设和数字化转型发展。国网信通产业集团以加快建成能源数字化服务国际领军企业为战略目标,聚焦物联网、云计算、大数据、人工智能、区块链、安全等产业领域,全面服务能源互联网建设,助力构建新型电力系统,促进能源绿色低碳发展,居于能源行业信息通信领域领先水平。



电网作为连接电力生产和消费的重要网络平台,构建新型电力系统是推动国家能源低碳转型和高质量发展的中心环节。而新型电力系统建设对电网数字化提出了新的要求,新型电力系统采集对象控制规模扩大,并需要统筹全网采集控制数据,在源网荷储全环节海量数据实时汇聚和高效处理的基础上,对数据采集、传输、存储、应用也提出了更高的时效性要求,并须在电源侧和负荷侧应用多种灵活的控制策略和控制渠道,以便应对强随机性的各类场景。新型电力系统需要通过先进的数据传感、物联、管理技术,达到广泛互联互通、全局协同计算、全域在线透明。 


为实现新型电力系统建设,基于物联网时序数据库 IoTDB 强大的产品特性,国网信通产业集团完成了支持多协议接入和数据实时处理的精准用电调控终端、物联管理平台及实时量测数据中心等产品,搭建了云边一体化全景状态感知基础设施。IoTDB 协助覆盖电力行业数据采集、缓存、汇聚、存储、计算、共享及可视化展现,支持端边云协同的电力实时数据全生命周期管理,有力支撑新型电力系统达到实时感知、全域计算、协同联动的业务目标。



2.业务需求痛点

2.1 亿级终端数据采集

国网信通产业集团构建的新型电力系统希望做到能源链条的全领域、全场景感知与监控,因此时序数据库的不同终端、不同上报频次的海量数据实时采集能力非常重要。以南方某省为例,负荷侧约有数千万的电表、百万级的电动汽车接入,在电网侧约有数百万的“输、变、配”设施和设备的接入,时序数据库面临着亿级终端接入,需要实现高可靠、高时效的数据采集。

2.2 实时计算共享 

新型电力系统对发电、调控、用电、质检等应用场景均需实现数据实时监测、共享、可视化,以保障能源智慧管控与应用。因此,底层时序数据库软件需要提供多模态的数据快速转发、共享技术,并支持数据补全、异常诊断、分析建模等多种高效的数据服务,或与其它大数据计算分析系统的集成能力。

2.3 协同部署 


为节省云侧资源成本消耗,新型电力系统大量的智能终端部署和应用数据计算将由云侧向边侧迁移,由云计算为主体的技术模式正在向云边一体化计算模式进行转化。因此,要求时序数据库支持端、边、云多种部署形态,并易于形成数据的跨平台协同传输架构,能够完成中心设备侧、现场边缘侧、云服务侧完整、全面的时序数据管理的高效解决方案。


3.选型 IoTDB 原因

3.1 端边云协同部署能力

IoTDB 提供边缘模式、单机模式、分布式等多种部署形式,并创新了基于操作同步和基于文件同步的“端-边-云”多粒度、多延迟容忍的协同模式,不仅支持一种文件格式经终端一次处理,即可端边云共用,有效节省资源成本,并且端侧、边侧可以具备更强的本地数据管理能力,更好地支撑站线、用户、供应链等本地智能化应用。

3.2 多源数据实时采集、写入 

IoTDB 支持 Modbus、645、1376.2、698、101、104、MQTT、TCP/UDP 等多种通信协议,边缘侧部署时可支持用电、热力、燃气、给水、环境等多类智慧能源业务的数据采集需求,处理多设备亿级点位,并实现多频次、多精度的高速率、低时延数据采集。云侧部署时,单机版 IoTDB 可以达到至少每秒 2966 万数据点写入性能,并支持简易、便捷的数据转发链路,可以很好的支持多类型终端的海量数据汇聚需求。

3.3 快速数据处理、异常监测

IoTDB 具备补录、召测、自动补全等边缘侧场景常用的质量容错能力,支持多种基于时间序列维度的数据操作,有效减少了数据预处理的难度和复杂度。同时,IoTDB 提供统计分析计算函数及自定义计算公式,对边缘侧实时采集的量测数据,可帮助实现阈值、趋势、告警等实时判断。

3.4 集成助力数据分析

IoTDB 能够实现与 Kafka、Spark、Grafana 等数据软件的无缝集成,在云侧可增强采集时序数据拓扑的展现及分析能力,增强新型电力系统分析推演能力,帮助准确反映电网运行状态、负荷用电状态,并形成对外量测数据的可视化服务能力及被集成能力。


4.解决方案

4.1 整体方案

国网信通产业集团基于 IoTDB 建设的云边一体化全景状态感知基础设施包括精准用电调控终端、物联管理平台及实时量测数据中心,并有多类保障体系与第三方合作伙伴接入,从各方企业及不同业务角度共同赋能基础设施与平台建设。IoTDB 应用于上述三个平台当中,提供了稳定、高效的数据写入、存储、查询能力。


精准用电调控终端是应用于电力负荷管理的智能终端,电源侧、电网侧、用户侧、供应链侧等端侧实时上传的时序数据,通过精准用电调控终端的设备接入层、基础服务层、对外服务层,在楼宇、园区、台区等边缘侧实现用电、热力、燃气、给水、环境等多种能源的数据采集、缓存、实时计算,并将数据上报至物联管理平台。IoTDB 为智能终端提供轻量级、高频、低时延的数据写入能力,以及数据补全、基于阈值、趋势进行异常诊断等数据质量容错能力。 


物联管理平台是物联网中各专业、各类型终端的统一接入和管理的平台,在云平台侧面向海量智能终端,通过设备管理、连接管理、应用管理、规则引擎、数据处理等模块,实现千万级终端在线接入及管控、数据实时汇聚、缓存及高效转发能力,并可根据各类终端的业务场景需求制定实时数据策略,下达给精准用电调控终端。IoTDB 主要部署于规则引擎模块和数据处理模块,为物联管理平台提供高吞吐、低成本的数据写入和存储能力。


实时量测数据中心在云平台侧在线汇聚物联管理平台传输的全量实时数据,囊括时序数据管理、实时数据计算、数据服务、可视化展示等功能组,通过计算推演和分析拟合,实现实体电网在数字空间的数据实时动态呈现,并进一步帮助新型电力系统实现电能质量分析、光伏监控、负荷管理等功能。IoTDB 主要部署于时序数据管理功能组和实时数据计算功能组,为实时量测数据中心提供海量数据低成本存储、高性能查询能力,以及与 Kafka、Spark、Grafana 等数据组件强大的生态集成能力。



同时,在用电各智能业务终端,如充电场站、光伏场站等,基于 IoTDB 实现的全景数据管理基座,国网信通产业集团设计了实时监测预警,协同调控、发电预测、电能质量监测等应用,打造了“技术先进、架构坚强、应用灵活、提升全面”的分布式新能源协同调控系统。依托 IoTDB 的灵活部署能力与时序数据的高时效性,实现了分布式新能源的信息感知、实时监视、故障预警、群调群控能力,支持各典型电力应用场景,支撑大规模分布式光伏灵活应用和高效消纳。


通过国网信通产业集团的云边一体化全景状态感知基础设施与分布式新能源协同调控系统,IoTDB 支持国网信通产业集团实现了端边云协同的电力各业务场景时序数据高效管理,并覆盖海量时序数据采集、缓存、汇聚、存储、计算、共享及可视化展现全流程。



4.2 各应用情况

4.2.1 精准用电调控终端


精准用电调控终端应用于工业楼宇、工业园区、居民社区等负荷管理应用场景,可接入江水源热泵、充电桩等用户能源系统,对用电、热力、燃气、给水、环境等智慧能源数据进行采集,并实现能效分析、需求响应及控制策略下发。因此,调控终端数据管理方案需达到秒级传输、多路测控,数据采集的频次、精度及通道数量满足高速率、低时延的需求,要能够直接匹配适用多种通信规约,支持实现用户多路负荷实时精准调控。 从采集数据分析,一个园区内部署一套精准用电调控终端,大约采集点在 1000 点/秒,按传感器为 100 个、每秒采集一次计算的情况下,日新增数据点达 8000 万。IoTDB 能够满足采集、存储此海量时序数据所需的高通量、轻量级性能特点,并支持实时数据计算与质量监控需求,满足能耗分析场景。 同时,IoTDB 已经适配了国网公司终端的软硬件环境,可以支持嵌入式操作系统、X86 和 ARM 架构;可基于 Thrift(远程过程调用框架)实现跨语言数据交互,提供多种语言的访问接口;通过 IoTDB 与设备、数据、参数、模型交互处理并汇总到消息总线模块,满足终端侧/边缘侧应用开发生态,为各类终端和边缘 APP 提供统一的数据管理服务。目前 IoTDB 已支持国网信通产业集团需求配置的精准用电样机,并已在国内多个负控应用领域开展应用。


4.2.2 物联管理平台 


物联管理平台南向对接各类终端,提供接入、监控、边缘应用管控,北向对接数据/业务中台及调控终端/业务应用,提供标准化的数据服务,解决多主体的物联终端管控和数据汇聚的问题。因此,物联管理平台数据管理方案需要满足能够实现多业务场景下数据实时的采集与融合共享,兼容多协议解析、多转发路径。 物联管理平台内置高并发的多协议解析组件及其与 IoTDB 的桥接组件,通过不同通信协议的消息主题转发与 select from - deviceid1-topic into iotdb 的规则引擎,实现将多平台、多场景数据实时写入 IoTDB。目前,物联管理平台整体性能达到了千万级设备并发,每秒 5000 万点数据的实时写入能力,同时各终端的 IoTDB 运行状态也支持基于物联管理平台进行实时监测。



4.2.3 实时量测数据中心


实时量测中心实现电力系统各环节遥测、遥信、辅控、设备状态、事件等采集数据的全面实时接入与数字系统计算推演,支撑物理电网实时状态的精准感知、及时反映、协同互动。因此,物联管理平台数据管理方案需要实现多场景数据的高吞吐写入、高可靠存储、低时延查询计算能力。 依托 IoTDB 对站、线、户、测点等不同单位进行海量数据接入、历史数据汇聚及实时数据服务,结合 Flink、Kafka、Spark 等组件实现数据计算推演和分析拟合,实时量测中心实现了在线汇聚 PB 级的全环节采集数据,保障亿级新增数据/天存储,千万/分钟批处理效率,实现高可靠、低时延实时数据管理。以南方某省为例,5000 万电力用户按 100 采集点采集不同种类的电气量数据,每 15 分钟产生的数据大约为 5 亿条,每天产生 500 亿条数据,批处理集群要求具备 3000 万每分钟的处理能力;遥信及事件类要求较高的实时性,时延需要在 30 秒以内,可靠性需达到 99.99% 以上。此项目数据管理需求可被 IoTDB 为核心的实时量测数据中心稳定、高效的达成。



5.未来展望

针对国网信通产业集团建设全量状态感知基础设施产品的目标,IoTDB 已协助在多个应用平台侧构建了高实时性、端边云协同的时序数据管理方案,并成功覆盖电力数据管理全流程,为电力数字空间提供稳定、高效的数据感知基础。未来,IoTDB 团队将和国网信通产业集团继续深度合作,针对国网信通产业集团不同项目、不同终端的客制化需求,落地支持更多场景的高性能、多功能的时序数据管理架构,共同赋智、赋能、赋值新型电力系统的构建。

用户头像

Apache IoTDB

关注

还未添加个人签名 2021-12-30 加入

海量时序数据管理的解决方案,一款高吞吐、高压缩、高可用、物联网原生的开源时序数据库。

评论

发布
暂无评论
国网信通产业集团*IoTDB | 三平台管理百亿级累计数据,构建端边云全周期电力数据高效解决方案_IoTDB_Apache IoTDB_InfoQ写作社区