写点什么

工业互联网数据处理架构

作者:刘旭东
  • 2022-11-20
    北京
  • 本文字数:1040 字

    阅读完需:约 3 分钟

工业互联网数据处理架构

最近几天,有几个朋友和我聊起来工业互联网的数据处理架构。无论何种架构都要根据业务需求进行相应的架构选型,不能够为了架构而架构,所有的架构都是为业务服务,并且能够为业务的发展流出余量或者有演化的空间。


对于工业互联网的平台,数据的存储和治理等工作是这类平台的基础问题。对于很多互联网公司,基础的数据结构如下:


这个方案基本基于 Hadoop ,在处理大数据时,将多个开源软件,如现在比较流行的 Kafka,然后把实时数据引入到 redis,把历史数据存到 Hadoop,中间可能结合 Spark 和 Flink 的计算,利用集群来处理海量数据。这是一种非常通用的处理大数据的解决方案,可以处理百亿、千亿、甚至万亿级别的数据,可以根据需求来动态的扩容机器,就基本能保证数据管理方案 。


对于有特殊需求,可以写一些代码来实现,比如做实时监控,就可以在 Kafka 后面挂一个 Flink 做实时分析,做实时的流计算,把当前的 QBS、健康状态做实时统计;在比如看历史数据,可以在 Hadoop 上挂一个 MapReduce,这样我们可以通过写程序把所有的需求都实现。然而,对于一些规模较小的公司, 或者并没有那么大的规模的数据需求和使用需求,Hadoop 系统并没有很好的解决,主要问题在于开发效率低而成本高,运行复杂且效率效率差。


因此如何综合考虑成本和业务的需求,搭建一个比较初级的物联网数据管理平台,2020 年我写过一篇文章,使用开源进行工业互联网平台的搭建,可以参考一下。https://xie.infoq.cn/article/190320d8fed927a9f61afd6f4


实际上对于工业互联网平台,数据至关重要,我现在将我对于中小企业的一个简单的方案写一下,可以直接采用 PostgreSQL + TimescaleDB 的方案作为基础的数据架构平台。SQL 与 NoSQL 混合数据库方法

使用数据库来存储实体数据如:设备、资产、客户、仪表板等 以及 时序数据:


Hybrid 的方案中,将所有实体数据存储在 PostgreSQL 数据库中,将时间序列数据存储在 Timescale 数据库中。这种方案基本能够满足一个工业互联网数据的存储需求。


基于设备属性或数据本身将数据从物联网设备数据分析以及其他。需要高级分析的支持:机器学习、预测分析等工作。将数据路由到 Kafka 主题,使用简单的 Kafka Streams 应用程序聚合来自多个设备的数据。

并可以给予 Grafana 实现数据的可视化等工作。


比如一个基本的使用场景,使用具有 30 秒窗口(可配置)的 Kafka Streams 作业分析来自多个设备的实时数据。


工业互联网是个超级大的主题,如何使用开源的技术完成一个平台的建立是一个团队的课题,今天想到这里就写到这,后面想到再继续补充。



发布于: 刚刚阅读数: 4
用户头像

刘旭东

关注

一个乐于思考的工程师 2017-11-10 加入

七年就是一辈子,交个朋友! 个人博客:https://liuxudong.me/

评论

发布
暂无评论
工业互联网数据处理架构_kafka_刘旭东_InfoQ写作社区