写点什么

创业清华人丨 乔嘉林:破茧成蝶,时序数据库赋能工业物联网

作者:Apache IoTDB
  • 2024-01-08
    北京
  • 本文字数:3500 字

    阅读完需:约 11 分钟

创业清华人丨 乔嘉林:破茧成蝶,时序数据库赋能工业物联网

几年之前,Apache IoTDB(物联网数据库)对于大多数工业企业来说,还是一个陌生的概念。天谋科技作为国内时序数据库商业化的探索者,以其高吞吐、高压缩、高可用的时序数据库产品,在几年之内帮助工业用户解决了数据“存、查、用”的难题。

在天谋科技 CTO 乔嘉林身上,展现出一种脚踏实地、行胜于言的特质。对于创业中的种种艰辛,他总是云淡风轻地带过;而对于 Apache IoTDB 的成长,他谈起来却如数家珍、深入浅出。正是这样的团队特质,促使天谋科技迈出坚实的每一步,时刻走在物联网数据库发展的最前沿。


01 让时间发声,让用户发声

IoTDB(彼时还是 TsFile) 2017 年 4 月 1 日发布的第一个 0.1.0 版本


天谋科技的前身可以回溯到清华大学软件学院,当时王建民教授带领团队参与国家 863 计划,深入研究工业大数据管理。2015 年,项目课题组自主研发了 TsFile 技术,提供时序数据的标准文件存储。2018 年,IoTDB 项目成为了 Apache 的一个开源孵化器项目,吸引了国内外很多数据库研发者、应用者的关注;短短两年后,Apache IoTDB 即成为 Apache 的顶级项目。2021 年,天谋科技成立,Apache IoTDB 的发展正式驶入快车道。


在乔嘉林眼里,时间序列数据就像工业设备的心电图。“工业信息化第一步就是要在设备上加装传感器,把数据采集起来,这些数据就形成了一条随时间变化的曲线。”实时的监控,让企业能够探知和管理设备的状态,及时发现潜在的问题。管理这样的时序数据,难点在于适应数据量的不断增长。一个应用可能刚开始只接入几十台设备进行初步试点,验证过后会随着信息化程度的加深和监测需求的变化,设备上安装的传感器个数会逐渐增多。比如观察风机的运行,从只安装采集风速的风力传感器,到加装叶片的转速传感器,其数据量便可能骤然加大,从百万量级,到千万量级,甚至到亿级,这时就需要一个更加专业的数据库——时序数据库。


时序数据库能够降低 90% 的存储成本,数据存储的投入成本随之显著降低。同时企业可以对采集到的数据进行快速查询计算,相比传统技术数据量大了之后查询能达到数分钟,时序数据库能秒级返回结果,大幅加速时序数据的价值挖掘。如果说时序数据是一座矿山,时序数据库就是钻石级挖掘机。天谋科技 IoTDB 产品的写入速度、查询速度均能达到传统数据库的五到十倍,存储空间亦有十倍左右的提升。


为上海地铁列车存储“心电图”的,正是天谋科技的 IoTDB 产品。上海地铁的运维管理系统原本采用了传统的开源数据库,维持着每月高达 15TB 的数据增量。数十个数据表组成的复杂集群有如一个笨重的巨人,每秒一个点的数据采集频率已经接近它写入能力的极限,查询起来也面临诸多不便。而且,如果其中任何一个节点出现问题,其诊断将成为一个庞大的难题。然而,使用能够支持任意多测点的 IoTDB,每个月的数据增量将缩减至 1TB,存储成本大大降低。性能上,每 200 毫秒采集一个点成为可能,更密集的数据采集帮助企业更全面地为设备把脉,实现状态监测、智能控制、异常告警等应用效果。


成立刚刚两年有余的天谋科技,已经受到了多家工业企业的青睐,其物联网原生时序数据库管理系统已在中国中车、中国核电、宝武钢铁、中冶赛迪、国家电网、国家气象局、中国商飞、中航成飞等企业广泛应用,致力于解决企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题。谈到与用户建立合作关系的过程,乔嘉林坦言:“用户不会根据一个产品是不是顶级项目,获得过什么奖来进行选择,而是会对软件进行实地测试,满足需求才会决定使用。”让用户评估和发声的平台,正是天谋科技核心团队在 Apache 基金会指导下建立的开源社区,其中也囊括了不少互联网公司时序数据库部门的开发人员。社区的很多贡献者本身就是用户,Apache 顶级项目的头衔可能是促使他们来尝试的原因,而真正经过验证和测试之后,大多数用户和企业才会投入研发力量全时参与到社区中。社区的工作模式也从一个组织主导,变成社区共建,整个社区就像一个大的组织。“大家平时会进行很紧密的讨论和分享。长期来看,社区优势是一个基础软件发展的长久动力。”


02 重构产品,也重构团队

天谋科技初创团队正式启航留影


回想创立天谋科技的初心,乔嘉林说一半出于热爱,一半源自责任。“在 Apache IoTDB 社区运营了三、五年的时间之后,不论是用户、同伴还是自己,不自觉之间就会觉得我已经和 IoTDB 紧密相连。”乔嘉林希望将 IoTDB 打造成为国际领先的时序数据库,让更多国内外的人都能体验到时序数据库的魅力。


任何新产品的研发都不是一帆风顺的,在 IoTDB 诞生初期也经历过代码的重构。当最初的版本真正接入线上负载时,也会遇到之前没考虑过的问题。“这个时候就得去想真正的问题是不是现在这个架构能解决的,如果不能解决,就需要重新设计。”重构像是产品的一次手术,真正开展起来需要莫大的决心。企业可能在面对实用性问题的时候,迫于项目时间和资金的压力,只能基于现有架构进行优化。然而有时候从底层设计的重构和升级,是破而后立,需要从底层着手、从全局着眼。“我们更想要保持整个系统的统一和精简,所以好好做了两三次的不同范围的重构,最终才有了现在这样的一个高效灵活的架构。”


从开源项目成为一款商业产品,需要沉淀和积累,团队亦然。天谋科技的核心团队来自于清华大学软件学院王建民教授课题组,在公司成立前,Apache IoTDB 项目及其社区多由乔嘉林和课题组的成员来运营。实验室的同学们每到期末或者暑期实习的时候,能投入到项目上的时间就会大大减少。此外,当参与项目三年的成员毕业后,就无法继续全职参与项目,这是一个需要解决的问题。如果我们能给同学一个毕业后能继续参与项目的机会和平台,对于个人和项目来说都是好事,想做成一件事就需要长期投入。


天谋科技核心团队


随着用户对产品提升的愿望越来越迫切,团队决定成立天谋科技来继续 IoTDB 的研发和推广,让项目的成员可以把研发 IoTDB 作为长期的事业,也能够让其生命力更加持久。当然,要说服项目组的成员选择加入初创的天谋科技,而放弃大平台的工作机会,乔嘉林也花了一番功夫。“在组建团队的过程中,也要保持三顾茅庐的精神,有的同事我聊过几个月的时间,甚至一年之久,但对于有创业潜质的伙伴,这是很值得的。”


03 悲观者往往正确,而乐观者愿意突破边界

谈到创业几年来的心态,乔嘉林笑道:“对像创业这样高风险高压力的工作,如果没有一种乐观的精神,那从技术到产品再到项目,每个环节都能产生焦虑,再大的‘数据库’也要装不下了。”天谋科技是国内最早接触物联网场景的新一代时序数据库团队,彼时国外的类似产品已趋于成熟,而国内企业大多在使用国外产品。面对不确定性极高的外部环境,天谋科技团队的乐观精神和开放态度为 IoTDB 开辟了道路——合作优于竞争,先让更多用户体会到时序数据库产品的优势。在推广初期,天谋科技着重于构建使用者生态,依托开源社区与用户一同发展 IoTDB 产品。面对国内领先互联网企业在相似产品上的研发,天谋科技采取了合作的态度,“我们的关注重点不在与国内其他企业竞争销量,而是在让更多用户真正体验到 IoTDB 产品的优势,这才是我们整个生态的胜利。”


探索可能性边界的方式还包括与高校科研团队及其他创业团队进行紧密合作。在机器学习、深度学习和工业大数据等领域,天谋科技和清华大学软件学院的科研团队保持着深度的产学研合作。IoTDB 产品为实验室带来了用户的真实痛点问题,科研团队研发的新技术则有了真实的用武之地,双方从而构建起互相促进的正循环。这种正循环同样存在于清华校友企业的合作和交流之间。通过清华校友总会举办的大数据 AI 交流会,乔嘉林了解到三创大赛,并带领天谋科技在今年的第八届清华校友三创大赛上一举摘得桂冠。“当时感觉清华校友的创业热情很高,这种相互学习、自由交流的机会是不可多得的。”


乔嘉林参加三创大赛时的留影


项目夺得第八届清华校友三创大赛人工智能与大数据全球总决赛种子组一等奖


随着国内工业物联网发展步伐的加快,IoTDB 的应用前景也更加广阔。2021 年,《物联网新型基础设施建设三年行动计划(2021—2023 年)》发布,指出要突破关键核心技术,贯通“云、网、端”。《“十四五”大数据产业发展规划》亦提出应加快数据“大体量”汇聚,支持企业通过升级信息系统。迎政策东风,天谋科技 IoTDB 产品保持着较快的迭代速度来适应用户的需求。12 月 3 日,2023 年度 IoTDB 用户大会在北京举行,天谋科技 IoTDB 企业版 V1.3 正式发布,实现了“单平台采存算管用”的横向一站式解决方案,与“跨平台端边云协同”的纵向一站式解决方案。


2023 年度 IoTDB 用户大会上 IoTDB 企业版 V1.3 发布

作者丨兰佳玥

供图丨乔嘉林

用户头像

Apache IoTDB

关注

还未添加个人签名 2021-12-30 加入

海量时序数据管理的解决方案,一款高吞吐、高压缩、高可用、物联网原生的开源时序数据库。

评论

发布
暂无评论
创业清华人丨 乔嘉林:破茧成蝶,时序数据库赋能工业物联网_Apache IoTDB_InfoQ写作社区