云边端协同时序数据库的挑战与解决方案

云边端协同时序数据库的挑战与解决方案

现今，时序数据库在经济金融、环境监控、医疗生物等多个领域有着极为广泛的需求。其中，在环境监控等领域，时序数据库主要部署在云边端架构中。但如何实现云边端协同是目前 TSDB 所面临的巨大挑战。由于云、边和端的计算、存储资源状况和对数据管理的需求各不相同，云边端协同时序数据管理存在异构性、高维性、实时性和鲁棒性的需求特点。行业急需要在传统数据管理的基础上，进一步考虑云边端协同计算的特点，提出新型的时序数据管理理论和方法。

针对行业云边端协同问题，CnosDB 计划开展相应的云边端协同时序数据库研究工作，力求找到合适的解决方案。首先，我们会建立面向云边端协同的时序数据管理基础理论，奠定理论基础。其次，面向云边端协同时序数据管理的存储、时序数据特点及时序数据管理需要，我们将研究面向云边端协同的弹性分层存储技术，实现高效、高可用、高可靠的云边端协同时序数据存储。最后，在此基础之上研究面向云边端协同的索引结构和查询处理与优化方法，为面向云边端协同的时序数据管理提供高效、可扩展的查询技术。

具体来看，CnosDB 会进行以下四方面工作：

第一，面向云边端协同的时序数据模型。我们将研究面向云边端协同的新型时序数据模型包括数据结构、基本数据操作、数据完整性约束理论，从云边端协同场景出发，考虑到云边端三方面的不同需求以及云边端协同数据存取的需求，设计契合云边端协同的数据模型，为设计新型面向云边端协同的数据管理系统奠定理论基础。

第二，面向云边端协同的时序数据弹性分层存储技术。我们将研究面向云边端的数据弹性分层存储技术，设计自适应分层数据存储模型与云边端协同智能存储方案，针对冷热数据进行分级处理，同时为使压缩效果达到最理想的效果，利用深度学习等方法，为各级数据设计弹性压缩机制，解决云边端协同中海量高维时序数据存储和压缩问题，进而降低数据存储成本和传输成本。

第三，面向云边端协同的索引技术。我们将研究可更新的云边端分布式索引结构；针对云边端不同设备计算任务的不同设计自适应的索引结构以分别服务于不同计算任务的设备，针对云边端通信任务设计加速通信数据读取的索引结构。

最后，面向云边端协同的查询处理和优化。我们将研究云边端协同的数据拉取策略搜索算法和基本数据操作算法；基于面向云边端协同的数据操作算法，研究基于深度学习、强化学习和 MCTS 的智能逻辑查询优化和物理查询优化方法，设计端边节点上的按需抽样算法和 Any-time 近似查询算法，降低端边节点在高维时序数据流上的查询延迟。

我们不惧怕问题，CnosDB 希望将科研成果服务于实践，为行业发展奉献自己的绵薄之力。

本文特邀撰稿作者：

哈尔滨工业大学计算机学部 

王宏志教授

海量数据计算研究中心主任，数据科学与大数据技术专业负责人，青年龙江学者。研究方向为大数据管理与分析。在国内外重要会议和期刊发表学术论文 300 余篇，出版学术专著 4 本，授权发明专利 30 余项。获黑龙江省自然科学一等奖和教育部高等学校科技进步一等奖，获黑龙江省青年科技奖等。先后主持国家自然科学基金重点项目。任 ACM SIGMOD 中国秘书长、中国数据库专业委员会常务委员，曾任 CCF 哈尔滨分部主席。

CnosDB 简介

CnosDB 是一款高性能、高易用性的开源分布式时序数据库，现已正式发布及全部开源。

欢迎关注我们的社区网站：https://www.cnosdb.com