全部标签
写点什么
OpenHarmony算法元宇宙MySQL移动开发学习方法学习方法Web3.0高效工作数据库Python音视频前端AI大数据团队管理程序员运维深度思考低代码redisgolang微服务架构flutter 查看更多

CnosDB 的数据更新和删除

作者：CnosDB
  • 2024-01-14
    内蒙古

  • 本文字数：3649 字

    阅读完需：约 12 分钟

CnosDB的数据更新和删除

在时序数据中，可能会出现一些数据错误或者异常情况，这时候就需要能够对数据进行清洗修复。如果不支持更新操作，将会变得非常困难。另外，一些业务场景可能会需要对已有数据进行调整，比如设备信息发生变化等。支持数据更新可以更灵活地满足这些需求。


CnosDB 的数据更新和删除

功能介绍

  • 支持更新 Tag 值。 

  • 支持更新 Field 值。

  • 支持删除数据。

update clause :=UPDATE <table name> SET <assignment clause> [, ...] [<WHERE clause>]
assignment clause :=<column name> = <column value>
delete clause :=DELETE FROM <table name> <WHERE clause>
复制代码

基本原理

由于 Tag 值与 Field 值，在存储引擎中的存储形式及位置不同，所以更新逻辑也不同。

更新 Tag 值

Tag 值在存储引擎中作为索引单独存储。所以对于 Tag 更新操作，需要更新索引。

步骤如下：

  1. 在 query 层根据 SQL 中的 tag 过滤条件，查询出符合条件的所有 series。

  2. 向所有匹配的节点发出预更新请求，检查是否会产生冲突，即原有的不同的 series 更新后成为相同的 series。如有冲突则本次 SQL 请求失败。

  3. 检查通过后，会提交实际的更新任务，此任务会在故障后重试，保证任务执行成功。

  4. 存储引擎节点在接收到更新请求后，会首先记录 UpdateSeriesKeys 类型的 WAL，然后更新索引。

执行计划（简化版）

UpdateTagValue  Filter    TagScan
复制代码

更新 Field 值

根据 SQL 中的 WHERE 条件查询表中数据，更新 Field 值后重新插入表中，利用 tskv 表的去重特性达到更新目的。

执行计划（简化版）

TableWriter  Projection    Filter      TableScan
复制代码

删除数据

按 WHERE 条件过滤并删除表中的数据，只支持针对 Tag 或 Time 列的表达式。

执行流程（简化版）

DeleteFromTableTask  Coordinate DML task on vnodes    Vnode delete execution
复制代码

 

示例演示

准备数据

ALTER DATABASE public SET ttl '1000000d';DROP TABLE IF EXISTS dml_tbl;CREATE TABLE IF NOT EXISTS dml_tbl(f0 BIGINT , f1 BIGINT , TAGS(t0, t1) );
INSERT dml_tbl(TIME, f0, f1, t0, t1)VALUES    ('1999-12-31 00:00:00.000', 111, 444, 'tag11', 'tag21'),    ('1999-12-31 00:00:00.005', 222, 444, 'tag12', 'tag22'),    ('1999-12-31 00:00:00.010', null, 222, 'tag12', 'tag23'),    ('1999-12-31 00:00:10.015', 444, 111, 'tag14', 'tag24'),    ('1999-12-31 00:00:10.020', 222, 555, 'tag14', 'tag21'),    ('1999-12-31 00:10:00.025', 333, 555, 'tag11', 'tag22'),    ('1999-12-31 00:10:00.030', 444, 333, 'tag11', 'tag23'),    ('1999-12-31 01:00:00.035', 555, 222, 'tag14', 'tag24');
复制代码

更新 Tag 值

UPDATE dml_tbl SET t0 = 'tag_new11', t1 = 'tag_new21' WHERE t0 = 'tag11' AND t1 = 'tag21';
  +-------------------------+-----------+-----------+-----+-----+  | time                    | t0        | t1        | f0  | f1  |  +-------------------------+-----------+-----------+-----+-----+  | 1999-12-31T00:00:00     | tag_new11 | tag_new21 | 111 | 444 |  | 1999-12-31T00:00:00.005 | tag12     | tag22     | 222 | 444 |  | 1999-12-31T00:00:00.010 | tag12     | tag23     |     | 222 |  | 1999-12-31T00:00:10.015 | tag14     | tag24     | 444 | 111 |  | 1999-12-31T00:00:10.020 | tag14     | tag21     | 222 | 555 |  | 1999-12-31T00:10:00.025 | tag11     | tag22     | 333 | 555 |  | 1999-12-31T00:10:00.030 | tag11     | tag23     | 444 | 333 |  | 1999-12-31T01:00:00.035 | tag14     | tag24     | 555 | 222 |  +-------------------------+-----------+-----------+-----+-----+
复制代码

更新 Field 值

UPDATE dml_tbl SET f1 = 999 WHERE t0 = 'tag14' AND time < '1999-12-31T00:00:10.020';
  +-------------------------+-----------+-----------+-----+-----+  | time                    | t0        | t1        | f0  | f1  |  +-------------------------+-----------+-----------+-----+-----+  | 1999-12-31T00:00:00     | tag_new11 | tag_new21 | 111 | 444 |  | 1999-12-31T00:00:00.005 | tag12     | tag22     | 222 | 444 |  | 1999-12-31T00:00:00.010 | tag12     | tag23     |     | 222 |  | 1999-12-31T00:00:10.015 | tag14     | tag24     | 444 | 999 |  | 1999-12-31T00:00:10.020 | tag14     | tag21     | 222 | 555 |  | 1999-12-31T00:10:00.025 | tag11     | tag22     | 333 | 555 |  | 1999-12-31T00:10:00.030 | tag11     | tag23     | 444 | 333 |  | 1999-12-31T01:00:00.035 | tag14     | tag24     | 555 | 222 |  +-------------------------+-----------+-----------+-----+-----+
复制代码

删除数据

public ❯ DROP TABLE IF EXISTS dml_tbl_for_delete;
public ❯ CREATE TABLE IF NOT EXISTS dml_tbl_for_delete(f0 BIGINT , f1 BIGINT , TAGS(t0, t1) );
public ❯ INSERT dml_tbl_for_delete(TIME, f0, f1, t0, t1)VALUES    ('1999-12-31 00:00:00.000', 111, 444, 'tag11', 'tag21'),    ('1999-12-31 00:00:00.005', 222, 444, 'tag12', 'tag22'),    ('1999-12-31 00:00:00.010', null, 222, 'tag12', 'tag23'),    ('1999-12-31 00:00:10.015', 444, 111, 'tag14', 'tag24'),    ('1999-12-31 00:00:10.020', 222, 555, 'tag14', 'tag21'),    ('1999-12-31 00:10:00.025', 333, 555, 'tag11', 'tag22'),    ('1999-12-31 00:10:00.030', 444, 333, 'tag11', 'tag23'),    ('1999-12-31 01:00:00.035', 555, 222, 'tag14', 'tag24');
+-------------------------+-------+-------+-----+-----+| time                    | t0    | t1    | f0  | f1  |+-------------------------+-------+-------+-----+-----+| 1999-12-31T00:00:00     | tag11 | tag21 | 111 | 444 || 1999-12-31T00:00:00.005 | tag12 | tag22 | 222 | 444 || 1999-12-31T00:00:00.010 | tag12 | tag23 |     | 222 || 1999-12-31T00:00:10.015 | tag14 | tag24 | 444 | 111 || 1999-12-31T00:00:10.020 | tag14 | tag21 | 222 | 555 || 1999-12-31T00:10:00.025 | tag11 | tag22 | 333 | 555 || 1999-12-31T00:10:00.030 | tag11 | tag23 | 444 | 333 || 1999-12-31T01:00:00.035 | tag14 | tag24 | 555 | 222 |+-------------------------+-------+-------+-----+-----+
public ❯ DELETE FROM dml_tbl_for_delete WHERE t0 = 'tag14' AND time < '1999-12-31T00:00:10.020';
+-------------------------+-------+-------+-----+-----+| time                    | t0    | t1    | f0  | f1  |+-------------------------+-------+-------+-----+-----+| 1999-12-31T00:00:00     | tag11 | tag21 | 111 | 444 || 1999-12-31T00:00:00.005 | tag12 | tag22 | 222 | 444 || 1999-12-31T00:00:00.010 | tag12 | tag23 |     | 222 || 1999-12-31T00:00:10.020 | tag14 | tag21 | 222 | 555 || 1999-12-31T00:10:00.025 | tag11 | tag22 | 333 | 555 || 1999-12-31T00:10:00.030 | tag11 | tag23 | 444 | 333 || 1999-12-31T01:00:00.035 | tag14 | tag24 | 555 | 222 |+-------------------------+-------+-------+-----+-----+
复制代码

使用场景和案例

在时序数据库中，通常会有一些特定的场景需要更新历史数据，以下是一些可能需要使用 UPDATE、DELETE 操作来更新历史数据的情况：

  1. 数据校正：有时候由于传感器误差、通信问题或其他原因，初始记录的数据可能是错误的。在这种情况下，你可能需要通过 UPDATE、DELETE 操作来校正历史数据，以确保存储的数据准确无误。

  2. 数据补全：有时候由于设备故障或通信问题，某些时间段内的数据可能丢失。当问题得到解决后，你可能会收到补充的数据，并希望将其更新到历史记录中。

  3. 处理异常情况：在某些特定的业务场景中，可能会出现需要更新、删除历史数据的情况，例如处理设备升级后的数据变化。

注意事项和限制

  1. 在更新 Tag 值时，尽量减少 WHERE 选择的数据量，大量的索引更新会带来性能问题。

  2. 在更新 Tag 值时，由于 CnosDB 不提供事务保证，所以要避免进行数据写入和删除操作。

  3. 在删除数据时，暂不支持复杂的条件表达式：对 time 列的过滤仅支持区间判断，不支持复杂过滤（支持 WHERE time < ‘2023-01-01T00:01:00'，但不支持 WHERE time % 2 = 0）。除此之外，查询条件只能使用 time 列和 Tag 列而不能使用 Field 列。

结语

本文主要介绍了在 CnosDB 中的数据更新删除功能。包括如何更新 Tag 值和 Field 值、如何删除数据，同时介绍了基本原理并提供了相应的示例演示和使用场景案例。

如果您有任何问题或意见，欢迎提出，我们可以进一步讨论和改进相应功能。感谢阅读本文！

划线
评论
复制
发布于: 刚刚阅读数: 5

版权声明: 本文为 InfoQ 作者【CnosDB】的原创文章。

原文链接:【http://xie.infoq.cn/article/f7880e3222b802637e58e823b】。文章转载请联系作者。

开源时序数据库tsdbCnosDB
用户头像

CnosDB

关注

还未添加个人签名 2022-04-18 加入

打造高性能、高压缩比、高可用的分布式云原生时间序列数据库，引领世界迈向万物智联 欢迎关注 https://www.cnosdb.com

评论

发布
暂无评论
Copyright © 2024, Geekbang Technology Ltd. All rights reserved. 极客邦控股（北京）有限公司 | 京 ICP 备 16027448 号 - 5京公网安备京公网安备 11010502039052号 | 产品资质
CnosDB的数据更新和删除_开源_CnosDB_InfoQ写作社区