taosAdapter 正式发布：支持从 OpenTSDB 向 TDengine 无缝迁移

为了构建更为完整的物联网大数据处理生态，支持简单高效地从其他时序数据库迁移到 TDengine，我们开发了 taosAdapter。

TDengine 是涛思数据专为物联网、车联网、工业互联网、IT 运维等设计和优化的大数据平台。除核心的快 10 倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度，且核心代码包括集群功能全部开源。自 TDengine 于 2019 年 7 月宣布开源以来，在 GitHub 上已经已经获得非常积极的反馈，有 17,300 多人给了 star，4,100 多人 fork 了代码。越来越多的用户开始采用 TDengine。

taosAdapter 是一个新的独立程序，可以包含在 TDengine 2.3.0.0 及以上版本中。taosAdapter 的核心出发点是解决用户的痛点，降低迁移成本。

在物联网和运维监控等领域，有些用户还在使用传统解决方案或者比较老的产品解决时序数据处理问题，比如 OpenTSDB。OpenTSDB 也是一款开源的分布式时序数据库，它没有自己的存储引擎，相关功能完全基于 HBase。因为产生时间较早，所以很多运维监控项目选择了该系统。

以顺丰科技为例，他们采用了 OpenTSDB+HBase 作为大数据监控平台全量监控数据的存储方案。但是随着该平台接入的数据量越来越大，他们遇到了很多痛点，像系统依赖多、使用成本高和性能不如意等。

具体而言：

• 依赖多，稳定性较差：大数据监控平台是底层的基础设施，在数据存储方面又要依赖 Kafka、Spark 和 HBase 等大数据组件。这样数据处理链路就会很长，而数据链路越长，要保证系统的可靠性，挑战也就越大。如果监控系统本身出现问题，也就无从基于它来发现和定位业务系统的问题了。

• 使用成本高：监控数据的写入量非常大，而且为了追溯历史问题，他们需要将全量监控数据保存半年以上。数据存储成本居高不下。

• 性能不能满足需求：OpenTSDB 作为全量监控数据存储方案，在写入方面性能基本满足需求，但是在日常大跨度和高频次查询方面已无法满足要求。

为了解决这些痛点，当时顺丰科技的工程师们认为有必要对全量监控数据存储方案进行升级。他们调研了多款时序数据库产品，最终决定选择 TDengine。之后他们基于 TDengine 对系统进行了改造。改造完成后，TDengine 集群轻松扛住了全量监控数据写入，目前运行稳定。

这次改造带来的效果提升非常亮眼：服务端物理机由 21 台降至 3 台，每日所需存储空间同等条件下仅为 OpenTSDB+HBase 的约 1/10，大大降低了硬件成本。在查询性能方面，在使用预计算函数情况下，查询 p99 都在 0.7 秒以内，已经能够满足日常绝大部分查询需求；在做大跨度（6 个月）非预计算查询情况下，首次查询耗时在 10 秒左右，后续类似查询耗时会有大幅下降（2-3s）。

睿信物联网平台也遇到了类似问题，他们之前采用 OpenTSDB 存储时序数据，功能上是能够满足需求的；但是由于 OpenTSDB 架构复杂，体量过重，给开发测试、安装部署以及运维管理等工作带来了不小的麻烦，随着业务规模的发展，问题愈发严重。同样在经过调研之后，他们也选择了 TDengine。在升级改造的过程中，他们需要保留历史数据，所以需要将历史数据从 OpenTSDB 迁移到 TDengine。为此他们还专门开发了一个数据迁移工具，并进行了详尽的测试。

用户的需求就是产品演进的动力。TDengine 的研发团队开始思考这个问题：既然很多用户都有这种迁移需求，那是不是可以官方给出一个统一的解决方案呢？

taosAdapter 就是我们的答案。taosAdapter 主要有以下功能：

• RESTful 接口

• 兼容 InfluxDB v1 write 接口

• 兼容 OpenTSDB JSON 和 Telnet 格式写入

• 无缝连接 Telegraf、collectd、StatsD、Icinga、TCollector

它能够兼容 OpenTSDB 的 Telnet/JSON 写入协议，对于运维监控类业务，用户可以将 collectd 和 StatsD 收集的数据通过 taosAdapter 直接推送到 TDengine。在数据能够正常写入 TDengine 后，可以调整适配 Grafana，将写入 TDengine 的数据以可视化方式呈现出来。TDengine 也为 Grafana 提供了连接插件。如果要迁移历史数据，涛思数据还开发了数据同步工具 DataX 的插件，能够帮助用户将数据自动写入到 TDengine 中。用户无需修改任何一行代码，只需要改几个配置，即可无缝迁移。

下一步，taosAdapter 也将继续完善，支持从更多平台向 TDengine 迁移。

🌟点击链接，探索taosAdaptor！