TapData 发布官方性能测试报告，针对各流行数据源，在多项指标中表现拔群

2024-11-04
广东
本文字数：1724 字
阅读完需：约 6 分钟

近日，TapData 官方发布了最新的性能测试报告，该报告详细展示了 TapData v3.5.13 在各种数据源下的性能表现，包括全量同步、增量同步、读写延迟等关键性能指标。

随着企业对实时数据集成和处理能力需求的提升，TapData 凭借其高效、稳定的系统架构，逐渐成为行业中的领先解决方案。为了帮助大家更好地了解 TapData 的性能表现，我们着手推进了多场景、多维度的性能测试。通过这些测试，TapData 展现出卓越的性能和处理能力，能够轻松应对大规模数据集成的复杂场景。

本次测试涵盖了多种主流数据源，包括 Oracle、MySQL、Kafka、MongoDB、PostgreSQL 等，具体涉及以下几个方面：

全量同步性能：测试 TapData 在处理大量数据时的吞吐量及效率，例如 Oracle 到 ClickHouse 的全量同步吞吐达到了 250k RPS，而 Kafka 到 ClickHouse 的吞吐表现高达 210k RPS。
增量同步性能：评估 TapData 的实时数据同步能力，尤其是在高并发和数据变化频繁的情况下。测试显示，TapData 的增量同步在 MongoDB 环境下，增量读取的吞吐量达到 19k RPS，延迟保持在 1 秒以内，极大保障了实时数据更新的需求。
读写延迟及处理能力：报告对 TapData 在不同数据库间的读写延迟进行了详细分析。以 Oracle 数据源为例，增量同步的延迟在 LogMiner 模式下保持在 3 秒内，而直接日志解析模式下的增量读取吞吐量达到 62k RPS。

除此之外，测试还评估了 TapData 的高并发处理能力和系统的扩展性表现。通过对处理器和引擎的优化，TapData 在 1KB 数据场景下实现了高达 450k RPS 的引擎性能。同时，测试报告还揭示了在复杂数据处理场景下，TapData 系统如何保持稳定高效的运行表现。

测试说明

测试范围包括同步引擎自身的性能测试，不同数据库之间同步数据的速度和延迟，以及增加处理器后的性能表现，包括：

评估同步引擎的极限吞吐
以 Oracle 为例，测试 TapData 对传统 SQL 类数据源的全量读取吞吐，增量读取延迟，与全量、增量(混合写入) 吞吐性能
以 ClickHouse 为例，测试 TapData 对数仓的读写性能，包括全量吞吐与增量吞吐
以 MongoDB 为例，测试 TapData 对 NoSQL 数据库的全量读取吞吐，增量读取延迟，与全量/增量（混合写入）吞吐性能
以 Kafka 为例，测试 Tapdata 对消息队列的全量读取吞吐与写入吞吐性能
评估常见数据源，包括 MySQL、PostgreSQL 等的同步性能，包括做源时的全量读取吞吐，增量吞吐与延迟，做目标时的全量写入吞吐，增量（混合）写入吞吐
评估常见处理器的处理速度
评估多字段时性能表现情况

结果概览

本次性能测试的关键结果如下：

*备注：
TapData 有两个 Oracle 连接器，有两种不同的 CDC（变更数据捕获）实现，分别为“Direct”和“Logminer”
Kafka 连接器不适用 CDC，因为 Kafka 是一个数据流平台而不是数据库
ClickHouse 不支持 CDC，并且对更新的支持有限
单位以每秒打点为单位，其中每条记录约有 50 个字段，共 1kb 的数据
全量同步是指从源端读取所有数据并插入到目标端的初始过程
增量是指 CDC 捕获增量插入、更新和删除，然后相应地更新目标

端到端完全同步性能结果：

Kafka 到 ClickHouse（全量同步）：210k
Oracle 到 ClickHouse（全量同步）：210k
Oracle 到 Kafka（全量同步）：62k

本次报告的发布旨在评估 TapData 在数据复制能力上的整体性能表现，并提供一个基准测试报告，供有需要的用户做需求选型使用。而这份报告不仅为正在使用 TapData 的用户提供参考，还为计划引入实时数据集成平台方案或工具的用户提供了清晰的性能参照。通过该报告，您可以了解在大数据环境下 TapData 的实际性能表现，并为您的业务需求选择最合适的解决方案。

TapData 将持续致力于推动数据集成技术的创新，为客户提供更强大的数据管理和处理能力。

完整报告已上传至 TapData 官网，欢迎大家查阅。如有任何问题或建议，请随时与我们联系！

高效数据移动指南 | 如何快速实现数据库 MySQL 到 MongoDB 的数据同步？

Sybase「退役」在即，某公共卫生机构如何实现 SAP Sybase 到 PostgreSQL 的持续、无缝数据迁移？

TapData 信创数据源 | 国产信创数据库 Vastbase 数据同步指南，加速国产化进程，推进自主创新建设

如何设计真正的实时数据湖？

发布于: 刚刚阅读数: 4