致 Tapdata 全体用户：2023 年，我们把更多精力集中到了产品能力和稳定性上
2023 依旧过得很快，这一年，我们发布了 Tapdata 3.0，探索了 Tapdata 在零售、制造、AI 等领域的新一代解决方案；上线了 Tapdata 海外版，成功入选谷歌出海创业加速器项目；并与更多数据库达成兼容性互认证，进一步壮大了实时数据生态……
除此之外，我们将自身大部分的能量投入到了产品能力与稳定性的持续打磨之中。因为我们坚信，产品本身才是我们与用户实现连结的最大依仗。
以“让您使用数据就像通过自来水龙头取水那样方便简单”为使命，Tapdata 希望充分利用实时数据集成和实时数据服务的平台能力，让新鲜数据得以真正滋养各行各业的智慧化、现代化、数字化发展。
新春伊始，我们在这里以迭代列表的形式向大家汇报 Tapdata 2023 年在产品层面做出的优化和更新，希望能帮助大家更多地了解最新版本的功能变化。
感谢过去一年大家对 Tapdata 的反馈、支持与陪伴，新一年我们还将为用户朋友们提供更多 Tapdata 教程指南以及行业解决方案的建议，欢迎大家持续关注。
Tapdata 2023 迭代列表
*点击每条迭代内容，可查看该条功能对应的详细说明哦
版本指路：
新增产品能力
上线实时数据中心功能，并发布基于实时数据中心的数据血缘追溯能力
扩展和优化数据校验功能，提升产品数据一致性检查能力。
完成数据源错误码的完善，提供更丰富的问题原因分析和解决方案推荐
新增云版功能
云版上线主从合并节点并提供更易操作的物化视图构建方式
提升产品稳定性，完善针对云版服务的监控和告警能力，保障云版服务的稳定持续运行
对内，完成 CI/CD 自动化测试等精细化流程构建，并保证流程的稳定性，提升产品持续集成和测试的效率
完成与谷歌云的对接，上线谷歌云 Marketplace
迭代功能详细清单
数据开发任务源节点新增支持数据过滤能力，支持对全量和增量阶段数据进行过滤
数据开发新增 JS 处理节点试运行能力
新增追加合并节点，支持将多个相同结构表的数据合并成一张表
复制任务源节点选表新增按照表达式匹配能力，支持按照表达式来选择要同步的表，表达式匹配模式下自动支持动态新增表
新增支持在源端设置读取的 batchSize,支持在目标端设置写入的 batchSize
以指定字段的排序作为轮询条件进行增量数据采集
开发任务新增信息输出
DUMMY 数据源可以快速增加多个字段
新增 TiDB 作为源，并支持通过轮询方式进行增量同步
新增外部缓存统一配置和管理
新增任务进度里程碑展示
新增 LDP（Live Data Platform）功能
新增数据复制支持调整关联条件字段
新增支持 redis 在数据复制任务里作为目标使用
集群监控页面, 列出当前的引擎, 对外建立的所有连接数量, 按 ip:port 归类
Doris 作为目标, 支持数据校验能力(Count)
新增心跳表功能，数据源配置里, 新增心跳表设置。打开后会在源库创建一个名为：_tapdata_heartbeat_table 的心跳表，每隔 1S 更新一次其中的数据
基于错误码提示问题解决方案
SQL 类数据源和 mongo 数据源支持全量自定义查询（SQL）
产品边界规则框架设计与实现，保存任务时自动对产品边界进行检测
JS 中运行 MongoDB 聚合处理
创建 Custom Connection 时要支持对脚本进行调试
权限管理功能新增支持角色的增删改能力
新增全量分片能力，目前仅支持 MongoDB
新增时间运算处理节点
为 API 管理增加 Application 分类能力
API server 新增集成 GraphQL 能力，可以通过 API Server 的地址 +graphql 来访问
集群管理新增支持获取线程资源监控和数据源使用情况数据
新增支持在 Doris 上发布 API 接口
复制任务，处理节点新增支持查看表模型
LDP 新增支持表级溯源能力
新增一个类型过滤的节点，可以将一些指定类型过滤掉不向后同步
目标节点支持按照乘以系数的方式来调整字段的长度
Kafka 支持自定义消息体格式
数据复制/开发任务支持根据数据记录的大小动态调整批量参数
新增支持 DWS 数据源作为目标
基于数据面板的任务创建引导
新增功能和数据权限控制
国际站订购 Atlas 存储时新增 Free trail、M10、M20、M30
新增支持 Redis 到 Redis 的同步能力
新增 Python 处理器节点，用户可以通过 Python 脚本来对数据进行处理
Kafka 数据源新增支持设置副本数
新增 MongoDB 到 MongoDB 同步的 unset 支持
引导过程新增 DEMO 数据源，用户可以直接使用
复制任务在选表时，有主键和无主键表的快速过滤功能，有主键表部分新增包含有唯一索引的无主键表
数据转换任务新增 unwind 处理节点
任务新增支持禁用节点功能
新增支持 mongo 做目标时创建为分布式表
新增支持 Hive3 作为源
数据校验过滤功能优化，支持自定义查询和聚合查询
针对源节点增加增量每批读取条数设置，可以调整增量同步性能
目标节点字段类型调整时，支持直接选择目标数据库常用类型
OP 版本新增支持在 windows 环境下部署
认证数据源支持 SSL
新增支持 Azure CosmosDB 作为源，支持全量同步
Tapdata 任务导入，支持直接导入 MongoDB Relational Migrator 导出的 relmig 类型文件
【相关阅读】
Tapdata Connector 实用指南：如何将 CRM 数据从 Salesforce 实时同步到 MongoDB 等其他库
Make Your Data on Tap 2021-04-23 加入
Tapdata 能够快速帮助企业快速打通数据孤岛，构建主数据服务平台，为业务提供统一、完整、实时的数据。现已上线永久免费的异构数据库同步工具cloud.tapdata.net ，支持主流数据库间的双向实时同步。
评论