写点什么

DataX

0 人感兴趣 · 12 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/85/854859be4bcc059a0948e59396e51d17.webp?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

比 DataX 快 20%!SeaTunnel 同步计算引擎性能测试全新发布

在相同测试环境下,最新发布的同步计算引擎SeaTunnel Engine均比DataX同步数据的速度更快。

线上数据问题排查案例分享 - 因为 HMS 和底层 orc 文件中某字段的数据精度不一致造成的数据丢失问题

线上数据问题排查案例分享-因为 HMS 和底层 orc 文件中某字段的数据精度不一致造成的数据丢失问题

TDengine 可通过数据同步工具 DataX 读写

DataX 是由阿里云开源的离线数据同步工具/平台,目前已经支持多种主流异构数据源在内的高效的数据互相同步功能。我们的研发团队完成了 TDengine 的适配,相关代码已被 DataX 官方接受并合并到主干中。

https://static001.geekbang.org/infoq/06/06fbd39c7aa8cffbd81f035a79f88ad9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

datax 基于规则转换 (RBT) 组件及图数据库同步应用

DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中

https://static001.geekbang.org/infoq/21/215c56a44d81ce0a526a9697846a70a9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

datax 监控测量 (metrics) 设计与实现

DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输

https://static001.geekbang.org/infoq/6b/6b7ae47b17be7198186f41860e186b60.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

datax 关系数据库 / 图数据库 (neo4j) 插件设计与实现

DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输

https://static001.geekbang.org/infoq/b3/b3984435d9de400249b059af68a5e9bd.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式 datax 架构设计

DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输

https://static001.geekbang.org/infoq/e8/e8a577259c4111bd4c0dbd958976d7d4.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

将 DataX 执行结果通过钉钉上报

用户头像
白粥
2021-06-04

在上文《使用 Docker 运行 DataX 定时全量备份关键数据表》中我们知道了如何运行DataX备份程序,接下来我们实现将任务执行结果通过钉钉自定义机器人通知。

https://static001.geekbang.org/infoq/72/727611c921b99f6e1c40e72c1ea697f5.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

使用 Docker 运行 DataX 定时全量备份关键数据表

用户头像
白粥
2021-05-28

我们的业务使用的是Oracle数据库,目前运维只做了DG,将数据实时备份了一份。但是在特定情况下还是出现了严重的问题。

DataX_DataX技术文章_InfoQ写作社区