数据同步_数据同步技术文章_InfoQ写作社区

全部标签 



写点什么

登录注册

数据同步

0 人感兴趣 · 103 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/c2/c2a5f930cce09e62f0b2571adf3e148d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

WhaleStudio Demo：如何从 Aurora CDC 实时数据同步到 Redshift 详细演示

12-13

今天我将向大家详细介绍如何使用 WhaleStudio 将数据从 Aurora CDC（Change Data Capture）实时同步至 Redshift 的功能。这是一个强大的数据同步功能，它支持多种数据源，包括文件、非结构化数据以及多样化的接口。

数据同步 aurora WhaleStudio Redshift

10 月回顾 | Apache SeaTunnel 社区动态与进展一览

11-15

各位热爱 Apache SeaTunnel 的小伙伴们，社区10月份月报来啦，请查收！

大数据开源数据同步数据集成 Apache SeaTunnel

中间件全球数据实时同步利器，EventGrid 事件流重磅发布

华为云开发者联盟

11-13

一图了解它的6大特性，同时Kafka、RocketMQ云内数据同步火热公测中。

大数据中间件数据同步

使用 SeaTunnel 从 InfluxDB 同步数据到 Doris

11-06

本文介绍了如何使用SeaTunnel将数据从InfluxDB同步到Doris。通过SeaTunnel强大的数据集成功能，用户可以高效地将存储于InfluxDB中的时间序列数据传输至Doris，便于数据的访问与分析。

Influxdb 数据同步 Apache SeaTunnel #开源

https://static001.geekbang.org/infoq/cb/cbf73ebd91a9774711270b28060af81e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

提升数据管理效率：ETLCloud 与达梦数据库的数据集成

10-24

达梦数据库以高性能、高可靠性、强兼容性、灵活部署和安全性高为优势，支持并行处理、数据备份恢复等。与ETLCloud集成，提供高效数据管理解决方案，助力企业数字化转型。

数据库数据同步 ETL 数据集成达梦数据库

https://static001.geekbang.org/infoq/f5/f5571a71092e91bd8b631c5b1192e3f9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

如何让数据清洗工作变得简单

10-17

ETLCloud简化数据清洗流程，解决缺失值、重复数据、格式不一致及数据错误等问题，通过自动化转换和集成，提高数据处理效率和准确性，实现流程可控可管理。

数据同步 ETL 数据清洗数据集成平台

https://static001.geekbang.org/infoq/8d/8dc6333d8207d69da90b39030cc63961.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据源对接，这个工具能满足你

10-16

数据源对接是获取高质量数据的重要途径，能减少资源浪费、提高数据处理效率、实现系统无缝连接。ETLCloud支持多种数据源类型，通过拖拉拽配置快速构建数据对接通道，满足复杂数据处理需求。

数据库数据同步 ETL 数据集成数据源

https://static001.geekbang.org/infoq/70/70d7c192d4028afd82be005dd4e072d6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ERP 系统是什么？ERP 系统如何与数据库对接？

10-14

ERP系统助企业管资源，整合财务、库存、供应链等流程。ETLCloud提供大数据集成方案，支持离线实时集成、多数据源、可视化操作等，满足企业数据处理需求。

数据挖掘数据库数据同步 ETL ERP

https://static001.geekbang.org/infoq/57/57975cfe8c6758758972141726e9edf4.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

4 个实用的数据同步方法

10-10

大数据时代数据孤岛问题显现，数据同步可解决数据共享问题。ETLCloud工具支持数据抽取、转换和加载，提供离线与实时数据同步方式，各有优缺点，离线适合定制化处理，实时适合快速同步。

数据同步 ETL 数据集成 ELT CDC

实现 MySQL 异地多活场景

10-10

异地多活的解决方案，其核心是在所有节点间建立实时的数据同步机制，以确保各个节点的数据一致性。当中心节点发生数据变更时，这些变更会被实时同步到所有单元节点，实现这个过程是非常复杂的，但是通过 NineData 就可以轻松做到。

数据一致性数据同步异地多活 NineData 单元节点

https://static001.geekbang.org/infoq/0d/0d1e9aebaa01c35b3a743f0b9f276370.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 数据集成丨 MySQL 到 MySQL 的数据迁移实践

09-10

MySQL数据迁移至另一MySQL需策略考量和技术优化。ETLCloud平台支持多种数据库和组件，通过库表批量输入输出组件可轻松实现数据传递，适合多数据库企业使用。

MySQL 数据库数据同步数据迁移 ETL

https://static001.geekbang.org/infoq/61/61c3982f22c1daa1bcd4aea6cdba4b3a.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

TapData 信创数据源 | 国产信创数据库 Vastbase 数据同步指南，加速国产化进程，推进自主创新建设

08-27

本专题将以 TapData 正在支持的各国产信创数据源为原点，提供详细的数据库同步、迁移教程，为有需求的用户提供更灵活的工具选择。本文将介绍的 TapData 数据源为——Vastbase。

https://static001.geekbang.org/infoq/75/75518656c143e5f501a9d8927dc98b34.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 数据集成丨将 GreenPlum 数据同步至 Doris 数仓

08-05

ETLCloud助力GreenPlum数据高效迁移至Doris数仓，提升分析查询速度。选型需考虑数据源特性、目标系统特性等。企业应科学决策，最大化挖掘数据价值，驱动业务创新。

Doris greenplum 数据同步 ETL 数据集成工具

https://static001.geekbang.org/infoq/78/78867c349f13bf8b048e9954333f84a5.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 数据集成丨将 DB2 数据同步至 Postgres 数仓实践

07-30

本文介绍了如何使用ETLCloud将DB2数据同步至Postgres数仓数据库，包括DB2与Postgres简介、ETLCloud数据同步方案及配置流程。

数据库 postgresql 数据同步 ETL 数据集成工具

https://static001.geekbang.org/infoq/10/10797775f8bafd5ae0365d426f0b4c99.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 数据集成丨将 PostgreSQL 数据库数据实时同步至 PostgreSQL

07-25

我们在进行数据集成、实时数据同步中，经常会出现在同一个数据库中做数据同步和复制、实时分析和报告、负载均衡和高可用性等场景，这次我们以PostgreSQL为例，通过ETLCloud工具，进行同数据库中数据实时同步的步骤应该如何设置。

postgresql 数据同步 ETL 数据集成平台数据库同步

https://static001.geekbang.org/infoq/b5/b567375d888db451f887b6f4126463f8.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 数据集成丨通过 ETLCloud 工具，将 Oracle 数据实时同步至 Doris 中

07-18

ETLCloud是一个全面数据集成平台，支持实时与离线数据集成、服务发布与监控、多数据源整合，并提供可视化操作。本文演示了如何使用ETLCloud实时同步Oracle至Doris，助力企业数据集成与数字化转型。

oracle Doris 数据同步 ETL ETLCloud

https://static001.geekbang.org/infoq/9b/9b31e6ec6ef02ba2bfd1e62460948b74.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

使用 ETLCloud 实现 MySQL 数据库与 StarRocks 数据库同步

07-17

在现代数据架构中，数据同步是保证数据一致性和分析准确性的关键步骤之一。本文将介绍如何利用ETLCloud技术实现MySQL数据库与StarRocks数仓数据库的高效数据同步，以及其在数据管理和分析中的重要性。

MySQL 数据库数据同步 ETL 数据集成平台

https://static001.geekbang.org/infoq/0b/0bfaa237195de7f1b5086be06bec4bca.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 数据集成丨主流 ETL 工具 (ETLCloud、DataX、Kettle) 数据传输性能大 PK

07-12

ETLCloud、DataX、Kettle三款ETL工具性能对比，ETLCloud在大数据量下传输速度最快，平均比Kettle快24.16%，比DataX快27.8%，且表现更稳定，成为大数据量下最快的数据集成工具。

kettle 数据同步 ETL DataX ETLCloud

https://static001.geekbang.org/infoq/ab/abfbde89f4bed5fd92f28d637ce10410.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

抖音商单信息通过 ETL 工具快速同步

04-26

抖音是热门短视频社交平台，商家和消费者需保持数据同步以确保交易顺利。传统数据同步方法效率低下且易出错。可通过ETL工具进行数据处理，能够更大程度的各种数据处理需求。

数据处理抖音数据同步 ETL

https://static001.geekbang.org/infoq/f7/f76119279d6f9f87131796431addb4be.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

全量与增量的配置模式

04-23

全量与增量配置是数据处理中的常见方法，分别适用于不同场景。选择时应考虑数据量、更新频率、网络条件等因素。在实际应用中，可根据需求采用全量+增量的混合模式。

数据同步 ETL 全量增量

https://static001.geekbang.org/infoq/75/75aa29f3c59cd2b57b524db2217a78d4.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

手把手教你实现 OceanBase 数据到 Apache Doris 的便捷迁移｜实用指南

04-22

从 OceanBase 到 Apache Doris 的数据便捷迁移

数据库大数据数据分析数据同步数据迁移

https://static001.geekbang.org/infoq/6d/6da6f8024843ed4964338960f2257273.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 快速同步用友 u8 数据方式

04-15

用友U8是企业核心业务数据的承载者，通过ETL工具实现数据同步至关重要。本文介绍了用友U8的数据结构与接口，选择合适的ETL工具，实施ETL数据同步流程，并通过案例演示了具体配置。

数据同步用友 ETL

https://static001.geekbang.org/infoq/ab/abd677d91a81213675ce73b42784bbeb.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 结合飞书快速实现业务信息同步

04-12

ETLCloud结合飞书，可快速实现业务信息同步，用户无需编写代码，操作简洁。通过轻量化架构和组件化设计，可快速满足企业复杂数据处理需求。

数据同步 ETL 数据集成飞书

https://static001.geekbang.org/infoq/b9/b914755cccfee263d0e180b88756a120.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 中如何运用好 MQ 消息集成

04-11

ETL是数据仓库中的关键环节，主要作用是从源系统中抽取、转换和加载数据。将其与消息队列（MQ）集成，能提升数据处理效率和灵活性，实现系统间解耦、异步处理、流量控制和错误处理等。

数据同步 ETL 数据集成工具 mq消息集成

https://static001.geekbang.org/infoq/cd/cd92c27816eaf020876db4e28f2a374e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

如何设计一个实时数据同步系统

04-10

前面文章介绍了我们开源的redis实时同步工具《我们开源啦》，今天，我们来一起了解下如何实现一个实时数据同步工具。

golang redis 系统设计数据同步

https://static001.geekbang.org/infoq/62/629466bd85cabff3ebf3f2d416d508ed.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

解锁 ETLCloud 中 Kettle 的用法

04-07

本文介绍了ETLCloud中Kettle的用法，Kettle作为开源的ETL工具，具有强大功能和灵活性。

kettle 数据同步 ETL 数据集成

https://static001.geekbang.org/infoq/04/04f30c2071f2749293bf27bcf872831e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 中如何自定义规则

04-02

本文介绍了ETL中规则的定义、使用及自定义规则的方法。规则能简化数据处理逻辑，提高数据质量和安全性。用户可选择平台提供的常用规则或自定义规则，以满足不同业务需求。

数据同步 ETL 数据规则

https://static001.geekbang.org/infoq/d6/d64c479d2f2cda32c1104ca6ef0eb213.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETLCloud 结合 Oracle 实现 CDC

03-28

ETLCloud结合Oracle实现CDC功能，实时监测数据库变化，精准捕获和传输变化数据，提高处理效率和响应速度。适用于金融交易、物联网监控等场景，支持多种数据库，具备良好可配置性和扩展性。

oracle 数据同步 ETL CDC

https://static001.geekbang.org/infoq/1d/1dfaf719a336cca0fc1f769e2512843f.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 的全量和增量模式

03-22

本文介绍了ETL中的全量和增量同步模式，阐述了它们的优势、适用场景及缺点。全量同步确保数据一致性，适用于数据迁移和完整性要求高的场景；增量同步节约传输成本，适用于频繁更新和网络资源有限的场景。

数据同步 ETL 增量同步全量同步

https://static001.geekbang.org/infoq/e5/e5be3011e2ad94e7ec224e3f4818c6a7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

通过 ETL 工具快速实现单据同步

03-20

通过ETL工具实现单据数据同步。

数据同步 ETL 数据集成

热门活动

优质合集

精选文章