写点什么

数据集成

0 人感兴趣 · 28 次引用

  • 最新
  • 推荐

灵活、快捷、低运维成本的数据集成方法:数据联邦架构

在传统的企业数据运用中,企业使用多种系统,数据散落在各个存储设备中,数据分析需求往往是跨库的,数据入湖入仓在做分析会有安全问题,或影响业务系统性能。企业需要一种灵活、快捷、低运维成本的数据集成方法,就有了数据联邦架构。本文介绍数据联邦架构。

https://static001.geekbang.org/infoq/d8/d8fd2f9eb269af126ca21881a02d38ee.webp?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ChatGPT 无需 API 开发连接第三方系统,让舆情自动监控

自ChatGPT上线到现在,依然是社会热议话题,人工智能已是大势所趋。如今ChatGPT已从原生模型升级为模型训练,支持对官方GPT3.0的基础模型进行“微调”训练和使用,以满足用户在特定业务情境下的智能问答应用需要。

https://static001.geekbang.org/infoq/8a/8ad4724619df1e04933f614e2c05b93d.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

对话 BitSail Contributor | 刘啸:参与开源,提升自我技术力

“参与开源项目可以提高技术能力” ,今天的这位Contributor在贡献过程中有着怎样的心得?他对BitSail社区的未来发展有着什么样的期待?接下来就让我们一起听听他怎么说~

https://static001.geekbang.org/infoq/a1/a1475dbb0c0f68785ddd6a728aefe41b.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

得帆云 DeFusion 融合集成 iPaaS 平台领先行业,打造先锋集成产品

企业在数字化转型过程中会建设众多应用系统。如果这些应用系统相互不连通,就会带来信息孤岛的问题。 在进行iPaaS产品的选型时,企业除了需要关注基础的产品功能外,考量产品是否具备能够打通已有的应用系统的能力,避免造成信息孤岛,是十分关键的。

https://static001.geekbang.org/infoq/c2/c2b9f7b53c638831b27a0d88733494da.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

低至 200 元 / 月,火山引擎 DataLeap 帮你搭建企业级数据中台

根据不同企业、行业需求,火山引擎DataLeap分为多个版本,目前正在火热进行企业级特惠活动

https://static001.geekbang.org/infoq/d2/d2b90bc56e5a9908c18b8bcf1239147e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎 DataTester 推出可视化数据集成方案

近期,火山引擎 DataTester 推出可视化数据集成能力,可以帮助企业实现对历史数据资产的直接复用。

https://static001.geekbang.org/infoq/7c/7cd13b86fd1ee98fc8e0232bf780713f.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

对话 BitSail Contributor | 吴畅:从好奇,到深入

“BitSail为我的社区开发之路提供了很大的动力” ,今天的这位Contributor在贡献过程中有着怎样的心得?她对BitSail社区的未来发展有着什么样的期待?接下来就让我们一起听听她怎么说~

https://static001.geekbang.org/infoq/bb/bb064423069116a7a7561631fbb21e56.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

干货 | BitSail Connector 开发详解系列一:Source

BitSail是字节跳动自研的数据集成产品,支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下全域数据集成解决方案。本系列聚焦BitSail Connector开发模块,为大家带来详细全面的开发方法与场景示例,本篇将主要介绍Source接口部分。

https://static001.geekbang.org/infoq/96/962ba75a43d7a71e2729c04600d78a44.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Kerberos 身份验证在 ChunJun 中的落地实践

用户头像
袋鼠云数栈
2022-12-16

Kerberos,在古希腊神话故事中,指的是一只三头犬守护在地狱之门外,禁止任何人类闯入地狱之中。

6 个实用技巧,让你快速入门数据集成平台,成倍提升工作效率

大数据、物联网 (IoT)、软件即服务 (SaaS)、云活动等正在导致世界上现有的数据源数量以及数据量呈爆炸性增长,但这些数据大部分都收集并存储在数据孤岛或独立的数据存储空间中。

https://static001.geekbang.org/infoq/1f/1f65b6505d9b922e3583ec12a585157c.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

实时数据赋能制造业产能升级:详解半导体和汽车制造行业最佳实践(活动报名)

用户头像
tapdata
2022-12-05

制造行业的企业数据现状和根本痛点是什么?Tapdata 将如何帮助制造企业解决数据实时性问题,继而提升产能、实现运营优化?又有哪些成功案例可以参考?12月7日 19:00,我们线上见!

https://static001.geekbang.org/infoq/06/0633a7e76a506e1aa79fdd4a155982c7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

实时数据赋能制造业产能升级:详解半导体和汽车制造行业最佳实践(活动报名)

用户头像
tapdata
2022-12-04

制造行业的企业数据现状和根本痛点是什么?Tapdata 将如何帮助制造企业解决数据实时性问题,继而提升产能、实现运营优化?又有哪些成功案例可以参考?12月7日 19:00,我们线上见!

https://static001.geekbang.org/infoq/eb/eba855183410fdee806182e5ef204222.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Meetup 预告:SeaTunnel 在天翼云数据集成平台的探索实践

​大数据时代下,数据开发治理成为企业数据资产管理、提升数据质量、数据智能应用等过程的关键。数据开发治理成功与否,关系着实现能否实现企业数据价值的最大化。

https://static001.geekbang.org/infoq/b2/b202607d3a92d294675042aab7a351c6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

字节跳动开源数据集成引擎 BitSail 的演进历程与能力解析

BitSail是字节跳动开源数据集成引擎,支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下全域数据集成解决方案,目前支撑了字节内部和火山引擎多个客户的数据集成需求。经过字节跳动各大业务线海量数据的考验,在性能、稳定性上得到较好验

https://static001.geekbang.org/infoq/ca/ca1b836f7b8e3fac22dbe54e11b80aff.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

SeaTunnel 连接器 V1 到 V2 的架构演进与探究

整个SeaTunnel设计的核心是利用设计模式中的控制翻转或者叫依赖注入,主要概括为以下两点

https://static001.geekbang.org/infoq/2a/2a12ea4906e7df8138edae6493170ddf.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

API、ETL、ESB/MQ 已成明日黄花?时代为何需要一个全新的实时数据架构?

用户头像
tapdata
2022-07-07

离线分析场景的数据诉求是已经发生了的过去,而实时业务场景的数据需求是明确的未来。这一场景差异已然足够孕育一个新的技术架构。

https://static001.geekbang.org/infoq/e0/e06954ecc036d97f0cd9f32884c4c9fe.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

可视化任务编排 & 拖拉拽 | Scaleph 基于 Apache SeaTunnel 的数据集成

这次在 6月 Meetup 为大家带来的是Scaleph 基于 Apache SeaTunnel (Incubating) 的数据集成介绍,希望你有所收获。

https://static001.geekbang.org/infoq/c4/c45f8ca27e3be718229878e640252b56.webp?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

制造业项目 MDM 主数据项目实施心得

用户头像
agileai
2022-06-24

主数据治理方案能统一数据管理标准、维护标准、统一数据口径、数据维护流程,清洗企业内部冗余数据,提升数据质量,为业务系统提供数据支撑。本次项目需求主要为保障数据从源头系统到下游系统的一致性,将不符合要求的数据进行筛选、调整,保障数据完整性。

https://static001.geekbang.org/infoq/ee/eeea537f7f65f9ae6139b6cdbe78ecf1.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Kafka ETL 之后,我们将如何定义新一代实时数据集成解决方案?

用户头像
tapdata
2022-06-23

实时数据怎么来?常见的方案有 API 集成,ETL,ESB,以及 Kafka 等。 这些方案都有哪些优缺点?新的十年,实时数据架构技术又有什么革新?

https://static001.geekbang.org/infoq/5d/5d24a3b4552038a4e2d3452dd2abc070.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

DAP 事实表加工汇总功能应用说明

用户头像
agileai
2022-06-22

本篇文档主要是事实表的汇总计算,事实表计算分为纵向汇总和横向汇总,纵向汇总是通过聚合函数SQL语句,纵向汇总事实表通过ESB结合调用DAP接口创建ESB预制的集成流程进行数据同步,横向汇总是通过汇总配置实现字段间的表达式计算。

https://static001.geekbang.org/infoq/bc/bc685f4625c32af593c531ae32604a95.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ESB 基础样例前置资源配置

用户头像
agileai
2022-06-07

ESB企业服务总线核心功能是消除信息系统之间的“信息孤岛”情况,集中进行应用管理维护,打破系统壁垒,实现各系统间数据、功能互通,提高系统使用便捷性。同时为企业制定各项集成规范,实现各监管、认证等系统,以标准化的方式进行集成,为IT建设奠定基础。

https://static001.geekbang.org/infoq/f7/f79019933fa877808a53856379a4410c.webp?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

MDM 结合 ESB 数据集成说明

用户头像
agileai
2022-05-27

MDM基础数据管理平台是进行清洗和治理企业的主数据,使企业的主数据具有唯一性、准确性、一致性、及时性,通过主数据数据清洗功能将错误数据和重复数据进行清洗,从而保证企业数据能够做到以上那几点,然后再分发至下游系统,使企业信息化更加完善。

https://static001.geekbang.org/infoq/a0/a0538e18308500e17d436d27c30071fc.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

字节跳动流式数据集成基于 Flink Checkpoint 两阶段提交的实践和优化背景

字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。

https://static001.geekbang.org/infoq/33/338b6b14ab2bed3a00345e48b6427d28.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

UDTS 上线数据集成服务,汇聚多源数据帮助企业高效分析决策

用户头像
UCloud技术
2021-03-25

UDTS在数据传输的基础上,增加了数据集成服务,可实现多个数据源合并,打通数据孤岛以获得数据的统一视图,方便业务进行数据分析决策; 助力企业灵活调整业务架构,优化现有的数据库服务; 快速实现分库分表合并、自定义冲突处理策略、方便业务构建数据看板。

数据集成_数据集成技术文章_InfoQ写作社区