写点什么

ETL

0 人感兴趣 · 10 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/a3/a38ea7f0a9e4324c1afa5b527c64a7c6.png?x-oss-process=image/resize,w_416,h_234

ETL 工程师必看!超实用的任务优化与断点执行方案

用户头像
会飞的鱼6 月 4 日

随着大数据时代的快速发展,企业每天需要存储、计算、分析数以万亿的数据,同时还要确保分析的数据具备及时性、准确性和完整性。面对如此庞大的数据体系,ETL工程师(数据分析师)如何能高效、准确地进行计算并供业务方使用,就成了一个难题。

https://static001.geekbang.org/infoq/60/60749354fa283bd3a210154fcd68c02f.png?x-oss-process=image/resize,w_416,h_234

kafka 可视化工具 _6 个重要维度 | 帮你快速了解这 9 款免费 etl 调度工具的应用

用户头像
会飞的鱼4 月 26 日

ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL 是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数

畅想数据湖

用户头像
数据社3 月 24 日

大家好,我是一哥,周末有读者私聊我咨询了一些问题,遂想起了之前看过的一些关于数据湖的知识,下面是基于之前的所见和自己的思考而成文。

https://static001.geekbang.org/infoq/98/98baadab285da83888173758f3d09989.png?x-oss-process=image/resize,w_416,h_234

ETL 工具—Taskctl 如何搭建配置作业类型的管理

用户头像
会飞的鱼3 月 2 日

在TASKCTL中,如果我们自定义增加一种全新的作业类型。

https://static001.geekbang.org/infoq/7b/7bed29c1bb53918ae93883199fec26ee.png?x-oss-process=image/resize,w_416,h_234

免费 ETL 批量调度,任务调度,作业调度自动化运维工具 Taskctl Web

用户头像
会飞的鱼1 月 27 日

软件获取: 去公众号【taskctl】回复内容 “软件” 即可获得永久授权使用

https://static001.geekbang.org/infoq/91/91106c680b6ce55eb54a8e0338009b9a.png?x-oss-process=image/resize,w_416,h_234

EXCEL 数据太“脏”无从下手?何须用 python,ETL 一分钟搞定

用户头像
智分析1 月 20 日

我们日常在处理数据的过程中,总是会遇到各种千奇百怪的数据源,不是这里有重复值,就是那里的数据有缺失,这些“脏数据”不得不花费我们大量的时间去进行清理,让人十分苦恼。造成这些“脏数据”的原因有两个,一是系统默认的数据字段不规范,在导出时经常带

https://static001.geekbang.org/infoq/4a/4aeb4c729816114de5715b04cd1a3970.png?x-oss-process=image/resize,w_416,h_234

在数据分析、挖掘方面,有哪些 ETL 工具值得推荐?

用户头像
会飞的鱼1 月 15 日

ETL是数据仓库中的非常重要的一环,是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

https://static001.geekbang.org/infoq/79/799f879618f5fab6b51f4589d595ce4e.png?x-oss-process=image/resize,w_416,h_234

分布式批量任务调度、自动化运维管理监控平台 Taskctl

用户头像
会飞的鱼1 月 11 日

随着企业拥抱数字化程度的提高,数据是企业的发展关键。数据的需求来源于业务也服务于业务,数据的挖掘、探索、分析、个性化推荐、报表等等都依托于数据的输送、转换和写入。数据的调度就是作业的调度。批量作业调度是金融行业信息后台最为重要的技术形态。

https://static001.geekbang.org/infoq/41/41cf574daf7eef9d93ffc3069e1a1faf.png?x-oss-process=image/resize,w_416,h_234

ETL 都没弄懂,谈什么大数据 ?我用一分钟给你整明白

用户头像
智分析1 月 8 日

在现代的企业里,每个部门都是一个独立的业务条线,由于各部门各自为政,信息的不流通,就形成了“信息孤岛”的尴尬局面,给企业的数据挖掘、报表开发等带来非常大的困难。

ETL_ETL资料文章-InfoQ写作平台