写点什么

ETL算法

0 人感兴趣 · 4 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/be/be5128965ca90e2014f64987bd598cb1.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

TASKCTL 关于 "Fastjson 反序列化远程代码执行漏洞” 的风险通告

用户头像
TASKCTL
2022-06-14

TASKCTL是一款企业级完全国产免费的ETL批量调度作业处理平台;支持各类脚本任务程序和扩展;具备可视化图形拖拽设计界面以及可视化任务管理、计划调度、实时监控、消息预警和日志分析;有效弥补了传统ETL工具在调度管理和监控分析方面不足。

https://static001.geekbang.org/infoq/a3/a38ea7f0a9e4324c1afa5b527c64a7c6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ETL 工程师必看!超实用的任务优化与断点执行方案

用户头像
TASKCTL
2021-06-04

随着大数据时代的快速发展,企业每天需要存储、计算、分析数以万亿的数据,同时还要确保分析的数据具备及时性、准确性和完整性。面对如此庞大的数据体系,ETL工程师(数据分析师)如何能高效、准确地进行计算并供业务方使用,就成了一个难题。

https://static001.geekbang.org/infoq/b6/b6cd6f023e6ddd06a396508f3221dfbf.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大数据 ETL 批量调度,这几款工具都需要去掌握了解

用户头像
TASKCTL
2020-12-30

ETL是数据仓库中的非常重要的一环,是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

https://static001.geekbang.org/infoq/b9/b9e1321f90a8b7c6423f6657518e9d83.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

技术分享丨数据仓库的建模与 ETL 实践技巧

摘要:如何搭建数据仓库,在这个过程中都应该遵循哪些方法和原则,项目实践中有哪些技巧。

ETL算法_ETL算法技术文章_InfoQ写作社区