写点什么

ETL任务

0 人感兴趣 · 2 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/a3/a38ea7f0a9e4324c1afa5b527c64a7c6.png?x-oss-process=image/resize,w_416,h_234

ETL 工程师必看!超实用的任务优化与断点执行方案

用户头像
会飞的鱼6 月 4 日

随着大数据时代的快速发展,企业每天需要存储、计算、分析数以万亿的数据,同时还要确保分析的数据具备及时性、准确性和完整性。面对如此庞大的数据体系,ETL工程师(数据分析师)如何能高效、准确地进行计算并供业务方使用,就成了一个难题。

你的 Parquet 该升级了:IOException: totalValueCount==0 问题定位之旅

摘要: 使用Spark SQL进行ETL任务,在读取某张表的时候报错:“IOException: totalValueCount == 0”,但该表在写入时,并没有什么异常。

ETL任务_ETL任务资料文章-InfoQ写作平台