小文件
0 人感兴趣 · 2 次引用
- 最新
- 推荐
HDFS 小文件分析实践
本篇文章从小文件过多造成的影响展开，详细介绍了HDFS中元数据fsimage获取方式，分析元数据的数据库选型，以及小文件分析的全过程实践。
Spark 合并 Iceberg 小文件内存溢出问题定位和解决方案
此问题来源于客户POC测试现场，我们提供了合并小文件的driver程序RewriteDatafile，现场有一个5亿数据的Iceberg表，其中包括5千万删除数据，需要通过Spark合并小文件，进而提升Trino的查询速度。但是合并过程中任务必中断，任务被kill。
