写点什么

小文件

0 人感兴趣 · 2 次引用

  • 最新
  • 推荐

HDFS 小文件分析实践

用户头像
移动云大数据
4 月 20 日

本篇文章从小文件过多造成的影响展开,详细介绍了HDFS中元数据fsimage获取方式,分析元数据的数据库选型,以及小文件分析的全过程实践。

Spark 合并 Iceberg 小文件内存溢出问题定位和解决方案

用户头像
漫长的白日梦
1 月 29 日

此问题来源于客户POC测试现场,我们提供了合并小文件的driver程序RewriteDatafile,现场有一个5亿数据的Iceberg表,其中包括5千万删除数据,需要通过Spark合并小文件,进而提升Trino的查询速度。但是合并过程中任务必中断,任务被kill。

小文件_小文件技术文章_InfoQ写作社区