写点什么

Spark面试题

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐

Spark 面试题大全

用户头像
编程江湖
2021-11-23

1、Spark中的HashShufle的有哪些不足?1)shuffle产生海量的小文件在磁盘上,此时会产生大量耗时的、低效的IO操作;2)容易导致内存不够用,由于内存需要保存海量的文件操作句柄和临时缓存信息,如果数据处理规模比较大的话,容易出现OOM;3)容易出现数据倾

Spark面试题_Spark面试题技术文章_InfoQ写作社区