写点什么

Push Shuffle

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/15/154aba724fbb13fa927a868b270a465f.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

Celeborn 采用了 Push Shuffle 的设计,通过远端存储、数据重组、内存缓存、多副本等设计,不仅进一步提升 Gluten Shuffle 的性能和稳定性,还使得 Gluten 拥有更好的弹性,从而更好的拥抱云原生。

Push Shuffle_Push Shuffle技术文章_InfoQ写作社区