Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

阿里云大数据AI技术

2023-07-10

Celeborn 采用了 Push Shuffle 的设计，通过远端存储、数据重组、内存缓存、多副本等设计，不仅进一步提升 Gluten Shuffle 的性能和稳定性，还使得 Gluten 拥有更好的弹性，从而更好的拥抱云原生。