写点什么

Shuffle

0 人感兴趣 · 2 次引用

  • 最新
  • 推荐

大数据培训:hadoop 中 shuffle 过程面试题

用户头像
@零度
2022-01-05

​Shuffle阶段是指从Map的输出开始,包括系统执行排序以及传送Map输出到Reduce作为输入的过程。Sort阶段是指对Map端输出的Key进行排序的过程。大数据培训不同的Map可能输出相同的Key,相同的Key必须发送到同一个Reduce端处理。Shuffle阶段可以分为Map端的Shuf

https://static001.geekbang.org/infoq/cc/ccd34248a2954ab51274c447889b3264.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

架构师训练营第 12 周作业

用户头像
2020-09-02

大半夜地手指在机械键盘上飞舞,忙碌一天的疲惫脸庞已然失去了荣光,最近课也没好好听,但是还是得好好地总结一下哈!

Shuffle_Shuffle技术文章_InfoQ写作社区