写点什么

mapreduce

0 人感兴趣 · 33 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/29/2942095ecc9aefda5e10f385e171ddcd.jpeg?x-oss-process=image/resize,w_416,h_234

MapReduce 排序以及序列化

序列化(Serialization)是指把结构化对象转化为字节流。

MapReduce 的参数优化

以下调整参数都在mapred-site.xml这个配置文件当中有

MapReduce 排序以及序列化实践

序列化(Serialization)是指把结构化对象转化为字节流。

MapReduce 设计构思

MapReduce是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在Hadoop集群上。

https://static001.geekbang.org/infoq/1e/1ed4815548718a63507fb8e744dd215d.jpeg?x-oss-process=image/resize,w_416,h_234

MapReduce 的运行机制详解

整个Map阶段流程大体如上图所示。

12 周架构

用户头像
FreeOcean2 月 12 日

大数据概要总结

https://static001.geekbang.org/infoq/71/71dae3826e559ebc0b9688c2bec3efbf.jpeg?x-oss-process=image/resize,w_416,h_234

MapReduce 练习案例 4 - 求共同好友

用户头像
小马哥1 月 29 日

大数据专栏系列文章: 通过该文章, 学会使用MapReduce模型灵活编程.

https://static001.geekbang.org/infoq/b7/b7bf560239f33eca19c06de4fbfd653f.jpeg?x-oss-process=image/resize,w_416,h_234

大数据知识专栏 - MapReduce 的自定义分组求 TopN

用户头像
小马哥1 月 28 日

大数据专栏系列文章: 通过该文章, 教会如何在 MapReduce 中使用自定义分组技术求取TopN.

https://static001.geekbang.org/infoq/5a/5a0051cf8c7f5881d51d478fd4a2db75.jpeg?x-oss-process=image/resize,w_416,h_234

MapReduce 博文体系

用户头像
小马哥1 月 26 日

本文是对MapReduce知识体系的归纳总结, 形成指向各篇MapReduce文章的博文链接, 个人学习总结, 欢迎交流

https://static001.geekbang.org/infoq/8b/8b6e2d94c8c4669b5ae654ea5d6a981d.jpeg?x-oss-process=image/resize,w_416,h_234

MapReduce 练习案例 3 - 自定义分区

用户头像
小马哥1 月 26 日

大数据知识专栏, 通过系列文章, 总结大数据知识 ; 本篇文章作用: 练习 MapReduce 的自定义分区.

https://static001.geekbang.org/infoq/97/97fac923fea9c6b5444224553aecc6a0.jpeg?x-oss-process=image/resize,w_416,h_234

MapReduce 练习案例 2 - 自定义排序

用户头像
小马哥1 月 26 日

大数据知识专栏, 通过系列文章, 总结大数据知识; 本篇文章作用: 练习MapReduce的自定义排序.

https://static001.geekbang.org/infoq/44/44ab02439870caef0fc686525aac4d7e.jpeg?x-oss-process=image/resize,w_416,h_234

MapReduce 练习案例 1- 统计求和

用户头像
小马哥1 月 26 日

大数据知识专栏, 通过系列文章, 总结大数据知识; 本篇文章作用: 练习MapReudce统计求和.

https://static001.geekbang.org/infoq/c0/c045440f5d71d210599cc068292e400d.jpeg?x-oss-process=image/resize,w_416,h_234

大数据知识专栏 - MapReduce 的 Map 端 Join

用户头像
小马哥1 月 22 日

大数据专栏系列文章: 通过该文章, 教会如何在 MapReduce 中使用 Map 端 Join.

https://static001.geekbang.org/infoq/17/1729e33e6a89f0313d1b159252b2273e.jpeg?x-oss-process=image/resize,w_416,h_234

大数据知识专栏 - MapReduce 的 Reduce 端 Join

用户头像
小马哥1 月 21 日

大数据专栏系列文章: 通过该文章, 教会你什么是MapReduce的Reduce端Join.

https://static001.geekbang.org/infoq/68/682878614af14b294609db026c907e06.jpeg?x-oss-process=image/resize,w_416,h_234

大数据知识专栏 - MapReduce 的 Combiner 实现 shuffle 调优

用户头像
小马哥1 月 20 日

大数据专栏系列文章: 本节内容教会你你如何通过 MapReduce 的自定义Combiner技术, 实现对MapReduce的shuffle过程调优.

https://static001.geekbang.org/infoq/a4/a4b3b2b05384515b991f64146fccb03b.jpeg?x-oss-process=image/resize,w_416,h_234

大数据知识专栏 -MapReduce 自定义排序技术

用户头像
小马哥1 月 20 日

大数据专栏系列文章: 今天告诉你如何通过MapReduce的排序技术, 来实现对数据的任意顺序输出.

https://static001.geekbang.org/infoq/49/495b2d38bbb10c5d957c8ea997de8ac1.jpeg?x-oss-process=image/resize,w_416,h_234

大数据知识专栏 -MapReduce 自定义计数器技术

用户头像
小马哥1 月 20 日

大数据专栏系列文章: 今天告诉你如何通过玩转 MapReduce 计数器技术, 观察MR任务的执行

https://static001.geekbang.org/infoq/ee/eeba03e6e1dbe56a0252a62420b85e07.jpeg?x-oss-process=image/resize,w_416,h_234

大数据知识专栏 -MapReduce 自定义分区技术

用户头像
小马哥1 月 19 日

大数据专栏系列文章: 今天告诉你如何通过玩转MapReduce进阶技术, 自定义分区.

https://static001.geekbang.org/infoq/32/32e33c14770c0568e5e60430880f3b8b.jpeg?x-oss-process=image/resize,w_416,h_234

大数据知识专栏 - MapReduce 工作机制详解

用户头像
小马哥1 月 18 日

小马哥大数据基础系列文章: MapReduce的运行机制步骤详解

https://static001.geekbang.org/infoq/71/71dae3826e559ebc0b9688c2bec3efbf.jpeg?x-oss-process=image/resize,w_416,h_234

大数据知识专栏 - MapReduce 入门

用户头像
小马哥1 月 14 日

小马哥大数据基础专栏: 最简单的解释MapReduce思想, 最简单的MapReduce入门案例.

https://static001.geekbang.org/infoq/b3/b32ede53196caf7e2a8fa3fd92807138.jpeg?x-oss-process=image/resize,w_416,h_234

Hadoop 的 MapReduce 到底有什么问题?

用户头像
hanke1 月 14 日

作为Hadoop里重要的分布式计算组件MapReduce到底存在什么样的问题,大家纷纷都转投其他技术栈?我们来一起探个究竟。本文会先详细解析一下整个MapReduce的过程,编程方式,然后再去分析一下存在的问题和其中可以借鉴的点。

https://static001.geekbang.org/infoq/5f/5fedd9226b66f4c80d4b6be893932732.png?x-oss-process=image/resize,w_416,h_234

记一次 MapReduce 的内存溢出

用户头像
AI乔治2020 年 12 月 16 日

最近使用MapReduce做离线数据清洗,在map段做简单的数据过滤,有经纬度的发送到reduce端,没经纬的过滤掉。reduce端将数据整理出来,按业务模型拼接成字符串写入HDFS。供hive作为外表进行后续数据处理分析。

https://static001.geekbang.org/infoq/3e/3e283810b52bfe322116ea70d55c07ed.jpeg?x-oss-process=image/resize,w_416,h_234

本文将大数据学习门槛降到了地平线

用户头像
MySQL从删库到跑路2020 年 10 月 29 日

Hadoop-大数据开源世界的亚当夏娃。

https://static001.geekbang.org/infoq/91/918589b90f9e80c285c34fa2a3dcfafe.png?x-oss-process=image/resize,w_416,h_234

MapReduce 简介及过程详解

用户头像
犟马骝2020 年 10 月 20 日

MapReduce是面向大数据并行处理的计算模型、框架和平台,对于大数据开发或者想要接触大数据开发的开发者来说,是必须要掌握的,它是一种经典大数据计算框架,现在有很多开源项目的内部实现都会直接或间接地借鉴了MR过程的实现。Hadoop中的MapReduce 是一个离

通过 MapReduce 降低服务响应时间

用户头像
万俊峰Kevin2020 年 10 月 15 日

在微服务中开发中,api网关扮演对外提供restful api的角色,而api的数据往往会依赖其他服务,复杂的api更是会依赖多个甚至数十个服务。虽然单个被依赖服务的耗时一般都比较低,但如果多个服务串行依赖的话那么整个api的耗时将会大大增加。

一个例子理解 MapReduce 的运行原理

用户头像
林昱榕2020 年 9 月 2 日

MapReduce分布式计算引擎的编程模型分为两部分,即map和reduce。理解其运行机制的核心关键点是理解map和reduce这两个方法的输入和输出分别是什么。理解这一点,我们就理解了MapReduce的运行机制。

https://static001.geekbang.org/infoq/25/25557b710250321c8595200287c83a5b.jpeg?x-oss-process=image/resize,w_416,h_234

第 12 周命题作业

用户头像
hifly2020 年 9 月 2 日

分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

https://static001.geekbang.org/infoq/7a/7a5acc0439d9a124126b3a2d510196b5.jpeg?x-oss-process=image/resize,w_416,h_234

大数据解答 (一)

用户头像
dony.zhang2020 年 9 月 2 日

公司大数据应用场景, MapReduce执行过程中的输入输出

https://static001.geekbang.org/infoq/cc/ccd34248a2954ab51274c447889b3264.jpeg?x-oss-process=image/resize,w_416,h_234

架构师训练营第 12 周作业

用户头像
2020 年 9 月 2 日

大半夜地手指在机械键盘上飞舞,忙碌一天的疲惫脸庞已然失去了荣光,最近课也没好好听,但是还是得好好地总结一下哈!

mapreduce_mapreduce资料文章-InfoQ写作平台