写点什么

架构师训练营第 1 期 - 第 12 周 - 命题作业

用户头像
wgl
关注
发布于: 2021 年 01 月 08 日
架构师训练营第 1 期 - 第 12 周 - 命题作业

(至少完成一个)

  1. 在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

  2. 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

复制代码

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.age FROM page_view pv   JOIN user u   ON (pv.userid = u.userid);
复制代码

page_view 表和 user 表结构与数据示例如下




第 2 题:

map 函数输入的是 key value。

key 是偏移量,value 是一行记录<userid,pageid>或<userid,age>

| key | value |

| 偏移量 | <111,1> |

| 偏移量 | <111,2> |

| 偏移量 | <222,1> |


| key | value |

| 偏移量 | <111,25> |

| 偏移量 | <222,32> |

-------------------------------------------------------------------------------------------------

map 函数输出是 key value。

key 是 userid, value 是 <表编号,pageid> 或 <表编号,age>

| key | value |

| 111 | <1,1> |

| 111 | <1,2> |

| 222 | <1,1> |

| 111 | <2,25> |

| 222 | <2,32> |

--------------------------------------------------------------------------------------------------

reduce 函数输入是 key values。

key 是 userid , values 是相同 userid 合并的 value 列表: <表编号,pageid> <表编号,age>

| key | values |

| 111 | <1,1> <1,2> <2,25> |

| 222 | <1,1> <2,32> |

-------------------------------------------------------------------------------------------------------

reduce 输出是不同表的 value 进行 jion 的结果

| 1 | 25 |

| 2 | 25 |

| 1 | 32 |


发布于: 2021 年 01 月 08 日阅读数: 16
用户头像

wgl

关注

正走在系统架构设计师路上的程序员。 2017.12.07 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第 1 期 - 第 12 周 - 命题作业