写点什么

架构师训练营 - 第十二周 - 作业一

用户头像
行者
关注
发布于: 2020 年 12 月 13 日

作业一

题目一

在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

K12 教育领域

销售模块

通过大数据发现用户购买倾向,把相关课程推荐给用户,提升客单价。

学习数据分析模块

通过大数据统计用户学习信息,来针对性的进行各种动作,提升用户粘性,APP 使用时长。

题目二

分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);
复制代码

map 函数

输入

一行一行数据

输出

以 userid 作为 key page_view value 是表编号 pageid,user value 是表编号 age

reduce 函数

输入

相同 userid 的 key page_view value 是表编号 pageid,user value 是表编号 age

输出

合并后的 pageid age 数据

用户头像

行者

关注

还未添加个人签名 2018.03.09 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营 - 第十二周 - 作业一