写点什么

架构师训练营 - 命题作业 第 12 周

用户头像
水边
关注
发布于: 2020 年 08 月 31 日
  • 在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

我所在的是餐饮线上SaaS服务行业,

正在用大数据,做用户点餐数据收集和分析,进行用户画像、菜品推荐等。

比如Item CF,根据点过的菜进行菜品推荐。

User CF,根据用户画像进行菜品推荐。



  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);

map函数的输入是 key,value: key是文本文件中的偏移量,value是每一行的数据。

map函数的输出是key,value: key是userid value是pageid 或 age



reduce函数的输入是map函数的输出。

reduce函数的输出是:pageid,age

发布于: 2020 年 08 月 31 日阅读数: 118
用户头像

水边

关注

还未添加个人签名 2019.04.14 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营 - 命题作业 第 12 周