写点什么

架构师训练营第十二周作业

用户头像
关注
发布于: 2020 年 12 月 12 日

作业一:

(至少完成一个)

  • 在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

复制代码

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.age  FROM page_view pv     JOIN user u ON (pv.userid = u.userid);
复制代码

page_view 表和 user 表结构与数据示例如下



互联网金融行业大数据应用场景:风控、用户行为分析、用户标签、基金实时估值、用户收益计算

价值:

  • 降低运营风险

  • 更加了解用户,为精细化、智能化运营提供基础

  • 提升用户体验


map 的输入是两张表对应文件的每一行数据,输出为 userid,<1,pageid> 或 <2,age>

reduce 的输入为 map 的输出,输出为 userid, <pageid, age>

发布于: 2020 年 12 月 12 日阅读数: 17
用户头像

关注

还未添加个人签名 2018.03.09 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第十二周作业