写点什么

第十二周命题作业

用户头像
cc
关注
发布于: 2021 年 02 月 16 日

1.在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?


互联网行业,借助于大数据技术,通过分析客户行为,进行商品推荐和针对性广告投放。


2.分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);
复制代码

page_view 表和 user 表结构与数据示例如下


Page_view 表

map 函数输入:map(key:偏移量, value:表单每一行记录)


Key:111 value:{1:1}

Key:111 value:{1:2}

Key:222 value: {1:1}

User 表

map 函数输入:map(key:偏移量, value:表单每一行记录)


Key:111 value: {2:25}

Key:222 value: {2:32}


reduce 函数输入:

{111: {1:1}}

{111: {1:2}}

{111: {2:25}}

{222: {1:1}}


reduce 函数输出:

1,25

2,25

1,32


用户头像

cc

关注

还未添加个人签名 2018.03.19 加入

还未添加个人简介

评论

发布
暂无评论
第十二周命题作业