写点什么

week12 作业

用户头像
zbest
关注
发布于: 2021 年 02 月 20 日

题目

  • 在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?


  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?


INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);
复制代码


作业

作业 1

在金融领域工作,对接过很多第三方征信系统,同盾、聚信立等。他们都会根据采集到的用户信息和自己的风控模型将用户分等级评分,供金融产品去做资质的决策


作业 2


map 函数输入:


//map1offset1,<1,111>offset2,<2,111>offset3,<1,222>
//map2offsetn,<111,25>offsetx,<111,32>
复制代码


map 函数输出:


//map1111,<"page_view",1>111,<"page_view",2>222,<"page_view",1>
//map2111,<"user",25>222,<"user",32>
复制代码


reduce 函数输入:


111,<<"page_view",1>,<"page_view",2>,<"user",25>>222,<<"page_view",1>,<"user",32>>
复制代码


reduce 函数输出:


//pv.pageid,u.age1,252,251,32
复制代码


发布于: 2021 年 02 月 20 日阅读数: 11
用户头像

zbest

关注

一个胖子 2020.11.04 加入

一个不正经的java程序员, 整天写着openresty和go的代码, 努力从键摄向非职业摄影师迈进, 快要溺死在内耗里的中年人, 胖子。

评论

发布
暂无评论
week12 作业