架构师 01 期,第十二周课后作业
作业一:
(至少完成一个)
在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?
分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?
page_view 表和 user 表结构与数据示例如下
一、我所在的行业为保险行业,我公司大数据方面的技术主要用在业务数据核对,客户挖掘等方面,目前保险行业主要可以分为三大方面:客户细分及精细化营销、欺诈行为分析和精细化运营。客户细分及精细化营销包括客户细分和差异化服务、潜在客户挖掘及流失用户预测、客户关联销售、客户精准营销。常见的预测和分析欺诈、等非法行为包括医疗保险欺诈与滥用分析以及 车险欺诈分析等。精细化运营包括产品优化、运营分析、代理人(保险销售人员)甄选等
二、
map函数输入的是两张表每行数据,假设page_view为表1,user为表2。
表pageview的map输出的是uid,<1, pageid>,其中1为pageview的标记。具体结果就是:
111, <1, 1>
111, <1, 2>
222, <1, 1>
表user输出的是uid,<2, age>,其中2为user的标记。reduce输出的是uid,输出的是pageid, age。具体结果就是:
111, <2, 25>
222, <2, 32>
然后再进行shuffle sort之后,Reduce的输入为:
111, <1, 1>
111, <1, 2>
111, <2, 25>
和
222, <1, 1>
222, <2, 32>
最后Reduce的输出为:
1, 25
2, 25
和
1, 32
评论