架构师训练营第十二周作业

一、在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

我从事的主要是金融证券行业，以下是我收集到的材料

银行大数据应用可以分为 4 大方面：客户画像、精准营销、风险管控、运营优化

客户画像

客户画像应用主要分为个人客户画像和企业客户画像

精准营销

在客户画像的基础上，银行可以有效地开展精准营销

实时营销

交叉营销

个性化推荐

客户生命周期管理

风险管控

对中小企业贷款风险的评估和对欺诈交易的识别，从而帮助银行降低风险

运营优化

为管理层提供可靠的数据支撑，使经营决策更加高效、敏捷，精确性更高



证券行业

股价预测、客户关系管理、投资景气指数预测

保险行业

客户细分和精细化营销

欺诈行为分析

精细化运营



二、分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_users
	SELECT pv.pageid, u.age
	FROM page_view pv
	   JOIN user u
	   ON (pv.userid = u.userid);

表结构如下

page_view (pageid, userid, time)

user (userid, age)



page_view表输入map的输入key为行数，输入value为行数据

page_view表对应的map的输出key为userid, 输出value为<表id，pageid>

user表输入map的key为行数，value为行数据

user表对应的map的输出key为userid, 输出value为<表id，age>

=>

reduce的输入key为userid，输入value为<表id，pageid>/<表id，age>

reduce的输出key为pageid，输出value为age