week12-homework

• 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

​ 在证券领域，数据主要包括历史行情数据、新闻资讯、上市公司公告/财报、研究报告等公开信息，以及证券公司内部自己构建的用户行为数据、员工数据，可以应用在包括风控、证券标签、用户画像、量化交易、智能客服等领域。

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

这条 SQL 关联了两张表，所以有两个 map 函数。表 page view 对应的 map 函数的输入是 pageview 表的一行记录，输出是 K-V 对，key 是 userid，Value 是一个 tuple 向量包括了表名和 pageid。表 user 对应的 map 函数的输入是 user 表的一行记录，输出中 Key 是 userid，Value 是表名和 age。对应的 reduce 函数输入则是上述两个 map 函数的输出，输出 pageid 和 age 记录。