第九周

你所在的公司（行业、领域），正在用大数据处理那些业务？可以用大数据实现哪些价值？



我目前所处的行业为文旅行业，涉及大数据的业务主要分为两个方面：

一是为景区服务以及区域旅游服务，通过对客流分析、涉旅服务分析、景区舆情分析、旅游运营分析，来帮助景区或者相关旅游部门做决策依据

二是为公司内部涉旅产品做运营数据分析，帮助运营和产品调整策略及功能。



分析如下HiveQL, 生成的MapReduce执行程序，map函数输入是什么？输出是什么，reduce函数输入是什么? 输出是什么？



INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);

Page_view 表和 user 表结构与数据示例如下：





map的输入:

key：文件的偏移量

value：为一行数据

map的输出:

key：userid, value：<tableid, pageid>

key：userid, value：<tableid, age>



Reduce 的输入：

key：userid, value：<tableid, pageid>

key：userid, value：<tableid, age>

Reduce 的输出：

pageid, age