Week 12

1. 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

所处电商行业，公司内部没有大数据应用。行业上淘宝肯定用了，在数据存储、实时的分析和对商家提供的服务中都有。对于商家的价值点如下

数据服务

提升了生意参谋这样的服务，可以让商家实时或者 T+1 获得对应的数据报表服务

ISV 平台

开放平台，让第三方公司参与，这种开放的 api 提供给对应的商家，数据量也是巨大的

公司内部未来可能会用 Hive 这样的工具，存储内部订单。

2. 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

Map

• 输入: 表内容

• 输出: userid、value（表来源, page_id 或者 age）

reduce

• 输入：user_id, values(page_id 或者 age)

• 输出：page_id, age