架构师训练营 - 第 12 周

在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

对于电商领域，主要用在以下地方

1.用户行为分析

大量采集埋点并上报，提供给大数据，之后进行分析后进行精准推送和搜索智能筛选等地方，提高用户体验。

2.销量统计

根据订单量来统计前百分比的热门商品，智能运营，提高运营销售 GMV

分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

2 次 map 分别将 2 个表的数据全量输入，输出动作是：

1. 输出了 userid、<pv, pageId>的结构，如下：

• 111 <1, 1>

• 111 <1, 2>

• 222 <1, 1>

1. 输出了 userid、<u, age>的结构，如下：

• 111 <2, 25>

• 222 <2, 32>

1. 将结果集经过 shuffle 排序后，如下：

• 111 <1, 1>

• 111 <1, 2>

• 111 <2, 25>

• 222 <1, 1>

• 222 <2, 32>

Reduce 操作时，输入的是上述排序后结果，输出如下：

pageId age

• 1 25

• 1 32

• 2 25