【架构师训练营第 1 期 12 周】 作业

【架构师训练营第 1 期 12 周】 作业



在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？



目前公司主要业务是餐饮行业的快餐方向。作为快消品可以拿到很多用户在系统上的记录和行为习惯，从而通过大数据技术收集整理，配合数据分析和数据挖掘技术，给用户提供更好的用餐体验和发现新的增长点。



目前的数据收集方式有：用户购买记录，前端页面买点，顾客用餐评论，网上舆情收集。

用户个性化菜单推荐：根据用户购买记录，在不同餐品的浏览时间，给不同的用户推荐不同的餐品，提高用户的留存率，并且缩短用户下单耗费的时间。

智能客服：前期先根据历史问题总结出部分重点问题，设置后台自动回复。上线后根据用户对话反馈进行模型优化，从而不断提高问题回答的准确性。

原材料订购推荐：根据历史数据分析和当前的营销活动预估促销量，计算出预估营业情况，然后生成订货预测，避免门店囤货太多或者库存不足的情况，尽量每天保持0库存。



分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
   JOIN user u
   ON (pv.userid = u.userid);




page_view 表和 user 表结构与数据示例如下



Map

输入：原始的两张表

输出：同一个表的 key(userid)-value(二元组，<表编号， age/pageid>)



Reduce：

输入：同一个key的key(userid)-value(二元组，<表编号， age/pageid>)

输出：同一个key对应的pageid, age



示意图：