架构师训练营第 1 期 week12

1、在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

在仿真相关领域，有许多的数据需要进行存储，包括所有参与设备的实时状态、位置、性能、数量、状态变化、运行轨迹、性能变化、行动以及伤亡情况等，也包括地理环境、电磁环境、气象环境和核化环境的状态、参数、特性变化，涵盖陆地、海洋、大气、太空在内的整个自然环境，信息量非常大，可以利用大数据对需要的数据进行更好的存储，一方面可以用来对场景进行快速回放，另一方面可以快速的对实时信息进行综合汇总，也可以对数据进行挖掘，为参与人员提供更合理的决策建议。

2、分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

map 输入 key 为无意义的值，value 为一行行数据信息

输出 key 是 userid,value 为数据表与查询字段的组合，其中数据表可以是具体的表名

reduce 输入 key 为 userid,values 为所有相同 userid 的集合

输出 key 为 pageid,value 为表 1 中的数据分别与表 2 中数据的组合